RubyGems - rroonga - Versions diffs - 5.0.3-x64-mingw32 → 5.0.4-x64-mingw32 - Mend

rroonga 5.0.3-x64-mingw32 → 5.0.4-x64-mingw32

Files changed (541) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -7,7 +7,7 @@
   <head>
     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.41. tokenize &mdash; Groonga v5.0.4ドキュメント</title>
+    <title>7.3.44. tokenize &mdash; Groonga v5.0.4-139-g6629adbドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
@@ -15,7 +15,7 @@
     <script type="text/javascript">
       var DOCUMENTATION_OPTIONS = {
         URL_ROOT:    '../../',
-        VERSION:     '5.0.4',
+        VERSION:     '5.0.4-139-g6629adb',
         COLLAPSE_INDEX: false,
         FILE_SUFFIX: '.html',
         HAS_SOURCE:  true
@@ -26,10 +26,10 @@
     <script type="text/javascript" src="../../_static/doctools.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
-    <link rel="top" title="Groonga v5.0.4ドキュメント" href="../../index.html" />
+    <link rel="top" title="Groonga v5.0.4-139-g6629adbドキュメント" href="../../index.html" />
     <link rel="up" title="7.3. コマンド" href="../command.html" />
-    <link rel="next" title="7.3.42. tokenizer_list" href="tokenizer_list.html" />
-    <link rel="prev" title="7.3.40. table_tokenize" href="table_tokenize.html" />
+    <link rel="next" title="7.3.45. tokenizer_list" href="tokenizer_list.html" />
+    <link rel="prev" title="7.3.43. table_tokenize" href="table_tokenize.html" />
   </head>
   <body>
 <div class="header">
@@ -56,12 +56,12 @@
           <a href="../../genindex.html" title="総合索引"
              accesskey="I">索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.42. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.45. tokenizer_list"
              accesskey="N">次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.40. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.43. table_tokenize"
              accesskey="P">前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v5.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v5.0.4-139-g6629adbドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" accesskey="U">7.3. コマンド</a> &raquo;</li>
       </ul>
@@ -73,13 +73,13 @@
           <div class="body">
   <div class="section" id="tokenize">
-<h1>7.3.41. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.44. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
-<h2>7.3.41.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.44.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
-<h2>7.3.41.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.44.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドには必須の引数と省略可能な引数があります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> が必須の引数で、他の引数はすべて省略可能です。</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize tokenizer
          string
@@ -91,7 +91,7 @@
 </div>
 </div>
 <div class="section" id="usage">
-<h2>7.3.41.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.44.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
@@ -104,62 +104,77 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Fu&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
 #       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
 #       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
 #       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
 #       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; S&quot;
 #     },
 #     {
 #       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Se&quot;
 #     },
 #     {
 #       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
 #       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
 #       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 14,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;h&quot;
 #     }
 #   ]
@@ -169,13 +184,13 @@
 <p>この例では必須のパラメーターだけ使っています。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> には <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> を、 <tt class="docutils literal"><span class="pre">string</span></tt> には <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を指定しています。この例は <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> トークナイザーで <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> をトークナイズしたトークンを返します。この例では <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
-<h2>7.3.41.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.44.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
-<h3>7.3.41.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>7.3.44.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>必須引数は二つあります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> です。</p>
 <div class="section" id="tokenizer">
-<span id="tokenize-tokenizer"></span><h4>7.3.41.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-tokenizer"></span><h4>7.3.44.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">tokenizer</span></tt> で指定された名前のトークナイザーを使います。</p>
 <p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>トークナイザー</em></a> を参照してください。</p>
 <p>以下は組み込みの <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> トークナイザーを使う例です。</p>
@@ -190,62 +205,77 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Ful&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ull&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;llt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;lte&quot;
 #     },
 #     {
 #       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;tex&quot;
 #     },
 #     {
 #       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ext&quot;
 #     },
 #     {
 #       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;xt &quot;
 #     },
 #     {
 #       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t S&quot;
 #     },
 #     {
 #       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; Se&quot;
 #     },
 #     {
 #       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Sea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ear&quot;
 #     },
 #     {
 #       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;arc&quot;
 #     },
 #     {
 #       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;rch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 14,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;h&quot;
 #     }
 #   ]
@@ -255,7 +285,7 @@
 <p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <tt class="docutils literal"><span class="pre">tokenizers/kytea</span></tt> を登録することで使えます。</p>
 </div>
 <div class="section" id="string">
-<span id="tokenize-string"></span><h4>7.3.41.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-string"></span><h4>7.3.44.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズしたい文字列を指定します。</p>
 <p><tt class="docutils literal"><span class="pre">string</span></tt> の中に文字列を含める場合は、シングルクォート（ <tt class="docutils literal"><span class="pre">'</span></tt> ）またはダブルクォート（ <tt class="docutils literal"><span class="pre">&quot;</span></tt> ）で <tt class="docutils literal"><span class="pre">string</span></tt> をクォートする必要があります。</p>
 <p><tt class="docutils literal"><span class="pre">string</span></tt> の中で空白を使う例です。</p>
@@ -270,162 +300,202 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Gr&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ro&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;oo&quot;
 #     },
 #     {
 #       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;on&quot;
 #     },
 #     {
 #       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ng&quot;
 #     },
 #     {
 #       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ga&quot;
 #     },
 #     {
 #       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;a &quot;
 #     },
 #     {
 #       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; i&quot;
 #     },
 #     {
 #       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;is&quot;
 #     },
 #     {
 #       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;s &quot;
 #     },
 #     {
 #       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; a&quot;
 #     },
 #     {
 #       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;a &quot;
 #     },
 #     {
 #       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; f&quot;
 #     },
 #     {
 #       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;fa&quot;
 #     },
 #     {
 #       &quot;position&quot;: 14,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;as&quot;
 #     },
 #     {
 #       &quot;position&quot;: 15,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;st&quot;
 #     },
 #     {
 #       &quot;position&quot;: 16,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
 #       &quot;position&quot;: 17,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; f&quot;
 #     },
 #     {
 #       &quot;position&quot;: 18,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;fu&quot;
 #     },
 #     {
 #       &quot;position&quot;: 19,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
 #       &quot;position&quot;: 20,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
 #       &quot;position&quot;: 21,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 22,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
 #       &quot;position&quot;: 23,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
 #       &quot;position&quot;: 24,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 25,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
 #       &quot;position&quot;: 26,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; e&quot;
 #     },
 #     {
 #       &quot;position&quot;: 27,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 28,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
 #       &quot;position&quot;: 29,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
 #       &quot;position&quot;: 30,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 31,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;h &quot;
 #     },
 #     {
 #       &quot;position&quot;: 32,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; e&quot;
 #     },
 #     {
 #       &quot;position&quot;: 33,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;en&quot;
 #     },
 #     {
 #       &quot;position&quot;: 34,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ng&quot;
 #     },
 #     {
 #       &quot;position&quot;: 35,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;gi&quot;
 #     },
 #     {
 #       &quot;position&quot;: 36,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;in&quot;
 #     },
 #     {
 #       &quot;position&quot;: 37,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ne&quot;
 #     },
 #     {
 #       &quot;position&quot;: 38,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;e!&quot;
 #     },
 #     {
 #       &quot;position&quot;: 39,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;!&quot;
 #     }
 #   ]
@@ -435,10 +505,10 @@
 </div>
 </div>
 <div class="section" id="optional-parameters">
-<h3>7.3.41.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>7.3.44.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
-<span id="tokenize-normalizer"></span><h4>7.3.41.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-normalizer"></span><h4>7.3.44.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>ノーマライザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">normalizer</span></tt> という名前のノーマライザーを使います。ノーマライザーは <tt class="docutils literal"><span class="pre">TokenBigrma</span></tt> など、N-gram関連のトークナイザーにとってとても重要です。</p>
 <p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
 <p>以下はノーマライザーを使わない例です。</p>
@@ -453,62 +523,77 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Fu&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
 #       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
 #       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
 #       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
 #       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot; S&quot;
 #     },
 #     {
 #       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;Se&quot;
 #     },
 #     {
 #       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
 #       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
 #       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 14,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;h&quot;
 #     }
 #   ]
@@ -528,10 +613,12 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;fulltext&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;search&quot;
 #     }
 #   ]
@@ -551,58 +638,72 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;fu&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
 #       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
 #       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
 #       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
 #       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;t&quot;
 #     },
 #     {
 #       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;se&quot;
 #     },
 #     {
 #       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
 #       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
 #       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
 #       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;h&quot;
 #     }
 #   ]
@@ -612,7 +713,7 @@
 <p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <tt class="docutils literal"><span class="pre">fu</span></tt> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
-<span id="tokenize-flags"></span><h4>7.3.41.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-flags"></span><h4>7.3.44.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズ処理をカスタマイズするオプションを指定します。「 <tt class="docutils literal"><span class="pre">|</span></tt> 」で区切って複数のオプションを指定することができます。例えば、 <tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt> というように指定できます。</p>
 <p>指定可能なフラグは以下の通りです。</p>
 <table border="1" class="docutils">
@@ -650,14 +751,17 @@
 #   [
 #     {
 #       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;full&quot;
 #     },
 #     {
 #       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;text sea&quot;
 #     },
 #     {
 #       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
 #       &quot;value&quot;: &quot;crch&quot;
 #     }
 #   ]
@@ -667,7 +771,7 @@
 <p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <tt class="docutils literal"><span class="pre">U+FFFE</span></tt> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 <div class="section" id="mode">
-<span id="tokenize-mode"></span><h4>7.3.41.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-mode"></span><h4>7.3.44.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズモードを指定します。 <tt class="docutils literal"><span class="pre">ADD</span></tt> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <tt class="docutils literal"><span class="pre">GET</span></tt> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <tt class="docutils literal"><span class="pre">ADD</span></tt> モードでトークナイズされます。</p>
 <p>デフォルトのモードは <tt class="docutils literal"><span class="pre">ADD</span></tt> です。</p>
 <p>以下は <tt class="docutils literal"><span class="pre">ADD</span></tt> モードの例です。</p>
@@ -676,69 +780,84 @@
 # [
 #   [
 #     0,
-#     1408017697.66886,
-#     0.00126171112060547
+#     1337566253.89858,
+#     0.000355720520019531
 #   ],
 #   [
 #     {
-#       &quot;value&quot;: &quot;Fu&quot;,
-#       &quot;position&quot;: 0
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;Fu&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ul&quot;,
-#       &quot;position&quot;: 1
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ll&quot;,
-#       &quot;position&quot;: 2
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;lt&quot;,
-#       &quot;position&quot;: 3
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;te&quot;,
-#       &quot;position&quot;: 4
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ex&quot;,
-#       &quot;position&quot;: 5
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;xt&quot;,
-#       &quot;position&quot;: 6
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;t &quot;,
-#       &quot;position&quot;: 7
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot; S&quot;,
-#       &quot;position&quot;: 8
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot; S&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;Se&quot;,
-#       &quot;position&quot;: 9
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;Se&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ea&quot;,
-#       &quot;position&quot;: 10
+#       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ar&quot;,
-#       &quot;position&quot;: 11
+#       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;rc&quot;,
-#       &quot;position&quot;: 12
+#       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ch&quot;,
-#       &quot;position&quot;: 13
+#       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ch&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;h&quot;,
-#       &quot;position&quot;: 14
+#       &quot;position&quot;: 14,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;h&quot;
 #     }
 #   ]
 # ]
@@ -751,65 +870,79 @@
 # [
 #   [
 #     0,
-#     1408017732.62883,
-#     0.000665903091430664
+#     1337566253.89858,
+#     0.000355720520019531
 #   ],
 #   [
 #     {
-#       &quot;value&quot;: &quot;Fu&quot;,
-#       &quot;position&quot;: 0
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;Fu&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ul&quot;,
-#       &quot;position&quot;: 1
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ul&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ll&quot;,
-#       &quot;position&quot;: 2
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ll&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;lt&quot;,
-#       &quot;position&quot;: 3
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;lt&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;te&quot;,
-#       &quot;position&quot;: 4
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;te&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ex&quot;,
-#       &quot;position&quot;: 5
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ex&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;xt&quot;,
-#       &quot;position&quot;: 6
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;xt&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;t &quot;,
-#       &quot;position&quot;: 7
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;t &quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot; S&quot;,
-#       &quot;position&quot;: 8
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot; S&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;Se&quot;,
-#       &quot;position&quot;: 9
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;Se&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ea&quot;,
-#       &quot;position&quot;: 10
+#       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ea&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ar&quot;,
-#       &quot;position&quot;: 11
+#       &quot;position&quot;: 11,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ar&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;rc&quot;,
-#       &quot;position&quot;: 12
+#       &quot;position&quot;: 12,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;rc&quot;
 #     },
 #     {
-#       &quot;value&quot;: &quot;ch&quot;,
-#       &quot;position&quot;: 13
+#       &quot;position&quot;: 13,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ch&quot;
 #     }
 #   ]
 # ]
@@ -818,14 +951,14 @@
 <p>最後のアルファベットは2文字でトークナイズされています。</p>
 </div>
 <div class="section" id="token-filters">
-<span id="tokenize-token-filters"></span><h4>7.3.41.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-token-filters"></span><h4>7.3.44.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークンフィルターを指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">token_filters</span></tt> という名前のトークンフィルターを使います。</p>
 <p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><em>トークンフィルター</em></a> を参照してください。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
-<span id="tokenize-return-value"></span><h2>7.3.41.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<span id="tokenize-return-value"></span><h2>7.3.44.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
 <div class="highlight-none"><div class="highlight"><pre>[HEADER, tokens]
 </pre></div>
@@ -863,7 +996,7 @@
 </div></blockquote>
 </div>
 <div class="section" id="see-also">
-<h2>7.3.41.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.44.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
 <li><a class="reference internal" href="../tokenizers.html"><em>トークナイザー</em></a></li>
 </ul>
@@ -878,37 +1011,37 @@
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.41. <tt class="docutils literal"><span class="pre">tokenize</span></tt></a><ul>
-<li><a class="reference internal" href="#summary">7.3.41.1. 概要</a></li>
-<li><a class="reference internal" href="#syntax">7.3.41.2. 構文</a></li>
-<li><a class="reference internal" href="#usage">7.3.41.3. 使い方</a></li>
-<li><a class="reference internal" href="#parameters">7.3.41.4. 引数</a><ul>
-<li><a class="reference internal" href="#required-parameters">7.3.41.4.1. 必須引数</a><ul>
-<li><a class="reference internal" href="#tokenizer">7.3.41.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
-<li><a class="reference internal" href="#string">7.3.41.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
+<li><a class="reference internal" href="#">7.3.44. <tt class="docutils literal"><span class="pre">tokenize</span></tt></a><ul>
+<li><a class="reference internal" href="#summary">7.3.44.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.3.44.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.3.44.3. 使い方</a></li>
+<li><a class="reference internal" href="#parameters">7.3.44.4. 引数</a><ul>
+<li><a class="reference internal" href="#required-parameters">7.3.44.4.1. 必須引数</a><ul>
+<li><a class="reference internal" href="#tokenizer">7.3.44.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
+<li><a class="reference internal" href="#string">7.3.44.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
 </ul>
 </li>
-<li><a class="reference internal" href="#optional-parameters">7.3.41.4.2. 省略可能引数</a><ul>
-<li><a class="reference internal" href="#normalizer">7.3.41.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
-<li><a class="reference internal" href="#flags">7.3.41.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
-<li><a class="reference internal" href="#mode">7.3.41.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt></a></li>
-<li><a class="reference internal" href="#token-filters">7.3.41.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt></a></li>
+<li><a class="reference internal" href="#optional-parameters">7.3.44.4.2. 省略可能引数</a><ul>
+<li><a class="reference internal" href="#normalizer">7.3.44.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
+<li><a class="reference internal" href="#flags">7.3.44.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
+<li><a class="reference internal" href="#mode">7.3.44.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt></a></li>
+<li><a class="reference internal" href="#token-filters">7.3.44.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt></a></li>
 </ul>
 </li>
 </ul>
 </li>
-<li><a class="reference internal" href="#return-value">7.3.41.5. 戻り値</a></li>
-<li><a class="reference internal" href="#see-also">7.3.41.6. 参考</a></li>
+<li><a class="reference internal" href="#return-value">7.3.44.5. 戻り値</a></li>
+<li><a class="reference internal" href="#see-also">7.3.44.6. 参考</a></li>
 </ul>
 </li>
 </ul>
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="table_tokenize.html"
-                        title="前の章へ">7.3.40. <tt class="docutils literal"><span class="pre">table_tokenize</span></tt></a></p>
+                        title="前の章へ">7.3.43. <tt class="docutils literal"><span class="pre">table_tokenize</span></tt></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="tokenizer_list.html"
-                        title="次の章へ">7.3.42. <tt class="docutils literal"><span class="pre">tokenizer_list</span></tt></a></p>
+                        title="次の章へ">7.3.45. <tt class="docutils literal"><span class="pre">tokenizer_list</span></tt></a></p>
   <h3>このページ</h3>
   <ul class="this-page-menu">
     <li><a href="../../_sources/reference/commands/tokenize.txt"
@@ -938,12 +1071,12 @@
           <a href="../../genindex.html" title="総合索引"
              >索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.42. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.45. tokenizer_list"
              >次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.40. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.43. table_tokenize"
              >前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v5.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v5.0.4-139-g6629adbドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" >7.3. コマンド</a> &raquo;</li>
       </ul>