RubyGems - rroonga - Versions diffs - 3.0.2-x86-mingw32 → 3.0.4-x86-mingw32 - Mend

rroonga 3.0.2-x86-mingw32 → 3.0.4-x86-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (375) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -7,7 +7,7 @@
   <head>
     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>8.3.29. tokenize &mdash; groonga v3.0.4ドキュメント</title>
+    <title>8.3.29. tokenize &mdash; groonga v3.0.5ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
@@ -15,7 +15,7 @@
     <script type="text/javascript">
       var DOCUMENTATION_OPTIONS = {
         URL_ROOT:    '../../',
-        VERSION:     '3.0.4',
+        VERSION:     '3.0.5',
         COLLAPSE_INDEX: false,
         FILE_SUFFIX: '.html',
         HAS_SOURCE:  true
@@ -26,7 +26,7 @@
     <script type="text/javascript" src="../../_static/doctools.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
-    <link rel="top" title="groonga v3.0.4ドキュメント" href="../../index.html" />
+    <link rel="top" title="groonga v3.0.5ドキュメント" href="../../index.html" />
     <link rel="up" title="8.3. コマンド" href="../command.html" />
     <link rel="next" title="8.3.30. truncate" href="truncate.html" />
     <link rel="prev" title="8.3.28. table_remove" href="table_remove.html" />
@@ -61,7 +61,7 @@
         <li class="right" >
           <a href="table_remove.html" title="8.3.28. table_remove"
              accesskey="P">前へ</a> |</li>
-        <li><a href="../../index.html">groonga v3.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">groonga v3.0.5ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >8. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" accesskey="U">8.3. コマンド</a> &raquo;</li>
       </ul>
@@ -76,14 +76,11 @@
 <h1>8.3.29. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>8.3.29.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command tokenizes text by the specified tokenizer.
-It is useful to debug tokenization.</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
 <h2>8.3.29.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command has required parameters and optional parameters.
-<tt class="docutils literal"><span class="pre">tokenizer</span></tt> and <tt class="docutils literal"><span class="pre">string</span></tt> are required parameters. Others are
-optional:</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドには必須の引数と省略可能な引数があります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> が必須の引数で、他の引数はすべて省略可能です。</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize tokenizer
          string
          [normalizer=null]
@@ -94,127 +91,613 @@ optional:</p>
 <div class="section" id="usage">
 <h2>8.3.29.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
-<p>It has only required parameters. <tt class="docutils literal"><span class="pre">tokenizer</span></tt> is <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> and
-<tt class="docutils literal"><span class="pre">string</span></tt> is <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt>. It returns tokens that is
-generated by tokenizing <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> with <tt class="docutils literal"><span class="pre">TokenBigram</span></tt>
-tokenizer. It doesn't normalize <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt>.</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>この例では必須のパラメーターだけ使っています。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> には <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> を、 <tt class="docutils literal"><span class="pre">string</span></tt> には <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を指定しています。この例は <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> トークナイザーで <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> をトークナイズしたトークンを返します。この例では <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
 <h2>8.3.29.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
-<h3>8.3.29.4.1. Required parameters<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>8.3.29.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>必須引数は二つあります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> です。</p>
 <div class="section" id="tokenizer">
 <h4>8.3.29.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies the tokenizer name. <tt class="docutils literal"><span class="pre">tokenize</span></tt> command uses the
-tokenizer that is named <tt class="docutils literal"><span class="pre">tokenizer</span></tt>.</p>
-<p>See <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> about built-in tokenizers.</p>
-<p>Here is an example to use <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> tokenizer.</p>
-<p>If you want to use other tokenizers, you need to register additional
-tokenizer plugin by <a class="reference internal" href="register.html"><em>register</em></a> command. For example, you can use
-MySQL compatible normalizer by registering <a class="reference external" href="https://github.com/groonga/groonga-normalizer-mysql">groonga-normalizer-mysql</a>.</p>
+<p>トークナイザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">tokenizer</span></tt> で指定された名前のトークナイザーを使います。</p>
+<p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
+<p>以下は <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> トークナイザーを使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenTrigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Ful&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ull&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;llt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lte&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;tex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ext&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt &quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Sea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ear&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;arc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="https://github.com/groonga/groonga-normalizer-mysql">groonga-normalizer-mysql</a> を登録することでMySQL互換の正規化方法を使うことができます。</p>
 </div>
 <div class="section" id="string">
 <h4>8.3.29.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies any string which you want to tokenize. If you want to
-include spaces in <tt class="docutils literal"><span class="pre">string</span></tt>, you need to quote <tt class="docutils literal"><span class="pre">string</span></tt> by
-single quotation (<tt class="docutils literal"><span class="pre">'</span></tt>) or double quotation (<tt class="docutils literal"><span class="pre">&quot;</span></tt>).</p>
-<p>Here is an example to use spaces in <tt class="docutils literal"><span class="pre">string</span></tt>.</p>
+<p>トークナイズしたい文字列を指定します。 <tt class="docutils literal"><span class="pre">string</span></tt> の中に文字列を含める場合は、シングルクォート（ <tt class="docutils literal"><span class="pre">'</span></tt> ）またはダブルクォート（ <tt class="docutils literal"><span class="pre">&quot;</span></tt> ）で <tt class="docutils literal"><span class="pre">string</span></tt> をクォートする必要があります。</p>
+<p><tt class="docutils literal"><span class="pre">string</span></tt> の中で空白を使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Gr&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ro&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;oo&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;on&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;ng&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ga&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;a &quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot; i&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot;is&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;s &quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot; a&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;a &quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot; f&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;fa&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;as&quot;
+#     },
+#     {
+#       &quot;position&quot;: 15,
+#       &quot;value&quot;: &quot;st&quot;
+#     },
+#     {
+#       &quot;position&quot;: 16,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 17,
+#       &quot;value&quot;: &quot; f&quot;
+#     },
+#     {
+#       &quot;position&quot;: 18,
+#       &quot;value&quot;: &quot;fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 19,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 20,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 21,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 22,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 23,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 24,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 25,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 26,
+#       &quot;value&quot;: &quot; e&quot;
+#     },
+#     {
+#       &quot;position&quot;: 27,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 28,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 29,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 30,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 31,
+#       &quot;value&quot;: &quot;h &quot;
+#     },
+#     {
+#       &quot;position&quot;: 32,
+#       &quot;value&quot;: &quot; e&quot;
+#     },
+#     {
+#       &quot;position&quot;: 33,
+#       &quot;value&quot;: &quot;en&quot;
+#     },
+#     {
+#       &quot;position&quot;: 34,
+#       &quot;value&quot;: &quot;ng&quot;
+#     },
+#     {
+#       &quot;position&quot;: 35,
+#       &quot;value&quot;: &quot;gi&quot;
+#     },
+#     {
+#       &quot;position&quot;: 36,
+#       &quot;value&quot;: &quot;in&quot;
+#     },
+#     {
+#       &quot;position&quot;: 37,
+#       &quot;value&quot;: &quot;ne&quot;
+#     },
+#     {
+#       &quot;position&quot;: 38,
+#       &quot;value&quot;: &quot;e!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 39,
+#       &quot;value&quot;: &quot;!&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
 </div>
 </div>
 <div class="section" id="optional-parameters">
-<h3>8.3.29.4.2. Optional parameters<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>There are optional parameters.</p>
+<h3>8.3.29.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
 <h4>8.3.29.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies the normalizer name. <tt class="docutils literal"><span class="pre">tokenize</span></tt> command uses the
-normalizer that is named <tt class="docutils literal"><span class="pre">normalizer</span></tt>. Normalizer is important for
-N-gram family tokenizers such as <tt class="docutils literal"><span class="pre">TokenBigram</span></tt>.</p>
-<p>Normalizer detects character type for each character while
-normalizing. N-gram family tokenizers use character types while
-tokenizing.</p>
-<p>Here is an example that doesn't use normalizer.</p>
-<p>All alphabets are tokenized by two characters. For example, <tt class="docutils literal"><span class="pre">Fu</span></tt> is
-a token.</p>
-<p>Here is an example that uses normalizer.</p>
-<p>Continuous alphabets are tokenized as one token. For example,
-<tt class="docutils literal"><span class="pre">fulltext</span></tt> is a token.</p>
-<p>If you want to tokenize by two characters with noramlizer, use
-<tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt>.</p>
-<p>All alphabets are tokenized by two characters. And they are normalized
-to lower case characters. For example, <tt class="docutils literal"><span class="pre">fu</span></tt> is a token.</p>
+<p>ノーマライザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">normalizer</span></tt> という名前のノーまライザーを使います。ノーまライザーは <tt class="docutils literal"><span class="pre">TokenBigrma</span></tt> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
+<p>以下はノーマライザーを使わない例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">Fu</span></tt> で1つのトークンになっています。</p>
+<p>以下はノーマライザーを使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;fulltext&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;search&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">fulltext</span></tt> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt> を使って下さい。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot;se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <tt class="docutils literal"><span class="pre">fu</span></tt> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
 <h4>8.3.29.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies a tokenization customize options. You can specify
-multiple options separated by &quot;<tt class="docutils literal"><span class="pre">|</span></tt>&quot;. For example,
-<tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt>.</p>
-<p>Here are available flags.</p>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <tt class="docutils literal"><span class="pre">|</span></tt> 」で区切って複数のオプションを指定することができます。例えば、 <tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt> というように指定できます。</p>
+<p>指定可能なフラグは以下の通りです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
 <col width="50%" />
 </colgroup>
 <thead valign="bottom">
-<tr class="row-odd"><th class="head">Flag</th>
-<th class="head">Description</th>
+<tr class="row-odd"><th class="head"><p class="first last">フラグ</p>
+</th>
+<th class="head"><p class="first last">説明</p>
+</th>
 </tr>
 </thead>
 <tbody valign="top">
 <tr class="row-even"><td><tt class="docutils literal"><span class="pre">NONE</span></tt></td>
-<td>Just ignored.</td>
+<td><p class="first last">無視されます。</p>
+</td>
 </tr>
 <tr class="row-odd"><td><tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt></td>
-<td>Enables tokenized delimiter. See <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> about
-tokenized delimiter details.</td>
+<td><p class="first last">トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
+</td>
 </tr>
 </tbody>
 </table>
-<p>Here is an example that uses <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt>.</p>
-<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> tokenizer is one of tokenized delimiter supported
-tokenizer. <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> enables tokenized delimiter.
-Tokenized delimiter is special character that indicates token
-border. It is <cite>U+FFFE</cite>. The character is not assigned any
-character. It means that the character is not appeared in normal
-string. So the character is good character for this puropose. If
-<tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> is enabled, the target string is
-treated as already tokenized string. Tokenizer just tokenizes by
-tokenized delimiter.</p>
+<p>以下は <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> を使った例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;full&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;text sea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;crch&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <tt class="docutils literal"><span class="pre">U+FFFE</span></tt> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
 <h2>8.3.29.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command returns tokenized tokens. Each token has some
-attributes except token itself. The attributes will be increased in
-the feature:</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
 <div class="highlight-none"><div class="highlight"><pre>[HEADER, tokens]
 </pre></div>
 </div>
 <p><tt class="docutils literal"><span class="pre">HEADER</span></tt></p>
 <blockquote>
-<div>See <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> about <tt class="docutils literal"><span class="pre">HEADER</span></tt>.</div></blockquote>
+<div><p><tt class="docutils literal"><span class="pre">HEADER</span></tt> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
+</div></blockquote>
 <p><tt class="docutils literal"><span class="pre">tokens</span></tt></p>
 <blockquote>
-<div><p>Tokens is an array of token. Token is an object that has the following
-attributes.</p>
+<div><p><tt class="docutils literal"><span class="pre">tokens</span></tt> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
 <col width="50%" />
 </colgroup>
 <thead valign="bottom">
-<tr class="row-odd"><th class="head">Name</th>
-<th class="head">Description</th>
+<tr class="row-odd"><th class="head"><p class="first last">名前</p>
+</th>
+<th class="head"><p class="first last">説明</p>
+</th>
 </tr>
 </thead>
 <tbody valign="top">
 <tr class="row-even"><td><tt class="docutils literal"><span class="pre">value</span></tt></td>
-<td>Token itself.</td>
+<td><p class="first last">トークン自身</p>
+</td>
 </tr>
 <tr class="row-odd"><td><tt class="docutils literal"><span class="pre">position</span></tt></td>
-<td>The N-th token.</td>
+<td><p class="first last">N番目のトークン。</p>
+</td>
 </tr>
 </tbody>
 </table>
@@ -241,12 +724,12 @@ attributes.</p>
 <li><a class="reference internal" href="#syntax">8.3.29.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">8.3.29.3. 使い方</a></li>
 <li><a class="reference internal" href="#parameters">8.3.29.4. 引数</a><ul>
-<li><a class="reference internal" href="#required-parameters">8.3.29.4.1. Required parameters</a><ul>
+<li><a class="reference internal" href="#required-parameters">8.3.29.4.1. 必須引数</a><ul>
 <li><a class="reference internal" href="#tokenizer">8.3.29.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
 <li><a class="reference internal" href="#string">8.3.29.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
 </ul>
 </li>
-<li><a class="reference internal" href="#optional-parameters">8.3.29.4.2. Optional parameters</a><ul>
+<li><a class="reference internal" href="#optional-parameters">8.3.29.4.2. 省略可能引数</a><ul>
 <li><a class="reference internal" href="#normalizer">8.3.29.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
 <li><a class="reference internal" href="#flags">8.3.29.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
 </ul>
@@ -299,7 +782,7 @@ attributes.</p>
         <li class="right" >
           <a href="table_remove.html" title="8.3.28. table_remove"
              >前へ</a> |</li>
-        <li><a href="../../index.html">groonga v3.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">groonga v3.0.5ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >8. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" >8.3. コマンド</a> &raquo;</li>
       </ul>