RubyGems - rroonga - Versions diffs - 3.0.2-x86-mingw32 → 3.0.4-x86-mingw32 - Mend

rroonga 3.0.2-x86-mingw32 → 3.0.4-x86-mingw32

Files changed (375) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -7,7 +7,7 @@
   <head>
     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>8.3.29. tokenize &mdash; groonga v3.0.4ドキュメント</title>
+    <title>8.3.29. tokenize &mdash; groonga v3.0.5ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
@@ -15,7 +15,7 @@
     <script type="text/javascript">
       var DOCUMENTATION_OPTIONS = {
         URL_ROOT:    '../../',
-        VERSION:     '3.0.4',
+        VERSION:     '3.0.5',
         COLLAPSE_INDEX: false,
         FILE_SUFFIX: '.html',
         HAS_SOURCE:  true
@@ -26,7 +26,7 @@
     <script type="text/javascript" src="../../_static/doctools.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
-    <link rel="top" title="groonga v3.0.4ドキュメント" href="../../index.html" />
+    <link rel="top" title="groonga v3.0.5ドキュメント" href="../../index.html" />
     <link rel="up" title="8.3. コマンド" href="../command.html" />
     <link rel="next" title="8.3.30. truncate" href="truncate.html" />
     <link rel="prev" title="8.3.28. table_remove" href="table_remove.html" />
@@ -61,7 +61,7 @@
         <li class="right" >
           <a href="table_remove.html" title="8.3.28. table_remove"
              accesskey="P">前へ</a> |</li>
-        <li><a href="../../index.html">groonga v3.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">groonga v3.0.5ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >8. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" accesskey="U">8.3. コマンド</a> &raquo;</li>
       </ul>
@@ -76,14 +76,11 @@
 <h1>8.3.29. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>8.3.29.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command tokenizes text by the specified tokenizer.
-It is useful to debug tokenization.</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
 <h2>8.3.29.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command has required parameters and optional parameters.
-<tt class="docutils literal"><span class="pre">tokenizer</span></tt> and <tt class="docutils literal"><span class="pre">string</span></tt> are required parameters. Others are
-optional:</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドには必須の引数と省略可能な引数があります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> が必須の引数で、他の引数はすべて省略可能です。</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize tokenizer
          string
          [normalizer=null]
@@ -94,127 +91,613 @@ optional:</p>
 <div class="section" id="usage">
 <h2>8.3.29.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
-<p>It has only required parameters. <tt class="docutils literal"><span class="pre">tokenizer</span></tt> is <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> and
-<tt class="docutils literal"><span class="pre">string</span></tt> is <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt>. It returns tokens that is
-generated by tokenizing <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> with <tt class="docutils literal"><span class="pre">TokenBigram</span></tt>
-tokenizer. It doesn't normalize <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt>.</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>この例では必須のパラメーターだけ使っています。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> には <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> を、 <tt class="docutils literal"><span class="pre">string</span></tt> には <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を指定しています。この例は <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> トークナイザーで <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> をトークナイズしたトークンを返します。この例では <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
 <h2>8.3.29.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
-<h3>8.3.29.4.1. Required parameters<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>8.3.29.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>必須引数は二つあります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> です。</p>
 <div class="section" id="tokenizer">
 <h4>8.3.29.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies the tokenizer name. <tt class="docutils literal"><span class="pre">tokenize</span></tt> command uses the
-tokenizer that is named <tt class="docutils literal"><span class="pre">tokenizer</span></tt>.</p>
-<p>See <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> about built-in tokenizers.</p>
-<p>Here is an example to use <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> tokenizer.</p>
-<p>If you want to use other tokenizers, you need to register additional
-tokenizer plugin by <a class="reference internal" href="register.html"><em>register</em></a> command. For example, you can use
-MySQL compatible normalizer by registering <a class="reference external" href="https://github.com/groonga/groonga-normalizer-mysql">groonga-normalizer-mysql</a>.</p>
+<p>トークナイザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">tokenizer</span></tt> で指定された名前のトークナイザーを使います。</p>
+<p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
+<p>以下は <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> トークナイザーを使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenTrigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Ful&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ull&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;llt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lte&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;tex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ext&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt &quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Sea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ear&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;arc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="https://github.com/groonga/groonga-normalizer-mysql">groonga-normalizer-mysql</a> を登録することでMySQL互換の正規化方法を使うことができます。</p>
 </div>
 <div class="section" id="string">
 <h4>8.3.29.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies any string which you want to tokenize. If you want to
-include spaces in <tt class="docutils literal"><span class="pre">string</span></tt>, you need to quote <tt class="docutils literal"><span class="pre">string</span></tt> by
-single quotation (<tt class="docutils literal"><span class="pre">'</span></tt>) or double quotation (<tt class="docutils literal"><span class="pre">&quot;</span></tt>).</p>
-<p>Here is an example to use spaces in <tt class="docutils literal"><span class="pre">string</span></tt>.</p>
+<p>トークナイズしたい文字列を指定します。 <tt class="docutils literal"><span class="pre">string</span></tt> の中に文字列を含める場合は、シングルクォート（ <tt class="docutils literal"><span class="pre">'</span></tt> ）またはダブルクォート（ <tt class="docutils literal"><span class="pre">&quot;</span></tt> ）で <tt class="docutils literal"><span class="pre">string</span></tt> をクォートする必要があります。</p>
+<p><tt class="docutils literal"><span class="pre">string</span></tt> の中で空白を使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Gr&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ro&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;oo&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;on&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;ng&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ga&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;a &quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot; i&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot;is&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;s &quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot; a&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;a &quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot; f&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;fa&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;as&quot;
+#     },
+#     {
+#       &quot;position&quot;: 15,
+#       &quot;value&quot;: &quot;st&quot;
+#     },
+#     {
+#       &quot;position&quot;: 16,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 17,
+#       &quot;value&quot;: &quot; f&quot;
+#     },
+#     {
+#       &quot;position&quot;: 18,
+#       &quot;value&quot;: &quot;fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 19,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 20,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 21,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 22,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 23,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 24,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 25,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 26,
+#       &quot;value&quot;: &quot; e&quot;
+#     },
+#     {
+#       &quot;position&quot;: 27,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 28,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 29,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 30,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 31,
+#       &quot;value&quot;: &quot;h &quot;
+#     },
+#     {
+#       &quot;position&quot;: 32,
+#       &quot;value&quot;: &quot; e&quot;
+#     },
+#     {
+#       &quot;position&quot;: 33,
+#       &quot;value&quot;: &quot;en&quot;
+#     },
+#     {
+#       &quot;position&quot;: 34,
+#       &quot;value&quot;: &quot;ng&quot;
+#     },
+#     {
+#       &quot;position&quot;: 35,
+#       &quot;value&quot;: &quot;gi&quot;
+#     },
+#     {
+#       &quot;position&quot;: 36,
+#       &quot;value&quot;: &quot;in&quot;
+#     },
+#     {
+#       &quot;position&quot;: 37,
+#       &quot;value&quot;: &quot;ne&quot;
+#     },
+#     {
+#       &quot;position&quot;: 38,
+#       &quot;value&quot;: &quot;e!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 39,
+#       &quot;value&quot;: &quot;!&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
 </div>
 </div>
 <div class="section" id="optional-parameters">
-<h3>8.3.29.4.2. Optional parameters<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>There are optional parameters.</p>
+<h3>8.3.29.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
 <h4>8.3.29.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies the normalizer name. <tt class="docutils literal"><span class="pre">tokenize</span></tt> command uses the
-normalizer that is named <tt class="docutils literal"><span class="pre">normalizer</span></tt>. Normalizer is important for
-N-gram family tokenizers such as <tt class="docutils literal"><span class="pre">TokenBigram</span></tt>.</p>
-<p>Normalizer detects character type for each character while
-normalizing. N-gram family tokenizers use character types while
-tokenizing.</p>
-<p>Here is an example that doesn't use normalizer.</p>
-<p>All alphabets are tokenized by two characters. For example, <tt class="docutils literal"><span class="pre">Fu</span></tt> is
-a token.</p>
-<p>Here is an example that uses normalizer.</p>
-<p>Continuous alphabets are tokenized as one token. For example,
-<tt class="docutils literal"><span class="pre">fulltext</span></tt> is a token.</p>
-<p>If you want to tokenize by two characters with noramlizer, use
-<tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt>.</p>
-<p>All alphabets are tokenized by two characters. And they are normalized
-to lower case characters. For example, <tt class="docutils literal"><span class="pre">fu</span></tt> is a token.</p>
+<p>ノーマライザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">normalizer</span></tt> という名前のノーまライザーを使います。ノーまライザーは <tt class="docutils literal"><span class="pre">TokenBigrma</span></tt> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
+<p>以下はノーマライザーを使わない例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;Fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t &quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot; S&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;Se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 14,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">Fu</span></tt> で1つのトークンになっています。</p>
+<p>以下はノーマライザーを使う例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;fulltext&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;search&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">fulltext</span></tt> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt> を使って下さい。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;fu&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;ul&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;value&quot;: &quot;lt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;value&quot;: &quot;te&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;value&quot;: &quot;ex&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;value&quot;: &quot;xt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;value&quot;: &quot;t&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;value&quot;: &quot;se&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;value&quot;: &quot;ea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;value&quot;: &quot;ar&quot;
+#     },
+#     {
+#       &quot;position&quot;: 11,
+#       &quot;value&quot;: &quot;rc&quot;
+#     },
+#     {
+#       &quot;position&quot;: 12,
+#       &quot;value&quot;: &quot;ch&quot;
+#     },
+#     {
+#       &quot;position&quot;: 13,
+#       &quot;value&quot;: &quot;h&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <tt class="docutils literal"><span class="pre">fu</span></tt> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
 <h4>8.3.29.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>It specifies a tokenization customize options. You can specify
-multiple options separated by &quot;<tt class="docutils literal"><span class="pre">|</span></tt>&quot;. For example,
-<tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt>.</p>
-<p>Here are available flags.</p>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <tt class="docutils literal"><span class="pre">|</span></tt> 」で区切って複数のオプションを指定することができます。例えば、 <tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt> というように指定できます。</p>
+<p>指定可能なフラグは以下の通りです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
 <col width="50%" />
 </colgroup>
 <thead valign="bottom">
-<tr class="row-odd"><th class="head">Flag</th>
-<th class="head">Description</th>
+<tr class="row-odd"><th class="head"><p class="first last">フラグ</p>
+</th>
+<th class="head"><p class="first last">説明</p>
+</th>
 </tr>
 </thead>
 <tbody valign="top">
 <tr class="row-even"><td><tt class="docutils literal"><span class="pre">NONE</span></tt></td>
-<td>Just ignored.</td>
+<td><p class="first last">無視されます。</p>
+</td>
 </tr>
 <tr class="row-odd"><td><tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt></td>
-<td>Enables tokenized delimiter. See <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> about
-tokenized delimiter details.</td>
+<td><p class="first last">トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
+</td>
 </tr>
 </tbody>
 </table>
-<p>Here is an example that uses <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt>.</p>
-<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> tokenizer is one of tokenized delimiter supported
-tokenizer. <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> enables tokenized delimiter.
-Tokenized delimiter is special character that indicates token
-border. It is <cite>U+FFFE</cite>. The character is not assigned any
-character. It means that the character is not appeared in normal
-string. So the character is good character for this puropose. If
-<tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> is enabled, the target string is
-treated as already tokenized string. Tokenizer just tokenizes by
-tokenized delimiter.</p>
+<p>以下は <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> を使った例です。</p>
+<p>実行例:</p>
+<div class="highlight-none"><div class="highlight"><pre>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;value&quot;: &quot;full&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;value&quot;: &quot;text sea&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;value&quot;: &quot;crch&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <tt class="docutils literal"><span class="pre">U+FFFE</span></tt> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
 <h2>8.3.29.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> command returns tokenized tokens. Each token has some
-attributes except token itself. The attributes will be increased in
-the feature:</p>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
 <div class="highlight-none"><div class="highlight"><pre>[HEADER, tokens]
 </pre></div>
 </div>
 <p><tt class="docutils literal"><span class="pre">HEADER</span></tt></p>
 <blockquote>
-<div>See <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> about <tt class="docutils literal"><span class="pre">HEADER</span></tt>.</div></blockquote>
+<div><p><tt class="docutils literal"><span class="pre">HEADER</span></tt> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
+</div></blockquote>
 <p><tt class="docutils literal"><span class="pre">tokens</span></tt></p>
 <blockquote>
-<div><p>Tokens is an array of token. Token is an object that has the following
-attributes.</p>
+<div><p><tt class="docutils literal"><span class="pre">tokens</span></tt> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
 <col width="50%" />
 </colgroup>
 <thead valign="bottom">
-<tr class="row-odd"><th class="head">Name</th>
-<th class="head">Description</th>
+<tr class="row-odd"><th class="head"><p class="first last">名前</p>
+</th>
+<th class="head"><p class="first last">説明</p>
+</th>
 </tr>
 </thead>
 <tbody valign="top">
 <tr class="row-even"><td><tt class="docutils literal"><span class="pre">value</span></tt></td>
-<td>Token itself.</td>
+<td><p class="first last">トークン自身</p>
+</td>
 </tr>
 <tr class="row-odd"><td><tt class="docutils literal"><span class="pre">position</span></tt></td>
-<td>The N-th token.</td>
+<td><p class="first last">N番目のトークン。</p>
+</td>
 </tr>
 </tbody>
 </table>
@@ -241,12 +724,12 @@ attributes.</p>
 <li><a class="reference internal" href="#syntax">8.3.29.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">8.3.29.3. 使い方</a></li>
 <li><a class="reference internal" href="#parameters">8.3.29.4. 引数</a><ul>
-<li><a class="reference internal" href="#required-parameters">8.3.29.4.1. Required parameters</a><ul>
+<li><a class="reference internal" href="#required-parameters">8.3.29.4.1. 必須引数</a><ul>
 <li><a class="reference internal" href="#tokenizer">8.3.29.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
 <li><a class="reference internal" href="#string">8.3.29.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
 </ul>
 </li>
-<li><a class="reference internal" href="#optional-parameters">8.3.29.4.2. Optional parameters</a><ul>
+<li><a class="reference internal" href="#optional-parameters">8.3.29.4.2. 省略可能引数</a><ul>
 <li><a class="reference internal" href="#normalizer">8.3.29.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
 <li><a class="reference internal" href="#flags">8.3.29.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
 </ul>
@@ -299,7 +782,7 @@ attributes.</p>
         <li class="right" >
           <a href="table_remove.html" title="8.3.28. table_remove"
              >前へ</a> |</li>
-        <li><a href="../../index.html">groonga v3.0.4ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">groonga v3.0.5ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >8. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" >8.3. コマンド</a> &raquo;</li>
       </ul>