RubyGems - rroonga - Versions diffs - 5.0.0-x64-mingw32 → 5.0.1-x64-mingw32 - Mend

rroonga 5.0.0-x64-mingw32 → 5.0.1-x64-mingw32

Files changed (733) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -7,7 +7,7 @@
   <head>
     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.37. tokenize &mdash; Groonga v5.0.0ドキュメント</title>
+    <title>7.3.41. tokenize &mdash; Groonga v5.0.1-42-g4d10df1ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
@@ -15,7 +15,7 @@
     <script type="text/javascript">
       var DOCUMENTATION_OPTIONS = {
         URL_ROOT:    '../../',
-        VERSION:     '5.0.0',
+        VERSION:     '5.0.1-42-g4d10df1',
         COLLAPSE_INDEX: false,
         FILE_SUFFIX: '.html',
         HAS_SOURCE:  true
@@ -26,12 +26,12 @@
     <script type="text/javascript" src="../../_static/doctools.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
-    <link rel="top" title="Groonga v5.0.0ドキュメント" href="../../index.html" />
+    <link rel="top" title="Groonga v5.0.1-42-g4d10df1ドキュメント" href="../../index.html" />
     <link rel="up" title="7.3. コマンド" href="../command.html" />
-    <link rel="next" title="7.3.38. tokenizer_list" href="tokenizer_list.html" />
-    <link rel="prev" title="7.3.36. table_tokenize" href="table_tokenize.html" />
+    <link rel="next" title="7.3.42. tokenizer_list" href="tokenizer_list.html" />
+    <link rel="prev" title="7.3.40. table_tokenize" href="table_tokenize.html" />
   </head>
-  <body role="document">
+  <body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -49,19 +49,19 @@
 </div>
-    <div class="related" role="navigation" aria-label="related navigation">
+    <div class="related">
       <h3>ナビゲーション</h3>
       <ul>
         <li class="right" style="margin-right: 10px">
           <a href="../../genindex.html" title="総合索引"
              accesskey="I">索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.38. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.42. tokenizer_list"
              accesskey="N">次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.36. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.40. table_tokenize"
              accesskey="P">前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v5.0.0ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v5.0.1-42-g4d10df1ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" accesskey="U">7.3. コマンド</a> &raquo;</li>
       </ul>
@@ -70,17 +70,17 @@
     <div class="document">
       <div class="documentwrapper">
         <div class="bodywrapper">
-          <div class="body" role="main">
+          <div class="body">
   <div class="section" id="tokenize">
-<h1>7.3.37. <code class="docutils literal"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.41. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
-<h2>7.3.37.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
+<h2>7.3.41.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
-<h2>7.3.37.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドには必須の引数と省略可能な引数があります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略可能です。</p>
+<h2>7.3.41.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドには必須の引数と省略可能な引数があります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> が必須の引数で、他の引数はすべて省略可能です。</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize tokenizer
          string
          [normalizer=null]
@@ -91,7 +91,7 @@
 </div>
 </div>
 <div class="section" id="usage">
-<h2>7.3.37.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.41.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
@@ -166,19 +166,19 @@
 # ]
 </pre></div>
 </div>
-<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal"><span class="pre">tokenizer</span></code> には <code class="docutils literal"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal"><span class="pre">string</span></code> には <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
+<p>この例では必須のパラメーターだけ使っています。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> には <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> を、 <tt class="docutils literal"><span class="pre">string</span></tt> には <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を指定しています。この例は <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> トークナイザーで <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> をトークナイズしたトークンを返します。この例では <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
-<h2>7.3.37.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.41.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
-<h3>7.3.37.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>必須引数は二つあります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> です。</p>
+<h3>7.3.41.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>必須引数は二つあります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> です。</p>
 <div class="section" id="tokenizer">
-<span id="tokenize-tokenizer"></span><h4>7.3.37.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
-<p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
-<p>以下は組み込みの <code class="docutils literal"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
+<span id="tokenize-tokenizer"></span><h4>7.3.41.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">tokenizer</span></tt> で指定された名前のトークナイザーを使います。</p>
+<p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>トークナイザー</em></a> を参照してください。</p>
+<p>以下は組み込みの <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> トークナイザーを使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenTrigram &quot;Fulltext Search&quot;
 # [
@@ -252,13 +252,13 @@
 # ]
 </pre></div>
 </div>
-<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <tt class="docutils literal"><span class="pre">tokenizers/kytea</span></tt> を登録することで使えます。</p>
 </div>
 <div class="section" id="string">
-<span id="tokenize-string"></span><h4>7.3.37.4.1.2. <code class="docutils literal"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-string"></span><h4>7.3.41.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズしたい文字列を指定します。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal"><span class="pre">&quot;</span></code> ）で <code class="docutils literal"><span class="pre">string</span></code> をクォートする必要があります。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中で空白を使う例です。</p>
+<p><tt class="docutils literal"><span class="pre">string</span></tt> の中に文字列を含める場合は、シングルクォート（ <tt class="docutils literal"><span class="pre">'</span></tt> ）またはダブルクォート（ <tt class="docutils literal"><span class="pre">&quot;</span></tt> ）で <tt class="docutils literal"><span class="pre">string</span></tt> をクォートする必要があります。</p>
+<p><tt class="docutils literal"><span class="pre">string</span></tt> の中で空白を使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
 # [
@@ -435,11 +435,11 @@
 </div>
 </div>
 <div class="section" id="optional-parameters">
-<h3>7.3.37.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>7.3.41.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
-<span id="tokenize-normalizer"></span><h4>7.3.37.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>ノーマライザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<span id="tokenize-normalizer"></span><h4>7.3.41.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>ノーマライザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">normalizer</span></tt> という名前のノーマライザーを使います。ノーマライザーは <tt class="docutils literal"><span class="pre">TokenBigrma</span></tt> など、N-gram関連のトークナイザーにとってとても重要です。</p>
 <p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
 <p>以下はノーマライザーを使わない例です。</p>
 <p>実行例:</p>
@@ -515,7 +515,7 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">Fu</span></tt> で1つのトークンになっています。</p>
 <p>以下はノーマライザーを使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
@@ -538,8 +538,8 @@
 # ]
 </pre></div>
 </div>
-<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
-<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">fulltext</span></tt> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt> を使って下さい。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
 # [
@@ -609,11 +609,11 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <tt class="docutils literal"><span class="pre">fu</span></tt> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
-<span id="tokenize-flags"></span><h4>7.3.37.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
+<span id="tokenize-flags"></span><h4>7.3.41.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <tt class="docutils literal"><span class="pre">|</span></tt> 」で区切って複数のオプションを指定することができます。例えば、 <tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt> というように指定できます。</p>
 <p>指定可能なフラグは以下の通りです。</p>
 <table border="1" class="docutils">
 <colgroup>
@@ -628,17 +628,17 @@
 </tr>
 </thead>
 <tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">NONE</span></code></td>
+<tr class="row-even"><td><tt class="docutils literal"><span class="pre">NONE</span></tt></td>
 <td><p class="first last">無視されます。</p>
 </td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></td>
-<td><p class="first last">トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
+<tr class="row-odd"><td><tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt></td>
+<td><p class="first last">トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><em>トークナイザー</em></a> を参照してください。</p>
 </td>
 </tr>
 </tbody>
 </table>
-<p>以下は <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
+<p>以下は <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> を使った例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
 # [
@@ -664,13 +664,13 @@
 # ]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
+<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <tt class="docutils literal"><span class="pre">U+FFFE</span></tt> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 <div class="section" id="mode">
-<span id="tokenize-mode"></span><h4>7.3.37.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズモードを指定します。 <code class="docutils literal"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
-<p>デフォルトのモードは <code class="docutils literal"><span class="pre">ADD</span></code> です。</p>
-<p>以下は <code class="docutils literal"><span class="pre">ADD</span></code> モードの例です。</p>
+<span id="tokenize-mode"></span><h4>7.3.41.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズモードを指定します。 <tt class="docutils literal"><span class="pre">ADD</span></tt> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <tt class="docutils literal"><span class="pre">GET</span></tt> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <tt class="docutils literal"><span class="pre">ADD</span></tt> モードでトークナイズされます。</p>
+<p>デフォルトのモードは <tt class="docutils literal"><span class="pre">ADD</span></tt> です。</p>
+<p>以下は <tt class="docutils literal"><span class="pre">ADD</span></tt> モードの例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
 # [
@@ -745,7 +745,7 @@
 </pre></div>
 </div>
 <p>最後のアルファベットは1文字でトークナイズされています。</p>
-<p>以下は <code class="docutils literal"><span class="pre">GET</span></code> モードの例です。</p>
+<p>以下は <tt class="docutils literal"><span class="pre">GET</span></tt> モードの例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
 # [
@@ -818,25 +818,25 @@
 <p>最後のアルファベットは2文字でトークナイズされています。</p>
 </div>
 <div class="section" id="token-filters">
-<span id="tokenize-token-filters"></span><h4>7.3.37.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークンフィルターを指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
+<span id="tokenize-token-filters"></span><h4>7.3.41.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークンフィルターを指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">token_filters</span></tt> という名前のトークンフィルターを使います。</p>
 <p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><em>トークンフィルター</em></a> を参照してください。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
-<span id="tokenize-return-value"></span><h2>7.3.37.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
+<span id="tokenize-return-value"></span><h2>7.3.41.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
 <div class="highlight-none"><div class="highlight"><pre>[HEADER, tokens]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
+<p><tt class="docutils literal"><span class="pre">HEADER</span></tt></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
+<div><p><tt class="docutils literal"><span class="pre">HEADER</span></tt> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
 </div></blockquote>
-<p><code class="docutils literal"><span class="pre">tokens</span></code></p>
+<p><tt class="docutils literal"><span class="pre">tokens</span></tt></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
+<div><p><tt class="docutils literal"><span class="pre">tokens</span></tt> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
@@ -850,11 +850,11 @@
 </tr>
 </thead>
 <tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">value</span></code></td>
+<tr class="row-even"><td><tt class="docutils literal"><span class="pre">value</span></tt></td>
 <td><p class="first last">トークン自身</p>
 </td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">position</span></code></td>
+<tr class="row-odd"><td><tt class="docutils literal"><span class="pre">position</span></tt></td>
 <td><p class="first last">N番目のトークン。</p>
 </td>
 </tr>
@@ -863,9 +863,9 @@
 </div></blockquote>
 </div>
 <div class="section" id="see-also">
-<h2>7.3.37.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.41.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
-<li><a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a></li>
+<li><a class="reference internal" href="../tokenizers.html"><em>トークナイザー</em></a></li>
 </ul>
 </div>
 </div>
@@ -874,49 +874,47 @@
           </div>
         </div>
       </div>
-      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+      <div class="sphinxsidebar">
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.37. <code class="docutils literal"><span class="pre">tokenize</span></code></a><ul>
-<li><a class="reference internal" href="#summary">7.3.37.1. 概要</a></li>
-<li><a class="reference internal" href="#syntax">7.3.37.2. 構文</a></li>
-<li><a class="reference internal" href="#usage">7.3.37.3. 使い方</a></li>
-<li><a class="reference internal" href="#parameters">7.3.37.4. 引数</a><ul>
-<li><a class="reference internal" href="#required-parameters">7.3.37.4.1. 必須引数</a><ul>
-<li><a class="reference internal" href="#tokenizer">7.3.37.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code></a></li>
-<li><a class="reference internal" href="#string">7.3.37.4.1.2. <code class="docutils literal"><span class="pre">string</span></code></a></li>
+<li><a class="reference internal" href="#">7.3.41. <tt class="docutils literal"><span class="pre">tokenize</span></tt></a><ul>
+<li><a class="reference internal" href="#summary">7.3.41.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.3.41.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.3.41.3. 使い方</a></li>
+<li><a class="reference internal" href="#parameters">7.3.41.4. 引数</a><ul>
+<li><a class="reference internal" href="#required-parameters">7.3.41.4.1. 必須引数</a><ul>
+<li><a class="reference internal" href="#tokenizer">7.3.41.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
+<li><a class="reference internal" href="#string">7.3.41.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
 </ul>
 </li>
-<li><a class="reference internal" href="#optional-parameters">7.3.37.4.2. 省略可能引数</a><ul>
-<li><a class="reference internal" href="#normalizer">7.3.37.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code></a></li>
-<li><a class="reference internal" href="#flags">7.3.37.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code></a></li>
-<li><a class="reference internal" href="#mode">7.3.37.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code></a></li>
-<li><a class="reference internal" href="#token-filters">7.3.37.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code></a></li>
+<li><a class="reference internal" href="#optional-parameters">7.3.41.4.2. 省略可能引数</a><ul>
+<li><a class="reference internal" href="#normalizer">7.3.41.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
+<li><a class="reference internal" href="#flags">7.3.41.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
+<li><a class="reference internal" href="#mode">7.3.41.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt></a></li>
+<li><a class="reference internal" href="#token-filters">7.3.41.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt></a></li>
 </ul>
 </li>
 </ul>
 </li>
-<li><a class="reference internal" href="#return-value">7.3.37.5. 戻り値</a></li>
-<li><a class="reference internal" href="#see-also">7.3.37.6. 参考</a></li>
+<li><a class="reference internal" href="#return-value">7.3.41.5. 戻り値</a></li>
+<li><a class="reference internal" href="#see-also">7.3.41.6. 参考</a></li>
 </ul>
 </li>
 </ul>
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="table_tokenize.html"
-                        title="前の章へ">7.3.36. <code class="docutils literal"><span class="pre">table_tokenize</span></code></a></p>
+                        title="前の章へ">7.3.40. <tt class="docutils literal"><span class="pre">table_tokenize</span></tt></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="tokenizer_list.html"
-                        title="次の章へ">7.3.38. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a></p>
-  <div role="note" aria-label="source link">
-    <h3>このページ</h3>
-    <ul class="this-page-menu">
-      <li><a href="../../_sources/reference/commands/tokenize.txt"
-            rel="nofollow">ソースコードを表示</a></li>
-    </ul>
-   </div>
-<div id="searchbox" style="display: none" role="search">
+                        title="次の章へ">7.3.42. <tt class="docutils literal"><span class="pre">tokenizer_list</span></tt></a></p>
+  <h3>このページ</h3>
+  <ul class="this-page-menu">
+    <li><a href="../../_sources/reference/commands/tokenize.txt"
+           rel="nofollow">ソースコードを表示</a></li>
+  </ul>
+<div id="searchbox" style="display: none">
   <h3>クイック検索</h3>
     <form class="search" action="../../search.html" method="get">
       <input type="text" name="q" />
@@ -933,24 +931,24 @@
       </div>
       <div class="clearer"></div>
     </div>
-    <div class="related" role="navigation" aria-label="related navigation">
+    <div class="related">
       <h3>ナビゲーション</h3>
       <ul>
         <li class="right" style="margin-right: 10px">
           <a href="../../genindex.html" title="総合索引"
              >索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.38. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.42. tokenizer_list"
              >次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.36. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.40. table_tokenize"
              >前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v5.0.0ドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v5.0.1-42-g4d10df1ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" >7.3. コマンド</a> &raquo;</li>
       </ul>
     </div>
-    <div class="footer" role="contentinfo">
+    <div class="footer">
         &copy; Copyright 2009-2015, Brazil, Inc.
     </div>
   </body>