RubyGems - rroonga - Versions diffs - 4.0.6-x86-mingw32 → 4.0.7-x86-mingw32 - Mend

rroonga 4.0.6-x86-mingw32 → 4.0.7-x86-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (598) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -7,7 +7,7 @@
   <head>
     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.33. tokenize &mdash; Groonga v4.0.6-211-g8c0bb0bドキュメント</title>
+    <title>7.3.34. tokenize &mdash; Groonga v4.0.8ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
@@ -15,7 +15,7 @@
     <script type="text/javascript">
       var DOCUMENTATION_OPTIONS = {
         URL_ROOT:    '../../',
-        VERSION:     '4.0.6-211-g8c0bb0b',
+        VERSION:     '4.0.8',
         COLLAPSE_INDEX: false,
         FILE_SUFFIX: '.html',
         HAS_SOURCE:  true
@@ -26,12 +26,12 @@
     <script type="text/javascript" src="../../_static/doctools.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
-    <link rel="top" title="Groonga v4.0.6-211-g8c0bb0bドキュメント" href="../../index.html" />
+    <link rel="top" title="Groonga v4.0.8ドキュメント" href="../../index.html" />
     <link rel="up" title="7.3. コマンド" href="../command.html" />
-    <link rel="next" title="7.3.34. tokenizer_list" href="tokenizer_list.html" />
-    <link rel="prev" title="7.3.32. table_tokenize" href="table_tokenize.html" />
+    <link rel="next" title="7.3.35. tokenizer_list" href="tokenizer_list.html" />
+    <link rel="prev" title="7.3.33. table_tokenize" href="table_tokenize.html" />
   </head>
-  <body>
+  <body role="document">
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -49,19 +49,19 @@
 </div>
-    <div class="related">
+    <div class="related" role="navigation" aria-label="related navigation">
       <h3>ナビゲーション</h3>
       <ul>
         <li class="right" style="margin-right: 10px">
           <a href="../../genindex.html" title="総合索引"
              accesskey="I">索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.34. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.35. tokenizer_list"
              accesskey="N">次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.32. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.33. table_tokenize"
              accesskey="P">前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v4.0.6-211-g8c0bb0bドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v4.0.8ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" accesskey="U">7.3. コマンド</a> &raquo;</li>
       </ul>
@@ -70,17 +70,17 @@
     <div class="document">
       <div class="documentwrapper">
         <div class="bodywrapper">
-          <div class="body">
+          <div class="body" role="main">
   <div class="section" id="tokenize">
-<h1>7.3.33. <tt class="docutils literal"><span class="pre">tokenize</span></tt><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.34. <code class="docutils literal"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
-<h2>7.3.33.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
+<h2>7.3.34.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
-<h2>7.3.33.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドには必須の引数と省略可能な引数があります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> が必須の引数で、他の引数はすべて省略可能です。</p>
+<h2>7.3.34.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドには必須の引数と省略可能な引数があります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略可能です。</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize tokenizer
          string
          [normalizer=null]
@@ -91,7 +91,7 @@
 </div>
 </div>
 <div class="section" id="usage">
-<h2>7.3.33.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.34.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot;
@@ -166,19 +166,19 @@
 # ]
 </pre></div>
 </div>
-<p>この例では必須のパラメーターだけ使っています。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> には <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> を、 <tt class="docutils literal"><span class="pre">string</span></tt> には <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を指定しています。この例は <tt class="docutils literal"><span class="pre">TokenBigram</span></tt> トークナイザーで <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> をトークナイズしたトークンを返します。この例では <tt class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></tt> を正規化していません。</p>
+<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal"><span class="pre">tokenizer</span></code> には <code class="docutils literal"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal"><span class="pre">string</span></code> には <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
-<h2>7.3.33.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.34.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
-<h3>7.3.33.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>必須引数は二つあります。 <tt class="docutils literal"><span class="pre">tokenizer</span></tt> と <tt class="docutils literal"><span class="pre">string</span></tt> です。</p>
+<h3>7.3.34.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>必須引数は二つあります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> です。</p>
 <div class="section" id="tokenizer">
-<span id="tokenize-tokenizer"></span><h4>7.3.33.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">tokenizer</span></tt> で指定された名前のトークナイザーを使います。</p>
+<span id="tokenize-tokenizer"></span><h4>7.3.34.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
 <p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
-<p>以下は組み込みの <tt class="docutils literal"><span class="pre">TokenTrigram</span></tt> トークナイザーを使う例です。</p>
+<p>以下は組み込みの <code class="docutils literal"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenTrigram &quot;Fulltext Search&quot;
 # [
@@ -252,13 +252,13 @@
 # ]
 </pre></div>
 </div>
-<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <tt class="docutils literal"><span class="pre">tokenizers/kytea</span></tt> を登録することで使えます。</p>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><em>register</em></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
 </div>
 <div class="section" id="string">
-<span id="tokenize-string"></span><h4>7.3.33.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-string"></span><h4>7.3.34.4.1.2. <code class="docutils literal"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズしたい文字列を指定します。</p>
-<p><tt class="docutils literal"><span class="pre">string</span></tt> の中に文字列を含める場合は、シングルクォート（ <tt class="docutils literal"><span class="pre">'</span></tt> ）またはダブルクォート（ <tt class="docutils literal"><span class="pre">&quot;</span></tt> ）で <tt class="docutils literal"><span class="pre">string</span></tt> をクォートする必要があります。</p>
-<p><tt class="docutils literal"><span class="pre">string</span></tt> の中で空白を使う例です。</p>
+<p><code class="docutils literal"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal"><span class="pre">&quot;</span></code> ）で <code class="docutils literal"><span class="pre">string</span></code> をクォートする必要があります。</p>
+<p><code class="docutils literal"><span class="pre">string</span></code> の中で空白を使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
 # [
@@ -435,11 +435,11 @@
 </div>
 </div>
 <div class="section" id="optional-parameters">
-<h3>7.3.33.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<h3>7.3.34.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
-<span id="tokenize-normalizer"></span><h4>7.3.33.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>ノーマライザー名を指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">normalizer</span></tt> という名前のノーマライザーを使います。ノーマライザーは <tt class="docutils literal"><span class="pre">TokenBigrma</span></tt> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<span id="tokenize-normalizer"></span><h4>7.3.34.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>ノーマライザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
 <p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
 <p>以下はノーマライザーを使わない例です。</p>
 <p>実行例:</p>
@@ -515,7 +515,7 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">Fu</span></tt> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
 <p>以下はノーマライザーを使う例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
@@ -538,8 +538,8 @@
 # ]
 </pre></div>
 </div>
-<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <tt class="docutils literal"><span class="pre">fulltext</span></tt> で1つのトークンになっています。</p>
-<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <tt class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></tt> を使って下さい。</p>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
 # [
@@ -609,11 +609,11 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <tt class="docutils literal"><span class="pre">fu</span></tt> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
-<span id="tokenize-flags"></span><h4>7.3.33.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <tt class="docutils literal"><span class="pre">|</span></tt> 」で区切って複数のオプションを指定することができます。例えば、 <tt class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></tt> というように指定できます。</p>
+<span id="tokenize-flags"></span><h4>7.3.34.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
 <p>指定可能なフラグは以下の通りです。</p>
 <table border="1" class="docutils">
 <colgroup>
@@ -628,17 +628,17 @@
 </tr>
 </thead>
 <tbody valign="top">
-<tr class="row-even"><td><tt class="docutils literal"><span class="pre">NONE</span></tt></td>
+<tr class="row-even"><td><code class="docutils literal"><span class="pre">NONE</span></code></td>
 <td><p class="first last">無視されます。</p>
 </td>
 </tr>
-<tr class="row-odd"><td><tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt></td>
+<tr class="row-odd"><td><code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></td>
 <td><p class="first last">トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a> を参照してください。</p>
 </td>
 </tr>
 </tbody>
 </table>
-<p>以下は <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> を使った例です。</p>
+<p>以下は <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
 # [
@@ -664,13 +664,13 @@
 # ]
 </pre></div>
 </div>
-<p><tt class="docutils literal"><span class="pre">TokenDelimit</span></tt> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <tt class="docutils literal"><span class="pre">U+FFFE</span></tt> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <tt class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></tt> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
+<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 <div class="section" id="mode">
-<span id="tokenize-mode"></span><h4>7.3.33.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズモードを指定します。 <tt class="docutils literal"><span class="pre">ADD</span></tt> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <tt class="docutils literal"><span class="pre">GET</span></tt> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <tt class="docutils literal"><span class="pre">ADD</span></tt> モードでトークナイズされます。</p>
-<p>デフォルトのモードは <tt class="docutils literal"><span class="pre">ADD</span></tt> です。</p>
-<p>以下は <tt class="docutils literal"><span class="pre">ADD</span></tt> モードの例です。</p>
+<span id="tokenize-mode"></span><h4>7.3.34.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズモードを指定します。 <code class="docutils literal"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
+<p>デフォルトのモードは <code class="docutils literal"><span class="pre">ADD</span></code> です。</p>
+<p>以下は <code class="docutils literal"><span class="pre">ADD</span></code> モードの例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
 # [
@@ -745,7 +745,7 @@
 </pre></div>
 </div>
 <p>最後のアルファベットは1文字でトークナイズされています。</p>
-<p>以下は <tt class="docutils literal"><span class="pre">GET</span></tt> モードの例です。</p>
+<p>以下は <code class="docutils literal"><span class="pre">GET</span></code> モードの例です。</p>
 <p>実行例:</p>
 <div class="highlight-none"><div class="highlight"><pre>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
 # [
@@ -818,25 +818,25 @@
 <p>最後のアルファベットは2文字でトークナイズされています。</p>
 </div>
 <div class="section" id="token-filters">
-<span id="tokenize-token-filters"></span><h4>7.3.33.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークンフィルターを指定します。 <tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドは <tt class="docutils literal"><span class="pre">token_filters</span></tt> という名前のトークンフィルターを使います。</p>
-<p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><em>Token filters</em></a> を参照してください。</p>
+<span id="tokenize-token-filters"></span><h4>7.3.34.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークンフィルターを指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
+<p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><em>トークンフィルター</em></a> を参照してください。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
-<span id="tokenize-return-value"></span><h2>7.3.33.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><tt class="docutils literal"><span class="pre">tokenize</span></tt> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
+<span id="tokenize-return-value"></span><h2>7.3.34.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
 <div class="highlight-none"><div class="highlight"><pre>[HEADER, tokens]
 </pre></div>
 </div>
-<p><tt class="docutils literal"><span class="pre">HEADER</span></tt></p>
+<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
 <blockquote>
-<div><p><tt class="docutils literal"><span class="pre">HEADER</span></tt> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
+<div><p><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><em>出力形式</em></a> を参照してください。</p>
 </div></blockquote>
-<p><tt class="docutils literal"><span class="pre">tokens</span></tt></p>
+<p><code class="docutils literal"><span class="pre">tokens</span></code></p>
 <blockquote>
-<div><p><tt class="docutils literal"><span class="pre">tokens</span></tt> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
+<div><p><code class="docutils literal"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
 <table border="1" class="docutils">
 <colgroup>
 <col width="50%" />
@@ -850,11 +850,11 @@
 </tr>
 </thead>
 <tbody valign="top">
-<tr class="row-even"><td><tt class="docutils literal"><span class="pre">value</span></tt></td>
+<tr class="row-even"><td><code class="docutils literal"><span class="pre">value</span></code></td>
 <td><p class="first last">トークン自身</p>
 </td>
 </tr>
-<tr class="row-odd"><td><tt class="docutils literal"><span class="pre">position</span></tt></td>
+<tr class="row-odd"><td><code class="docutils literal"><span class="pre">position</span></code></td>
 <td><p class="first last">N番目のトークン。</p>
 </td>
 </tr>
@@ -863,7 +863,7 @@
 </div></blockquote>
 </div>
 <div class="section" id="see-also">
-<h2>7.3.33.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<h2>7.3.34.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
 <li><a class="reference internal" href="../tokenizers.html"><em>Tokenizers</em></a></li>
 </ul>
@@ -874,47 +874,49 @@
           </div>
         </div>
       </div>
-      <div class="sphinxsidebar">
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.33. <tt class="docutils literal"><span class="pre">tokenize</span></tt></a><ul>
-<li><a class="reference internal" href="#summary">7.3.33.1. 概要</a></li>
-<li><a class="reference internal" href="#syntax">7.3.33.2. 構文</a></li>
-<li><a class="reference internal" href="#usage">7.3.33.3. 使い方</a></li>
-<li><a class="reference internal" href="#parameters">7.3.33.4. 引数</a><ul>
-<li><a class="reference internal" href="#required-parameters">7.3.33.4.1. 必須引数</a><ul>
-<li><a class="reference internal" href="#tokenizer">7.3.33.4.1.1. <tt class="docutils literal"><span class="pre">tokenizer</span></tt></a></li>
-<li><a class="reference internal" href="#string">7.3.33.4.1.2. <tt class="docutils literal"><span class="pre">string</span></tt></a></li>
+<li><a class="reference internal" href="#">7.3.34. <code class="docutils literal"><span class="pre">tokenize</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.3.34.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.3.34.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.3.34.3. 使い方</a></li>
+<li><a class="reference internal" href="#parameters">7.3.34.4. 引数</a><ul>
+<li><a class="reference internal" href="#required-parameters">7.3.34.4.1. 必須引数</a><ul>
+<li><a class="reference internal" href="#tokenizer">7.3.34.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code></a></li>
+<li><a class="reference internal" href="#string">7.3.34.4.1.2. <code class="docutils literal"><span class="pre">string</span></code></a></li>
 </ul>
 </li>
-<li><a class="reference internal" href="#optional-parameters">7.3.33.4.2. 省略可能引数</a><ul>
-<li><a class="reference internal" href="#normalizer">7.3.33.4.2.1. <tt class="docutils literal"><span class="pre">normalizer</span></tt></a></li>
-<li><a class="reference internal" href="#flags">7.3.33.4.2.2. <tt class="docutils literal"><span class="pre">flags</span></tt></a></li>
-<li><a class="reference internal" href="#mode">7.3.33.4.2.3. <tt class="docutils literal"><span class="pre">mode</span></tt></a></li>
-<li><a class="reference internal" href="#token-filters">7.3.33.4.2.4. <tt class="docutils literal"><span class="pre">token_filters</span></tt></a></li>
+<li><a class="reference internal" href="#optional-parameters">7.3.34.4.2. 省略可能引数</a><ul>
+<li><a class="reference internal" href="#normalizer">7.3.34.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code></a></li>
+<li><a class="reference internal" href="#flags">7.3.34.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code></a></li>
+<li><a class="reference internal" href="#mode">7.3.34.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code></a></li>
+<li><a class="reference internal" href="#token-filters">7.3.34.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code></a></li>
 </ul>
 </li>
 </ul>
 </li>
-<li><a class="reference internal" href="#return-value">7.3.33.5. 戻り値</a></li>
-<li><a class="reference internal" href="#see-also">7.3.33.6. 参考</a></li>
+<li><a class="reference internal" href="#return-value">7.3.34.5. 戻り値</a></li>
+<li><a class="reference internal" href="#see-also">7.3.34.6. 参考</a></li>
 </ul>
 </li>
 </ul>
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="table_tokenize.html"
-                        title="前の章へ">7.3.32. <tt class="docutils literal"><span class="pre">table_tokenize</span></tt></a></p>
+                        title="前の章へ">7.3.33. <code class="docutils literal"><span class="pre">table_tokenize</span></code></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="tokenizer_list.html"
-                        title="次の章へ">7.3.34. <tt class="docutils literal"><span class="pre">tokenizer_list</span></tt></a></p>
-  <h3>このページ</h3>
-  <ul class="this-page-menu">
-    <li><a href="../../_sources/reference/commands/tokenize.txt"
-           rel="nofollow">ソースコードを表示</a></li>
-  </ul>
-<div id="searchbox" style="display: none">
+                        title="次の章へ">7.3.35. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a></p>
+  <div role="note" aria-label="source link">
+    <h3>このページ</h3>
+    <ul class="this-page-menu">
+      <li><a href="../../_sources/reference/commands/tokenize.txt"
+            rel="nofollow">ソースコードを表示</a></li>
+    </ul>
+   </div>
+<div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
     <form class="search" action="../../search.html" method="get">
       <input type="text" name="q" />
@@ -931,24 +933,24 @@
       </div>
       <div class="clearer"></div>
     </div>
-    <div class="related">
+    <div class="related" role="navigation" aria-label="related navigation">
       <h3>ナビゲーション</h3>
       <ul>
         <li class="right" style="margin-right: 10px">
           <a href="../../genindex.html" title="総合索引"
              >索引</a></li>
         <li class="right" >
-          <a href="tokenizer_list.html" title="7.3.34. tokenizer_list"
+          <a href="tokenizer_list.html" title="7.3.35. tokenizer_list"
              >次へ</a> |</li>
         <li class="right" >
-          <a href="table_tokenize.html" title="7.3.32. table_tokenize"
+          <a href="table_tokenize.html" title="7.3.33. table_tokenize"
              >前へ</a> |</li>
-        <li><a href="../../index.html">Groonga v4.0.6-211-g8c0bb0bドキュメント</a> &raquo;</li>
+        <li><a href="../../index.html">Groonga v4.0.8ドキュメント</a> &raquo;</li>
           <li><a href="../../reference.html" >7. リファレンスマニュアル</a> &raquo;</li>
           <li><a href="../command.html" >7.3. コマンド</a> &raquo;</li>
       </ul>
     </div>
-    <div class="footer">
+    <div class="footer" role="contentinfo">
         &copy; Copyright 2009-2014, Brazil, Inc.
     </div>
   </body>