RubyGems - rroonga - Versions diffs - 7.1.1-x64-mingw32 → 9.0.2-x64-mingw32 - Mend

rroonga 7.1.1-x64-mingw32 → 9.0.2-x64-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (980) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizer/summary.html ADDED Viewed

@@ -0,0 +1,233 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.1. 概要 &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.2. TokenBigram" href="../tokenizers/token_bigram.html" />
+    <link rel="prev" title="7.8. トークナイザー" href="../tokenizers.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizer/summary.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="../tokenizers/token_bigram.html" title="7.8.2. TokenBigram"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="../tokenizers.html" title="7.8. トークナイザー"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="summary">
+<h1>7.8.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<p>Groongaにはテキストをトークナイズするトークナイザーモージュールがあります。次のケースのときにトークナイザーを使います。</p>
+<blockquote>
+<div><ul>
+<li><p>テキストのインデックスを構築するとき</p>
+<div class="figure align-center" id="id1">
+<a class="reference internal image-reference" href="../../_images/used-when-indexing.png"><img alt="../../_images/used-when-indexing.png" src="../../_images/used-when-indexing.png" style="width: 80%;" /></a>
+<p class="caption"><span class="caption-text">テキストのインデックスを構築するときにトークナイザーを使います。</span><a class="headerlink" href="#id1" title="この画像へのパーマリンク">¶</a></p>
+</div>
+</li>
+<li><p>クエリーで検索するとき</p>
+<div class="figure align-center" id="id2">
+<a class="reference internal image-reference" href="../../_images/used-when-searching.png"><img alt="../../_images/used-when-searching.png" src="../../_images/used-when-searching.png" style="width: 80%;" /></a>
+<p class="caption"><span class="caption-text">クエリーで検索するときにトークナイザーを使います。</span><a class="headerlink" href="#id2" title="この画像へのパーマリンク">¶</a></p>
+</div>
+</li>
+</ul>
+</div></blockquote>
+<p>全文検索ではトークナイザーは重要なモジュールです。トークナイザーを変えることで <a class="reference external" href="http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E6%A4%9C%E7%B4%A2">適合率と再現率</a> のトレードオフを調整することができます。</p>
+<p>一般的に <a class="reference internal" href="../tokenizers/token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> が適切なトークナイザーです。トークナイザーについてよく知らない場合は <a class="reference internal" href="../tokenizers/token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> を使うことをオススメします。</p>
+<p><a class="reference internal" href="../commands/tokenize.html"><span class="doc">tokenize</span></a> コマンドと <a class="reference internal" href="../commands/table_tokenize.html"><span class="doc">table_tokenize</span></a> コマンドを使うことでトークナイザーを試すことができます。 <a class="reference internal" href="../commands/tokenize.html"><span class="doc">tokenize</span></a> コマンドを使って <a class="reference internal" href="../tokenizers/token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> トークナイザーを試す例を以下に示します。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello World&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;He&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;el&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ll&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;lo&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;o &quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot; W&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;Wo&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;or&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;rl&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ld&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;d&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>「トークナイズ」はテキストから0個以上のトークンを抽出する処理です。「トークナイズ」する方法はいくつかあります。</p>
+<p>例えば、バイグラムというトークナイズ方法では <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> は次のトークンにトークナイズされます。</p>
+<blockquote>
+<div><ul class="simple">
+<li><p><code class="docutils literal notranslate"><span class="pre">He</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">el</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">ll</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">lo</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">o_</span></code> （ <code class="docutils literal notranslate"><span class="pre">_</span></code> は空白文字という意味）</p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">_W</span></code> （ <code class="docutils literal notranslate"><span class="pre">_</span></code> は空白文字という意味）</p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">Wo</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">or</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">rl</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">ld</span></code></p></li>
+</ul>
+</div></blockquote>
+<p>上記の例では、 <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> から10個のトークンを抽出しました。</p>
+<p>例えば、空白区切りのトークナイズ方法では <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> は次のトークンにトークナイズされます。</p>
+<blockquote>
+<div><ul class="simple">
+<li><p><code class="docutils literal notranslate"><span class="pre">Hello</span></code></p></li>
+<li><p><code class="docutils literal notranslate"><span class="pre">World</span></code></p></li>
+</ul>
+</div></blockquote>
+<p>上記の例では、<code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> から2つのトークンを抽出しました。</p>
+<p>トークンは検索時のキーとして使われます。使用したトークナイズ方法で抽出したトークンでしかインデックス化されたドキュメントを探すことはできません。例えば、トークナイズ方法としてバイグラムを使った場合は <code class="docutils literal notranslate"><span class="pre">ll</span></code> で <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> を見つけることができます。しかし、空白区切りのトークナイズ方法を使ったときは <code class="docutils literal notranslate"><span class="pre">ll</span></code> で <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> を見つけることはできません。なぜなら、空白区切りのトークナイズ方法は <code class="docutils literal notranslate"><span class="pre">ll</span></code> というトークンを抽出していないからです。空白区切りのトークナイズ方法は <code class="docutils literal notranslate"><span class="pre">Hello</span></code> というトークンと <code class="docutils literal notranslate"><span class="pre">World</span></code> というトークンしか抽出していません。</p>
+<p>一般的に、小さいトークンを生成するトークナイズ方法は再現率が高い代わりに適合率が低くなりがちです。一方、大きいトークンを生成するトークナイズ方法は適合率が高い代わりに再現率が低くなりがちです。</p>
+<p>例えば、バイグラムというトークナイズ方法では <code class="docutils literal notranslate"><span class="pre">or</span></code> で <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> と <code class="docutils literal notranslate"><span class="pre">A</span> <span class="pre">or</span> <span class="pre">B</span></code> を検索できます。しかし、「論理和」を検索したい人にとっては <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> は不要な結果です。これは、適合率が下がったということです。しかし、再現率は上がっています。</p>
+<p>空白区切りのトークナイズ方法を使った場合は <code class="docutils literal notranslate"><span class="pre">or</span></code> で <code class="docutils literal notranslate"><span class="pre">A</span> <span class="pre">or</span> <span class="pre">B</span></code> だけが見つかります。なぜなら、空白区切りのトークナイズ方法では <code class="docutils literal notranslate"><span class="pre">World</span></code> は <code class="docutils literal notranslate"><span class="pre">World</span></code> という1つのトークンだけにトークナイズされるからです。これは、「論理和」を探したい人にとっては適合率が挙がっています。しかし、 <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> も <code class="docutils literal notranslate"><span class="pre">or</span></code> を含んでいるのに見つかっていないので再現率が下がっています。</p>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="../tokenizers.html"
+                        title="前の章へ">7.8. トークナイザー</a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="../tokenizers/token_bigram.html"
+                        title="次の章へ">7.8.2. <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="../tokenizers/token_bigram.html" title="7.8.2. TokenBigram"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="../tokenizers.html" title="7.8. トークナイザー"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers.html CHANGED Viewed

@@ -1,35 +1,27 @@
-<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
-  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
   <head>
-    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.8. トークナイザー &#8212; Groonga v7.1.0-73-g6d02cfaドキュメント</title>
+    <meta charset="utf-8" />
+    <title>7.8. トークナイザー &#8212; Groonga v9.0.2ドキュメント</title>
     <link rel="stylesheet" href="../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../_static/pygments.css" type="text/css" />
-    <script type="text/javascript">
-      var DOCUMENTATION_OPTIONS = {
-        URL_ROOT:    '../',
-        VERSION:     '7.1.0-73-g6d02cfa',
-        COLLAPSE_INDEX: false,
-        FILE_SUFFIX: '.html',
-        HAS_SOURCE:  false,
-        SOURCELINK_SUFFIX: '.txt'
-      };
-    </script>
+    <script type="text/javascript" id="documentation_options" data-url_root="../" src="../_static/documentation_options.js"></script>
     <script type="text/javascript" src="../_static/jquery.js"></script>
     <script type="text/javascript" src="../_static/underscore.js"></script>
     <script type="text/javascript" src="../_static/doctools.js"></script>
+    <script type="text/javascript" src="../_static/language_data.js"></script>
     <script type="text/javascript" src="../_static/translations.js"></script>
     <link rel="shortcut icon" href="../_static/favicon.ico"/>
     <link rel="index" title="索引" href="../genindex.html" />
     <link rel="search" title="検索" href="../search.html" />
-    <link rel="next" title="7.9. トークンフィルター" href="token_filters.html" />
-    <link rel="prev" title="7.7. ノーマライザー" href="normalizers.html" />
-  </head>
-  <body>
+    <link rel="next" title="7.8.1. 概要" href="tokenizer/summary.html" />
+    <link rel="prev" title="7.7.2.3. NormalizerNFKC51" href="normalizers/normalizer_nfkc51.html" />
+  </head><body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../index.html">
@@ -54,12 +46,12 @@
           <a href="../genindex.html" title="総合索引"
              accesskey="I">索引</a></li>
         <li class="right" >
-          <a href="token_filters.html" title="7.9. トークンフィルター"
+          <a href="tokenizer/summary.html" title="7.8.1. 概要"
              accesskey="N">次へ</a> |</li>
         <li class="right" >
-          <a href="normalizers.html" title="7.7. ノーマライザー"
+          <a href="normalizers/normalizer_nfkc51.html" title="7.7.2.3. NormalizerNFKC51"
              accesskey="P">前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../reference.html" accesskey="U">7. リファレンスマニュアル</a> &#187;</li>
       </ul>
     </div>
@@ -71,1297 +63,24 @@
   <div class="section" id="tokenizers">
 <h1>7.8. トークナイザー<a class="headerlink" href="#tokenizers" title="このヘッドラインへのパーマリンク">¶</a></h1>
-<div class="section" id="summary">
-<h2>7.8.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p>Groongaにはテキストをトークナイズするトークナイザーモージュールがあります。次のケースのときにトークナイザーを使います。</p>
-<blockquote>
-<div><ul>
-<li><p class="first">テキストのインデックスを構築するとき</p>
-<div class="figure align-center" id="id1">
-<a class="reference internal image-reference" href="../_images/used-when-indexing.png"><img alt="../_images/used-when-indexing.png" src="../_images/used-when-indexing.png" style="width: 80%;" /></a>
-<p class="caption"><span class="caption-text">テキストのインデックスを構築するときにトークナイザーを使います。</span></p>
-</div>
-</li>
-<li><p class="first">クエリーで検索するとき</p>
-<div class="figure align-center" id="id2">
-<a class="reference internal image-reference" href="../_images/used-when-searching.png"><img alt="../_images/used-when-searching.png" src="../_images/used-when-searching.png" style="width: 80%;" /></a>
-<p class="caption"><span class="caption-text">クエリーで検索するときにトークナイザーを使います。</span></p>
-</div>
-</li>
-</ul>
-</div></blockquote>
-<p>全文検索ではトークナイザーは重要なモジュールです。トークナイザーを変えることで <a class="reference external" href="http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E6%A4%9C%E7%B4%A2">適合率と再現率</a> のトレードオフを調整することができます。</p>
-<p>一般的に <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> が適切なトークナイザーです。トークナイザーについてよく知らない場合は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> を使うことをオススメします。</p>
-<p><a class="reference internal" href="commands/tokenize.html"><span class="doc">tokenize</span></a> コマンドと <a class="reference internal" href="commands/table_tokenize.html"><span class="doc">table_tokenize</span></a> コマンドを使うことでトークナイザーを試すことができます。 <a class="reference internal" href="commands/tokenize.html"><span class="doc">tokenize</span></a> コマンドを使って <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> トークナイザーを試す例を以下に示します。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello World&quot;
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;He&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;el&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ll&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;lo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;o &quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot; W&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;Wo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;or&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;rl&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ld&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;d&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="what-is-tokenize">
-<h2>7.8.2. 「トークナイズ」とはなにか<a class="headerlink" href="#what-is-tokenize" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p>「トークナイズ」はテキストから0個以上のトークンを抽出する処理です。「トークナイズ」する方法はいくつかあります。</p>
-<p>例えば、バイグラムというトークナイズ方法では <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> は次のトークンにトークナイズされます。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">He</span></code></li>
-<li><code class="docutils literal"><span class="pre">el</span></code></li>
-<li><code class="docutils literal"><span class="pre">ll</span></code></li>
-<li><code class="docutils literal"><span class="pre">lo</span></code></li>
-<li><code class="docutils literal"><span class="pre">o_</span></code> （ <code class="docutils literal"><span class="pre">_</span></code> は空白文字という意味）</li>
-<li><code class="docutils literal"><span class="pre">_W</span></code> （ <code class="docutils literal"><span class="pre">_</span></code> は空白文字という意味）</li>
-<li><code class="docutils literal"><span class="pre">Wo</span></code></li>
-<li><code class="docutils literal"><span class="pre">or</span></code></li>
-<li><code class="docutils literal"><span class="pre">rl</span></code></li>
-<li><code class="docutils literal"><span class="pre">ld</span></code></li>
-</ul>
-</div></blockquote>
-<p>上記の例では、 <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> から10個のトークンを抽出しました。</p>
-<p>例えば、空白区切りのトークナイズ方法では <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> は次のトークンにトークナイズされます。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">Hello</span></code></li>
-<li><code class="docutils literal"><span class="pre">World</span></code></li>
-</ul>
-</div></blockquote>
-<p>上記の例では、<code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> から2つのトークンを抽出しました。</p>
-<p>トークンは検索時のキーとして使われます。使用したトークナイズ方法で抽出したトークンでしかインデックス化されたドキュメントを探すことはできません。例えば、トークナイズ方法としてバイグラムを使った場合は <code class="docutils literal"><span class="pre">ll</span></code> で <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> を見つけることができます。しかし、空白区切りのトークナイズ方法を使ったときは <code class="docutils literal"><span class="pre">ll</span></code> で <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> を見つけることはできません。なぜなら、空白区切りのトークナイズ方法は <code class="docutils literal"><span class="pre">ll</span></code> というトークンを抽出していないからです。空白区切りのトークナイズ方法は <code class="docutils literal"><span class="pre">Hello</span></code> というトークンと <code class="docutils literal"><span class="pre">World</span></code> というトークンしか抽出していません。</p>
-<p>一般的に、小さいトークンを生成するトークナイズ方法は再現率が高い代わりに適合率が低くなりがちです。一方、大きいトークンを生成するトークナイズ方法は適合率が高い代わりに再現率が低くなりがちです。</p>
-<p>例えば、バイグラムというトークナイズ方法では <code class="docutils literal"><span class="pre">or</span></code> で <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> と <code class="docutils literal"><span class="pre">A</span> <span class="pre">or</span> <span class="pre">B</span></code> を検索できます。しかし、「論理和」を検索したい人にとっては <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> は不要な結果です。これは、適合率が下がったということです。しかし、再現率は上がっています。</p>
-<p>空白区切りのトークナイズ方法を使った場合は <code class="docutils literal"><span class="pre">or</span></code> で <code class="docutils literal"><span class="pre">A</span> <span class="pre">or</span> <span class="pre">B</span></code> だけが見つかります。なぜなら、空白区切りのトークナイズ方法では <code class="docutils literal"><span class="pre">World</span></code> は <code class="docutils literal"><span class="pre">World</span></code> という1つのトークンだけにトークナイズされるからです。これは、「論理和」を探したい人にとっては適合率が挙がっています。しかし、 <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> も <code class="docutils literal"><span class="pre">or</span></code> を含んでいるのに見つかっていないので再現率が下がっています。</p>
-</div>
-<div class="section" id="built-in-tokenizsers">
-<h2>7.8.3. 組み込みトークナイザー<a class="headerlink" href="#built-in-tokenizsers" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p>以下は組み込みのトークナイザーのリストです。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">TokenBigram</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramSplitSymbol</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenUnigram</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenTrigram</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenDelimit</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenDelimitNull</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenMecab</span></code></li>
-<li><code class="docutils literal"><span class="pre">TokenRegexp</span></code></li>
-</ul>
-</div></blockquote>
-<div class="section" id="tokenbigram">
-<span id="token-bigram"></span><h3>7.8.3.1. <code class="docutils literal"><span class="pre">TokenBigram</span></code><a class="headerlink" href="#tokenbigram" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigram</span></code> はバイグラムベースのトークナイザーです。多くのケースでは、このトークナイザーを使うことをオススメします。</p>
-<p>バイグラムというトークナイズ方法は、隣り合った2つの文字を1つのトークンとしてテキストをトークナイズします。例えば、 <code class="docutils literal"><span class="pre">Hello</span></code> は次のトークンにトークナイズします。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">He</span></code></li>
-<li><code class="docutils literal"><span class="pre">el</span></code></li>
-<li><code class="docutils literal"><span class="pre">ll</span></code></li>
-<li><code class="docutils literal"><span class="pre">lo</span></code></li>
-</ul>
-</div></blockquote>
-<p>バイグラムというトークナイズ方法は再現性に優れています。なぜなら、2文字以上の文字のクエリーに対してはすべてのテキストを見つけることができるからです。</p>
-<p>一般的に、1文字のクエリーではすべてのテキストを見つけることはできません。なぜなら、1つの文字のトークンが存在しないからです。しかし、Groongaでは1文字のクエリーでもすべてのテキストを見つけることができます。なぜなら、Groongaは前方一致検索によりクエリーで指定した文字で始まるトークンをすべて見つけることができるからです。例えば、Groongaは <code class="docutils literal"><span class="pre">l</span></code> というクエリーから <code class="docutils literal"><span class="pre">ll</span></code> というトークンと <code class="docutils literal"><span class="pre">lo</span></code> というトークンを見つけることができます。</p>
-<p>バイグラムというトークナイズ方法は適合率はそれほど優れていません。なぜなら、単語の一部にクエリーが含まれていればすべてのテキストが見つかってしまうからです。例えば、 <code class="docutils literal"><span class="pre">or</span></code> で <code class="docutils literal"><span class="pre">world</span></code> が見つかります。これは非ASCIIを使う言語よりASCIIのみを使う言語で顕著です。以降の説明で触れる通り、 <code class="docutils literal"><span class="pre">TokenBigram</span></code> はこの問題を解決しています。</p>
-<p><code class="docutils literal"><span class="pre">TokenBigram</span></code> の挙動は <a class="reference internal" href="normalizers.html"><span class="doc">ノーマライザー</span></a> を使うかどうかで変わります。</p>
-<p>ノーマライザーを使っていない場合は <code class="docutils literal"><span class="pre">TokenBigram</span></code> は純粋なバイグラム（最後のトークンをのぞいてすべてのトークンを2文字にする）のトークナイズ方法を使います。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello World&quot;
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;He&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;el&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ll&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;lo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;o &quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot; W&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;Wo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;or&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;rl&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ld&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;d&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p>ノーマライザーを使っている場合は <code class="docutils literal"><span class="pre">TokenBigram</span></code> はASCIIの文字には空白区切りのようなトークナイズ方法を使います。非ASCII文字にはバイグラムのトークナイズ方法を使います。</p>
-<p>もしかしたら、複数の方法が混ざったこの挙動はわかりにくいかもしれません。しかし、英語のテキスト（ASCII文字列のみ）や日本語テキスト（ASCII文字列と非ASCII文字列が混ざっている）ような多くのユースケースでは合理的な方法です。</p>
-<p>ASCII文字しか使わない多くの言語は単語の区切りに空白文字を使っています。このようなケースに空白区切りのトークナイズ方法は適切です。</p>
-<p>非ASCII文字を使う言語では単語の区切りに空白文字を使いません。このケースにはバイグラムなトークナイズ方法は適切です。</p>
-<p>複数の言語が混ざっている場合は、複数の方法を組み合わせたトークナイズ方法が適切です。</p>
-<p>ASCII文字にバイグラムなトークナイズ方法を使いたい場合は <a class="reference internal" href="#token-bigram-split-symbol-alpha"><span class="std std-ref">TokenBigramSplitSymbolAlpha</span></a> のような <code class="docutils literal"><span class="pre">TokenBigramSplitXXX</span></code> というトークナイザーを参照してください。</p>
-<p>例を使いながら <code class="docutils literal"><span class="pre">TokenBigram</span></code> の挙動を確認しましょう。</p>
-<p><code class="docutils literal"><span class="pre">TokenBigram</span></code> はASCII文字には1つ以上の空白文字をトークンの区切りとして使います。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello World&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;hello&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;world&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenBigram</span></code> はASCII文字には文字の種類が変わったところをトークンの区切りとします。文字の種類は次のどれかです。</p>
-<blockquote>
-<div><ul class="simple">
-<li>アルファベット</li>
-<li>数字</li>
-<li>記号（たとえば <code class="docutils literal"><span class="pre">(</span></code> 、 <code class="docutils literal"><span class="pre">)</span></code> 、 <code class="docutils literal"><span class="pre">!</span></code> など）</li>
-<li>ひらがな</li>
-<li>カタカナ</li>
-<li>漢字</li>
-<li>その他</li>
-</ul>
-</div></blockquote>
-<p>次の例は2つのトークン区切りを示しています。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">100</span></code> （数字）と <code class="docutils literal"><span class="pre">cents</span></code> （アルファベット）の間のところ</li>
-<li><code class="docutils literal"><span class="pre">cents</span></code> （アルファベット）と <code class="docutils literal"><span class="pre">!!!</span></code> （記号）の間のところ</li>
-</ul>
-</div></blockquote>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;100cents!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;100&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;cents&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p>以下は <code class="docutils literal"><span class="pre">TokenBigram</span></code> が非ASCII文字にはトークナイズ方法としてバイグラムを使う例です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;日本語の勉強&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語の&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;の勉&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;勉強&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;強&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramsplitsymbol">
-<span id="token-bigram-split-symbol"></span><h3>7.8.3.2. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbol</span></code><a class="headerlink" href="#tokenbigramsplitsymbol" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramSplitSymbol</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは記号の扱いです。 <code class="docutils literal"><span class="pre">TokenBigramSplitSymbol</span></code> は記号のトークナイズ方法にバイグラムを使います。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbol &quot;100cents!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;100&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;cents&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramsplitsymbolalpha">
-<span id="token-bigram-split-symbol-alpha"></span><h3>7.8.3.3. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code><a class="headerlink" href="#tokenbigramsplitsymbolalpha" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは記号とアルファベットの扱いです。 <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> は記号とアルファベットのトークナイズ方法にバイグラムを使います。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;100cents!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;100&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ce&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;en&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;nt&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ts&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;s!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramsplitsymbolalphadigit">
-<span id="token-bigram-split-symbol-alpha-digit"></span><h3>7.8.3.4. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code><a class="headerlink" href="#tokenbigramsplitsymbolalphadigit" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは記号とアルファベットと数字の扱いです。 <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code> は記号とアルファベット数字のトークナイズ方法にバイグラムを使います。つまり、すべての文字をバイグラムでトークナイズします。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlphaDigit &quot;100cents!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;10&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;00&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;0c&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ce&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;en&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;nt&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ts&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;s!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramignoreblank">
-<span id="token-bigram-ignore-blank"></span><h3>7.8.3.5. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code><a class="headerlink" href="#tokenbigramignoreblank" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは空白文字の扱いです。 <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code> は連続する記号と非ASCII文字の間にある空白文字を無視します。</p>
-<p><code class="docutils literal"><span class="pre">日</span> <span class="pre">本</span> <span class="pre">語</span> <span class="pre">!</span> <span class="pre">!</span> <span class="pre">!</span></code> というテキストを使うと違いがわかります。なぜならこのテキストは記号と非ASCII文字を両方含んでいるからです。</p>
-<p><a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> での実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code> での実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramIgnoreBlank &quot;日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramignoreblanksplitsymbol">
-<span id="token-bigram-ignore-blank-split-symbol"></span><h3>7.8.3.6. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code><a class="headerlink" href="#tokenbigramignoreblanksplitsymbol" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは次の通りです。</p>
-<blockquote>
-<div><ul class="simple">
-<li>空白文字の扱い</li>
-<li>記号の扱い</li>
-</ul>
-</div></blockquote>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code> は連続した記号と非ASCII文字の間の空白文字を無視します。</p>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code> は記号をバイグラムでトークナイズします。</p>
-<p><code class="docutils literal"><span class="pre">日</span> <span class="pre">本</span> <span class="pre">語</span> <span class="pre">!</span> <span class="pre">!</span> <span class="pre">!</span></code> というテキストを使うと違いがわかります。なぜならこのテキストは記号と非ASCII文字を両方含んでいるからです。</p>
-<p><a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> での実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code> の実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramIgnoreBlankSplitSymbol &quot;日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramignoreblanksplitsymbolalpha">
-<span id="token-bigram-ignore-blank-split-symbol-alpha"></span><h3>7.8.3.7. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code><a class="headerlink" href="#tokenbigramignoreblanksplitsymbolalpha" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは次の通りです。</p>
-<blockquote>
-<div><ul class="simple">
-<li>空白文字の扱い</li>
-<li>記号とアルファベットの扱い</li>
-</ul>
-</div></blockquote>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code> は連続した記号と非ASCII文字の間の空白文字を無視します。</p>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code> は記号とアルファベットをバイグラムでトークナイズします。</p>
-<p><code class="docutils literal"><span class="pre">Hello</span> <span class="pre">日</span> <span class="pre">本</span> <span class="pre">語</span> <span class="pre">!</span> <span class="pre">!</span> <span class="pre">!</span></code> というテキストを使うと違いがわかります。なぜなら空白文字入りの記号と非ASCII文字だけでなく、アルファベットも含んでいるからです。</p>
-<p><a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> での実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello 日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;hello&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code> の実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramIgnoreBlankSplitSymbolAlpha &quot;Hello 日 本 語 ! ! !&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;he&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;el&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ll&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;lo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;o日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenbigramignoreblanksplitsymbolalphadigit">
-<span id="token-bigram-ignore-blank-split-symbol-alpha-digit"></span><h3>7.8.3.8. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code><a class="headerlink" href="#tokenbigramignoreblanksplitsymbolalphadigit" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは次の通りです。</p>
-<blockquote>
-<div><ul class="simple">
-<li>空白文字の扱い</li>
-<li>記号とアルファベットと数字の扱い</li>
+<div class="toctree-wrapper compound">
+<ul>
+<li class="toctree-l1"><a class="reference internal" href="tokenizer/summary.html">7.8.1. 概要</a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram.html">7.8.2. <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_ignore_blank.html">7.8.3. <code class="docutils literal notranslate"><span class="pre">TokenBigramIgnoreBlank</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_ignore_blank_split_symbol.html">7.8.4. <code class="docutils literal notranslate"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_ignore_blank_split_symbol_alpha.html">7.8.5. <code class="docutils literal notranslate"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_ignore_blank_split_symbol_alpha_digit.html">7.8.6. <code class="docutils literal notranslate"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_split_symbol.html">7.8.7. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbol</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_split_symbol_alpha.html">7.8.8. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_bigram_split_symbol_alpha_digit.html">7.8.9. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_delimit.html">7.8.10. <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_delimit_null.html">7.8.11. <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_mecab.html">7.8.12. <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_regexp.html">7.8.13. <code class="docutils literal notranslate"><span class="pre">TokenRegexp</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_trigram.html">7.8.14. <code class="docutils literal notranslate"><span class="pre">TokenTrigram</span></code></a></li>
+<li class="toctree-l1"><a class="reference internal" href="tokenizers/token_unigram.html">7.8.15. <code class="docutils literal notranslate"><span class="pre">TokenUnigram</span></code></a></li>
 </ul>
-</div></blockquote>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code> は連続した記号と非ASCII文字の間の空白文字を無視します。</p>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code> は記号、アルファベット、数字をバイグラムでトークナイズします。つまり、すべての文字をバイグラムでトークナイズします。</p>
-<p><code class="docutils literal"><span class="pre">Hello</span> <span class="pre">日</span> <span class="pre">本</span> <span class="pre">語</span> <span class="pre">!</span> <span class="pre">!</span> <span class="pre">!</span> <span class="pre">777</span></code> というテキストを使うと違いがわかります。なぜなら、このテキストは空白文字入りの記号と非ASCII文字だけでなく、アルファベットと数字も含んでいるからです。</p>
-<p><a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> での実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Hello 日 本 語 ! ! ! 777&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;hello&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;777&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code> の実行結果です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramIgnoreBlankSplitSymbolAlphaDigit &quot;Hello 日 本 語 ! ! ! 777&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;he&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;el&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ll&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;lo&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;o日&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;日本&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;本語&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;語!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!7&quot;
-#     },
-#     {
-#       &quot;position&quot;: 11,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;77&quot;
-#     },
-#     {
-#       &quot;position&quot;: 12,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;77&quot;
-#     },
-#     {
-#       &quot;position&quot;: 13,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;7&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenunigram">
-<span id="token-unigram"></span><h3>7.8.3.9. <code class="docutils literal"><span class="pre">TokenUnigram</span></code><a class="headerlink" href="#tokenunigram" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenUnigram</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> に似ています。違いはトークンの単位です。 <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> は各トークンが2文字ですが、 <code class="docutils literal"><span class="pre">TokenUnigram</span></code> は各トークンが1文字です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenUnigram &quot;100cents!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;100&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;cents&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokentrigram">
-<span id="token-trigram"></span><h3>7.8.3.10. <code class="docutils literal"><span class="pre">TokenTrigram</span></code><a class="headerlink" href="#tokentrigram" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenTrigram</span></code> は <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> に似ています。違いはトークンの単位です。 <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> は各トークンが2文字ですが、 <code class="docutils literal"><span class="pre">TokenTrigram</span></code> は各トークンが3文字です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenTrigram &quot;10000cents!!!!!&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;10000&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;cents&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;!!!!!&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokendelimit">
-<span id="token-delimit"></span><h3>7.8.3.11. <code class="docutils literal"><span class="pre">TokenDelimit</span></code><a class="headerlink" href="#tokendelimit" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> は1つ以上の空白文字（ <code class="docutils literal"><span class="pre">U+0020</span></code> ）で分割してトークンを抽出します。たとえば、 <code class="docutils literal"><span class="pre">Hello</span> <span class="pre">World</span></code> は <code class="docutils literal"><span class="pre">Hello</span></code> と <code class="docutils literal"><span class="pre">World</span></code> にトークナイズされます。</p>
-<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> はタグテキストに適切です。 <code class="docutils literal"><span class="pre">groonga</span> <span class="pre">full-text-search</span> <span class="pre">http</span></code> というテキストから <code class="docutils literal"><span class="pre">groonga</span></code> 、 <code class="docutils literal"><span class="pre">full-text-search</span></code> 、 <code class="docutils literal"><span class="pre">http</span></code> を抽出します。</p>
-<p>以下は <code class="docutils literal"><span class="pre">TokenDelimit</span></code> の例です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Groonga full-text-search HTTP&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;groonga&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;full-text-search&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;http&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokendelimitnull">
-<span id="token-delimit-null"></span><h3>7.8.3.12. <code class="docutils literal"><span class="pre">TokenDelimitNull</span></code><a class="headerlink" href="#tokendelimitnull" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenDelimitNull</span></code> は <a class="reference internal" href="#token-delimit"><span class="std std-ref">TokenDelimit</span></a> に似ています。違いは区切り文字です。 <a class="reference internal" href="#token-delimit"><span class="std std-ref">TokenDelimit</span></a> は空白文字（ <code class="docutils literal"><span class="pre">U+0020</span></code> ）を使いますが、 <code class="docutils literal"><span class="pre">TokenDelimitNull</span></code> はNUL文字（ <code class="docutils literal"><span class="pre">U+0000</span></code> ）を使います。</p>
-<p><code class="docutils literal"><span class="pre">TokenDelimitNull</span></code> もタグテキストに適切です。</p>
-<p>以下は <code class="docutils literal"><span class="pre">TokenDelimitNull</span></code> の例です。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenDelimitNull &quot;Groonga\u0000full-text-search\u0000HTTP&quot; NormalizerAuto
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;groongau0000full-text-searchu0000http&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenmecab">
-<span id="token-mecab"></span><h3>7.8.3.13. <code class="docutils literal"><span class="pre">TokenMecab</span></code><a class="headerlink" href="#tokenmecab" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p><code class="docutils literal"><span class="pre">TokenMecab</span></code> は <a class="reference external" href="https://taku910.github.io/mecab/">MeCab</a> 形態素解析器をベースにしたトークナイザーです。</p>
-<p>MeCabは日本語に依存していません。その言語用の辞書を用意すれば日本語以外でもMeCabを使えます。日本語用の辞書には <a class="reference external" href="http://sourceforge.jp/projects/naist-jdic/">NAIST Japanese Dictionary</a> を使えます。</p>
-<p><code class="docutils literal"><span class="pre">TokenMecab</span></code> は再現率より適合率に優れています。 <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> では <code class="docutils literal"><span class="pre">京都</span></code> というクエリーで <code class="docutils literal"><span class="pre">東京都</span></code> も <code class="docutils literal"><span class="pre">京都</span></code> も見つかりますが、この場合は <code class="docutils literal"><span class="pre">東京都</span></code> は期待した結果ではありません。 <code class="docutils literal"><span class="pre">TokenMecab</span></code> を使うと <code class="docutils literal"><span class="pre">京都</span></code> というクエリーで <code class="docutils literal"><span class="pre">京都</span></code> だけを見つけられます。</p>
-<p>新語をサポートしたい場合は、MeCabの辞書を更新し続ける必要があります。これはメンテナンスコストがかかります。（ <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> には辞書のメンテナンスコストはありません。なぜなら、 <a class="reference internal" href="#token-bigram"><span class="std std-ref">TokenBigram</span></a> は辞書を使っていないからです。）新語への対応に <a class="reference external" href="https://github.com/neologd/mecab-ipadic-neologd">mecab-ipadic-NEologd : Neologism dictionary for MeCab</a> が役に立つかもしれません。</p>
-<p>以下は <code class="docutils literal"><span class="pre">TokenMeCab</span></code> の例です。 <code class="docutils literal"><span class="pre">東京都</span></code> は <code class="docutils literal"><span class="pre">東京</span></code> と <code class="docutils literal"><span class="pre">都</span></code> にトークナイズされています。 <code class="docutils literal"><span class="pre">京都</span></code> というトークンはありません。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenMecab &quot;東京都&quot;
-# [
-#   [
-#     -22,
-#     1337566253.89858,
-#     0.000355720520019531,
-#     &quot;[tokenize] nonexistent tokenizer: &lt;TokenMecab&gt;&quot;,
-#     [
-#       [
-#         &quot;create_lexicon_for_tokenize&quot;,
-#         &quot;proc_tokenize.c&quot;,
-#         139
-#       ]
-#     ]
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
-<div class="section" id="tokenregexp">
-<span id="token-regexp"></span><h3>7.8.3.14. <code class="docutils literal"><span class="pre">TokenRegexp</span></code><a class="headerlink" href="#tokenregexp" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<div class="versionadded">
-<p><span class="versionmodified">バージョン 5.0.1 で追加.</span></p>
-</div>
-<div class="admonition caution">
-<p class="first admonition-title">ご用心</p>
-<p class="last">このトークナイザーは実験的です。仕様が変わる可能性があります。</p>
-</div>
-<div class="admonition caution">
-<p class="first admonition-title">ご用心</p>
-<p class="last">このトークナイザーはUTF-8でしか使えません。EUC-JPやShift_JISなどと一緒には使えません。</p>
-</div>
-<p><code class="docutils literal"><span class="pre">TokenRegexp</span></code> はインデックスを使った正規表現検索をサポートするトークナイザーです。</p>
-<p>一般的に、正規表現検索は逐次検索で実行します。しかし、次のケースはインデックスを使って検索できます。</p>
-<blockquote>
-<div><ul class="simple">
-<li><code class="docutils literal"><span class="pre">hello</span></code> のようにリテラルしかないケース</li>
-<li><code class="docutils literal"><span class="pre">\A/home/alice</span></code> のようにテキストの最初でのマッチとリテラルのみのケース</li>
-<li><code class="docutils literal"><span class="pre">\.txt\z</span></code> のようにテキストの最後でのマッチとリテラルのみのケース</li>
-</ul>
-</div></blockquote>
-<p>多くのケースでは、逐次検索よりもインデックスを使った検索の方が高速です。</p>
-<p><code class="docutils literal"><span class="pre">TokenRegexp</span></code> はベースはバイグラムを使います。 <code class="docutils literal"><span class="pre">TokenRegexp</span></code> は、インデックス時に、テキストの先頭にテキストの先頭であるというマーク（ <code class="docutils literal"><span class="pre">U+FFEF</span></code> ）を入れ、テキストの最後にテキストの最後であるというマーク（ <code class="docutils literal"><span class="pre">U+FFF0</span></code> ）を入れます。</p>
-<p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenRegexp &quot;/home/alice/test.txt&quot; NormalizerAuto --mode ADD
-# [
-#   [
-#     0,
-#     1337566253.89858,
-#     0.000355720520019531
-#   ],
-#   [
-#     {
-#       &quot;position&quot;: 0,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;￯&quot;
-#     },
-#     {
-#       &quot;position&quot;: 1,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;/h&quot;
-#     },
-#     {
-#       &quot;position&quot;: 2,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ho&quot;
-#     },
-#     {
-#       &quot;position&quot;: 3,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;om&quot;
-#     },
-#     {
-#       &quot;position&quot;: 4,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;me&quot;
-#     },
-#     {
-#       &quot;position&quot;: 5,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;e/&quot;
-#     },
-#     {
-#       &quot;position&quot;: 6,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;/a&quot;
-#     },
-#     {
-#       &quot;position&quot;: 7,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;al&quot;
-#     },
-#     {
-#       &quot;position&quot;: 8,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;li&quot;
-#     },
-#     {
-#       &quot;position&quot;: 9,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ic&quot;
-#     },
-#     {
-#       &quot;position&quot;: 10,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;ce&quot;
-#     },
-#     {
-#       &quot;position&quot;: 11,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;e/&quot;
-#     },
-#     {
-#       &quot;position&quot;: 12,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;/t&quot;
-#     },
-#     {
-#       &quot;position&quot;: 13,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;te&quot;
-#     },
-#     {
-#       &quot;position&quot;: 14,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;es&quot;
-#     },
-#     {
-#       &quot;position&quot;: 15,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;st&quot;
-#     },
-#     {
-#       &quot;position&quot;: 16,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;t.&quot;
-#     },
-#     {
-#       &quot;position&quot;: 17,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;.t&quot;
-#     },
-#     {
-#       &quot;position&quot;: 18,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;tx&quot;
-#     },
-#     {
-#       &quot;position&quot;: 19,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;xt&quot;
-#     },
-#     {
-#       &quot;position&quot;: 20,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;t&quot;
-#     },
-#     {
-#       &quot;position&quot;: 21,
-#       &quot;force_prefix&quot;: false,
-#       &quot;value&quot;: &quot;￰&quot;
-#     }
-#   ]
-# ]
-</pre></div>
-</div>
-</div>
 </div>
 </div>
@@ -1371,46 +90,20 @@
       </div>
       <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
         <div class="sphinxsidebarwrapper">
-  <h3><a href="../index.html">目次</a></h3>
-  <ul>
-<li><a class="reference internal" href="#">7.8. トークナイザー</a><ul>
-<li><a class="reference internal" href="#summary">7.8.1. 概要</a></li>
-<li><a class="reference internal" href="#what-is-tokenize">7.8.2. 「トークナイズ」とはなにか</a></li>
-<li><a class="reference internal" href="#built-in-tokenizsers">7.8.3. 組み込みトークナイザー</a><ul>
-<li><a class="reference internal" href="#tokenbigram">7.8.3.1. <code class="docutils literal"><span class="pre">TokenBigram</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramsplitsymbol">7.8.3.2. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbol</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramsplitsymbolalpha">7.8.3.3. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramsplitsymbolalphadigit">7.8.3.4. <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramignoreblank">7.8.3.5. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlank</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramignoreblanksplitsymbol">7.8.3.6. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbol</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramignoreblanksplitsymbolalpha">7.8.3.7. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlpha</span></code></a></li>
-<li><a class="reference internal" href="#tokenbigramignoreblanksplitsymbolalphadigit">7.8.3.8. <code class="docutils literal"><span class="pre">TokenBigramIgnoreBlankSplitSymbolAlphaDigit</span></code></a></li>
-<li><a class="reference internal" href="#tokenunigram">7.8.3.9. <code class="docutils literal"><span class="pre">TokenUnigram</span></code></a></li>
-<li><a class="reference internal" href="#tokentrigram">7.8.3.10. <code class="docutils literal"><span class="pre">TokenTrigram</span></code></a></li>
-<li><a class="reference internal" href="#tokendelimit">7.8.3.11. <code class="docutils literal"><span class="pre">TokenDelimit</span></code></a></li>
-<li><a class="reference internal" href="#tokendelimitnull">7.8.3.12. <code class="docutils literal"><span class="pre">TokenDelimitNull</span></code></a></li>
-<li><a class="reference internal" href="#tokenmecab">7.8.3.13. <code class="docutils literal"><span class="pre">TokenMecab</span></code></a></li>
-<li><a class="reference internal" href="#tokenregexp">7.8.3.14. <code class="docutils literal"><span class="pre">TokenRegexp</span></code></a></li>
-</ul>
-</li>
-</ul>
-</li>
-</ul>
   <h4>前のトピックへ</h4>
-  <p class="topless"><a href="normalizers.html"
-                        title="前の章へ">7.7. ノーマライザー</a></p>
+  <p class="topless"><a href="normalizers/normalizer_nfkc51.html"
+                        title="前の章へ">7.7.2.3. <code class="docutils literal notranslate"><span class="pre">NormalizerNFKC51</span></code></a></p>
   <h4>次のトピックへ</h4>
-  <p class="topless"><a href="token_filters.html"
-                        title="次の章へ">7.9. トークンフィルター</a></p>
+  <p class="topless"><a href="tokenizer/summary.html"
+                        title="次の章へ">7.8.1. 概要</a></p>
 <div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
+    <div class="searchformwrapper">
     <form class="search" action="../search.html" method="get">
-      <div><input type="text" name="q" /></div>
-      <div><input type="submit" value="検索" /></div>
-      <input type="hidden" name="check_keywords" value="yes" />
-      <input type="hidden" name="area" value="default" />
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
     </form>
+    </div>
 </div>
 <script type="text/javascript">$('#searchbox').show(0);</script>
         </div>
@@ -1424,17 +117,17 @@
           <a href="../genindex.html" title="総合索引"
              >索引</a></li>
         <li class="right" >
-          <a href="token_filters.html" title="7.9. トークンフィルター"
+          <a href="tokenizer/summary.html" title="7.8.1. 概要"
              >次へ</a> |</li>
         <li class="right" >
-          <a href="normalizers.html" title="7.7. ノーマライザー"
+          <a href="normalizers/normalizer_nfkc51.html" title="7.7.2.3. NormalizerNFKC51"
              >前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
       </ul>
     </div>
     <div class="footer" role="contentinfo">
-        &#169; Copyright 2009-2018, Brazil, Inc.
+        &#169; Copyright 2009-2019, Brazil, Inc.
     </div>
   </body>
 </html>