RubyGems - rroonga - Versions diffs - 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32 - Mend

rroonga 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32

Files changed (980) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers/token_delimit_null.html ADDED Viewed

@@ -0,0 +1,160 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.11. TokenDelimitNull &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.12. TokenMecab" href="token_mecab.html" />
+    <link rel="prev" title="7.8.10. TokenDelimit" href="token_delimit.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizers/token_delimit_null.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="token_mecab.html" title="7.8.12. TokenMecab"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="token_delimit.html" title="7.8.10. TokenDelimit"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="tokendelimitnull">
+<span id="token-delimit-null"></span><h1>7.8.11. <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code><a class="headerlink" href="#tokendelimitnull" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<div class="section" id="summary">
+<h2>7.8.11.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code> は <a class="reference internal" href="token_delimit.html#token-delimit"><span class="std std-ref">TokenDelimit</span></a> に似ています。違いは区切り文字です。 <a class="reference internal" href="token_delimit.html#token-delimit"><span class="std std-ref">TokenDelimit</span></a> は空白文字（ <code class="docutils literal notranslate"><span class="pre">U+0020</span></code> ）を使いますが、 <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code> はNUL文字（ <code class="docutils literal notranslate"><span class="pre">U+0000</span></code> ）を使います。</p>
+</div>
+<div class="section" id="syntax">
+<h2>7.8.11.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code> には、引数がありません。</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenDelimitNull
+</pre></div>
+</div>
+</div>
+<div class="section" id="usage">
+<h2>7.8.11.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code> もタグテキストに適切です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code> の例です。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenDelimitNull &quot;Groonga\u0000full-text-search\u0000HTTP&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;groongau0000full-text-searchu0000http&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h3><a href="../../index.html">目次</a></h3>
+  <ul>
+<li><a class="reference internal" href="#">7.8.11. <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.8.11.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.8.11.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.8.11.3. 使い方</a></li>
+</ul>
+</li>
+</ul>
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="token_delimit.html"
+                        title="前の章へ">7.8.10. <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code></a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="token_mecab.html"
+                        title="次の章へ">7.8.12. <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="token_mecab.html" title="7.8.12. TokenMecab"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="token_delimit.html" title="7.8.10. TokenDelimit"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers/token_mecab.html ADDED Viewed

@@ -0,0 +1,764 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.12. TokenMecab &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.13. TokenRegexp" href="token_regexp.html" />
+    <link rel="prev" title="7.8.11. TokenDelimitNull" href="token_delimit_null.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizers/token_mecab.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="token_regexp.html" title="7.8.13. TokenRegexp"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="token_delimit_null.html" title="7.8.11. TokenDelimitNull"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="tokenmecab">
+<h1>7.8.12. <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code><a class="headerlink" href="#tokenmecab" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<div class="section" id="summary">
+<h2>7.8.12.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> は <a class="reference external" href="https://taku910.github.io/mecab/">MeCab</a> 形態素解析器をベースにしたトークナイザーです。</p>
+<p>MeCabは日本語に依存していません。その言語用の辞書を用意すれば日本語以外でもMeCabを使えます。日本語用の辞書には <a class="reference external" href="http://sourceforge.jp/projects/naist-jdic/">NAIST Japanese Dictionary</a> を使えます。</p>
+<p><code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> を使うには、追加のパッケージをインストールする必要があります。追加のパッケージをインストールする方法の詳細については、<a class="reference external" href="http://groonga.org/ja/docs/install.html">各OSのインストール方法</a> を参照して下さい。</p>
+<p><code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> は再現率より適合率に優れています。 <a class="reference internal" href="token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> では <code class="docutils literal notranslate"><span class="pre">京都</span></code> というクエリーで <code class="docutils literal notranslate"><span class="pre">東京都</span></code> も <code class="docutils literal notranslate"><span class="pre">京都</span></code> も見つかりますが、この場合は <code class="docutils literal notranslate"><span class="pre">東京都</span></code> は期待した結果ではありません。 <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> を使うと <code class="docutils literal notranslate"><span class="pre">京都</span></code> というクエリーで <code class="docutils literal notranslate"><span class="pre">京都</span></code> だけを見つけられます。</p>
+<p>新語をサポートしたい場合は、MeCabの辞書を更新し続ける必要があります。これはメンテナンスコストがかかります。（ <a class="reference internal" href="token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> には辞書のメンテナンスコストはありません。なぜなら、 <a class="reference internal" href="token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> は辞書を使っていないからです。）新語への対応に <a class="reference external" href="https://github.com/neologd/mecab-ipadic-neologd">mecab-ipadic-NEologd : Neologism dictionary for MeCab</a> が役に立つかもしれません。</p>
+</div>
+<div class="section" id="syntax">
+<h2>7.8.12.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> は、省略可能な引数があります。</p>
+<p>オプションなし:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenMecab
+</pre></div>
+</div>
+<p>オプション指定:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenMecab(&quot;include_class&quot;, true)
+TokenMecab(&quot;target_class&quot;, &quot;a_part_of_speech&quot;)
+TokenMecab(&quot;include_reading&quot;, true)
+TokenMecab(&quot;include_form&quot;, true)
+TokenMecab(&quot;use_reading&quot;, true)
+</pre></div>
+</div>
+<p>複数のオプション指定:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenMecab(&quot;target_class&quot;, &quot;名詞&quot;, &quot;include_reading&quot;, true)
+</pre></div>
+</div>
+<p>上記のように、 <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> は複数のオプションを指定することもできます。上記の例以外にも複数のオプションを組み合わせて指定できます。</p>
+</div>
+<div class="section" id="usage">
+<h2>7.8.12.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+</div>
+<div class="section" id="simple-usage">
+<h2>7.8.12.4. 簡単な使い方<a class="headerlink" href="#simple-usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">TokenMeCab</span></code> の例です。 <code class="docutils literal notranslate"><span class="pre">東京都</span></code> は <code class="docutils literal notranslate"><span class="pre">東京</span></code> と <code class="docutils literal notranslate"><span class="pre">都</span></code> にトークナイズされています。 <code class="docutils literal notranslate"><span class="pre">京都</span></code> というトークンはありません。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenMecab &quot;東京都&quot;
+# [
+#   [
+#     0,
+#     1545812631.661493,
+#     0.0002415180206298828
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;東京&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;都&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> はオプションを指定することもできます。<code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code> は、<code class="docutils literal notranslate"><span class="pre">target_class</span></code> オプション、 <code class="docutils literal notranslate"><span class="pre">include_class</span></code> オプション、 <code class="docutils literal notranslate"><span class="pre">include_reading</span></code> オプション、 <code class="docutils literal notranslate"><span class="pre">include_form</span></code> オプションと <code class="docutils literal notranslate"><span class="pre">use_reading</span></code> オプションがあります。</p>
+<p><code class="docutils literal notranslate"><span class="pre">target_class</span></code> オプションは、指定した品詞のトークンを検索します。例えば、以下のように名詞のみを検索できます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;target_class&quot;, &quot;名詞&quot;)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545810238.195525,
+#     0.0003066062927246094
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;さん&quot;,
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;はず&quot;,
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">include_class</span></code> オプションは、以下のようにMeCabのメタデータの品詞と品詞細分類を出力します。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;include_class&quot;, true)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545892715.887472,
+#     0.03757452964782715
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;名詞&quot;,
+#         &quot;subclass0&quot;: &quot;代名詞&quot;,
+#         &quot;subclass1&quot;: &quot;一般&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;助詞&quot;,
+#         &quot;subclass0&quot;: &quot;連体化&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;名詞&quot;,
+#         &quot;subclass0&quot;: &quot;一般&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;は&quot;,
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;助詞&quot;,
+#         &quot;subclass0&quot;: &quot;係助詞&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;名詞&quot;,
+#         &quot;subclass0&quot;: &quot;固有名詞&quot;,
+#         &quot;subclass1&quot;: &quot;人名&quot;,
+#         &quot;subclass2&quot;: &quot;姓&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;さん&quot;,
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;名詞&quot;,
+#         &quot;subclass0&quot;: &quot;接尾&quot;,
+#         &quot;subclass1&quot;: &quot;人名&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;助詞&quot;,
+#         &quot;subclass0&quot;: &quot;連体化&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;はず&quot;,
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;名詞&quot;,
+#         &quot;subclass0&quot;: &quot;非自立&quot;,
+#         &quot;subclass1&quot;: &quot;一般&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;です&quot;,
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;助動詞&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;。&quot;,
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;class&quot;: &quot;記号&quot;,
+#         &quot;subclass0&quot;: &quot;句点&quot;
+#       }
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>このオプションで出力する品詞と品詞細分類と <code class="docutils literal notranslate"><span class="pre">target_class</span></code> で不要なトークンを取り除くことができます。</p>
+<p><code class="docutils literal notranslate"><span class="pre">include_reading</span></code> は以下のように、MeCabのメタデータの読みを出力します。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;include_reading&quot;, true)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545892913.226588,
+#     0.0003414154052734375
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;カレ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ノ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ナマエ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;は&quot;,
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ハ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ヤマダ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;さん&quot;,
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;サン&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ノ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;はず&quot;,
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ハズ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;です&quot;,
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;デス&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;。&quot;,
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;。&quot;
+#       }
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>このオプションを使って、トークンの読みを取得できます。</p>
+<p><code class="docutils literal notranslate"><span class="pre">include_form</span></code> は、以下のようにMeCabのメタデータの活用型と活用形を出力します。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;include_form&quot;, true)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545892987.209944,
+#     0.0004286766052246094
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;彼&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;の&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;名前&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;は&quot;,
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;は&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;山田&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;さん&quot;,
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;さん&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;の&quot;,
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;の&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;はず&quot;,
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;はず&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;です&quot;,
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;inflected_type&quot;: &quot;特殊・デス&quot;,
+#         &quot;inflected_form&quot;: &quot;基本形&quot;,
+#         &quot;base_form&quot;: &quot;です&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;。&quot;,
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;base_form&quot;: &quot;。&quot;
+#       }
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">use_reading</span></code> は、読みがなによる検索をサポートします。このオプションは、読みがなを使った検索をするため、表記ゆれの対策として有用です。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;use_reading&quot;, true)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545893087.556662,
+#     0.0003693103790283203
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;カレ&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ノ&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ナマエ&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ハ&quot;,
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ヤマダ&quot;,
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;サン&quot;,
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ノ&quot;,
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;ハズ&quot;,
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;デス&quot;,
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;。&quot;,
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+<div class="section" id="advanced-usage">
+<h2>7.8.12.5. 高度な使い方<a class="headerlink" href="#advanced-usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">target_class</span></code> オプションは、品詞細分類を指定することや、 + や - を使って、特定の品詞を追加または、除外することもできます。したがって、以下のように人名の接尾語と非自立語を除いた名詞を検索することもできます。</p>
+<p>このようにして、ノイズとなるトークンを除外して検索できます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;target_class&quot;, &quot;-名詞/非自立&quot;, &quot;target_class&quot;, &quot;-名詞/接尾/人名&quot;, &quot;target_class&quot;, &quot;名詞&quot;)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545810363.771334,
+#     0.0003197193145751953
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>加えて、以下のように <code class="docutils literal notranslate"><span class="pre">include_reading</span></code> を使って、ノイズを除去したトークンの読みを取得できます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenMecab(&quot;target_class&quot;, &quot;-名詞/非自立&quot;, &quot;target_class&quot;, &quot;-名詞/接尾/人名&quot;, &quot;target_class&quot;, &quot;名詞&quot;, &quot;include_reading&quot;, true)&#39; &#39;彼の名前は山田さんのはずです。&#39;
+# [
+#   [
+#     0,
+#     1545893197.914959,
+#     0.0003139972686767578
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;彼&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;カレ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;名前&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ナマエ&quot;
+#       }
+#     },
+#     {
+#       &quot;value&quot;: &quot;山田&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false,
+#       &quot;metadata&quot;: {
+#         &quot;reading&quot;: &quot;ヤマダ&quot;
+#       }
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+<div class="section" id="parameters">
+<h2>7.8.12.6. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<div class="section" id="optional-parameter">
+<h3>7.8.12.6.1. 省略可能引数<a class="headerlink" href="#optional-parameter" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>省略可能引数は4つあります。 <code class="docutils literal notranslate"><span class="pre">include_class</span></code> 、 <code class="docutils literal notranslate"><span class="pre">target_class</span></code> 、 <code class="docutils literal notranslate"><span class="pre">include_form</span></code> と <code class="docutils literal notranslate"><span class="pre">use_reading</span></code> です。</p>
+<div class="section" id="include-class">
+<h4>7.8.12.6.1.1. <code class="docutils literal notranslate"><span class="pre">include_class</span></code><a class="headerlink" href="#include-class" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>MeCabのメタデータの品詞と品詞細分類を出力します。</p>
+</div>
+<div class="section" id="target-class">
+<h4>7.8.12.6.1.2. <code class="docutils literal notranslate"><span class="pre">target_class</span></code><a class="headerlink" href="#target-class" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>指定した品詞のトークンを出力します。</p>
+</div>
+<div class="section" id="include-reading">
+<h4>7.8.12.6.1.3. <code class="docutils literal notranslate"><span class="pre">include_reading</span></code><a class="headerlink" href="#include-reading" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>MeCabのメタデータの読みを出力します。</p>
+</div>
+<div class="section" id="include-form">
+<h4>7.8.12.6.1.4. <code class="docutils literal notranslate"><span class="pre">include_form</span></code><a class="headerlink" href="#include-form" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>MeCabのメタデータの活用型と活用形を出力します。</p>
+</div>
+<div class="section" id="use-reading">
+<h4>7.8.12.6.1.5. <code class="docutils literal notranslate"><span class="pre">use_reading</span></code><a class="headerlink" href="#use-reading" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークンの読みを出力します。</p>
+</div>
+</div>
+</div>
+<div class="section" id="see-also">
+<h2>7.8.12.7. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<ul class="simple">
+<li><p><a class="reference internal" href="../commands/tokenize.html"><span class="doc">tokenize</span></a></p></li>
+</ul>
+</div>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h3><a href="../../index.html">目次</a></h3>
+  <ul>
+<li><a class="reference internal" href="#">7.8.12. <code class="docutils literal notranslate"><span class="pre">TokenMecab</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.8.12.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.8.12.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.8.12.3. 使い方</a></li>
+<li><a class="reference internal" href="#simple-usage">7.8.12.4. 簡単な使い方</a></li>
+<li><a class="reference internal" href="#advanced-usage">7.8.12.5. 高度な使い方</a></li>
+<li><a class="reference internal" href="#parameters">7.8.12.6. 引数</a><ul>
+<li><a class="reference internal" href="#optional-parameter">7.8.12.6.1. 省略可能引数</a><ul>
+<li><a class="reference internal" href="#include-class">7.8.12.6.1.1. <code class="docutils literal notranslate"><span class="pre">include_class</span></code></a></li>
+<li><a class="reference internal" href="#target-class">7.8.12.6.1.2. <code class="docutils literal notranslate"><span class="pre">target_class</span></code></a></li>
+<li><a class="reference internal" href="#include-reading">7.8.12.6.1.3. <code class="docutils literal notranslate"><span class="pre">include_reading</span></code></a></li>
+<li><a class="reference internal" href="#include-form">7.8.12.6.1.4. <code class="docutils literal notranslate"><span class="pre">include_form</span></code></a></li>
+<li><a class="reference internal" href="#use-reading">7.8.12.6.1.5. <code class="docutils literal notranslate"><span class="pre">use_reading</span></code></a></li>
+</ul>
+</li>
+</ul>
+</li>
+<li><a class="reference internal" href="#see-also">7.8.12.7. 参考</a></li>
+</ul>
+</li>
+</ul>
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="token_delimit_null.html"
+                        title="前の章へ">7.8.11. <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code></a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="token_regexp.html"
+                        title="次の章へ">7.8.13. <code class="docutils literal notranslate"><span class="pre">TokenRegexp</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="token_regexp.html" title="7.8.13. TokenRegexp"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="token_delimit_null.html" title="7.8.11. TokenDelimitNull"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>