RubyGems - rroonga - Versions diffs - 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32 - Mend

rroonga 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (980) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers/token_bigram_split_symbol_alpha.html ADDED Viewed

@@ -0,0 +1,199 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.8. TokenBigramSplitSymbolAlpha &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.9. TokenBigramSplitSymbolAlphaDigit" href="token_bigram_split_symbol_alpha_digit.html" />
+    <link rel="prev" title="7.8.7. TokenBigramSplitSymbol" href="token_bigram_split_symbol.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizers/token_bigram_split_symbol_alpha.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha_digit.html" title="7.8.9. TokenBigramSplitSymbolAlphaDigit"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol.html" title="7.8.7. TokenBigramSplitSymbol"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="tokenbigramsplitsymbolalpha">
+<span id="token-bigram-split-symbol-alpha"></span><h1>7.8.8. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code><a class="headerlink" href="#tokenbigramsplitsymbolalpha" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<div class="section" id="summary">
+<h2>7.8.8.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> は <a class="reference internal" href="token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは記号とアルファベットの扱いです。</p>
+</div>
+<div class="section" id="syntax">
+<h2>7.8.8.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> には、引数がありません。</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenBigramSplitSymbolAlpha
+</pre></div>
+</div>
+</div>
+<div class="section" id="usage">
+<h2>7.8.8.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> は記号とアルファベットのトークナイズ方法にバイグラムを使います。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;100cents!!!&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;100&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ce&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;en&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;nt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ts&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;s!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h3><a href="../../index.html">目次</a></h3>
+  <ul>
+<li><a class="reference internal" href="#">7.8.8. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.8.8.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.8.8.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.8.8.3. 使い方</a></li>
+</ul>
+</li>
+</ul>
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="token_bigram_split_symbol.html"
+                        title="前の章へ">7.8.7. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbol</span></code></a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="token_bigram_split_symbol_alpha_digit.html"
+                        title="次の章へ">7.8.9. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha_digit.html" title="7.8.9. TokenBigramSplitSymbolAlphaDigit"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol.html" title="7.8.7. TokenBigramSplitSymbol"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers/token_bigram_split_symbol_alpha_digit.html ADDED Viewed

@@ -0,0 +1,209 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.9. TokenBigramSplitSymbolAlphaDigit &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.10. TokenDelimit" href="token_delimit.html" />
+    <link rel="prev" title="7.8.8. TokenBigramSplitSymbolAlpha" href="token_bigram_split_symbol_alpha.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizers/token_bigram_split_symbol_alpha_digit.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="token_delimit.html" title="7.8.10. TokenDelimit"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha.html" title="7.8.8. TokenBigramSplitSymbolAlpha"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="tokenbigramsplitsymbolalphadigit">
+<span id="token-bigram-split-symbol-alpha-digit"></span><h1>7.8.9. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code><a class="headerlink" href="#tokenbigramsplitsymbolalphadigit" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<div class="section" id="summary">
+<h2>7.8.9.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code> は <a class="reference internal" href="token_bigram.html#token-bigram"><span class="std std-ref">TokenBigram</span></a> と似ています。違いは記号とアルファベットと数字の扱いです。</p>
+</div>
+<div class="section" id="syntax">
+<h2>7.8.9.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code> には、引数がありません。</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenBigramSplitSymbolAlphaDigit
+</pre></div>
+</div>
+</div>
+<div class="section" id="usage">
+<h2>7.8.9.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code> は記号、アルファベット、数字のトークナイズ方法にバイグラムを使います。つまり、すべての文字をバイグラムでトークナイズします。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlphaDigit &quot;100cents!!!&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;10&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;00&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;0c&quot;
+#     },
+#     {
+#       &quot;position&quot;: 3,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ce&quot;
+#     },
+#     {
+#       &quot;position&quot;: 4,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;en&quot;
+#     },
+#     {
+#       &quot;position&quot;: 5,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;nt&quot;
+#     },
+#     {
+#       &quot;position&quot;: 6,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;ts&quot;
+#     },
+#     {
+#       &quot;position&quot;: 7,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;s!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 8,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 9,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!!&quot;
+#     },
+#     {
+#       &quot;position&quot;: 10,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;!&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h3><a href="../../index.html">目次</a></h3>
+  <ul>
+<li><a class="reference internal" href="#">7.8.9. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.8.9.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.8.9.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.8.9.3. 使い方</a></li>
+</ul>
+</li>
+</ul>
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="token_bigram_split_symbol_alpha.html"
+                        title="前の章へ">7.8.8. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code></a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="token_delimit.html"
+                        title="次の章へ">7.8.10. <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="token_delimit.html" title="7.8.10. TokenDelimit"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha.html" title="7.8.8. TokenBigramSplitSymbolAlpha"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>

data/vendor/local/share/doc/groonga/ja/html/reference/tokenizers/token_delimit.html ADDED Viewed

@@ -0,0 +1,344 @@
+<!DOCTYPE html>
+<html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
+  <head>
+    <meta charset="utf-8" />
+    <title>7.8.10. TokenDelimit &#8212; Groonga v9.0.2ドキュメント</title>
+    <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
+    <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
+    <script type="text/javascript" src="../../_static/jquery.js"></script>
+    <script type="text/javascript" src="../../_static/underscore.js"></script>
+    <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
+    <script type="text/javascript" src="../../_static/translations.js"></script>
+    <link rel="shortcut icon" href="../../_static/favicon.ico"/>
+    <link rel="index" title="索引" href="../../genindex.html" />
+    <link rel="search" title="検索" href="../../search.html" />
+    <link rel="next" title="7.8.11. TokenDelimitNull" href="token_delimit_null.html" />
+    <link rel="prev" title="7.8.9. TokenBigramSplitSymbolAlphaDigit" href="token_bigram_split_symbol_alpha_digit.html" />
+  </head><body>
+<div class="header">
+  <h1 class="title">
+    <a id="top-link" href="../../index.html">
+      <span class="project">groonga</span>
+      <span class="separator">-</span>
+      <span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
+    </a>
+  </h1>
+  <div class="other-language-links">
+    <ul>
+      <li><a href="../../../../en/html/reference/tokenizers/token_delimit.html">English</a></li>
+    </ul>
+  </div>
+</div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             accesskey="I">索引</a></li>
+        <li class="right" >
+          <a href="token_delimit_null.html" title="7.8.11. TokenDelimitNull"
+             accesskey="N">次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha_digit.html" title="7.8.9. TokenBigramSplitSymbolAlphaDigit"
+             accesskey="P">前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" accesskey="U">7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="document">
+      <div class="documentwrapper">
+        <div class="bodywrapper">
+          <div class="body" role="main">
+  <div class="section" id="tokendelimit">
+<span id="token-delimit"></span><h1>7.8.10. <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code><a class="headerlink" href="#tokendelimit" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<div class="section" id="summary">
+<h2>7.8.10.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> は1つ以上の空白文字（ <code class="docutils literal notranslate"><span class="pre">U+0020</span></code> ）で分割してトークンを抽出します。たとえば、 <code class="docutils literal notranslate"><span class="pre">Hello</span> <span class="pre">World</span></code> は <code class="docutils literal notranslate"><span class="pre">Hello</span></code> と <code class="docutils literal notranslate"><span class="pre">World</span></code> にトークナイズされます。</p>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> はタグテキストに適切です。 <code class="docutils literal notranslate"><span class="pre">groonga</span> <span class="pre">full-text-search</span> <span class="pre">http</span></code> というテキストから <code class="docutils literal notranslate"><span class="pre">groonga</span></code> 、 <code class="docutils literal notranslate"><span class="pre">full-text-search</span></code> 、 <code class="docutils literal notranslate"><span class="pre">http</span></code> を抽出します。</p>
+</div>
+<div class="section" id="syntax">
+<h2>7.8.10.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> は、省略可能な引数があります。</p>
+<p>オプションなし(1つ以上の空白文字( <code class="docutils literal notranslate"><span class="pre">U+0020</span></code> )で分割してトークンを抽出):</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenDelimit
+</pre></div>
+</div>
+<p>区切り文字を指定:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenDelimit(&quot;delimiter&quot;,  &quot;delimiter1&quot;, delimiter&quot;, &quot;delimiter2&quot;, ...)
+</pre></div>
+</div>
+<p>正規表現で区切り文字を指定:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>TokenDelimit(&quot;pattern&quot;, pattern)
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">delimiter</span></code> オプションと <code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションは同時に使用できません。</p>
+</div>
+<div class="section" id="usage">
+<h2>7.8.10.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+</div>
+<div class="section" id="simple-usage">
+<h2>7.8.10.4. 簡単な使い方<a class="headerlink" href="#simple-usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> の例です。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Groonga full-text-search HTTP&quot; NormalizerAuto
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;groonga&quot;
+#     },
+#     {
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;full-text-search&quot;
+#     },
+#     {
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;value&quot;: &quot;http&quot;
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> はオプションを指定することもできます。 <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> は <code class="docutils literal notranslate"><span class="pre">delimiter</span></code> オプションと <code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションを持っています。</p>
+<p><code class="docutils literal notranslate"><span class="pre">delimiter</span></code> オプションは、指定した文字でトークンに分割できます。</p>
+<p>例えば、以下のように <code class="docutils literal notranslate"><span class="pre">Hello,World</span></code> は、<code class="docutils literal notranslate"><span class="pre">Hello</span></code> と <code class="docutils literal notranslate"><span class="pre">World</span></code> にトークナイズされます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenDelimit(&quot;delimiter&quot;, &quot;,&quot;)&#39; &quot;Hello,World&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;Hello&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;World&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションは、正規表現でトークンを分割できます。<code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションを使うことで、不要な空白を除去することができます。</p>
+<p>例えば、以下のように <code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションによって、 <code class="docutils literal notranslate"><span class="pre">This</span> <span class="pre">is</span> <span class="pre">a</span> <span class="pre">pen.</span> <span class="pre">This</span> <span class="pre">is</span> <span class="pre">an</span> <span class="pre">apple</span></code> は <code class="docutils literal notranslate"><span class="pre">This</span> <span class="pre">is</span> <span class="pre">a</span> <span class="pre">pen</span></code> と <code class="docutils literal notranslate"><span class="pre">This</span> <span class="pre">is</span> <span class="pre">an</span> <span class="pre">apple</span></code> にトークナイズされます。</p>
+<p>通常、 <code class="docutils literal notranslate"><span class="pre">This</span> <span class="pre">is</span> <span class="pre">a</span> <span class="pre">pen.</span> <span class="pre">This</span> <span class="pre">is</span> <span class="pre">an</span> <span class="pre">apple.</span></code> を <code class="docutils literal notranslate"><span class="pre">.</span></code> で分割する際は、&quot;This is an apple.&quot;の文頭に不要な空白が含まれます。</p>
+<p>以下の例の用に <code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションを使うことで、その不要な空白を除去できます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenDelimit(&quot;pattern&quot;, &quot;\\.\\s*&quot;)&#39; &quot;This is a pen. This is an apple.&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;This is a pen.&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;This is an apple.&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+</div>
+<div class="section" id="advanced-usage">
+<h2>7.8.10.5. 高度な使い方<a class="headerlink" href="#advanced-usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<p><code class="docutils literal notranslate"><span class="pre">delimiter</span></code> オプションは、複数の区切り文字を指定することもできます。</p>
+<p>例えば、以下のように <code class="docutils literal notranslate"><span class="pre">Hello,</span> <span class="pre">World</span></code> は、<code class="docutils literal notranslate"><span class="pre">Hello</span></code> と <code class="docutils literal notranslate"><span class="pre">World</span></code> にトークナイズされます。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenDelimit(&quot;delimiter&quot;, &quot;,&quot;, &quot;delimiter&quot;, &quot; &quot;)&#39; &quot;Hello, World&quot;
+# [
+#   [
+#     0,
+#     1337566253.89858,
+#     0.000355720520019531
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;Hello&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;World&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p><code class="docutils literal notranslate"><span class="pre">pattern</span></code> オプションを使って複雑な条件でトークンを抽出できます。</p>
+<p>例えば、以下のように <code class="docutils literal notranslate"><span class="pre">delimiter</span></code> オプションを使って、 <code class="docutils literal notranslate"><span class="pre">これはペンですか！？リンゴですか？「リンゴです。」</span></code> を <code class="docutils literal notranslate"><span class="pre">これはペンですか</span></code> と <code class="docutils literal notranslate"><span class="pre">リンゴですか</span></code> 、 <code class="docutils literal notranslate"><span class="pre">「リンゴです。」</span></code> とトークナイズします。</p>
+<p>実行例:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize &#39;TokenDelimit(&quot;pattern&quot;, &quot;([。！？]+(?![）」])|[\\r\\n]+)\\s*&quot;)&#39; &quot;これはペンですか！？リンゴですか？「リンゴです。」&quot;
+# [
+#   [
+#     0,
+#     1545179416.22277,
+#     0.0002887248992919922
+#   ],
+#   [
+#     {
+#       &quot;value&quot;: &quot;これはペンですか&quot;,
+#       &quot;position&quot;: 0,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;リンゴですか&quot;,
+#       &quot;position&quot;: 1,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     },
+#     {
+#       &quot;value&quot;: &quot;「リンゴです。」&quot;,
+#       &quot;position&quot;: 2,
+#       &quot;force_prefix&quot;: false,
+#       &quot;force_prefix_search&quot;: false
+#     }
+#   ]
+# ]
+</pre></div>
+</div>
+<p>上記の正規表現の末尾の <code class="docutils literal notranslate"><span class="pre">\\s*</span></code> は、区切り文字の後ろの0個以上の空白にマッチします。</p>
+<p><code class="docutils literal notranslate"><span class="pre">[。！？]+</span></code> は、1個以上の <code class="docutils literal notranslate"><span class="pre">。</span></code> または <code class="docutils literal notranslate"><span class="pre">！</span></code>、 <code class="docutils literal notranslate"><span class="pre">？</span></code> にマッチします。例えば、 <code class="docutils literal notranslate"><span class="pre">[。！？]+</span></code> は <code class="docutils literal notranslate"><span class="pre">これはペンですか！？</span></code> の <code class="docutils literal notranslate"><span class="pre">！？</span></code> にマッチします。</p>
+<p><code class="docutils literal notranslate"><span class="pre">(?![）」])</span></code> は否定先読みです。 <code class="docutils literal notranslate"><span class="pre">(?![）」])</span></code> は <code class="docutils literal notranslate"><span class="pre">）</span></code> または <code class="docutils literal notranslate"><span class="pre">」</span></code> にマッチしない場合にマッチします。否定先読みは直前の正規表現と合わせて解釈します。</p>
+<p>したがって、 <code class="docutils literal notranslate"><span class="pre">[。！？]+(?![）」])</span></code> を解釈します。</p>
+<p><code class="docutils literal notranslate"><span class="pre">[。！？]+(?![）」])</span></code> は、<code class="docutils literal notranslate"><span class="pre">。</span></code> または <code class="docutils literal notranslate"><span class="pre">！</span></code>、 <code class="docutils literal notranslate"><span class="pre">？</span></code> の後ろに <code class="docutils literal notranslate"><span class="pre">）</span></code> または <code class="docutils literal notranslate"><span class="pre">」</span></code> が無い場合にマッチします。</p>
+<p>つまり、 <code class="docutils literal notranslate"><span class="pre">[。！？]+(?![）」])</span></code> は、 <code class="docutils literal notranslate"><span class="pre">これはペンですか。</span></code> の <code class="docutils literal notranslate"><span class="pre">。</span></code> にマッチしますが、 <code class="docutils literal notranslate"><span class="pre">「リンゴです。」</span></code> の <code class="docutils literal notranslate"><span class="pre">。</span></code> にはマッチしません。 <code class="docutils literal notranslate"><span class="pre">。</span></code> の後ろに <code class="docutils literal notranslate"><span class="pre">」</span></code> があるためです。</p>
+<p><code class="docutils literal notranslate"><span class="pre">[\\r\\n]+</span></code> は、1個以上の改行文字にマッチします。</p>
+<p>まとめると、 <code class="docutils literal notranslate"><span class="pre">([。！？]+(?![）」])|[\\r\\n]+)\\s*</span></code> は、 <code class="docutils literal notranslate"><span class="pre">。</span></code> と <code class="docutils literal notranslate"><span class="pre">！</span></code> と <code class="docutils literal notranslate"><span class="pre">？</span></code>、 改行文字を区切り文字としています。ただし、 <code class="docutils literal notranslate"><span class="pre">。</span></code> または <code class="docutils literal notranslate"><span class="pre">!</span></code>、 <code class="docutils literal notranslate"><span class="pre">？</span></code> の後ろに <code class="docutils literal notranslate"><span class="pre">）</span></code> または <code class="docutils literal notranslate"><span class="pre">」</span></code> がある場合は、 <code class="docutils literal notranslate"><span class="pre">。</span></code> や <code class="docutils literal notranslate"><span class="pre">！</span></code>、 <code class="docutils literal notranslate"><span class="pre">？</span></code> は区切り文字としません。</p>
+</div>
+<div class="section" id="parameters">
+<h2>7.8.10.6. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<div class="section" id="optional-parameter">
+<h3>7.8.10.6.1. 省略可能引数<a class="headerlink" href="#optional-parameter" title="このヘッドラインへのパーマリンク">¶</a></h3>
+<p>省略可能引数は2つあります。 <code class="docutils literal notranslate"><span class="pre">delimiter</span></code> と <code class="docutils literal notranslate"><span class="pre">pattern</span></code> です。</p>
+<div class="section" id="delimiter">
+<h4>7.8.10.6.1.1. <code class="docutils literal notranslate"><span class="pre">delimiter</span></code><a class="headerlink" href="#delimiter" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>指定した1つ以上の文字でトークンを分割します。</p>
+<p>区切り文字には、1つ以上の文字を指定できます。</p>
+</div>
+<div class="section" id="pattern">
+<h4>7.8.10.6.1.2. <code class="docutils literal notranslate"><span class="pre">pattern</span></code><a class="headerlink" href="#pattern" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>正規表現を使って、トークンを分割します。</p>
+</div>
+</div>
+</div>
+<div class="section" id="see-also">
+<h2>7.8.10.7. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
+<ul class="simple">
+<li><p><a class="reference internal" href="../commands/tokenize.html"><span class="doc">tokenize</span></a></p></li>
+</ul>
+</div>
+</div>
+          </div>
+        </div>
+      </div>
+      <div class="sphinxsidebar" role="navigation" aria-label="main navigation">
+        <div class="sphinxsidebarwrapper">
+  <h3><a href="../../index.html">目次</a></h3>
+  <ul>
+<li><a class="reference internal" href="#">7.8.10. <code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code></a><ul>
+<li><a class="reference internal" href="#summary">7.8.10.1. 概要</a></li>
+<li><a class="reference internal" href="#syntax">7.8.10.2. 構文</a></li>
+<li><a class="reference internal" href="#usage">7.8.10.3. 使い方</a></li>
+<li><a class="reference internal" href="#simple-usage">7.8.10.4. 簡単な使い方</a></li>
+<li><a class="reference internal" href="#advanced-usage">7.8.10.5. 高度な使い方</a></li>
+<li><a class="reference internal" href="#parameters">7.8.10.6. 引数</a><ul>
+<li><a class="reference internal" href="#optional-parameter">7.8.10.6.1. 省略可能引数</a><ul>
+<li><a class="reference internal" href="#delimiter">7.8.10.6.1.1. <code class="docutils literal notranslate"><span class="pre">delimiter</span></code></a></li>
+<li><a class="reference internal" href="#pattern">7.8.10.6.1.2. <code class="docutils literal notranslate"><span class="pre">pattern</span></code></a></li>
+</ul>
+</li>
+</ul>
+</li>
+<li><a class="reference internal" href="#see-also">7.8.10.7. 参考</a></li>
+</ul>
+</li>
+</ul>
+  <h4>前のトピックへ</h4>
+  <p class="topless"><a href="token_bigram_split_symbol_alpha_digit.html"
+                        title="前の章へ">7.8.9. <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlphaDigit</span></code></a></p>
+  <h4>次のトピックへ</h4>
+  <p class="topless"><a href="token_delimit_null.html"
+                        title="次の章へ">7.8.11. <code class="docutils literal notranslate"><span class="pre">TokenDelimitNull</span></code></a></p>
+<div id="searchbox" style="display: none" role="search">
+  <h3>クイック検索</h3>
+    <div class="searchformwrapper">
+    <form class="search" action="../../search.html" method="get">
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
+    </form>
+    </div>
+</div>
+<script type="text/javascript">$('#searchbox').show(0);</script>
+        </div>
+      </div>
+      <div class="clearer"></div>
+    </div>
+    <div class="related" role="navigation" aria-label="related navigation">
+      <h3>ナビゲーション</h3>
+      <ul>
+        <li class="right" style="margin-right: 10px">
+          <a href="../../genindex.html" title="総合索引"
+             >索引</a></li>
+        <li class="right" >
+          <a href="token_delimit_null.html" title="7.8.11. TokenDelimitNull"
+             >次へ</a> |</li>
+        <li class="right" >
+          <a href="token_bigram_split_symbol_alpha_digit.html" title="7.8.9. TokenBigramSplitSymbolAlphaDigit"
+             >前へ</a> |</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
+          <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
+          <li class="nav-item nav-item-2"><a href="../tokenizers.html" >7.8. トークナイザー</a> &#187;</li>
+      </ul>
+    </div>
+    <div class="footer" role="contentinfo">
+        &#169; Copyright 2009-2019, Brazil, Inc.
+    </div>
+  </body>
+</html>