RubyGems - rroonga - Versions diffs - 7.1.1-x64-mingw32 → 9.0.2-x64-mingw32 - Mend

rroonga 7.1.1-x64-mingw32 → 9.0.2-x64-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (980) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -1,35 +1,27 @@
-<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
-  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
   <head>
-    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.65. tokenize &#8212; Groonga v7.1.0-73-g6d02cfaドキュメント</title>
+    <meta charset="utf-8" />
+    <title>7.3.65. tokenize &#8212; Groonga v9.0.2ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
-    <script type="text/javascript">
-      var DOCUMENTATION_OPTIONS = {
-        URL_ROOT:    '../../',
-        VERSION:     '7.1.0-73-g6d02cfa',
-        COLLAPSE_INDEX: false,
-        FILE_SUFFIX: '.html',
-        HAS_SOURCE:  false,
-        SOURCELINK_SUFFIX: '.txt'
-      };
-    </script>
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
     <script type="text/javascript" src="../../_static/jquery.js"></script>
     <script type="text/javascript" src="../../_static/underscore.js"></script>
     <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
     <link rel="index" title="索引" href="../../genindex.html" />
     <link rel="search" title="検索" href="../../search.html" />
     <link rel="next" title="7.3.66. tokenizer_list" href="tokenizer_list.html" />
     <link rel="prev" title="7.3.64. thread_limit" href="thread_limit.html" />
-  </head>
-  <body>
+  </head><body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -59,7 +51,7 @@
         <li class="right" >
           <a href="thread_limit.html" title="7.3.64. thread_limit"
              accesskey="P">前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" accesskey="U">7.3. コマンド</a> &#187;</li>
       </ul>
@@ -71,16 +63,16 @@
           <div class="body" role="main">
   <div class="section" id="tokenize">
-<h1>7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>7.3.65.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
+<p><code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
 <h2>7.3.65.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このコマンドにはたくさんの引数があります。</p>
-<p><code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略できます:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize tokenizer
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> と <code class="docutils literal notranslate"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略できます:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize tokenizer
          string
          [normalizer=null]
          [flags=NONE]
@@ -93,7 +85,7 @@
 <h2>7.3.65.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -180,21 +172,21 @@
 # ]
 </pre></div>
 </div>
-<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal"><span class="pre">tokenizer</span></code> には <code class="docutils literal"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal"><span class="pre">string</span></code> には <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
+<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> には <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal notranslate"><span class="pre">string</span></code> には <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
 <h2>7.3.65.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
 <h3>7.3.65.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>必須引数は二つあります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> です。</p>
+<p>必須引数は二つあります。 <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> と <code class="docutils literal notranslate"><span class="pre">string</span></code> です。</p>
 <div class="section" id="tokenizer">
-<span id="tokenize-tokenizer"></span><h4>7.3.65.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
+<span id="tokenize-tokenizer"></span><h4>7.3.65.4.1.1. <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイザー名を指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
 <p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</p>
-<p>以下は組み込みの <code class="docutils literal"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
+<p>以下は組み込みの <code class="docutils literal notranslate"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenTrigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenTrigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -281,15 +273,15 @@
 # ]
 </pre></div>
 </div>
-<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><span class="doc">register</span></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><span class="doc">register</span></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal notranslate"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
 </div>
 <div class="section" id="string">
-<span id="tokenize-string"></span><h4>7.3.65.4.1.2. <code class="docutils literal"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-string"></span><h4>7.3.65.4.1.2. <code class="docutils literal notranslate"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズしたい文字列を指定します。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal"><span class="pre">&quot;</span></code> ）で <code class="docutils literal"><span class="pre">string</span></code> をクォートする必要があります。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中で空白を使う例です。</p>
+<p><code class="docutils literal notranslate"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal notranslate"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal notranslate"><span class="pre">&quot;</span></code> ）で <code class="docutils literal notranslate"><span class="pre">string</span></code> をクォートする必要があります。</p>
+<p><code class="docutils literal notranslate"><span class="pre">string</span></code> の中で空白を使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
 # [
 #   [
 #     0,
@@ -507,12 +499,12 @@
 <h3>7.3.65.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
-<span id="tokenize-normalizer"></span><h4>7.3.65.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>ノーマライザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<span id="tokenize-normalizer"></span><h4>7.3.65.4.2.1. <code class="docutils literal notranslate"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>ノーマライザー名を指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal notranslate"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
 <p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
 <p>以下はノーマライザーを使わない例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -599,10 +591,10 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
 <p>以下はノーマライザーを使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
 # [
 #   [
 #     0,
@@ -624,10 +616,10 @@
 # ]
 </pre></div>
 </div>
-<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
-<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
 # [
 #   [
 #     0,
@@ -709,34 +701,34 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
-<span id="tokenize-flags"></span><h4>7.3.65.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
+<span id="tokenize-flags"></span><h4>7.3.65.4.2.2. <code class="docutils literal notranslate"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal notranslate"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal notranslate"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
 <p>指定可能なフラグは以下の通りです。</p>
-<table border="1" class="docutils">
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">フラグ</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>フラグ</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">NONE</span></code></td>
-<td>無視されます。</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">NONE</span></code></p></td>
+<td><p>無視されます。</p></td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></td>
-<td>トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</td>
+<tr class="row-odd"><td><p><code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></p></td>
+<td><p>トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</p></td>
 </tr>
 </tbody>
 </table>
-<p>以下は <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
 # [
 #   [
 #     0,
@@ -763,15 +755,15 @@
 # ]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal notranslate"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 <div class="section" id="mode">
-<span id="tokenize-mode"></span><h4>7.3.65.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズモードを指定します。 <code class="docutils literal"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
-<p>デフォルトのモードは <code class="docutils literal"><span class="pre">ADD</span></code> です。</p>
-<p>以下は <code class="docutils literal"><span class="pre">ADD</span></code> モードの例です。</p>
+<span id="tokenize-mode"></span><h4>7.3.65.4.2.3. <code class="docutils literal notranslate"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズモードを指定します。 <code class="docutils literal notranslate"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal notranslate"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal notranslate"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
+<p>デフォルトのモードは <code class="docutils literal notranslate"><span class="pre">ADD</span></code> です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">ADD</span></code> モードの例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
 # [
 #   [
 #     0,
@@ -859,9 +851,9 @@
 </pre></div>
 </div>
 <p>最後のアルファベットは1文字でトークナイズされています。</p>
-<p>以下は <code class="docutils literal"><span class="pre">GET</span></code> モードの例です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">GET</span></code> モードの例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
 # [
 #   [
 #     0,
@@ -946,40 +938,41 @@
 <p>最後のアルファベットは2文字でトークナイズされています。</p>
 </div>
 <div class="section" id="token-filters">
-<span id="tokenize-token-filters"></span><h4>7.3.65.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークンフィルターを指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
+<span id="tokenize-token-filters"></span><h4>7.3.65.4.2.4. <code class="docutils literal notranslate"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークンフィルターを指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
 <p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><span class="doc">トークンフィルター</span></a> を参照してください。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
 <span id="tokenize-return-value"></span><h2>7.3.65.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>[HEADER, tokens]
+<p><code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>[HEADER, tokens]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
+<p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code></p>
 <blockquote>
-<div><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</div></blockquote>
-<p><code class="docutils literal"><span class="pre">tokens</span></code></p>
+<div><p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</p>
+</div></blockquote>
+<p><code class="docutils literal notranslate"><span class="pre">tokens</span></code></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
-<table border="1" class="docutils">
+<div><p><code class="docutils literal notranslate"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">名前</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>名前</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">value</span></code></td>
-<td>トークン自身</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">value</span></code></p></td>
+<td><p>トークン自身</p></td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">position</span></code></td>
-<td>N番目のトークン。</td>
+<tr class="row-odd"><td><p><code class="docutils literal notranslate"><span class="pre">position</span></code></p></td>
+<td><p>N番目のトークン。</p></td>
 </tr>
 </tbody>
 </table>
@@ -988,7 +981,7 @@
 <div class="section" id="see-also">
 <h2>7.3.65.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
-<li><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></li>
+<li><p><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></p></li>
 </ul>
 </div>
 </div>
@@ -1001,21 +994,21 @@
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code></a><ul>
+<li><a class="reference internal" href="#">7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code></a><ul>
 <li><a class="reference internal" href="#summary">7.3.65.1. 概要</a></li>
 <li><a class="reference internal" href="#syntax">7.3.65.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">7.3.65.3. 使い方</a></li>
 <li><a class="reference internal" href="#parameters">7.3.65.4. 引数</a><ul>
 <li><a class="reference internal" href="#required-parameters">7.3.65.4.1. 必須引数</a><ul>
-<li><a class="reference internal" href="#tokenizer">7.3.65.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code></a></li>
-<li><a class="reference internal" href="#string">7.3.65.4.1.2. <code class="docutils literal"><span class="pre">string</span></code></a></li>
+<li><a class="reference internal" href="#tokenizer">7.3.65.4.1.1. <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code></a></li>
+<li><a class="reference internal" href="#string">7.3.65.4.1.2. <code class="docutils literal notranslate"><span class="pre">string</span></code></a></li>
 </ul>
 </li>
 <li><a class="reference internal" href="#optional-parameters">7.3.65.4.2. 省略可能引数</a><ul>
-<li><a class="reference internal" href="#normalizer">7.3.65.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code></a></li>
-<li><a class="reference internal" href="#flags">7.3.65.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code></a></li>
-<li><a class="reference internal" href="#mode">7.3.65.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code></a></li>
-<li><a class="reference internal" href="#token-filters">7.3.65.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code></a></li>
+<li><a class="reference internal" href="#normalizer">7.3.65.4.2.1. <code class="docutils literal notranslate"><span class="pre">normalizer</span></code></a></li>
+<li><a class="reference internal" href="#flags">7.3.65.4.2.2. <code class="docutils literal notranslate"><span class="pre">flags</span></code></a></li>
+<li><a class="reference internal" href="#mode">7.3.65.4.2.3. <code class="docutils literal notranslate"><span class="pre">mode</span></code></a></li>
+<li><a class="reference internal" href="#token-filters">7.3.65.4.2.4. <code class="docutils literal notranslate"><span class="pre">token_filters</span></code></a></li>
 </ul>
 </li>
 </ul>
@@ -1028,18 +1021,18 @@
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="thread_limit.html"
-                        title="前の章へ">7.3.64. <code class="docutils literal"><span class="pre">thread_limit</span></code></a></p>
+                        title="前の章へ">7.3.64. <code class="docutils literal notranslate"><span class="pre">thread_limit</span></code></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="tokenizer_list.html"
-                        title="次の章へ">7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a></p>
+                        title="次の章へ">7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code></a></p>
 <div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
+    <div class="searchformwrapper">
     <form class="search" action="../../search.html" method="get">
-      <div><input type="text" name="q" /></div>
-      <div><input type="submit" value="検索" /></div>
-      <input type="hidden" name="check_keywords" value="yes" />
-      <input type="hidden" name="area" value="default" />
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
     </form>
+    </div>
 </div>
 <script type="text/javascript">$('#searchbox').show(0);</script>
         </div>
@@ -1058,13 +1051,13 @@
         <li class="right" >
           <a href="thread_limit.html" title="7.3.64. thread_limit"
              >前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" >7.3. コマンド</a> &#187;</li>
       </ul>
     </div>
     <div class="footer" role="contentinfo">
-        &#169; Copyright 2009-2018, Brazil, Inc.
+        &#169; Copyright 2009-2019, Brazil, Inc.
     </div>
   </body>
 </html>

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenizer_list.html CHANGED Viewed

@@ -1,35 +1,27 @@
-<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
-  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
   <head>
-    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.66. tokenizer_list &#8212; Groonga v7.1.0-73-g6d02cfaドキュメント</title>
+    <meta charset="utf-8" />
+    <title>7.3.66. tokenizer_list &#8212; Groonga v9.0.2ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
-    <script type="text/javascript">
-      var DOCUMENTATION_OPTIONS = {
-        URL_ROOT:    '../../',
-        VERSION:     '7.1.0-73-g6d02cfa',
-        COLLAPSE_INDEX: false,
-        FILE_SUFFIX: '.html',
-        HAS_SOURCE:  false,
-        SOURCELINK_SUFFIX: '.txt'
-      };
-    </script>
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
     <script type="text/javascript" src="../../_static/jquery.js"></script>
     <script type="text/javascript" src="../../_static/underscore.js"></script>
     <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
     <link rel="index" title="索引" href="../../genindex.html" />
     <link rel="search" title="検索" href="../../search.html" />
     <link rel="next" title="7.3.67. truncate" href="truncate.html" />
     <link rel="prev" title="7.3.65. tokenize" href="tokenize.html" />
-  </head>
-  <body>
+  </head><body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -59,7 +51,7 @@
         <li class="right" >
           <a href="tokenize.html" title="7.3.65. tokenize"
              accesskey="P">前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" accesskey="U">7.3. コマンド</a> &#187;</li>
       </ul>
@@ -71,15 +63,15 @@
           <div class="body" role="main">
   <div class="section" id="tokenizer-list">
-<h1>7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code><a class="headerlink" href="#tokenizer-list" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code><a class="headerlink" href="#tokenizer-list" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>7.3.66.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenizer_list</span></code> コマンドはデータベースに登録されているトークナイザーの一覧を返します。</p>
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code> コマンドはデータベースに登録されているトークナイザーの一覧を返します。</p>
 </div>
 <div class="section" id="syntax">
 <h2>7.3.66.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このコマンドに引数はありません:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenizer_list
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenizer_list
 </pre></div>
 </div>
 </div>
@@ -87,7 +79,7 @@
 <h2>7.3.66.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenizer_list
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenizer_list
 # [
 #   [
 #     0,
@@ -142,29 +134,30 @@
 </div>
 <div class="section" id="return-value">
 <h2>7.3.66.4. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenizer_list</span></code> コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>[HEADER, tokenizers]
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code> コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>[HEADER, tokenizers]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
+<p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code></p>
 <blockquote>
-<div><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</div></blockquote>
-<p><code class="docutils literal"><span class="pre">tokenizers</span></code></p>
+<div><p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</p>
+</div></blockquote>
+<p><code class="docutils literal notranslate"><span class="pre">tokenizers</span></code></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">tokenizers</span></code> はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。</p>
-<table border="1" class="docutils">
+<div><p><code class="docutils literal notranslate"><span class="pre">tokenizers</span></code> はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。</p>
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">名前</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>名前</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">name</span></code></td>
-<td>トークナイザー名。</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">name</span></code></p></td>
+<td><p>トークナイザー名。</p></td>
 </tr>
 </tbody>
 </table>
@@ -173,8 +166,8 @@
 <div class="section" id="see-also">
 <h2>7.3.66.5. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
-<li><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></li>
-<li><a class="reference internal" href="tokenize.html"><span class="doc">tokenize</span></a></li>
+<li><p><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></p></li>
+<li><p><a class="reference internal" href="tokenize.html"><span class="doc">tokenize</span></a></p></li>
 </ul>
 </div>
 </div>
@@ -187,7 +180,7 @@
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a><ul>
+<li><a class="reference internal" href="#">7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code></a><ul>
 <li><a class="reference internal" href="#summary">7.3.66.1. 概要</a></li>
 <li><a class="reference internal" href="#syntax">7.3.66.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">7.3.66.3. 使い方</a></li>
@@ -199,18 +192,18 @@
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="tokenize.html"
-                        title="前の章へ">7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code></a></p>
+                        title="前の章へ">7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="truncate.html"
-                        title="次の章へ">7.3.67. <code class="docutils literal"><span class="pre">truncate</span></code></a></p>
+                        title="次の章へ">7.3.67. <code class="docutils literal notranslate"><span class="pre">truncate</span></code></a></p>
 <div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
+    <div class="searchformwrapper">
     <form class="search" action="../../search.html" method="get">
-      <div><input type="text" name="q" /></div>
-      <div><input type="submit" value="検索" /></div>
-      <input type="hidden" name="check_keywords" value="yes" />
-      <input type="hidden" name="area" value="default" />
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
     </form>
+    </div>
 </div>
 <script type="text/javascript">$('#searchbox').show(0);</script>
         </div>
@@ -229,13 +222,13 @@
         <li class="right" >
           <a href="tokenize.html" title="7.3.65. tokenize"
              >前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" >7.3. コマンド</a> &#187;</li>
       </ul>
     </div>
     <div class="footer" role="contentinfo">
-        &#169; Copyright 2009-2018, Brazil, Inc.
+        &#169; Copyright 2009-2019, Brazil, Inc.
     </div>
   </body>
 </html>