RubyGems - rroonga - Versions diffs - 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32 - Mend

rroonga 7.1.1-x86-mingw32 → 9.0.2-x86-mingw32

Files changed (980) hide show

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenize.html CHANGED Viewed

@@ -1,35 +1,27 @@
-<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
-  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
   <head>
-    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.65. tokenize &#8212; Groonga v7.1.0-73-g6d02cfaドキュメント</title>
+    <meta charset="utf-8" />
+    <title>7.3.65. tokenize &#8212; Groonga v9.0.2ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
-    <script type="text/javascript">
-      var DOCUMENTATION_OPTIONS = {
-        URL_ROOT:    '../../',
-        VERSION:     '7.1.0-73-g6d02cfa',
-        COLLAPSE_INDEX: false,
-        FILE_SUFFIX: '.html',
-        HAS_SOURCE:  false,
-        SOURCELINK_SUFFIX: '.txt'
-      };
-    </script>
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
     <script type="text/javascript" src="../../_static/jquery.js"></script>
     <script type="text/javascript" src="../../_static/underscore.js"></script>
     <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
     <link rel="index" title="索引" href="../../genindex.html" />
     <link rel="search" title="検索" href="../../search.html" />
     <link rel="next" title="7.3.66. tokenizer_list" href="tokenizer_list.html" />
     <link rel="prev" title="7.3.64. thread_limit" href="thread_limit.html" />
-  </head>
-  <body>
+  </head><body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -59,7 +51,7 @@
         <li class="right" >
           <a href="thread_limit.html" title="7.3.64. thread_limit"
              accesskey="P">前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" accesskey="U">7.3. コマンド</a> &#187;</li>
       </ul>
@@ -71,16 +63,16 @@
           <div class="body" role="main">
   <div class="section" id="tokenize">
-<h1>7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code><a class="headerlink" href="#tokenize" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>7.3.65.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
+<p><code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは指定したトークナイザーでテキストをトークナイズします。これはトークナイズ処理のデバッグに便利です。</p>
 </div>
 <div class="section" id="syntax">
 <h2>7.3.65.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このコマンドにはたくさんの引数があります。</p>
-<p><code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略できます:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize tokenizer
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> と <code class="docutils literal notranslate"><span class="pre">string</span></code> が必須の引数で、他の引数はすべて省略できます:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize tokenizer
          string
          [normalizer=null]
          [flags=NONE]
@@ -93,7 +85,7 @@
 <h2>7.3.65.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -180,21 +172,21 @@
 # ]
 </pre></div>
 </div>
-<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal"><span class="pre">tokenizer</span></code> には <code class="docutils literal"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal"><span class="pre">string</span></code> には <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
+<p>この例では必須のパラメーターだけ使っています。 <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> には <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code> を、 <code class="docutils literal notranslate"><span class="pre">string</span></code> には <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を指定しています。この例は <code class="docutils literal notranslate"><span class="pre">TokenBigram</span></code> トークナイザーで <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> をトークナイズしたトークンを返します。この例では <code class="docutils literal notranslate"><span class="pre">&quot;Fulltext</span> <span class="pre">Search&quot;</span></code> を正規化していません。</p>
 </div>
 <div class="section" id="parameters">
 <h2>7.3.65.4. 引数<a class="headerlink" href="#parameters" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このセクションではすべての引数について説明します。引数はカテゴリわけしています。</p>
 <div class="section" id="required-parameters">
 <h3>7.3.65.4.1. 必須引数<a class="headerlink" href="#required-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
-<p>必須引数は二つあります。 <code class="docutils literal"><span class="pre">tokenizer</span></code> と <code class="docutils literal"><span class="pre">string</span></code> です。</p>
+<p>必須引数は二つあります。 <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> と <code class="docutils literal notranslate"><span class="pre">string</span></code> です。</p>
 <div class="section" id="tokenizer">
-<span id="tokenize-tokenizer"></span><h4>7.3.65.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
+<span id="tokenize-tokenizer"></span><h4>7.3.65.4.1.1. <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code><a class="headerlink" href="#tokenizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイザー名を指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code> で指定された名前のトークナイザーを使います。</p>
 <p>組み込みのトークナイザーについては <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</p>
-<p>以下は組み込みの <code class="docutils literal"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
+<p>以下は組み込みの <code class="docutils literal notranslate"><span class="pre">TokenTrigram</span></code> トークナイザーを使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenTrigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenTrigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -281,15 +273,15 @@
 # ]
 </pre></div>
 </div>
-<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><span class="doc">register</span></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
+<p>他のトークナイザーを使いたい場合は、 <a class="reference internal" href="register.html"><span class="doc">register</span></a> コマンドでトークナイザープラグインを登録する必要があります。例えば、 <a class="reference external" href="http://www.phontron.com/kytea/">KyTea</a> ベースのトークナイザーを <code class="docutils literal notranslate"><span class="pre">tokenizers/kytea</span></code> を登録することで使えます。</p>
 </div>
 <div class="section" id="string">
-<span id="tokenize-string"></span><h4>7.3.65.4.1.2. <code class="docutils literal"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<span id="tokenize-string"></span><h4>7.3.65.4.1.2. <code class="docutils literal notranslate"><span class="pre">string</span></code><a class="headerlink" href="#string" title="このヘッドラインへのパーマリンク">¶</a></h4>
 <p>トークナイズしたい文字列を指定します。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal"><span class="pre">&quot;</span></code> ）で <code class="docutils literal"><span class="pre">string</span></code> をクォートする必要があります。</p>
-<p><code class="docutils literal"><span class="pre">string</span></code> の中で空白を使う例です。</p>
+<p><code class="docutils literal notranslate"><span class="pre">string</span></code> の中に文字列を含める場合は、シングルクォート（ <code class="docutils literal notranslate"><span class="pre">'</span></code> ）またはダブルクォート（ <code class="docutils literal notranslate"><span class="pre">&quot;</span></code> ）で <code class="docutils literal notranslate"><span class="pre">string</span></code> をクォートする必要があります。</p>
+<p><code class="docutils literal notranslate"><span class="pre">string</span></code> の中で空白を使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Groonga is a fast fulltext earch engine!&quot;
 # [
 #   [
 #     0,
@@ -507,12 +499,12 @@
 <h3>7.3.65.4.2. 省略可能引数<a class="headerlink" href="#optional-parameters" title="このヘッドラインへのパーマリンク">¶</a></h3>
 <p>いくつか省略可能な引数があります。</p>
 <div class="section" id="normalizer">
-<span id="tokenize-normalizer"></span><h4>7.3.65.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>ノーマライザー名を指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
+<span id="tokenize-normalizer"></span><h4>7.3.65.4.2.1. <code class="docutils literal notranslate"><span class="pre">normalizer</span></code><a class="headerlink" href="#normalizer" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>ノーマライザー名を指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">normalizer</span></code> という名前のノーマライザーを使います。ノーマライザーは <code class="docutils literal notranslate"><span class="pre">TokenBigrma</span></code> など、N-gram関連のトークナイザーにとってとても重要です。</p>
 <p>ノーマライザーはノーマライズ中にそれぞれの文字の種類を検出します。N-gram系のトークナイザーはトークナイズ中に文字の種類を利用します。</p>
 <p>以下はノーマライザーを使わない例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot;
 # [
 #   [
 #     0,
@@ -599,10 +591,10 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとトークナイズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">Fu</span></code> で1つのトークンになっています。</p>
 <p>以下はノーマライザーを使う例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; NormalizerAuto
 # [
 #   [
 #     0,
@@ -624,10 +616,10 @@
 # ]
 </pre></div>
 </div>
-<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
-<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
+<p>連続するアルファベットが1つのトークンにトークナイズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">fulltext</span></code> で1つのトークンになっています。</p>
+<p>ノーマライザーを使いながら2文字でトークナイズしたい場合は <code class="docutils literal notranslate"><span class="pre">TokenBigramSplitSymbolAlpha</span></code> を使って下さい。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigramSplitSymbolAlpha &quot;Fulltext Search&quot; NormalizerAuto
 # [
 #   [
 #     0,
@@ -709,34 +701,34 @@
 # ]
 </pre></div>
 </div>
-<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
+<p>すべてのアルファベットが2文字ごとにトークナイズされています。そして、すべての文字が小文字にノーマライズされています。例えば、 <code class="docutils literal notranslate"><span class="pre">fu</span></code> で1つのトークンになっています。</p>
 </div>
 <div class="section" id="flags">
-<span id="tokenize-flags"></span><h4>7.3.65.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
+<span id="tokenize-flags"></span><h4>7.3.65.4.2.2. <code class="docutils literal notranslate"><span class="pre">flags</span></code><a class="headerlink" href="#flags" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズ処理をカスタマイズするオプションを指定します。「 <code class="docutils literal notranslate"><span class="pre">|</span></code> 」で区切って複数のオプションを指定することができます。例えば、 <code class="docutils literal notranslate"><span class="pre">NONE|ENABLE_TOKENIZED_DELIMITER</span></code> というように指定できます。</p>
 <p>指定可能なフラグは以下の通りです。</p>
-<table border="1" class="docutils">
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">フラグ</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>フラグ</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">NONE</span></code></td>
-<td>無視されます。</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">NONE</span></code></p></td>
+<td><p>無視されます。</p></td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></td>
-<td>トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</td>
+<tr class="row-odd"><td><p><code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code></p></td>
+<td><p>トークナイズ済み区切り文字を有効にします。トークナイズ済み区切り文字の詳細は <a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a> を参照してください。</p></td>
 </tr>
 </tbody>
 </table>
-<p>以下は <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> を使った例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenDelimit &quot;Fulltext Seacrch&quot; NormalizerAuto ENABLE_TOKENIZED_DELIMITER
 # [
 #   [
 #     0,
@@ -763,15 +755,15 @@
 # ]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
+<p><code class="docutils literal notranslate"><span class="pre">TokenDelimit</span></code> トークナイザーはトークナイズ済み区切り文字をサポートしているトークナイザーの1つです。 <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> でトークナイズ済み区切り文字を有効に出来ます。トークナイズ済み区切り文字はトークンの区切りを表す特別な文字です。この文字は <code class="docutils literal notranslate"><span class="pre">U+FFFE</span></code> です。この文字コードはどの文字にも割り当てられていません。つまり、通常の文字列にはこの文字は現れません。よって、トークンの区切りを表すという目的には適切な文字です。 <code class="docutils literal notranslate"><span class="pre">ENABLE_TOKENIZED_DELIMITER</span></code> が有効のときは、対象文字列はすでにトークナイズ済みであると扱われます。トークナイザーは単にトークナイズ済み区切り文字で区切ってトークナイズします。</p>
 </div>
 <div class="section" id="mode">
-<span id="tokenize-mode"></span><h4>7.3.65.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークナイズモードを指定します。 <code class="docutils literal"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
-<p>デフォルトのモードは <code class="docutils literal"><span class="pre">ADD</span></code> です。</p>
-<p>以下は <code class="docutils literal"><span class="pre">ADD</span></code> モードの例です。</p>
+<span id="tokenize-mode"></span><h4>7.3.65.4.2.3. <code class="docutils literal notranslate"><span class="pre">mode</span></code><a class="headerlink" href="#mode" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークナイズモードを指定します。 <code class="docutils literal notranslate"><span class="pre">ADD</span></code> を指定すると、ドキュメント追加時と同じルールでトークナイズされます。 <code class="docutils literal notranslate"><span class="pre">GET</span></code> を指定すると、ドキュメント検索時と同じルールでトークナイズされます。省略された場合、 <code class="docutils literal notranslate"><span class="pre">ADD</span></code> モードでトークナイズされます。</p>
+<p>デフォルトのモードは <code class="docutils literal notranslate"><span class="pre">ADD</span></code> です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">ADD</span></code> モードの例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode ADD
 # [
 #   [
 #     0,
@@ -859,9 +851,9 @@
 </pre></div>
 </div>
 <p>最後のアルファベットは1文字でトークナイズされています。</p>
-<p>以下は <code class="docutils literal"><span class="pre">GET</span></code> モードの例です。</p>
+<p>以下は <code class="docutils literal notranslate"><span class="pre">GET</span></code> モードの例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenize TokenBigram &quot;Fulltext Search&quot; --mode GET
 # [
 #   [
 #     0,
@@ -946,40 +938,41 @@
 <p>最後のアルファベットは2文字でトークナイズされています。</p>
 </div>
 <div class="section" id="token-filters">
-<span id="tokenize-token-filters"></span><h4>7.3.65.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
-<p>トークンフィルターを指定します。 <code class="docutils literal"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
+<span id="tokenize-token-filters"></span><h4>7.3.65.4.2.4. <code class="docutils literal notranslate"><span class="pre">token_filters</span></code><a class="headerlink" href="#token-filters" title="このヘッドラインへのパーマリンク">¶</a></h4>
+<p>トークンフィルターを指定します。 <code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドは <code class="docutils literal notranslate"><span class="pre">token_filters</span></code> という名前のトークンフィルターを使います。</p>
 <p>トークンフィルターについては <a class="reference internal" href="../token_filters.html"><span class="doc">トークンフィルター</span></a> を参照してください。</p>
 </div>
 </div>
 </div>
 <div class="section" id="return-value">
 <span id="tokenize-return-value"></span><h2>7.3.65.5. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>[HEADER, tokens]
+<p><code class="docutils literal notranslate"><span class="pre">tokenize</span></code> コマンドはトークナイズしたトークンをすべて返します。各トークンはトークン自身の文字列情報以外にいくつかの属性を持ちます。属性は今後増えていく可能性があります:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>[HEADER, tokens]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
+<p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code></p>
 <blockquote>
-<div><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</div></blockquote>
-<p><code class="docutils literal"><span class="pre">tokens</span></code></p>
+<div><p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</p>
+</div></blockquote>
+<p><code class="docutils literal notranslate"><span class="pre">tokens</span></code></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
-<table border="1" class="docutils">
+<div><p><code class="docutils literal notranslate"><span class="pre">tokens</span></code> はトークンの配列です。トークンは以下の属性を持ったオブジェクトです。</p>
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">名前</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>名前</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">value</span></code></td>
-<td>トークン自身</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">value</span></code></p></td>
+<td><p>トークン自身</p></td>
 </tr>
-<tr class="row-odd"><td><code class="docutils literal"><span class="pre">position</span></code></td>
-<td>N番目のトークン。</td>
+<tr class="row-odd"><td><p><code class="docutils literal notranslate"><span class="pre">position</span></code></p></td>
+<td><p>N番目のトークン。</p></td>
 </tr>
 </tbody>
 </table>
@@ -988,7 +981,7 @@
 <div class="section" id="see-also">
 <h2>7.3.65.6. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
-<li><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></li>
+<li><p><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></p></li>
 </ul>
 </div>
 </div>
@@ -1001,21 +994,21 @@
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code></a><ul>
+<li><a class="reference internal" href="#">7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code></a><ul>
 <li><a class="reference internal" href="#summary">7.3.65.1. 概要</a></li>
 <li><a class="reference internal" href="#syntax">7.3.65.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">7.3.65.3. 使い方</a></li>
 <li><a class="reference internal" href="#parameters">7.3.65.4. 引数</a><ul>
 <li><a class="reference internal" href="#required-parameters">7.3.65.4.1. 必須引数</a><ul>
-<li><a class="reference internal" href="#tokenizer">7.3.65.4.1.1. <code class="docutils literal"><span class="pre">tokenizer</span></code></a></li>
-<li><a class="reference internal" href="#string">7.3.65.4.1.2. <code class="docutils literal"><span class="pre">string</span></code></a></li>
+<li><a class="reference internal" href="#tokenizer">7.3.65.4.1.1. <code class="docutils literal notranslate"><span class="pre">tokenizer</span></code></a></li>
+<li><a class="reference internal" href="#string">7.3.65.4.1.2. <code class="docutils literal notranslate"><span class="pre">string</span></code></a></li>
 </ul>
 </li>
 <li><a class="reference internal" href="#optional-parameters">7.3.65.4.2. 省略可能引数</a><ul>
-<li><a class="reference internal" href="#normalizer">7.3.65.4.2.1. <code class="docutils literal"><span class="pre">normalizer</span></code></a></li>
-<li><a class="reference internal" href="#flags">7.3.65.4.2.2. <code class="docutils literal"><span class="pre">flags</span></code></a></li>
-<li><a class="reference internal" href="#mode">7.3.65.4.2.3. <code class="docutils literal"><span class="pre">mode</span></code></a></li>
-<li><a class="reference internal" href="#token-filters">7.3.65.4.2.4. <code class="docutils literal"><span class="pre">token_filters</span></code></a></li>
+<li><a class="reference internal" href="#normalizer">7.3.65.4.2.1. <code class="docutils literal notranslate"><span class="pre">normalizer</span></code></a></li>
+<li><a class="reference internal" href="#flags">7.3.65.4.2.2. <code class="docutils literal notranslate"><span class="pre">flags</span></code></a></li>
+<li><a class="reference internal" href="#mode">7.3.65.4.2.3. <code class="docutils literal notranslate"><span class="pre">mode</span></code></a></li>
+<li><a class="reference internal" href="#token-filters">7.3.65.4.2.4. <code class="docutils literal notranslate"><span class="pre">token_filters</span></code></a></li>
 </ul>
 </li>
 </ul>
@@ -1028,18 +1021,18 @@
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="thread_limit.html"
-                        title="前の章へ">7.3.64. <code class="docutils literal"><span class="pre">thread_limit</span></code></a></p>
+                        title="前の章へ">7.3.64. <code class="docutils literal notranslate"><span class="pre">thread_limit</span></code></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="tokenizer_list.html"
-                        title="次の章へ">7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a></p>
+                        title="次の章へ">7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code></a></p>
 <div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
+    <div class="searchformwrapper">
     <form class="search" action="../../search.html" method="get">
-      <div><input type="text" name="q" /></div>
-      <div><input type="submit" value="検索" /></div>
-      <input type="hidden" name="check_keywords" value="yes" />
-      <input type="hidden" name="area" value="default" />
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
     </form>
+    </div>
 </div>
 <script type="text/javascript">$('#searchbox').show(0);</script>
         </div>
@@ -1058,13 +1051,13 @@
         <li class="right" >
           <a href="thread_limit.html" title="7.3.64. thread_limit"
              >前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" >7.3. コマンド</a> &#187;</li>
       </ul>
     </div>
     <div class="footer" role="contentinfo">
-        &#169; Copyright 2009-2018, Brazil, Inc.
+        &#169; Copyright 2009-2019, Brazil, Inc.
     </div>
   </body>
 </html>

data/vendor/local/share/doc/groonga/ja/html/reference/commands/tokenizer_list.html CHANGED Viewed

@@ -1,35 +1,27 @@
-<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
-  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<!DOCTYPE html>
 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja">
   <head>
-    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-    <title>7.3.66. tokenizer_list &#8212; Groonga v7.1.0-73-g6d02cfaドキュメント</title>
+    <meta charset="utf-8" />
+    <title>7.3.66. tokenizer_list &#8212; Groonga v9.0.2ドキュメント</title>
     <link rel="stylesheet" href="../../_static/groonga.css" type="text/css" />
     <link rel="stylesheet" href="../../_static/pygments.css" type="text/css" />
-    <script type="text/javascript">
-      var DOCUMENTATION_OPTIONS = {
-        URL_ROOT:    '../../',
-        VERSION:     '7.1.0-73-g6d02cfa',
-        COLLAPSE_INDEX: false,
-        FILE_SUFFIX: '.html',
-        HAS_SOURCE:  false,
-        SOURCELINK_SUFFIX: '.txt'
-      };
-    </script>
+    <script type="text/javascript" id="documentation_options" data-url_root="../../" src="../../_static/documentation_options.js"></script>
     <script type="text/javascript" src="../../_static/jquery.js"></script>
     <script type="text/javascript" src="../../_static/underscore.js"></script>
     <script type="text/javascript" src="../../_static/doctools.js"></script>
+    <script type="text/javascript" src="../../_static/language_data.js"></script>
     <script type="text/javascript" src="../../_static/translations.js"></script>
     <link rel="shortcut icon" href="../../_static/favicon.ico"/>
     <link rel="index" title="索引" href="../../genindex.html" />
     <link rel="search" title="検索" href="../../search.html" />
     <link rel="next" title="7.3.67. truncate" href="truncate.html" />
     <link rel="prev" title="7.3.65. tokenize" href="tokenize.html" />
-  </head>
-  <body>
+  </head><body>
 <div class="header">
   <h1 class="title">
     <a id="top-link" href="../../index.html">
@@ -59,7 +51,7 @@
         <li class="right" >
           <a href="tokenize.html" title="7.3.65. tokenize"
              accesskey="P">前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" accesskey="U">7.3. コマンド</a> &#187;</li>
       </ul>
@@ -71,15 +63,15 @@
           <div class="body" role="main">
   <div class="section" id="tokenizer-list">
-<h1>7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code><a class="headerlink" href="#tokenizer-list" title="このヘッドラインへのパーマリンク">¶</a></h1>
+<h1>7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code><a class="headerlink" href="#tokenizer-list" title="このヘッドラインへのパーマリンク">¶</a></h1>
 <div class="section" id="summary">
 <h2>7.3.66.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenizer_list</span></code> コマンドはデータベースに登録されているトークナイザーの一覧を返します。</p>
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code> コマンドはデータベースに登録されているトークナイザーの一覧を返します。</p>
 </div>
 <div class="section" id="syntax">
 <h2>7.3.66.2. 構文<a class="headerlink" href="#syntax" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>このコマンドに引数はありません:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenizer_list
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenizer_list
 </pre></div>
 </div>
 </div>
@@ -87,7 +79,7 @@
 <h2>7.3.66.3. 使い方<a class="headerlink" href="#usage" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <p>以下は簡単な使用例です。</p>
 <p>実行例:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>tokenizer_list
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>tokenizer_list
 # [
 #   [
 #     0,
@@ -142,29 +134,30 @@
 </div>
 <div class="section" id="return-value">
 <h2>7.3.66.4. 戻り値<a class="headerlink" href="#return-value" title="このヘッドラインへのパーマリンク">¶</a></h2>
-<p><code class="docutils literal"><span class="pre">tokenizer_list</span></code> コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:</p>
-<div class="highlight-none"><div class="highlight"><pre><span></span>[HEADER, tokenizers]
+<p><code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code> コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:</p>
+<div class="highlight-none notranslate"><div class="highlight"><pre><span></span>[HEADER, tokenizers]
 </pre></div>
 </div>
-<p><code class="docutils literal"><span class="pre">HEADER</span></code></p>
+<p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code></p>
 <blockquote>
-<div><code class="docutils literal"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</div></blockquote>
-<p><code class="docutils literal"><span class="pre">tokenizers</span></code></p>
+<div><p><code class="docutils literal notranslate"><span class="pre">HEADER</span></code> については <a class="reference internal" href="../command/output_format.html"><span class="doc">出力形式</span></a> を参照してください。</p>
+</div></blockquote>
+<p><code class="docutils literal notranslate"><span class="pre">tokenizers</span></code></p>
 <blockquote>
-<div><p><code class="docutils literal"><span class="pre">tokenizers</span></code> はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。</p>
-<table border="1" class="docutils">
+<div><p><code class="docutils literal notranslate"><span class="pre">tokenizers</span></code> はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。</p>
+<table class="docutils align-center">
 <colgroup>
-<col width="50%" />
-<col width="50%" />
+<col style="width: 50%" />
+<col style="width: 50%" />
 </colgroup>
-<thead valign="bottom">
-<tr class="row-odd"><th class="head">名前</th>
-<th class="head">説明</th>
+<thead>
+<tr class="row-odd"><th class="head"><p>名前</p></th>
+<th class="head"><p>説明</p></th>
 </tr>
 </thead>
-<tbody valign="top">
-<tr class="row-even"><td><code class="docutils literal"><span class="pre">name</span></code></td>
-<td>トークナイザー名。</td>
+<tbody>
+<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">name</span></code></p></td>
+<td><p>トークナイザー名。</p></td>
 </tr>
 </tbody>
 </table>
@@ -173,8 +166,8 @@
 <div class="section" id="see-also">
 <h2>7.3.66.5. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
 <ul class="simple">
-<li><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></li>
-<li><a class="reference internal" href="tokenize.html"><span class="doc">tokenize</span></a></li>
+<li><p><a class="reference internal" href="../tokenizers.html"><span class="doc">トークナイザー</span></a></p></li>
+<li><p><a class="reference internal" href="tokenize.html"><span class="doc">tokenize</span></a></p></li>
 </ul>
 </div>
 </div>
@@ -187,7 +180,7 @@
         <div class="sphinxsidebarwrapper">
   <h3><a href="../../index.html">目次</a></h3>
   <ul>
-<li><a class="reference internal" href="#">7.3.66. <code class="docutils literal"><span class="pre">tokenizer_list</span></code></a><ul>
+<li><a class="reference internal" href="#">7.3.66. <code class="docutils literal notranslate"><span class="pre">tokenizer_list</span></code></a><ul>
 <li><a class="reference internal" href="#summary">7.3.66.1. 概要</a></li>
 <li><a class="reference internal" href="#syntax">7.3.66.2. 構文</a></li>
 <li><a class="reference internal" href="#usage">7.3.66.3. 使い方</a></li>
@@ -199,18 +192,18 @@
   <h4>前のトピックへ</h4>
   <p class="topless"><a href="tokenize.html"
-                        title="前の章へ">7.3.65. <code class="docutils literal"><span class="pre">tokenize</span></code></a></p>
+                        title="前の章へ">7.3.65. <code class="docutils literal notranslate"><span class="pre">tokenize</span></code></a></p>
   <h4>次のトピックへ</h4>
   <p class="topless"><a href="truncate.html"
-                        title="次の章へ">7.3.67. <code class="docutils literal"><span class="pre">truncate</span></code></a></p>
+                        title="次の章へ">7.3.67. <code class="docutils literal notranslate"><span class="pre">truncate</span></code></a></p>
 <div id="searchbox" style="display: none" role="search">
   <h3>クイック検索</h3>
+    <div class="searchformwrapper">
     <form class="search" action="../../search.html" method="get">
-      <div><input type="text" name="q" /></div>
-      <div><input type="submit" value="検索" /></div>
-      <input type="hidden" name="check_keywords" value="yes" />
-      <input type="hidden" name="area" value="default" />
+      <input type="text" name="q" />
+      <input type="submit" value="検索" />
     </form>
+    </div>
 </div>
 <script type="text/javascript">$('#searchbox').show(0);</script>
         </div>
@@ -229,13 +222,13 @@
         <li class="right" >
           <a href="tokenize.html" title="7.3.65. tokenize"
              >前へ</a> |</li>
-        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v7.1.0-73-g6d02cfaドキュメント</a> &#187;</li>
+        <li class="nav-item nav-item-0"><a href="../../index.html">Groonga v9.0.2ドキュメント</a> &#187;</li>
           <li class="nav-item nav-item-1"><a href="../../reference.html" >7. リファレンスマニュアル</a> &#187;</li>
           <li class="nav-item nav-item-2"><a href="../command.html" >7.3. コマンド</a> &#187;</li>
       </ul>
     </div>
     <div class="footer" role="contentinfo">
-        &#169; Copyright 2009-2018, Brazil, Inc.
+        &#169; Copyright 2009-2019, Brazil, Inc.
     </div>
   </body>
 </html>