RubyGems - rroonga - Versions diffs - 7.0.2-x64-mingw32 → 7.1.1-x64-mingw32 - Mend

rroonga 7.0.2-x64-mingw32 → 7.1.1-x64-mingw32

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (1237) hide show

data/vendor/local/share/doc/groonga/en/html/_sources/spec.txt DELETED Viewed

@@ -1,13 +0,0 @@
-.. -*- rst -*-
-.. Groonga Project
-.. highlightlang:: none
-Specification
-=============
-.. toctree::
-   :maxdepth: 1
-   :glob:
-   spec/*

data/vendor/local/share/doc/groonga/en/html/_sources/spec/gqtp.txt DELETED Viewed

@@ -1,280 +0,0 @@
-.. -*- rst -*-
-.. highlightlang:: none
-GQTP
-====
-GQTP is the acronym of Groonga Query Transfer Protocol. GQTP is the
-original protocol for groonga.
-Protocol
---------
-GQTP is stateful client server model protocol. The following sequence
-is one processing unit:
-* Client sends a request
-* Server receives the request
-* Server processes the request
-* Server sends a response
-* Client receives the response
-You can do zero or more processing units in a session.
-Both request and response consist of GQTP header and body. GQTP header
-is fixed size data. Body is variable size data and its size is stored
-in GQTP header. The content of body isn't defined in GQTP.
-.. _gqtp-header-spec:
-GQTP header
-^^^^^^^^^^^
-GQTP header consists of the following unsigned integer values:
-+----------------+-------+----------------------------+
-|      Name      |  Size |        Description         |
-+================+=======+============================+
-|  ``protocol``  | 1byte | Protocol type.             |
-+----------------+-------+----------------------------+
-| ``query_type`` | 1byte | Content type of body.      |
-+----------------+-------+----------------------------+
-| ``key_length`` | 2byte | Not used.                  |
-+----------------+-------+----------------------------+
-|   ``level``    | 1byte | Not used.                  |
-+----------------+-------+----------------------------+
-|   ``flags``    | 1byte | Flags.                     |
-+----------------+-------+----------------------------+
-|   ``status``   | 2byte | Return code.               |
-+----------------+-------+----------------------------+
-|    ``size``    | 4byte | Body size.                 |
-+----------------+-------+----------------------------+
-|   ``opaque``   | 4byte | Not used.                  |
-+----------------+-------+----------------------------+
-|    ``cas``     | 8byte | Not used.                  |
-+----------------+-------+----------------------------+
-All header values are encoded by network byte order.
-The following sections describes available values of each header value.
-The total size of GQTP header is 24byte.
-``protocol``
-""""""""""""
-The value is always ``0xc7`` in both request and response GQTP header.
-``query_type``
-""""""""""""""
-The value is one of the following values:
-+-------------+--------+----------------------------+
-|    Name     | Value  |        Description         |
-+=============+========+============================+
-|  ``NONE``   |   0    | Free format.               |
-+-------------+--------+----------------------------+
-|   ``TSV``   |   1    | Tab Separated Values.      |
-+-------------+--------+----------------------------+
-|  ``JSON``   |   2    | JSON.                      |
-+-------------+--------+----------------------------+
-|   ``XML``   |   3    | XML.                       |
-+-------------+--------+----------------------------+
-| ``MSGPACK`` |   4    | MessagePack.               |
-+-------------+--------+----------------------------+
-This is not used in request GQTP header.
-This is used in response GQTP header. Body is formatted as specified
-type.
-``flags``
-"""""""""
-The value is bitwise OR of the following values:
-+-----------+--------+----------------------------+
-|   Name    | Value  |        Description         |
-+===========+========+============================+
-| ``MORE``  |  0x01  | There are more data.       |
-+-----------+--------+----------------------------+
-| ``TAIL``  |  0x02  | There are no more data.    |
-+-----------+--------+----------------------------+
-| ``HEAD``  |  0x04  | Not used.                  |
-+-----------+--------+----------------------------+
-| ``QUIET`` |  0x08  | Be quiet.                  |
-+-----------+--------+----------------------------+
-| ``QUIT``  |  0x10  | Quit.                      |
-+-----------+--------+----------------------------+
-You must specify ``MORE`` or ``TAIL`` flag.
-If you use ``MORE`` flag, you should also use ``QUIET`` flag. Because
-you don't need to show a response for your partial request.
-Use ``QUIT`` flag to quit this session.
-``status``
-""""""""""
-Here are available values. The new statuses will be added in the
-future.
-* 0: ``SUCCESS``
-* 1: ``END_OF_DATA``
-* 65535: ``UNKNOWN_ERROR``
-* 65534: ``OPERATION_NOT_PERMITTED``
-* 65533: ``NO_SUCH_FILE_OR_DIRECTORY``
-* 65532: ``NO_SUCH_PROCESS``
-* 65531: ``INTERRUPTED_FUNCTION_CALL``
-* 65530: ``INPUT_OUTPUT_ERROR``
-* 65529: ``NO_SUCH_DEVICE_OR_ADDRESS``
-* 65528: ``ARG_LIST_TOO_LONG``
-* 65527: ``EXEC_FORMAT_ERROR``
-* 65526: ``BAD_FILE_DESCRIPTOR``
-* 65525: ``NO_CHILD_PROCESSES``
-* 65524: ``RESOURCE_TEMPORARILY_UNAVAILABLE``
-* 65523: ``NOT_ENOUGH_SPACE``
-* 65522: ``PERMISSION_DENIED``
-* 65521: ``BAD_ADDRESS``
-* 65520: ``RESOURCE_BUSY``
-* 65519: ``FILE_EXISTS``
-* 65518: ``IMPROPER_LINK``
-* 65517: ``NO_SUCH_DEVICE``
-* 65516: ``NOT_A_DIRECTORY``
-* 65515: ``IS_A_DIRECTORY``
-* 65514: ``INVALID_ARGUMENT``
-* 65513: ``TOO_MANY_OPEN_FILES_IN_SYSTEM``
-* 65512: ``TOO_MANY_OPEN_FILES``
-* 65511: ``INAPPROPRIATE_I_O_CONTROL_OPERATION``
-* 65510: ``FILE_TOO_LARGE``
-* 65509: ``NO_SPACE_LEFT_ON_DEVICE``
-* 65508: ``INVALID_SEEK``
-* 65507: ``READ_ONLY_FILE_SYSTEM``
-* 65506: ``TOO_MANY_LINKS``
-* 65505: ``BROKEN_PIPE``
-* 65504: ``DOMAIN_ERROR``
-* 65503: ``RESULT_TOO_LARGE``
-* 65502: ``RESOURCE_DEADLOCK_AVOIDED``
-* 65501: ``NO_MEMORY_AVAILABLE``
-* 65500: ``FILENAME_TOO_LONG``
-* 65499: ``NO_LOCKS_AVAILABLE``
-* 65498: ``FUNCTION_NOT_IMPLEMENTED``
-* 65497: ``DIRECTORY_NOT_EMPTY``
-* 65496: ``ILLEGAL_BYTE_SEQUENCE``
-* 65495: ``SOCKET_NOT_INITIALIZED``
-* 65494: ``OPERATION_WOULD_BLOCK``
-* 65493: ``ADDRESS_IS_NOT_AVAILABLE``
-* 65492: ``NETWORK_IS_DOWN``
-* 65491: ``NO_BUFFER``
-* 65490: ``SOCKET_IS_ALREADY_CONNECTED``
-* 65489: ``SOCKET_IS_NOT_CONNECTED``
-* 65488: ``SOCKET_IS_ALREADY_SHUTDOWNED``
-* 65487: ``OPERATION_TIMEOUT``
-* 65486: ``CONNECTION_REFUSED``
-* 65485: ``RANGE_ERROR``
-* 65484: ``TOKENIZER_ERROR``
-* 65483: ``FILE_CORRUPT``
-* 65482: ``INVALID_FORMAT``
-* 65481: ``OBJECT_CORRUPT``
-* 65480: ``TOO_MANY_SYMBOLIC_LINKS``
-* 65479: ``NOT_SOCKET``
-* 65478: ``OPERATION_NOT_SUPPORTED``
-* 65477: ``ADDRESS_IS_IN_USE``
-* 65476: ``ZLIB_ERROR``
-* 65475: ``LZO_ERROR``
-* 65474: ``STACK_OVER_FLOW``
-* 65473: ``SYNTAX_ERROR``
-* 65472: ``RETRY_MAX``
-* 65471: ``INCOMPATIBLE_FILE_FORMAT``
-* 65470: ``UPDATE_NOT_ALLOWED``
-* 65469: ``TOO_SMALL_OFFSET``
-* 65468: ``TOO_LARGE_OFFSET``
-* 65467: ``TOO_SMALL_LIMIT``
-* 65466: ``CAS_ERROR``
-* 65465: ``UNSUPPORTED_COMMAND_VERSION``
-``size``
-""""""""
-The size of body. The maximum body size is 4GiB because ``size`` is
-4byte unsigned integer. If you want to send 4GiB or more larger data,
-use ``MORE`` flag.
-Example
--------
-How to run a GQTP server
-^^^^^^^^^^^^^^^^^^^^^^^^
-Groonga has a special protocol, named Groonga Query Transfer Protocol (GQTP), for remote access to a database. The following form shows how to run Groonga as a GQTP server.
-Form::
-  groonga [-p PORT_NUMBER] -s DB_PATH
-The `-s` option specifies to run Groonga as a server. DB_PATH specifies the path of the existing database to be hosted. The `-p` option and its argument, PORT_NUMBER, specify the port number of the server. The default port number is 10043, which is used when you don't specify PORT_NUMBER.
-The following command runs a server that listens on the default port number. The server accepts operations to the specified database.
-Execution example::
-  % groonga -s /tmp/groonga-databases/introduction.db
-  Ctrl-c
-  %
-How to run a GQTP daemon
-^^^^^^^^^^^^^^^^^^^^^^^^
-You can also run a GQTP server as a daemon by using the `-d` option, instead of the `-s` option.
-Form::
-  groonga [-p PORT_NUMBER] -d DB_PATH
-A Groonga daemon prints its process ID as follows. In this example, the process ID is 12345. Then, the daemon opens a specified database and accepts operations to that database.
-Execution example::
-  % groonga -d /tmp/groonga-databases/introduction.db
-  12345
-  %
-How to run a GQTP client
-^^^^^^^^^^^^^^^^^^^^^^^^
-You can run Groonga as a GQTP client as follows:
-Form::
-  groonga [-p PORT_NUMBER] -c [HOST_NAME_OR_IP_ADDRESS]
-This command establishes a connection with a GQTP server and then enters into interactive mode. HOST_NAME_OR_IP_ADDRESS specifies the hostname or the IP address of the server. If not specified, Groonga uses the default hostname "localhost". The `-p` option and its argument, PORT_NUMBER, specify the port number of the server. If not specified, Groonga uses the default port number 10043.
-.. groonga-command
-.. include:: ../example/tutorial/network-1.log
-.. .. % groonga -c
-.. status
-.. .. > ctrl-d
-.. .. %
-In interactive mode, Groonga reads commands from the standard input and executes them one by one.
-How to terminate a GQTP server
-^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-You can terminate a GQTP server with a :doc:`/reference/commands/shutdown` command.
-.. groonga-command
-.. include:: ../example/tutorial/network-2.log
-.. .. % groonga -c
-.. .. > shutdown
-.. .. %
-See also
---------
-* :doc:`/reference/executables/groonga`
-* :doc:`/server/gqtp`

data/vendor/local/share/doc/groonga/en/html/_sources/spec/search.txt DELETED Viewed

@@ -1,115 +0,0 @@
-.. -*- rst -*-
-.. highlightlang:: none
-検索
-====
-:doc:`/reference/commands/select` コマンドがqueryパラメータを使ってどのように検索するのかを説明します。
-検索の挙動
-----------
-検索の挙動には以下の3種類あり、検索結果によって動的に使い分けています。
-1. 完全一致検索
-2. 非わかち書き検索
-3. 部分一致検索
-どのように検索の挙動を使い分けているかを説明する前に、まず、それぞれの検索の挙動を説明します。
-完全一致検索
-^^^^^^^^^^^^
-検索対象文書は複数の語彙にトークナイズ(分割)され、それぞれを単位とした語彙表に索引を管理します。
-検索キーワードも同一の方法でトークナイズされます。
-このとき、検索キーワードをトークナイズした結果得られる語彙の配列と同一の配列を含む文書を検索する処理を完全一致検索と呼んでいます。
-たとえば、TokenMecabトークナイザを使用した索引では「東京都民」という文字列は
- 東京 / 都民
-という二つの語彙の配列として格納されます。この索引に対して「東京都」というキーワードで検索した時、このキーワードは、
- 東京 / 都
-という二つの語彙の配列として処理されます。この語彙の並びは、「東京 / 都民」という語彙の並びには一致しませんので、完全一致検索ではヒットしません。
-これに対して、TokenBigramトークナイザを使用した索引では「東京都民」という文字列は
- 東京 / 京都 / 都民 / 民
-という四つの語彙の配列として格納されます。この索引に対して「東京都」というキーワードで検索した時、このキーワードは、
- 東京 / 京都
-という二つの語彙の配列として処理されます。この語彙の並びは、「東京 / 京都 / 都民」という語彙の並びに含まれますので、完全一致検索でヒットします。
-なお、TokenBigramトークナイザでは、アルファベット・数値・記号文字列についてはbigramを生成せず、一つの連続したトークンとして扱います。たとえば、「楽しいbilliard」という文字列は、
- 楽し / しい / billiard
-という三つの語彙の配列として格納されます。これに対して「bill」というキーワードで検索した時、このキーワードは、
- bill
-という一つの語彙として処理されます。この語彙の並びは「楽し / しい / billiard」という語彙の並びには含まれないので、完全一致でヒットしません。
-これに対して、TokenBigramSplitSymbolAlphaトークナイザではアルファベット文字列についてもbigramを生成し、「楽しいbilliard」という文字列は、
- 楽し / しい / いb / bi / il / ll / li / ia / ar / rd / d
-という十一の語彙の配列として格納されます。これに対して「bill」というキーワードで検索した時、このキーワードは、
- bi / il / ll
-という三つの語彙として処理されます。この語彙の並びは「楽し / しい / いb / bi / il / ll / li / ia / ar / rd / d」という語彙の並びに含まれるので、完全一致でヒットします。
-非わかち書き検索
-^^^^^^^^^^^^^^^^
-非わかち書き検索はパトリシア木で語彙表を構築している場合のみ利用可能です。
-非わかち書き検索の挙動はTokenBigramなどN-gram系のトークナイザーを利用している場合とTokenMecabトークナイザーを利用している場合で挙動が変わります。
-N-gram系のトークナイザーを利用している場合はキーワードで前方一致検索をします。
-例えば、「bill」というキーワードで検索した場合、「bill」も「billiard」もヒットします。
-TokenMeCabトークナイザーの場合はわかち書き前のキーワードで前方一致検索をします。
-例えば、「スープカレー」というキーワードで検索した場合、「スープカレーバー」（1単語扱い）にヒットしますが、「スープカレー」（"スープ"と"カレー"の2単語扱い）や「スープカレーライス」（"スープ"と"カレーライス"の2単語扱い）にはヒットしません。
-部分一致検索
-^^^^^^^^^^^^
-部分一致検索はパトリシア木で語彙表を構築していて、かつ、KEY_WITH_SISオプションを指定している場合のみ利用可能です。KEY_WITH_SISオプションが指定されていない場合は非わかち書き検索と同等です。
-部分一致検索の挙動はTokenBigramなどN-gram系のトークナイザーを利用している場合とTokenMecabトークナイザーを利用している場合で挙動が変わります。
-Bigramの場合は前方一致検索と中間一致検索と後方一致検索を行います。
-例えば、「ill」というキーワードで検索した場合、「bill」も「billiard」もヒットします。
-TokenMeCabトークナイザーの場合はわかち書き後のキーワードで前方一致検索と中間一致検索と後方一致検索をします。
-例えば、「スープカレー」というキーワードで検索した場合、「スープカレー」（"スープ"と"カレー"の2単語扱い）や「スープカレーライス」（"スープ"と"カレーライス"の2単語扱い）、「スープカレーバー」（1単語扱い）にもヒットします。
-検索の使い分け
---------------
-Groongaは基本的に完全一致検索のみを行います。完全一致検索でのヒット件数が所定の閾値以下の場合に限り、非わかち書き検索を行い、それでもヒット件数が閾値以下の場合は部分一致検索を行います。（閾値のデフォルト値は0です。）
-ただし、すでに検索結果セットが存在する場合はたとえヒット件数が閾値以下でも完全一致検索のみを行います。
-例えば、以下のようなクエリの場合は、それぞれの検索でヒット件数が閾値以下の場合は完全一致検索、非わかち書き検索、部分一致検索を順に行います。::
-  select Shops --match_column description --query スープカレー
-しかし、以下のように全文検索を行う前に検索結果セットが存在する場合は完全一致検索のみを行います。（point > 3で閾値の件数よりヒットしている場合）::
-  select Shops --filter '"point > 3 && description @ \"スープカレー\""'
-そのため、descriptionに「スープカレーライス」が含まれていても、「スープカレーライス」は「スープカレー」に完全一致しないのでヒットしません。

data/vendor/local/share/doc/groonga/en/html/_sources/troubleshooting.txt DELETED Viewed

@@ -1,13 +0,0 @@
-.. -*- rst -*-
-.. Groonga Project
-.. highlightlang:: none
-トラブルシューティング
-======================
-.. toctree::
-   :maxdepth: 2
-   :glob:
-   troubleshooting/*

data/vendor/local/share/doc/groonga/en/html/_sources/troubleshooting/different_results_with_the_same_keyword.txt DELETED Viewed

@@ -1,135 +0,0 @@
-.. -*- rst -*-
-.. highlightlang:: none
-同じ検索キーワードなのに全文検索結果が異なる
-============================================
-同じ検索キーワードでも一緒に指定するクエリによっては全文検索の結果が異なることがあります。ここでは、その原因と対策方法を説明します。
-例
---
-まず、実際に検索結果が異なる例を説明します。
-DDLは以下の通りです。BlogsテーブルのbodyカラムをTokenMecabトークナイザーを使ってトークナイズしてからインデックスを作成しています。::
-  table_create Blogs TABLE_NO_KEY
-  column_create Blogs body COLUMN_SCALAR ShortText
-  column_create Blogs updated_at COLUMN_SCALAR Time
-  table_create Terms TABLE_PAT_KEY ShortText --default_tokenizer TokenMecab  --normalizer NormalizerAuto
-  column_create Terms blog_body COLUMN_INDEX|WITH_POSITION Blogs body
-テスト用のデータは1件だけ投入します。::
-  load --table Blogs
-  [
-    ["body", "updated_at"],
-    ["東京都民に深刻なダメージを与えました。", "2010/9/21 10:18:34"],
-  ]
-まず、全文検索のみで検索します。この場合ヒットします。::
-  > select Blogs --filter 'body @ "東京都"'
-  [[0,4102.268052438,0.000743783],[[[1],[["_id","UInt32"],["updated_at","Time"],["body","ShortText"]],[1,1285031914.0,"東京都民に深刻なダメージを与えました。"]]]]
-続いて、範囲指定と全文検索を組み合わせて検索します（1285858800は2010/10/1 0:0:0の秒表記）。この場合もヒットします。::
-  > select Blogs --filter 'body @ "東京都" && updated_at < 1285858800'
-  [[0,4387.524084839,0.001525487],[[[1],[["_id","UInt32"],["updated_at","Time"],["body","ShortText"]],[1,1285031914.0,"東京都民に深刻なダメージを与えました。"]]]]
-最後に、範囲指定と全文検索の順番を入れ替えて検索します。個々の条件は同じですが、この場合はヒットしません。::
-  > select Blogs --filter 'updated_at < 1285858800 && body @ "東京都"'
-  [[0,4400.292570838,0.000647716],[[[0],[["_id","UInt32"],["updated_at","Time"],["body","ShortText"]]]]]
-どうしてこのような挙動になるかを説明します。
-原因
-----
-このような挙動になるのは全文検索時に複数の検索の挙動を使い分けているからです。ここでは簡単に説明するので、詳細は :doc:`/spec/search` を参照してください。
-検索の挙動には以下の3種類があります。
-1. 完全一致検索
-2. 非わかち書き検索
-3. 部分一致検索
-Groongaは基本的に完全一致検索のみを行います。上記の例では「東京都民に深刻なダメージを与えました。」を「東京都」というクエリで検索していますが、TokenMecabトークナイザーを使っている場合はこのクエリはマッチしません。
-検索対象の「東京都民に深刻なダメージを与えました。」は
-  東京 / 都民 / に / 深刻 / な / ダメージ / を / 与え / まし / た / 。
-とトークナイズされますが、クエリの「東京都」は
-  東京 / 都
-とトークナイズされるため、完全一致しません。
-Groongaは完全一致検索した結果のヒット件数が所定の閾値を超えない場合に限り、非わかち書き検索を行い、それでもヒット件数が閾値を超えない場合は部分一致検索を行います（閾値は1がデフォルト値となっています）。このケースのデータは部分一致検索ではヒットするので、「東京都」クエリのみを指定するとヒットします。
-しかし、以下のように全文検索前にすでに閾値が越えている場合（「updated_at < 1285858800」で1件ヒットし、閾値を越える）は、たとえ完全一致検索で1件もヒットしない場合でも部分一致検索などを行いません。::
-  select Blogs --filter 'updated_at < 1285858800 && body @ "東京都"'
-そのため、条件の順序を変えると検索結果が変わるという状況が発生します。以下で、この情報を回避する方法を2種類紹介しますが、それぞれトレードオフとなる条件があるので採用するかどうかを十分検討してください。
-対策方法1: トークナイザーを変更する
------------------------------------
-TokenMecabトークナイザーは事前に準備した辞書を用いてトークナイズするため、再現率よりも適合率を重視したトークナイザーと言えます。一方、TokenBigramなど、N-gram系のトークナイザーは適合率を重視したトークナイザーと言えます。例えば、TokenMecabの場合「東京都」で「京都」に完全一致することはありませんが、TokenBigramでは完全一致します。一方、TokenMecabでは「東京都民」に完全一致しませんが、TokenBigramでは完全一致します。
-このようにN-gram系のトークナイザーを指定することにより再現率をあげることができますが、適合率が下がり検索ノイズが含まれる可能性が高くなります。この度合いを調整するためには :doc:`/reference/commands/select` のmatch_columnsで使用する索引毎に重み付けを指定します。
-ここでも、前述の例を使って具体例を示します。まず、TokenBigramを用いた索引を追加します。::
-  table_create Bigram TABLE_PAT_KEY ShortText --default_tokenizer TokenBigram  --normalizer NormalizerAuto
-  column_create Bigram blog_body COLUMN_INDEX|WITH_POSITION Blogs body
-この状態でも以前はマッチしなかったレコードがヒットするようになります。::
-  > select Blogs --filter 'updated_at < 1285858800 && body @ "東京都"'
-  [[0,7163.448064902,0.000418127],[[[1],[["_id","UInt32"],["updated_at","Time"],["body","ShortText"]],[1,1285031914.0,"東京都民に深刻なダメージを与えました。"]]]]
-しかし、N-gram系のトークナイザーの方がTokenMecabトークナイザーよりも語のヒット数が多いため、N-gram系のヒットスコアの方が重く扱われてしまいます。N-gram系のトークナイザーの方がTokenMecabトークナイザーよりも適合率の低い場合が多いので、このままでは検索ノイズが上位に表示される可能性が高くなります。
-そこで、TokenMecabトークナイザーを使って作った索引の方をTokenBigramトークナイザーを使って作った索引よりも重視するように重み付けを指定します。これは、match_columnsオプションで指定できます。::
-  > select Blogs --match_columns 'Terms.blog_body * 10 || Bigram.blog_body * 3' --query '東京都' --output_columns '_score, body'
-  [[0,8167.364602632,0.000647003],[[[1],[["_score","Int32"],["body","ShortText"]],[13,"東京都民に深刻なダメージを与えました。"]]]]
-この場合はスコアが11になっています。内訳は、Terms.blog_body索引（TokenMecabトークナイザーを使用）でマッチしたので10、Bigram.blog_body索引（TokenBigramトークナイザーを使用）でマッチしたので3、これらを合計して13になっています。このようにTokenMecabトークナイザーの重みを高くすることにより、検索ノイズが上位にくることを抑えつつ再現率を上げることができます。
-この例は日本語だったのでTokenBigramトークナイザーでよかったのですが、アルファベットの場合はTokenBigramSplitSymbolAlphaトークナイザーなども利用する必要があります。例えば、「楽しいbilliard」はTokenBigramトークナイザーでは
-  楽し / しい / billiard
-となり、「bill」では完全一致しません。一方、TokenBigramSplitSymbolAlphaトークナイザーを使うと
-  楽し / しい / いb / bi / il / ll / li / ia / ar / rd / d
-となり、「bill」でも完全一致します。
-TokenBigramSplitSymbolAlphaトークナイザーを使う場合も重み付けを考慮する必要があることはかわりありません。
-利用できるバイグラム系のトークナイザーの一覧は以下の通りです。
-* TokenBigram: バイグラムでトークナイズする。連続する記号・アルファベット・数字は一語として扱う。
-* TokenBigramSplitSymbol: 記号もバイグラムでトークナイズする。連続するアルファベット・数字は一語として扱う。
-* TokenBigramSplitSymbolAlpha: 記号とアルファベットもバイグラムでトークナイズする。連続する数字は一語として扱う。
-* TokenBigramSplitSymbolAlphaDigit: 記号・アルファベット・数字もバイグラムでトークナイズする。
-* TokenBigramIgnoreBlank: バイグラムでトークナイズする。連続する記号・アルファベット・数字は一語として扱う。空白は無視する。
-* TokenBigramIgnoreBlankSplitSymbol: 記号もバイグラムでトークナイズする。連続するアルファベット・数字は一語として扱う。空白は無視する。
-* TokenBigramIgnoreBlankSplitSymbolAlpha: 記号とアルファベットもバイグラムでトークナイズする。連続する数字は一語として扱う。空白は無視する。
-* TokenBigramIgnoreBlankSplitSymbolAlphaDigit: 記号・アルファベット・数字もバイグラムでトークナイズする。空白は無視する。
-対策方法2: 閾値をあげる
------------------------
-非わかち書き検索・部分一致検索を利用するかどうかの閾値は--with-match-escalation-threshold configureオプションで変更することができます。以下のように指定すると、100件以下のヒット数であれば、たとえ完全一致検索でヒットしても、非わかち書き検索・部分一致検索を行います。::
-  % ./configure --with-match-escalation-threshold=100
-この場合も対策方法1同様、検索ノイズが上位に現れる可能性が高くなることに注意してください。検索ノイズが多くなった場合は指定する値を低くする必要があります。