rabbit-slide-kou-db-tech-showcase-tokyo-2018 2018.9.20.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: f4e56bdb9caffa3927d65a11ceea3b0c7b13be08e671e9dc32f5bf4b5280d583
+  data.tar.gz: caa57879f91e5fdfcd5c6e23e116cd8e5ffb32d3586dcbeff5ef5486de057c07
+SHA512:
+  metadata.gz: 11b5bb5130d0e6484c5d441951c3d46c8fc9ca63bfb2091a9b06b8464287997b821aa0a2963e382d2b3bbe0afeafb1c892ceb1fb681d830b47b1c542c7d878d2
+  data.tar.gz: 46837f05913b91048fdc387e8649ee745ecd200ce9d276e6269d9aed4f0418b83fc704758983b99739500aabde2b3efce925c935427e3bc95ba3af1c51a5c709

data/.rabbit

@@ -0,0 +1 @@
+--size 800,450 mysql-postgresql-fast-fuzzy-full-text-search-system.rab

data/README.rd

@@ -0,0 +1,26 @@
+= MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
+
+ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。
+
+MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-db-tech-showcase-tokyo-2018
+
+=== 表示
+
+  rabbit rabbit-slide-kou-db-tech-showcase-tokyo-2018.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # spec.files += Dir.glob("doc/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-groonga")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,31 @@
+---
+id: db-tech-showcase-tokyo-2018
+base_name: mysql-postgresql-fast-fuzzy-full-text-search-system
+tags:
+- rabbit
+- dbts2018
+- mysql
+- mariadb
+- postgresql
+- mroonga
+- pgroonga
+- groonga
+presentation_date: 2018-09-20
+presentation_start_time: 2018-09-20
+presentation_end_time: 2018-09-20
+version: 2018.9.20.0
+licenses:
+- CC-BY-SA-4.0
+- CC-BY-3.0
+slideshare_id: 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: 須藤功平
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user: kou
+  speaker_deck_user: 

data/mysql-postgresql-fast-fuzzy-full-text-search-system.rab

@@ -0,0 +1,1025 @@
+= MySQL・PostgreSQLだけで作る\n高速あいまい全文検索システム
+
+: author
+   須藤功平
+: institution
+   株式会社クリアコード
+: content-source
+   db tech showcase Tokyo 2018
+: date
+   2018-09-20
+: start-time
+   2018-09-20T09:30:00+09:00
+: end-time
+   2018-09-20T10:15:00+09:00
+: theme
+   .
+
+= 全文検索システム
+
+  * 大量の文書から
+  * 指定されたキーワードを使って
+  * 高速に必要な文書を
+  * 見つけるシステム
+
+= dbts2017
+
+  # image
+  # src = https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/mysql-postgresql-rich-full-text-search-system.pdf
+  # page = 1
+  # relative_height = 90
+
+(('tag:xx-small'))
+(('tag:center'))
+((<URL:https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/>))
+
+= リッチな全文検索システム
+
+  * キーワードハイライト
+  * 周辺テキスト表示
+  * 入力補完・同義語展開
+  * 関連文書の表示
+  * 構造化データ対応（例：オフィス文書）
+
+= もっとリッチな全文検索システム
+
+  * 大量の文書から
+  * ((*あいまいな情報を使って*))
+  * 高速に必要な文書を
+  * 見つけるシステム
+
+= あいまいな情報
+
+相手が((*人*))だから
+
+= 人
+
+  * 提供情報があいまい
+    * 例：「apple」（企業？食べ物？）
+    * 検索クエリー
+  * 文書内の表記が揺れる
+    * 例：「焼き肉」「焼きにく」
+    * 検索対象
+
+= もっとリッチな全文検索システム
+
+  * 大量の文書から
+  * ((*あいまいな情報を使って*))
+  * 高速に必要な文書を
+  * 見つけるシステム
+
+= ツール
+
+全文検索エンジン
+
+= 普通の全文検索エンジン
+
+  * 高速検索
+  * あいまい検索
+  * 独自の使い方
+
+= 開発しやすいシステム
+
+SQLで使える
+
+= 使いやすい全文検索エンジン
+
+  * 高速検索
+  * あいまい検索
+  * SQLで使える
+
+= SQLで使える全文検索エンジン
+
+  * Mroonga
+    * MySQL・MariaDB用
+    * ((<URL:http://mroonga.org/ja/docs/install.html>))
+  * PGroonga
+    * PostgreSQL用
+    * ((<URL:https://pgroonga.github.io/ja/install/>))
+
+= あいまい検索：表記ゆれ1
+
+  * 焼肉：全部漢字
+  * 焼き肉：送り仮名
+  * 焼きにく：まぜまぜ
+
+= あいまい検索：表記ゆれ1対策
+
+ヨミガナ検索
+
+= ヨミガナ検索
+
+  * ヨミガナで検索
+    * 「焼肉」→「ヤキニク」
+    * 「焼きにく」→「ヤキニク」
+    * どちらも同じになる
+    * 人名（高と髙とか）にも使える
+  * ヨミガナ情報の取得が必要
+    * MeCabで自動化可能
+
+= MeCabでヨミガナ化
+
+  # coderay console
+  % echo 焼肉と焼きにく | mecab | cut -d, -f8
+  ヤキニク
+  ト
+  ヤキニク
+  EOS
+
+= ヨミガナ検索：Mroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE menus (
+    name varchar(255),    -- 検索対象
+    FULLTEXT INDEX (name) -- ヨミガナ検索対応インデックス
+      COMMENT
+        'tokenizer "TokenMecab(\'loose_reading\', true)"'
+  ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ヨミガナ検索：Mroonga：データ例
+
+  # coderay sql
+  INSERT INTO menus
+    VALUES ('焼肉定食'),
+           ('焼きにく定食');
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ヨミガナ検索：Mroonga：検索
+
+  # coderay sql
+  SELECT name FROM menus
+    WHERE MATCH (name)
+      AGAINST ('*D+ 焼きにく' IN BOOLEAN MODE);
+  -- 焼肉定食
+  -- 焼きにく定食
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ヨミガナ検索：PGroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE menus (
+    name text -- 検索対象
+  );
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ヨミガナ検索：PGroonga：インデックス定義
+
+  # coderay sql
+  CREATE INDEX menus_search ON menus
+    USING PGroonga (name)
+    WITH (tokenizer='TokenMecab("loose_reading", true)');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ヨミガナ検索：PGroonga：データ例
+
+  # coderay sql
+  INSERT INTO menus
+    VALUES ('焼肉定食'),
+           ('焼きにく定食');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ヨミガナ検索：PGroonga：検索
+
+  # coderay sql
+  SELECT name FROM menus
+    WHERE name &@~ '焼きにく';
+  -- 焼肉定食
+  -- 焼きにく定食
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= あいまい検索：表記ゆれ2
+
+「ぼたん鍋」\n
+と\n
+「猪鍋」\n
+（別名）
+
+= あいまい検索：表記ゆれ2対策
+
+同義語展開
+
+= 同義語展開
+
+  * 実行前にクエリーを変換
+    * 「ぼたん鍋」→「ぼたん鍋 OR 猪鍋」
+    * どちらもヒット
+  * 変換ルールは事前に用意
+    * ある程度自動生成可能
+    * 例：NEologdやWikipediaを利用
+
+= 同義語展開：Mroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE synonyms (
+    term varchar(255),    -- 展開対象の語
+    synonym varchar(255), -- 同義語
+    INDEX (term)          -- 高速化と精度向上
+      COMMENT 'normalizer "NormalizerNFKC100"'
+  ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 同義語展開：Mroonga：データ例
+
+  # coderay sql
+  INSERT INTO synonyms
+  -- 「ぼたん鍋」を「ぼたん鍋 OR 猪鍋」に展開
+    VALUES ('ぼたん鍋', 'ぼたん鍋'),
+           ('ぼたん鍋', '猪鍋'),
+  -- 「猪鍋」を「猪鍋 OR ぼたん鍋」に展開
+           ('猪鍋', '猪鍋'),
+           ('猪鍋', 'ぼたん鍋');
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 同義語展開：Mroonga：確認方法
+
+  # coderay sql
+
+  SELECT mroonga_query_expand(
+    'synonyms',       -- テーブル名
+    'term',           -- 展開対象のカラム名
+    'synonym',        -- 対応する同義語のカラム名
+    'ランチ ぼたん鍋' -- クエリー
+  );
+  -- 'ランチ ((ぼたん鍋) OR (猪鍋))'
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 同義語展開：Mroonga：検索方法
+
+  # coderay sql
+  SELECT title FROM entries
+    WHERE
+      MATCH (title)
+      -- '*D+ ランチ OR ((ぼたん鍋) OR (猪鍋))'になる
+      AGAINST (mroonga_query_expand('synonyms',
+                                    'term',
+                                    'synonym',
+                                    '*D+ ランチ ぼたん鍋')
+               IN BOOLEAN MODE);
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 同義語展開：PGroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE synonyms (
+    -- 展開対象の語
+    term text,
+    -- 同義語のリスト
+    -- term自身も含める
+    -- 含めない場合はtermが検索禁止語になる
+    terms text[]
+  );
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 同義語展開：PGroonga：データ例
+
+  # coderay sql
+  INSERT INTO synonyms
+    VALUES ('ぼたん鍋', -- 「ぼたん鍋」を展開
+            ARRAY['ぼたん鍋', '猪鍋']),
+           ('猪鍋', -- 「猪鍋」を展開
+            ARRAY['猪鍋', 'ぼたん鍋']);
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 同義語展開：PGroonga：インデックス定義
+
+  # coderay sql
+  CREATE INDEX synonym_search ON synonyms
+    USING PGroonga
+    -- ...text_term_search...
+    -- termで完全一致検索をするため
+    (term pgroonga_text_term_search_ops_v2);
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 同義語展開：PGroonga：確認方法
+
+  # coderay sql
+
+  SELECT pgroonga_query_expand(
+    'synonyms', -- テーブル名
+    'term', -- 展開対象のカラム名
+    'terms', -- 対応する同義語配列のカラム名
+    'ランチ ぼたん鍋' -- クエリー
+  );
+  -- 'ランチ ((ぼたん鍋) OR (猪鍋))'
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 同義語展開：PGroonga：検索方法
+
+  # coderay sql
+  SELECT title FROM entries
+    WHERE
+   -- title &@~ ランチ ((ぼたん鍋) OR (猪鍋))'になる
+      title &@~
+        pgroonga_query_expand('synonyms',
+                              'term',
+                              'terms',
+                              'ランチ ぼたん鍋');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= あいまい検索：表記ゆれ3
+
+  * 090-1234-5678：ハイフン入り
+  * (090)1234-5678：カッコとハイフン入り
+  * 09012345678：区切りなし
+  * 090 1234 5678：空白区切り
+  * （090）１２３４ー5678：全角文字入り
+
+= あいまい検索：表記ゆれ3対策
+
+電話番号検索
+
+= 電話番号検索
+
+  * 文字を正規化
+    * 全角→半角
+    * ハイフンっぽい文字→ハイフン
+    * 長音っぽい文字→ハイフン
+  * 記号・空白を無視して検索
+    * 元クエリー：(090)1234 5678
+    * 実クエリー：09012345678
+
+= 電話番号検索：Mroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE people (
+    tel varchar(255), -- 検索対象
+    FULLTEXT INDEX (tel) COMMENT
+      -- 電話番号検索対応インデックス
+      'normalizer "NormalizerNFKC100(
+         \'unify_hyphen_and_prolonged_sound_mark\', true)",
+       tokenizer "TokenNgram(\'loose_symbol\', true,
+                             \'loose_blank\', true)"'
+  ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 電話番号検索：Mroonga：データ例
+
+  # coderay sql
+  INSERT INTO people
+    VALUES ('090-1234-5678'),
+           ('(090)1234-5678'),
+           ('09012345678'),
+           ('090 1234 5678'),
+           ('（090）１２３４ー5678');
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 電話番号検索：Mroonga：検索
+
+  # coderay sql
+  SELECT tel FROM people
+    WHERE MATCH (tel)
+      AGAINST ('*D+ 090ー1234５６78' IN BOOLEAN MODE);
+  -- 090-1234-5678
+  -- (090)1234-5678
+  -- 09012345678
+  -- 090 1234 5678
+  -- （090）１２３４ー5678
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= 電話番号検索：PGroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE people (
+    tel text -- 検索対象
+  );
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 電話番号検索：PGroonga：インデックス定義
+
+  # coderay sql
+  CREATE INDEX people_search ON people
+    USING PGroonga (tel)
+    WITH (normalizer='
+      NormalizerNFKC100("unify_hyphen_and_prolonged_sound_mark", true)',
+          tokenizer='TokenNgram("loose_symbol", true,
+                                "loose_blank", true)');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 電話番号検索：PGroonga：データ例
+
+  # coderay sql
+  INSERT INTO people
+    VALUES ('090-1234-5678'),
+           ('(090)1234-5678'),
+           ('09012345678'),
+           ('090 1234 5678'),
+           ('（090）１２３４ー5678');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 電話番号検索：PGroonga：検索
+
+  # coderay sql
+  SELECT tel FROM people
+    WHERE tel &@~ '090ー1234５６78';
+  -- 090-1234-5678
+  -- (090)1234-5678
+  -- 09012345678
+  -- 090 1234 5678
+  -- （090）１２３４ー5678
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= あいまい検索：表記ゆれ4
+
+(('note:sèvre-et-maine'))
+
+  * セーヴェル エ メーヌ\n
+    (('note:「ーヴェ」・空白区切り'))
+  * セブルエメーヌ\n
+    (('note:「ブ」・区切りなし'))
+  * セーブル・エ・メーヌ\n
+    (('note:「ーブ」・中点区切り'))
+  * セーヴル　エメーヌ\n
+    (('note:「ーヴ」・片方だけ空白区切り'))
+
+= あいまい検索：表記ゆれ4対策
+
+ワイン名検索
+
+= ワイン名検索
+
+  * 文字を正規化
+    * ヴ・ヴェ→ブ
+    * ハイフン・長音っぽい文字→ハイフン
+    * 中点っぽい文字→中点
+  * 記号・空白を無視して検索
+    * 元クエリー：セーヴェル・エメーヌ
+    * 実クエリー：セブルエメヌ
+
+= ワイン名検索：Mroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE wines (
+    name varchar(255), -- 検索対象
+    FULLTEXT INDEX (name) COMMENT
+      -- ワイン名検索対応インデックス
+      'normalizer "NormalizerNFKC100(
+         \'unify_katakana_bu_sound\', true,
+         \'unify_hyphen_and_prolonged_sound_mark\', true,
+         \'unify_middle_dot\', true)",
+       tokenizer "TokenNgram(\'loose_symbol\', true,
+                             \'loose_blank\', true)"'
+  ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ワイン名検索：Mroonga：データ例
+
+  # coderay sql
+  INSERT INTO wines
+    VALUES ('セーヴェル エ メーヌ'),
+           ('セブルエメーヌ'),
+           ('セーブル・エ・メーヌ'),
+           ('セーヴル　エメーヌ');
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ワイン名検索：Mroonga：検索
+
+  # coderay sql
+  SELECT name FROM wines
+    WHERE MATCH (name)
+      AGAINST ('*D+ セーヴェルエメーヌ' IN BOOLEAN MODE);
+  -- セーヴェル エ メーヌ
+  -- セブルエメーヌ
+  -- セーブル・エ・メーヌ
+  -- セーヴル　エメーヌ
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= ワイン名検索：PGroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE wines (
+    name text -- 検索対象
+  );
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ワイン名検索：PGroonga：インデックス定義
+
+  # coderay sql
+  CREATE INDEX wines_search ON wines
+    USING PGroonga (name)
+    WITH (normalizer='NormalizerNFKC100(
+      "unify_katakana_bu_sound", true,
+      "unify_hyphen_and_prolonged_sound_mark", true,
+      "unify_middle_dot", true)',
+          tokenizer='TokenNgram("loose_symbol", true,
+                                "loose_blank", true)');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ワイン名検索：PGroonga：データ例
+
+  # coderay sql
+  INSERT INTO wines
+    VALUES ('セーヴェル エ メーヌ'),
+           ('セブルエメーヌ'),
+           ('セーブル・エ・メーヌ'),
+           ('セーヴル　エメーヌ');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= ワイン名検索：PGroonga：検索
+
+  # coderay sql
+  SELECT name FROM wines
+    WHERE name &@~ 'セーヴェルエメーヌ';
+  -- セーヴェル エ メーヌ
+  -- セブルエメーヌ
+  -- セーブル・エ・メーヌ
+  -- セーヴル　エメーヌ
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= 表記ゆれ：まとめ
+
+  * ヨミガナ検索
+    * 漢字・送り仮名の違いを吸収
+  * 同義語展開：別名をカバー
+  * 電話番号検索
+    * 半角全角・記号の有無・記号の違いを吸収
+  * ワイン名検索
+    * 外来語のカタカナ表記の違いを吸収
+
+= 表記ゆれ：参考情報
+
+文字の正規化方法
+
+= 正規化：かなの同一視
+
+  * (({unify_kana}))
+  * ひらがなとカタカナを区別しない
+  * ↓は同じ
+    * あいうえお
+    * アイウエオ
+
+= 正規化：濁点の同一視
+
+  * (({unify_sound_mark}))
+  * 濁点・半濁点の有無を区別しない
+  * ↓は同じ
+    * はひふへほ
+    * ばびぶべぼ
+    * ぱぴぷぺぽ
+
+= 正規化：大文字・小文字の同一視
+
+  * (({unify_kana_case}))
+  * 大文字・小文字を区別しない
+  * ↓は同じ
+    * やゆよ
+    * ゃゅょ
+
+= 正規化：ハイフンっぽい文字の同一視
+
+  * (({unify_hyphen}))
+  * ハイフンっぽい文字をハイフンへ
+    * ハイフン：U+002D
+  * ハイフンっぽい文字：
+    * -˗֊‐‑‒–⁃⁻₋−
+
+= 正規化：長音記号っぽい文字の同一視
+
+  * (({unify_prolonged_sound_mark}))
+  * 長音記号っぽい文字を長音記号へ
+    * 長音記号：U+30FC
+  * 長音記号っぽい文字：
+    * ー—―─━ｰ
+
+= 正規化：ハイフン・長音記号っぽい文字
+
+  * (({unify_hyphen_and_prolonged_sound_mark}))
+  * ハイフン・長音記号っぽい文字を\n
+    ハイフン（U+002D）へ
+  * ハイフンっぽい文字：
+    * -˗֊‐‑‒–⁃⁻₋−
+  * 長音記号っぽい文字：
+    * ー—―─━ｰ
+
+= 正規化：中点っぽい文字の同一視
+
+  * (({unify_middle_dot}))
+  * 中点っぽい文字を中点へ
+    * 中点：U+00B7
+  * 中点っぽい文字
+    * ·ᐧ•∙⋅⸱・･
+
+= 正規化：ヴァ→バ
+
+  * (({unify_katakana_v_sounds}))
+  * ヴァ行をバ行へ
+  * ↓は同じ
+    * ヴァヴィヴヴェヴォ
+    * バビブベボ
+
+= 正規化：ヴァ行→ブ
+
+  * (({unify_katakana_bu_sound}))
+  * ヴァ行をブへ
+  * ↓は同じ
+    * ヴァヴィヴヴェヴォ
+    * ブブブブブ
+
+= 正規化：MySQL 8.0
+
+  * 日本語用COLLATIONを追加
+    * (({utf8mb4_ja_0900_as_cs}))
+    * COLLATION：文字の順序のルール
+    * 順序なので等価比較機能もある
+  * 最新Mroongaは対応済み
+
+= あいまい検索：typo
+
+テノクロジー
+
+= あいまい検索：typo対策
+
+fuzzy検索
+
+= fuzzy検索
+
+  * 似ている文字列を検索
+    * 似ている＝編集距離が小さい
+  * インデックスを使って検索
+
+= 編集距離
+
+  * Aを何回編集するとBになるか
+  * 編集：
+    * 挿入・削除・置換
+    * 置換を禁止するケースもある
+  * 編集回数が距離
+
+= 編集距離例：置換あり
+
+  * A:テノクロジー
+  * 置換:ク↔ノ
+  * B:テクノロジー
+
+(('tag:center'))
+(('tag:x-large'))
+編集距離：1
+
+= 編集距離例：置換なし
+
+  * A:テノクロジー
+  * 削除:ク：テノロジー
+  * 挿入:ノ：テク((*ノ*))ロジー
+  * B:テクノロジー
+
+(('tag:center'))
+(('tag:x-large'))
+編集距離：2
+
+= fuzzy検索：Mroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE tags (
+    name varchar(255),    -- 検索対象
+    FULLTEXT INDEX (name) -- fuzzy検索対応インデックス
+      COMMENT 'tokenizer "none"'
+  ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= fuzzy検索：Mroonga：データ例
+
+  # coderay sql
+  INSERT INTO tags
+    VALUES ('テクノロジー'),
+           ('テクニカル');
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= fuzzy検索：Mroonga：検索
+
+  # coderay sql
+  SELECT name,
+         MATCH(name) AGAINST(...↓と同じ内容...) AS score
+    FROM tags
+    WHERE MATCH (name)
+      AGAINST (CONCAT('*SS fuzzy_search(name, ',
+                      mroonga_escape('テノクロジー' AS script),
+                      ', ',
+                      '{"with_transposition": true,
+                        "max_distance": 4})')
+               IN BOOLEAN MODE);
+  -- テクノロジー | 4
+  -- テクニカル   | 1
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= fuzzy検索：PGroonga：テーブル定義
+
+  # coderay sql
+  CREATE TABLE tags (
+    name text -- 検索対象
+  );
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= fuzzy検索：PGroonga：インデックス定義
+
+  # coderay sql
+  CREATE INDEX tags_search ON tags
+    USING PGroonga (name)
+    WITH (tokenizer='');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= fuzzy検索：PGroonga：データ例
+
+  # coderay sql
+  INSERT INTO tags
+    VALUES ('テクノロジー'),
+           ('テクニカル');
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= fuzzy検索：PGroonga：検索
+
+  # coderay sql
+  SELECT name, pgroonga_score(tableoid, ctid)
+    FROM tags
+    WHERE name &`
+      ('fuzzy_search(name, ' ||
+                     pgroonga_escape('テノクロジー') || ',
+                     {"with_transposition": true,
+                      "max_distance": 4})');
+  -- テクノロジー | 4
+  -- テクニカル   | 1
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= まとめ：あいまいな情報
+
+  * 人が用意した情報はあいまい
+    * クエリーも検索対象も
+  * あいまいでも必要な文書を見つける
+    * 人よりも機械ががんばる
+
+= まとめ：あいまいな検索
+
+  * 全文検索エンジンを活用して実現
+    * あいまい検索機能を提供しているはず
+
+= まとめ：全文検索エンジン
+
+  * 普通の全文検索エンジン
+    * 独自の使い方
+  * Mroonga・PGroonga
+    * ((*SQL*))で使える→開発しやすい
+
+= まとめ：ヨミガナ検索
+
+  * 漢字・送り仮名の違いを吸収
+    * 焼肉・焼き肉・焼きにく
+    * 高橋・髙橋
+  * MeCabで自動化できる
+    * 辞書により失敗することはある
+  * 同義語には対応できない
+    * 同義語展開と併用
+
+= まとめ：同義語展開
+
+  * 別名に対応：「ぼたん鍋」と「猪鍋」
+  * なにを同義語とするかが難しい
+    * システム依存度が高い
+    * ある程度は自動化できる
+    * 手動でのメンテナンスも必要
+
+= まとめ：電話番号検索
+
+  * 半角全角・記号有無・記号違いを吸収
+  * 🐀注意🐀
+    * どんな検索対象でもゆるくてよいわけではない
+    * 誤ヒットも増えてしまう
+    * 電話番号ならここまでゆるくてもOKというだけ
+
+= まとめ：ワイン名検索
+
+  * 外来語のカタカナ表記の違いを吸収
+  * 🐀注意🐀
+    * どんな検索対象でもゆるくてよいわけではない
+    * 誤ヒットも増えてしまう
+    * ワイン名ならここまでゆるくてもOKというだけ
+
+= まとめ：fuzzy検索
+
+  * typoしても本来のキーワードを推測
+  * 活用方法：
+    * ヒットしなかったときの「もしかして」の実装
+    * 入力補完候補
+
+= 参考情報：リッチな全文検索システム
+
+  # image
+  # src = https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/mysql-postgresql-rich-full-text-search-system.pdf
+  # page = 1
+  # relative_height = 90
+
+(('tag:xx-small'))
+(('tag:center'))
+((<URL:https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/>))
+
+= 扱わなかったあいまい検索
+
+  * 近傍検索\n
+    (('note:指定したキーワード間に違う単語が含まれていてもマッチ'))
+    * 「みそラーメン」で検索：
+      * 「みそバターラーメン」：マッチ
+  * quorumマッチ\n
+    (('note:閾値以上の要素がマッチしたらマッチ'))
+    * 閾値2と「MySQL MariaDB Percona」で検索：
+      * 「MySQLとMariaDBの比較」：マッチ
+      * 「MySQLとPostgreSQLの比較」：マッチしない
+
+= 扱わなかった話題
+
+  * 運用について
+    * 障害対策・レプリケーション
+  * チューニング
+
+= サポートサービス紹介
+
+  * 導入支援(('note:（設計支援・性能検証・移行支援・…）'))
+  * 開発支援(('note:（サンプルコード提供・問い合わせ対応・…）'))
+  * 運用支援(('note:（障害対応・チューニング支援・…）'))
+
+問い合わせ先：
+
+(('tag:x-small'))
+((<URL:https://www.clear-code.com/contact/?type=groonga>))

data/theme.rb

@@ -0,0 +1,3 @@
+@title_slide_title_font_size = @normal_font_size
+
+include_theme("groonga")

metadata

@@ -0,0 +1,83 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-db-tech-showcase-tokyo-2018
+version: !ruby/object:Gem::Version
+  version: 2018.9.20.0
+platform: ruby
+authors:
+- 須藤功平
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2018-09-18 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-groonga
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: |-
+  ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。
+
+  MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- mysql-postgresql-fast-fuzzy-full-text-search-system.rab
+- pdf/db-tech-showcase-tokyo-2018-mysql-postgresql-fast-fuzzy-full-text-search-system.pdf
+- theme.rb
+homepage: http://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2018/
+licenses:
+- CC-BY-SA-4.0
+- CC-BY-3.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 3.0.0.beta1
+signing_key: 
+specification_version: 4
+summary: MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
+test_files: []