rabbit-slide-komainu8-july-tech-festa-2021-winter 1.0.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: 1d461b0072c8d676b497b42f1f3f496229fbd3a0d72c160ceafddce65043c963
+  data.tar.gz: 6055dce05999c55d3beee1c627b7d10f85edd0fdc049ecd3a8844ce748b345d9
+SHA512:
+  metadata.gz: 1d1fbd912e1dba9728651ea1a3afc5de192c9710d39288e2887edd6f35f0bca916332a62300ecdfa6b853fb470cd17c35fb2e10220fafe81428d95686933c303
+  data.tar.gz: cb4579dc3c33a5727b07ee998e59651bc681e8e26eee81418add29a7bd5ecb62fbe7b357de6d5db632fe32c081999ac1d389dc42563f7bed38612220db2f5e05

data/.rabbit

@@ -0,0 +1 @@
+introduction-to-pgroonga.rab

data/README.rd

@@ -0,0 +1,85 @@
+= PostgreSQLで高速・高機能な日本語全文検索
+
+PostgreSQLで日本語の全文検索をするには、LIKE演算子を使って実現できますが、インデックスを使用しないため、データ量が多い場合には低速です。
+英文については、インデックスを使用した全文検索が可能ですが、日本語には対応していません。
+PGroonga(ぴーじーるんが)は、全言語対応の高速な全文検索機能をPostgreSQLで使えるようにする拡張で、安定して高速で、かつ高機能です。
+
+本発表では、PGroongaの速さや便利さを紹介します。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者：堀本泰弘
+
+=== Groonga・PGroonga・Mroonga・Rroongaのロゴ
+
+CC BY 3.0
+
+原著作者：Groongaプロジェクト
+
+=== 株式会社クリアコードのロゴ
+
+CC BY-SA 4.0
+
+原著作者：株式会社クリアコード
+
+=== 青空文庫の書籍一覧データ
+
+CC BY-SA 2.1
+
+原著作者：河原　翔
+作品タイトル：青空文庫 形態素解析データ集
+URL：http://aozora-word.hahasoha.net/
+
+=== 日本全国の住所データ
+
+原著作者：有限会社ゼネラルソフトウェア
+URL:http://jusyo.jp/index.html
+
+=== Wikipedia日本語版のタイトル一覧
+
+CC-BY-SA 3.0 Unported
+
+原著作者：ウィキペディア日本語版
+URL：https://ja.wikipedia.org/
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-komainu8-july-tech-festa-2021-winter
+
+=== 表示
+
+  rabbit rabbit-slide-komainu8-july-tech-festa-2021-winter.gem
+
+== ベンチマーク実行方法
+
+=== 準備
+
+docker-composeが必要なので予めインストールする。
+
+データベースのパスワードを要求されるので、
+
+  export PGPASSWORD=PGroonga
+
+を実行しておく。
+
+=== ベンチマーク実行
+
+  git clone git@github.com:komainu8/rabbit-slide-komainu8-july-tech-festa-2021-winter.git
+  cd rabbit-slide-komainu8-july-tech-festa-2021-winter
+  ./exec-benchmark.sh

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # spec.files += Dir.glob("doc/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  # spec.add_runtime_dependency("rabbit-theme-YOUR-THEME")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,31 @@
+---
+id: july-tech-festa-2021-winter
+base_name: introduction-to-pgroonga
+tags:
+  - rabbit
+  - jtf2021w
+  - fts
+  - search
+  - pgroonga
+  - groonga
+presentation_date: 2021-01-24
+presentation_start_time: 2021-01-24T14:20:00+09:00
+presentation_end_time: 2021-01-24T14:45:00+09:00
+version: 1.0.0
+licenses:
+  - CC-BY-SA-4.0
+  - CC-BY-SA-3.0-Unported
+  - CC-BY-SA-2.1
+  - CC-BY-3.0
+slideshare_id: 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: 堀本泰弘 
+  email: horimoto@clear-code.com
+  rubygems_user: komainu8
+  slideshare_user: 
+  speaker_deck_user: 

data/introduction-to-pgroonga.rab

@@ -0,0 +1,386 @@
+= PostgreSQLで\n高速・高機能な日本語\n全文検索
+
+: author
+   堀本泰弘
+: institution
+   株式会社クリアコード
+: content-source
+   July Tech Festa 2021 winter
+: date
+   2021-01-24
+: allotted-time
+   20m
+: start-time
+   2021-01-24T14:20:00+09:00
+: end-time
+   2021-01-24T14:40:00+09:00
+: theme
+   .
+
+= 自己紹介
+
+  # image
+  # src = images/self-introduction.png
+  # relative_height = 107
+
+= 今日のテーマ
+
+PostgreSQLで\n((*高速*))・((*高機能*))な日本語全文検索\nを実現する
+
+= 今日のテーマ
+
+...の前に
+
+= 全文検索？
+
+= 全文検索？
+
+((*全*))ての((*文*))書から特定の文字列を\n((*検索*))する
+
+= 全文検索？
+
+  # image
+  # src = images/web-search.png
+  # relative_height = 87
+
+= 全文検索？
+
+  # coderay shell
+
+  % grep PGroonga ./*
+  ./docker-compose.yml:  PGroonga:
+  ./docker-compose.yml:      POSTGRES_DB: PGroonga
+  ./docker-compose.yml:      POSTGRES_PASSWORD: PGroonga
+  ./docker-compose.yml:      POSTGRES_USER: PGroonga
+
+= 全文検索の対象
+
+(('tag:center'))
+(('tag:large'))
+(('tag:margin-bottom * 2'))
+大量のテキスト
+
+  * 例：Redmineのwiki・チケット
+  * 例：チャットログ
+  * 例：口コミ
+
+= 参考
+
+* Redmineでは既にPGroongaを使った全文検索をするプラグインがある
+
+  * ((<URL:https://github.com/clear-code/redmine_full_text_search>))
+  * ((<URL:https://www.slideshare.net/kou/redminetokyo12>))
+
+= PostgreSQLの全文検索
+
+* LIKE：組み込み
+* textsearch：組み込み
+* pg_trgm：標準添付
+* pg_bigm：プラグイン
+* PGroonga：プラグイン
+
+= PostgreSQLの全文検索
+
+* ((*LIKE*))：組み込み
+* ((*textsearch*))：組み込み
+* pg_trgm：標準添付
+* pg_bigm：プラグイン
+* ((*PGroonga*))：プラグイン
+
+= 参考
+
+* pg_trgmとpg_bigmとPGroongaの比較は以下の記事を参照
+
+  * ((<URL:https://groonga.org/ja/blog/2016/11/30/pgroonga-1.1.9.html>))
+
+= PostgreSQLの全文検索
+
+  # RT
+  delimiter = [|]
+
+  名前 | 日本語 | 速度 | 機能
+
+  LIKE | ○ | △ | ☓
+  textsearch | ☓ | ○ | △
+  PGroonga | ○ | ○ | ○
+
+= LIKE
+
+* メリット
+
+  * 標準で使える
+  * インデックス作成不要(データ更新が遅くならない)
+  * データが少なければ十分高速
+
+= LIKE
+
+* デメリット
+
+  * データ量に比例して遅くなる
+  * 類似文書検索、同義語検索等の便利な機能はない
+
+= textsearch
+
+* メリット
+
+  * 標準で使える
+  * インデックスを作成するので、データ量が多くても高速
+  * 同義語検索、検索結果のランキング、結果のハイライトなど、便利な機能がある
+
+= textsearch
+
+* デメリット
+
+  * 言語毎にモジュールが必要
+    * 英語やフランス語のモジュールは組み込み
+    * 日本語は別途インストールが必要
+    * 日本語のモジュールは現在メンテナンスされてない
+
+= PGroongaを使った全文検索
+
+= PGroonga？
+
+読み方
+
+= PGroonga？
+
+PGroonga\n
+(ぴ−じーるんが)
+
+= PGroongaとは？
+
+PostgreSQLで\n((*高速・高機能な*))全文検索を実現\nする拡張
+
+= PGroongaの特徴
+
+(1) ((*簡単*))に使える
+(2) ((*速い*))
+(3) ((*全言語*))対応
+
+= 使い方
+
+  # image
+  # src = images/pgroonga-sql.png
+  # relative_height = 107
+
+= 使い方
+
+実際に全文検索\nしてみましょう
+
+= 実行例：テーブル定義
+
+  # coderay sql
+
+  CREATE TABLE entries (
+    title text,
+    content text
+  );
+
+= 実行例：\nインデックス定義
+
+  # coderay sql
+
+  -- 全文検索用インデックス
+  CREATE INDEX entries_full_text_search
+    ON entries
+    --「USING pgroonga」=「PGroongaを使う」
+    USING pgroonga (title, content);
+
+= 実行例：データ挿入
+
+  # coderay sql
+
+  -- 普通に挿入するだけでよい
+  INSERT INTO entries
+    VALUES ('PGroongaで高速全文検索！',
+            '高速に全文検索したいですね！');
+
+= 実行例：全文検索
+
+  # coderay sql
+
+  SELECT title FROM entries
+    WHERE
+  -- &@~で全文検索
+  -- 「検索」と「高速」をAND検索
+      title &@~ '検索 高速' OR
+      content &@~ '検索 高速';
+
+= 実行例：LIKE
+
+  # coderay sql
+
+  SELECT title FROM entries
+    WHERE
+  -- LIKEでもインデックスが効く
+  --＝アプリを書き換えずに高速化可能
+  -- ただし&@~より性能が落ちる
+      title LIKE '%検索%' OR
+      content LIKE '%検索%';
+
+= 使い方
+
+((*簡単*))ですね！
+
+= 速度
+
+((*安定*))して速い
+
+= ベンチマーク
+
+= 青空文庫の書籍一覧
+
+  # RT
+  delimiter = [|]
+
+  件数 | LIKE\n速度[ms] | PGroonga\n速度[ms]
+
+  11,818件 | 1.916 | 0.290
+
+= 日本全国の住所
+
+  # RT
+  delimiter = [|]
+
+  件数 | LIKE\n速度[ms] | PGroonga\n速度[ms]
+
+  149,724件 | 17.277  | 0.850
+
+= Wikipedia日本語版のタイトル
+
+  # RT
+  delimiter = [|]
+
+  件数 | LIKE\n速度[ms] | PGroonga\n速度[ms]
+
+  3,677,375件 | 128.776 | 0.371
+
+= ベンチマーク
+
+  # image
+  # src = images/benchmark-graph.png
+  # relative_height = 100
+
+= ベンチマークのデータ
+
+* 使用したSQLは以下を参照
+
+  * ((<URL:https://github.com/komainu8/rabbit-slide-komainu8-july-tech-festa-2021-winter/tree/master/benchmark>)) 
+
+= ベンチマークのデータ
+
+* 追試用スクリプト
+
+  * ((<URL:https://github.com/komainu8/rabbit-slide-komainu8-july-tech-festa-2021-winter/blob/master/exec-benchmark.sh>))
+  * 使い方はREADME参照
+
+= 機能
+
+* 全文検索に必要そうな機能は\n一通り揃っている
+  * 同義語検索
+  * 類似文書検索
+  * 読みがな検索
+  * 入力補完 etc..
+
+= 機能
+
+* 全文検索に必要そうな機能は\n一通り揃っている
+  * 同義語検索
+  * 類似文書検索
+  * ((*読みがな検索*))
+  * 入力補完 etc..
+
+= 読みがな検索
+
+「やきにく」\nってどう書きますか？
+
+= 読みがな検索
+
+* やきにく
+* 焼き肉
+* 焼肉
+* やき肉
+* ヤキニク
+
+= 読みがな検索
+
+当然ですがどれも「やきにく」と読みます
+
+= 読みがな検索
+
+* 読みが同じなので、以下は全部同じものとして扱えます
+  * やきにく
+  * 焼き肉
+  * 焼肉
+  * やき肉
+  * ヤキニク
+
+= 読みがな検索
+
+例えば\n「やきにく」で検索すると
+
+= 読みがな検索
+
+* 「やきにく」((*Hit!*))
+* 「焼き肉」((*Hit!*))
+* 「焼肉」((*Hit!*))
+* 「やき肉」((*Hit!*))
+* 「ヤキニク」((*Hit!*))
+
+= 読みがな検索
+
+異体字
+
+= 読みがな検索
+
+「広」と「廣」
+
+= 読みがな検索
+
+例えば人名の\n検索
+
+= 読みがな検索
+
+検索キーワード「広瀬」で
+  * 「広瀬」((*Hit*))
+  * 「廣瀬」((*Hit*))
+となってほしい
+
+= 読みがな検索
+
+通常の検索\n
+検索キーワード「広瀬」で
+  * 「広瀬」のみ((*Hit*))
+
+= 読みがな検索
+
+読みがな検索なら\n
+検索キーワード「広瀬」で
+  * 「広瀬」((*Hit*))
+  * 「廣瀬」((*Hit*))
+
+= 読みがな検索
+
+両方ヒット！
+
+= 読みがな検索
+
+「広瀬」も\n「廣瀬」も\n読みが同じ
+
+= 他にも
+
+* それっぽい順でソート
+* キーワードハイライト
+* キーワードの周辺テキスト表示
+
+= 他にも
+
+* 電話番号検索
+  * 090-1234-5678 と 090 1234 5678、(090)1234-5678 等
+* fuzzy検索
+  * typo対策
+    * テクノロジーとテノクロジー
+
+= まとめ
+
+PGroongaで\n((*高速高機能*))な\n日本語全文検索が実現できます！

data/theme.rb

@@ -0,0 +1,5 @@
+@title_slide_title_font_size = @large_font_size
+
+@groonga_product = "pgroonga"
+
+include_theme("groonga")

metadata

@@ -0,0 +1,76 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-komainu8-july-tech-festa-2021-winter
+version: !ruby/object:Gem::Version
+  version: 1.0.0
+platform: ruby
+authors:
+- 堀本泰弘
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2021-01-22 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+description: |-
+  PostgreSQLで日本語の全文検索をするには、LIKE演算子を使って実現できますが、インデックスを使用しないため、データ量が多い場合には低速です。
+  英文については、インデックスを使用した全文検索が可能ですが、日本語には対応していません。
+  PGroonga(ぴーじーるんが)は、全言語対応の高速な全文検索機能をPostgreSQLで使えるようにする拡張で、安定して高速で、かつ高機能です。
+
+  本発表では、PGroongaの速さや便利さを紹介します。
+email:
+- horimoto@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- images/benchmark-graph.png
+- images/pgroonga-sql.png
+- images/self-introduction.png
+- images/web-search.png
+- introduction-to-pgroonga.rab
+- pdf/july-tech-festa-2021-winter-introduction-to-pgroonga.pdf
+- theme.rb
+homepage: https://slide.rabbit-shocker.org/authors/komainu8/july-tech-festa-2021-winter/
+licenses:
+- CC-BY-SA-4.0
+- CC-BY-SA-3.0-Unported
+- CC-BY-SA-2.1
+- CC-BY-3.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.1.4
+signing_key: 
+specification_version: 4
+summary: PostgreSQLで高速・高機能な日本語全文検索
+test_files: []