rabbit-slide-komainu8-yapc-kyoto-2023 2023.3.19.1

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: 5598e8b728546250e04dca76eceb42647712c162be63d1b2e1e6de8d4399cc00
+  data.tar.gz: 1b54cf97106bd8190f98631e2f1769ec9bfe5c5aaedfcbcc4d49a2c7d806280b
+SHA512:
+  metadata.gz: 4aee9dba058dd63458162460c7c58c16a5852787000ab05e42bc1dcf3b3f1fb810f244282ac84f3b61f5a4029b666a48d2869451b7cd9446ac33e263d181306f
+  data.tar.gz: 1e37548d8e280d821b2f7171f60fe7b76d6d0327d77fb781e618170081892abd298440c7dc1eb2bb3e318089773f3b0aab78c9982a94f71078bb0af6cdc37e63

data/.rabbit

@@ -0,0 +1,2 @@
+--size 1280,960
+full-text-search-against-mysql-data-using-perl-and-groonga.rab

data/README.rd

@@ -0,0 +1,50 @@
+= Perlと全文検索エンジンGroongaでMySQLのデータを高速に全文検索する
+
+MySQLのデータを全文検索したいときの良くあるアプローチは以下の3つがありますが、それぞれ課題があります。
+
+1. MySQLのデフォルトのストレージエンジンInnoDBの全文検索機能を使う。
+2. 別途Elasticsearchを用意し、アプリケーションでMySQLとElasticsearchのデータを同期し、検索はElasticsearchで行う。
+3. 別途Elasticsearchを用意し、Logstashを使ってMySQLのデータをElasticsearchに同期する。
+
+上記のアプローチの課題を解決する方法として、GroongaとGroongaのデータをMySQLに取り込むツール、GroongaのHTTPでクライアントライブラリーを組み合わせた構成を紹介します。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者：堀本泰弘
+
+=== Groonga・PGroonga・Mroonga・Rroongaのロゴ
+
+CC BY 3.0
+
+原著作者：Groongaプロジェクト
+
+=== クリアコードのロゴ
+
+CC BY-SA 4.0
+
+原著作者：株式会社クリアコード
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-komainu8-yapc-kyoto-2023
+
+=== 表示
+
+  rabbit rabbit-slide-komainu8-yapc-kyoto-2023.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # spec.files += Dir.glob("doc/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  # spec.add_runtime_dependency("rabbit-theme-YOUR-THEME")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,27 @@
+---
+id: yapc-kyoto-2023
+base_name: full-text-search-against-mysql-data-using-perl-and-groonga
+tags:
+- rabbit
+- mysql
+- groonga
+- fts
+- yapckyoto
+presentation_date: '2023-03-19'
+presentation_start_time: 
+presentation_end_time: 
+version: 2023.3.19.1
+licenses: []
+slideshare_id: 
+speaker_deck_id: 
+vimeo_id: 
+youtube_id: 
+width: 1280
+height: 960
+author:
+  markup_language: :rd
+  name: Horimoto Yasuhiro
+  email: horimoto@clear-code.com
+  rubygems_user: komainu8
+  slideshare_user: 
+  speaker_deck_user: 

data/full-text-search-against-mysql-data-using-perl-and-groonga.rab

@@ -0,0 +1,452 @@
+= Perlと全文検索エンジンGroongaでMySQLの\nデータを高速に全文検索する
+
+# : subtitle
+#    サブタイトル
+: author
+   堀本 泰弘
+: institution
+   株式会社クリアコード
+: content-source
+   YAPC::Kyoto 2023
+: date
+   2023-03-19
+: allotted-time
+   40m
+: start-time
+   2023-03-19T15:00+09:00
+: end-time
+   2023-03-19T15:40+09:00
+: theme
+   .
+
+= 自己紹介
+
+  # image
+  # src = images/self-introduction.png
+  # relative_height = 107
+
+= 今日のテーマ
+
+MySQLのデータを((*高速*))に全文検索する！
+
+= よくあるアプローチ
+
+* InnoDBで全文検索
+* Elasticsearchで全文検索
+* Elasticsearch+Logstashで\n全文検索
+
+= InnoDBで全文検索
+
+= InnoDBで全文検索\nメリット
+
+* 手軽に全文検索できる😊
+* 専用の構文を覚えなくていい😊
+* メンテナンスコスト：小😊
+
+= InnoDBで全文検索\nデメリット
+
+* 遅い😔
+* 機能不足😔
+
+= 使い方
+
+  # coderay sql
+
+    CREATE TABLE products (
+      product_id int DEFAULT NULL,
+      product_title text,
+      product_description text,
+      product_brand text,
+      FULLTEXT KEY fts_description_idx
+        (product_title, product_description, product_brand) WITH PARSER ngram
+    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
+
+
+= 使い方
+
+  # coderay sql
+
+    SELECT * FROM products
+     WHERE MATCH(product_title, product_description, product_brand)
+           AGAINST('+ハンドバッグ' IN BOOLEAN MODE');
+
+= 使い方
+
+* IN BOOLEAN MODE
+
+  * 検索文字列の先頭の特定の文字が特別な意味を持つ
+
+    * +:AND検索
+    * -:NOT検索
+    * 演算子なし：OR検索
+
+= Elasticsearchで全文検索
+
+= Elasticsearchで全文検索\n構成
+
+  # image
+  # src = images/mysql-elasticsearch-normal.png
+  # relative_height = 60
+
+= Elasticsearchで全文検索\nメリット
+
+* InnoDBより速い😊
+* 多機能😊
+
+= Elasticsearchで全文検索\nデメリット
+
+* アプリケーションの実装が複雑になる😔
+
+  * 更新失敗時のケアが必要
+
+= Elasticsearchで全文検索\nデメリット
+
+  # image
+  # src = images/mysql-elasticsearch-abnormality.png
+  # relative_height = 60
+
+= Elasticsearch+Logstashで\n全文検索
+
+= Logstashとは?
+
+= Logstashとは?
+
+Elastic社開発のログ収集ツール
+
+= Logstashとは?
+
+データソースを\n一元化して収集\nできる
+
+= Elasticsearch+Logstash\nで全文検索\n構成
+
+  # image
+  # src = images/mysql-logstash-elasticsearch.png
+  # relative_height = 60
+
+= Elasticsearch+Logstash\nで全文検索\nメリット
+
+* アプリケーションの実装を\nシンプルにできる😊
+
+= Elasticsearch+Logstash\nで全文検索\nデメリット
+
+* メンテナンスコスト：大😔
+
+  * Logstashの死活監視も必要
+
+= Elasticsearch+Logstash\nで全文検索\nデメリット
+
+* データを削除するのに一手間必要😔
+
+  * Logstashはレコードの削除を検出\nできない
+  * deleteフラグを作って別途削除が必要
+
+= 新しいアプローチ！
+
+= MySQL + ((*Groonga delta*)) + ((*Groonga*)) + ((*Groonga-HTTP*))
+
+= 構成
+
+  # image
+  # src = images/mysql-groonga-delta-groonga-groonga-http.png
+  # relative_height = 90
+
+= Groongaとは？
+
+= Groongaとは？
+
+  # image
+  # src = images/mysql-groonga-delta-groonga-groonga-http.png
+  # relative_height = 90
+
+= Groongaとは？
+
+オープンソースの国産全文検索\nエンジン
+
+= Groongaとは？
+
+* 公式ドキュメント
+
+  https://groonga.org/ja/
+
+= Groongaの特徴
+
+* ((*高速*))
+* 登録した情報は即時検索可能
+* 更新中でも検索性能が落ちない
+* ((*多機能*))（同義語、ハイライト、オートコンプリート、etc...）
+* ((*HTTPでやり取りできる*))
+
+= Groonga-HTTPとは？
+
+= Groonga-HTTPとは？
+
+  # image
+  # src = images/mysql-groonga-delta-groonga-groonga-http.png
+  # relative_height = 90
+
+= Groonga-HTTPとは？
+
+GroongaのHTTPクライアント\nライブラリー
+
+= Groonga-HTTPを使わない場合
+
+  # RT
+  caption = Site
+
+  id, _key, title
+  1, http://example.org/, Example.org
+  2, http://example.net/, Example.net
+
+= Groonga-HTTPを使わない場合
+
+Request
+
+  # coderay perl
+
+  use LWP::UserAgent;
+  use JSON;
+
+  $ua = LWP::UserAgent->new;
+  $ua->agent("MyApplication/1.0 ");
+
+  my $res = $ua->get('http://127.0.0.1:10041/d/select?table=Site');
+  if ($res->is_success) {
+    my @decoded_contents = decode_json($res->content);
+    my $n_hits = $decoded_contents[0][1][0][0][0];
+
+    for (my $i = 2; $i < $n_hits+2; $i++) {
+      print "\n";
+      print "id=$decoded_contents[0][1][0][$i][0]\n";
+      print "_key=$decoded_contents[0][1][0][$i][1]\n";
+      print "title=$decoded_contents[0][1][0][$i][2]\n";
+    }
+  }
+
+= Groonga-HTTPを使わない場合
+
+Response
+
+  # coderay json
+
+  id=1
+  _key=http://example.org/
+  title=Example.org
+
+  id=2
+  _key=http://example.net/
+  title=Example.net
+
+= Groonga-HTTPを使う場合
+
+インストール
+
+  # coderay shell
+
+    % cpanm Groonga::HTTP
+
+= Groonga-HTTPを使う場合
+
+Request
+
+  # coderay perl
+
+  use Groonga::HTTP;
+
+  my $groonga = Groonga::HTTP->new;
+  my $result = $groonga->select(table => 'Site');
+
+  for (my $i = 0; $i < $result->{'n_hits'}; $i++) {
+    print "\n";
+    print "$result->{'records'}[$i]->{'_id'}\n";
+    print "$result->{'records'}[$i]->{'_key'}\n";
+    print "$result->{'records'}[$i]->{'title'}\n";
+  }
+
+= Groonga-HTTPを使う場合
+
+Response
+
+  # coderay perl
+
+  1
+  http://example.org/
+  Example.org
+
+  2
+  http://example.net/
+  Example.net
+
+= Groonga-HTTPの情報
+
+公式ドキュメント
+
+  * https://groonga.github.io/Groonga-HTTP/ja/
+
+= Groonga deltaとは？
+
+= Groonga deltaとは？
+
+MySQLのデータをリアルタイムでGroongaに同期するツール
+
+= Groonga deltaとは？
+
+  # image
+  # src = images/mysql-groonga-delta-groonga-groonga-http.png
+  # relative_height = 90
+
+= MySQLの\nレプリケーションモデル
+
+  # image
+  # src = images/mysql-replication.png
+
+= できること
+
+* データの一括取り込み
+* INSERT/UPDATE/DELETEの結果をリアルタイムで取り込む
+
+= MySQL+Groonga delta+Groongaの構成
+
+  # image
+  # src = images/mysql-groonga-delta-groonga-groonga-http.png
+  # relative_height = 90
+
+= MySQL+Groonga delta+Groongaの構成
+
+データ更新は((*MySQL*))\n全文検索は((*Groonga*))
+
+= MySQL+Groonga delta+Groongaなら！
+
+* 速い😊
+* 多機能😊
+* アプリケーションをシンプル\nにできる！
+
+= MySQL+Groonga delta+Groongaなら！
+
+* マスターデータはMySQL
+
+  GroongaのDBが破損したら、\n切り捨てて新規に作り直すこと\nができる
+
+= MySQL+Groonga delta+Groongaなら！
+
+MySQLのデータだけケアすれば\nいい！
+
+= MySQL+Groonga delta+Groongaなら！
+
+* Groongaが起動していなくてもデータの更新ができる
+
+  Groonga復旧後に再接続すると自動的にデータが同期される
+
+= MySQL+Groonga delta+Groongaなら！
+
+Groongaに障害が起きても更新をケアしなくて\nいい！
+
+= MySQL+Groonga delta+Groongaなら！
+
+* データの削除もできる😊
+
+= MySQL+Groonga delta+Groongaなら！
+
+* 専用の構文が必要😔
+* メンテナンスコスト：大😔
+
+= 他にもこんな方法が
+
+= Mroongaを使う
+
+= Mroongaとは？
+
+MySQLの\nストレージ\nエンジンとして\nGroongaを\n使える
+
+= Mroongaのメリット
+
+* SQLが使える😊
+* 使うまでの設定がない\n（パッケージをインストールして終わり）😊
+
+= Mroongaのデメリット
+
+* Groongaに比べて遅い😔
+* SQLを逸脱するような機能は使えない😔
+* クラッシュセーフではない😔
+
+= ユースケース
+
+どの方法が\nどういうケースで有効か？
+
+= ユースケース
+
+* データ量が少ないケース
+* あまり速度を求めていないケース
+* 気軽に全文検索したいケース
+
+= ユースケース
+
+InnoDB
+
+= ユースケース
+
+* 気軽に高速な全文検索を使いたいケース
+* データリカバリーの方法が確立できている
+
+= ユースケース
+
+Mroonga
+
+= ユースケース
+
+* とにかく速度がほしいケース
+* ファセット検索などGroongaにしかない機能を使いたいケース
+
+= ユースケース
+
+MySQL + Groonga delta + Groonga
+
+= まとめ
+
+  # RT
+  caption = ユースケース
+
+  /, InnoDB, Mroonga, Groonga
+  データ量大, ☓, ○, ◎
+  速度, ☓, ○, ◎
+  機能, ☓, ○, ◎
+  運用, ◎, △, ☓
+
+= サポート
+
+GroongaやMroongaは\n敷居が高いが\n使いたい!
+
+= サポート
+
+そんなときは
+
+= サポート
+
+* チャット
+
+  https://gitter.im/groonga/ja
+
+= サポート
+
+* GitHub Discussions
+
+  https://github.com/groonga/groonga/discussions
+
+= サポート
+
+* クリアコードのサポートサービス
+
+  https://www.clear-code.com/services/groonga.html
+
+= Groongaについての情報
+
+* リリース自慢会
+
+  https://www.youtube.com/playlist?list=PLLwHraQ4jf7PnA3GjI9v90DZq8ikLk0iN
+
+= Groongaについての情報
+
+* グルカイ！\n（Groonga開発者に聞け！）
+
+  https://www.youtube.com/playlist?list=PLLwHraQ4jf7PBol9aq5BoaM2Hnk6aCKs2
+
+= ご清聴ありがとうございました！

data/theme.rb

@@ -0,0 +1,5 @@
+@title_slide_title_font_size = @large_font_size
+
+@groonga_product = "groonga"
+
+include_theme("groonga")

metadata

@@ -0,0 +1,81 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-komainu8-yapc-kyoto-2023
+version: !ruby/object:Gem::Version
+  version: 2023.3.19.1
+platform: ruby
+authors:
+- Horimoto Yasuhiro
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2023-03-16 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+description: |-
+  MySQLのデータを全文検索したいときの良くあるアプローチは以下の3つがありますが、それぞれ課題があります。
+
+  1. MySQLのデフォルトのストレージエンジンInnoDBの全文検索機能を使う。
+  2. 別途Elasticsearchを用意し、アプリケーションでMySQLとElasticsearchのデータを同期し、検索はElasticsearchで行う。
+  3. 別途Elasticsearchを用意し、Logstashを使ってMySQLのデータをElasticsearchに同期する。
+
+  上記のアプローチの課題を解決する方法として、GroongaとGroongaのデータをMySQLに取り込むツール、GroongaのHTTPでクライアントライブラリーを組み合わせた構成を紹介します。
+email:
+- horimoto@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- full-text-search-against-mysql-data-using-perl-and-groonga.rab
+- images/Groonga-HTTP-degin.png
+- images/db-arch.png
+- images/groonga-delta-degin.png
+- images/mysql-elasticsearch-abnormality.png
+- images/mysql-elasticsearch-normal.png
+- images/mysql-groonga-delta-groonga-groonga-http.png
+- images/mysql-groonga-delta-groonga.png
+- images/mysql-logstash-elasticsearch.png
+- images/mysql-replication.png
+- images/new-groonga.png
+- images/self-introduction.png
+- pdf/yapc-kyoto-2023-full-text-search-against-mysql-data-using-perl-and-groonga.pdf
+- theme.rb
+homepage: https://slide.rabbit-shocker.org/authors/komainu8/yapc-kyoto-2023/
+licenses: []
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.2.5
+signing_key: 
+specification_version: 4
+summary: Perlと全文検索エンジンGroongaでMySQLのデータを高速に全文検索する
+test_files: []