rabbit-slide-kou-oss-on-azure-5 2017.6.26.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 30fc24d0a066c538c7929fe3ddfb419bc8afadfe
+  data.tar.gz: 1396f6ff9949ed99eb87425d4f3b52144152cc75
+SHA512:
+  metadata.gz: 1df3cae348e1850cb87e8d8b9d822a1234c10e6bc8666bec219b7476c2df302eb9f9c6e8c9d66bbded511ea02eddc638af8b3c6040038b920ebef58deebe44e9
+  data.tar.gz: 827f654db3d2e5342c0d26cd70cad5b634dfbe7b005dbdfd580817111736dc6df79821be5c1a2b7b8a1c44d5c72d54a54dd8caa90ca6f7fc0458f4cd66e599aa

data/.rabbit

@@ -0,0 +1 @@
+mysql-and-postgresql-and-japanese-full-text-search.rab

data/README.rd

@@ -0,0 +1,46 @@
+= MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね！？
+
+MySQL・PostgreSQLでの日本語全文検索の現状を紹介します。また、MySQL・PostgreSQLで日本語全文検索する方法としてMroonga・PGroongaを使う方法を紹介します。この話を聞くと、Azure DatabaseにMroonga・PGroongaがインストールされているといいのに！と思うはずです。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者名は以下の通りです。
+
+  * 須藤功平（またはKouhei Sutou）
+
+=== 画像
+
+==== Groonga・Mroonga・PGroongaのロゴ
+
+CC BY 3.0
+
+原著作者名は以下の通りです。
+
+  * Groongaプロジェクト
+  * Mroongaプロジェクト
+  * PGroongaプロジェクト
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-oss-on-azure-5
+
+=== 表示
+
+  rabbit rabbit-slide-kou-oss-on-azure-5.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  spec.files += Dir.glob("images/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-groonga")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,28 @@
+---
+id: oss-on-azure-5
+base_name: mysql-and-postgresql-and-japanese-full-text-search
+tags:
+- rabbit
+- mysql
+- postgresql
+- full-text-search
+- mroonga
+- pgroonga
+- azure
+presentation_date: 2017-06-26
+version: 2017.6.26.0
+licenses:
+- CC BY 3.0
+- CC BY-SA 4.0
+slideshare_id: ossonazure5
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: Kouhei Sutou
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user: kou
+  speaker_deck_user:

data/mysql-and-postgresql-and-japanese-full-text-search.rab

@@ -0,0 +1,566 @@
+= MySQLと\nPostgreSQLと\n日本語全文検索
+
+: subtitle
+   Azure Databaseで\nMroonga・PGroongaを使いたいですよね！？
+: author
+   須藤功平
+: institution
+   クリアコード
+: content-source
+   OSS on Azure非公式コミュニティ #5 『Azure Database』勉強会
+: date
+   2017-06-26
+: allotted-time
+   15m
+: theme
+   .
+
+= アンケート
+
+(('tag:center'))
+(('tag:large'))
+Azure Databaseで\n
+高速な日本語全文検索を\n
+したい人！
+
+(('tag:center'))
+(('note:最後にもう一度似たようなことを聞くよ！'))
+
+= 日本語全文検索：LIKE
+
+(('tag:center'))
+(('tag:x-large'))
+LIKE
+
+  * 😄SQL標準
+    * MySQLでもPostgreSQLでも使える
+  * 😄少ないデータなら速度は十分
+    * 400文字×20万件くらいなら1秒とか
+
+= LIKEのパフォーマンス
+
+  * 😣少なくないデータ
+    * レスポンスが遅い
+  * 😣多くの同時アクセス
+    * スループットがでない
+    * 1回のLIKE毎にCPUが専有されるため
+
+= パフォーマンスの考え方
+
+  * 少ないデータ &&\n
+    多くない同時アクセス
+    * LIKEで十分
+  * 少なくないデータ ||\n
+    多くの同時アクセス
+    * 高速化が必要
+
+= 高速日本語全文検索
+
+(('tag:center'))
+(('tag:margin-bottom'))
+インデックスで高速化できる
+
+  * MySQL
+    * 5.7から標準対応
+  * PostgreSQL
+    * GIN（組込）＋pg_trgm（標準添付）
+
+= 高速？
+
+(('tag:center'))
+ベンチマーク！
+
+  * 対象：Wikipedia日本語版
+  * レコード数：約185万件
+  * データサイズ：約7GB
+  * メモリー4GB・SSD250GB(('note:（ConoHa）'))
+
+(('note:https://github.com/groonga/wikipedia-search/issues/4'))
+
+(('tag:center'))
+(('note:（他人のベンチマークは参考程度）'))\n
+(('note:（検討時はちゃんと実際の環境でベンチマークをとろう！）'))
+
+= 注意
+
+  * pg_trgmではなくpg_bigmを使用
+    * pg_bigm：外部プラグイン
+    * 性能の傾向はだいたい同じ\n
+      (('note:1,2文字のときはpg_bigmの方が速い'))\n
+      (('note:3文字以上はpg_trgmの方が速い'))
+
+= 検索1
+
+(('tag:center'))
+キーワード：テレビアニメ\n
+(('note:（ヒット数：約2万3千件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 3m2s
+  InnoDB MeCab | 6m20s
+  pg_bigm | 4s
+
+= 検索2
+
+(('tag:center'))
+キーワード：データベース\n
+(('note:（ヒット数：約1万7千件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 36s
+  InnoDB MeCab | 0.03s
+  pg_bigm | 2s
+
+= 検索3
+
+(('tag:center'))
+キーワード：PostgreSQL OR MySQL\n
+(('note:（ヒット数：約400件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | N/A（エラー）
+  InnoDB MeCab | 0.005s
+  pg_bigm | 0.185s
+
+= 検索4
+
+(('tag:center'))
+キーワード：日本\n
+(('note:（ヒット数：約63万件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 1.3s
+  InnoDB MeCab | 1.3s
+  pg_bigm | 0.84s
+
+= 高速…？
+
+  * InnoDB FTS MeCab
+    * ハマれば速い
+    * クエリーが複数語だと遅い
+  * pg_bigm
+    * ハマれば速い
+    * ヒット数が多いと遅い
+  * (('note:InnoDB FTS ngram：安定して遅い'))
+
+= Mroonga・PGroonga
+
+  * Mroonga（むるんが）
+    * (('wait'))MySQLに\n
+      高速日本語全文検索機能を追加する\n
+      プロダクト
+  * PGroonga（ぴーじーるんが）
+    * (('wait'))PostgreSQLに\n
+      高速日本語全文検索機能を追加する\n
+      プロダクト
+
+= 検索1
+
+(('tag:center'))
+キーワード：テレビアニメ\n
+(('note:（ヒット数：約2万3千件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 3m2s
+  InnoDB MeCab | 6m20s
+  Mroonga:((*1*)) | 0.11s
+  pg_bigm | 4s
+  PGroonga:((*2*)) | 0.29s
+
+= 検索2
+
+(('tag:center'))
+キーワード：データベース\n
+(('note:（ヒット数：約1万7千件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 36s
+  InnoDB MeCab:((*1*)) | 0.03s
+  Mroonga:((*2*)) | 0.09s
+  pg_bigm | 2s
+  PGroonga:((*3*)) | 0.17s
+
+= 検索3
+
+(('tag:center'))
+キーワード：PostgreSQL OR MySQL\n
+(('note:（ヒット数：約400件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | N/A（エラー）
+  InnoDB MeCab:((*1*)) | 0.005s
+  Mroonga:((*2*)) | 0.028s
+  pg_bigm | 0.185s
+  PGroonga:((*3*)) | 0.063s
+
+= 検索4
+
+(('tag:center'))
+キーワード：日本\n
+(('note:（ヒット数：約63万件）'))
+
+  # RT
+  delimiter = [|]
+
+  InnoDB ngram | 1.3s
+  InnoDB MeCab | 1.3s
+  Mroonga:((*1*)) | 0.21s
+  pg_bigm:((*2*)) | 0.84s
+  PGroonga | 1s
+
+= 検索速度まとめ
+
+  * Mroonga・PGroonga
+    * 安定して速い
+  * InnoDB FTS MeCab・pg_bigm
+    * ハマれば速い
+  * InnoDB FTS ngram
+    * 安定して遅い
+
+= Mroonga（むるんが）
+
+MySQLに\n
+高速日本語\n
+全文検索機能を\n
+追加
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= Mroonga：インデックス作成
+
+(('tag:center'))
+普通のMySQLの使い方
+
+  # coderay sql
+  CREATE TABLE ... (
+    ...,
+    FULLTEXT INDEX (column)
+  ) ENGINE=Mroonga;
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= Mroonga：全文検索
+
+(('tag:center'))
+普通のMySQLの使い方
+
+  # coderay sql
+  SELECT * FROM ...
+    WHERE
+      MATCH(column)
+      AGAINST('キーワード'
+              IN BOOLEAN MODE);
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= Mroonga：クエリー言語
+
+(('tag:center'))
+デフォルトOR→AND
+
+  # coderay sql
+  -- ↓AまたはBが含まれていればマッチ
+  AGAINST('A B' IN BOOLEAN MODE);
+  AGAINST('+A +B' IN BOOLEAN MODE);
+  -- ↑↓AとBが含まれていればマッチ
+  -- ↓Mroongaの拡張
+  AGAINST('*D+ A B' IN BOOLEAN MODE);
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= Mroonga：Windows
+
+(('tag:center'))
+Windows用バイナリーあり
+
+  * MariaDBとセット
+  * ダウンロードして展開すると\n
+    すぐに使える
+
+== スライドプロパティ
+
+: groonga-product
+
+   mroonga
+
+= PGroonga
+
+PostgreSQLに\n
+高速日本語\n
+全文検索機能を\n
+追加
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：インデックス
+
+(('tag:center'))
+普通のPostgreSQLの使い方
+
+  # coderay sql
+  CREATE INDEX name ON texts
+    USING pgroonga (content);
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：全文検索
+
+(('tag:center'))
+専用演算子を使用
+
+  # coderay sql
+  SELECT * FROM ...
+    WHERE
+      column &? 'キーワード';
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：JSON
+
+(('tag:center'))
+JSON内の全テキストを全文検索
+
+  # coderay sql
+  CREATE TABLE logs (record jsonb);
+  CREATE INDEX i ON logs
+    USING pgroonga (record);
+  -- ログのどこかに「error」があればマッチ
+  SELECT * FROM logs
+    WHERE record &? 'error';
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完1
+
+(('tag:center'))
+検索ボックスで便利なアレ
+
+  # coderay sql
+  CREATE TABLE terms
+    (term text,        -- 候補単語
+     readings text[]); -- ヨミガナ
+  -- インデックス
+  CREATE INDEX i ON terms USING pgroonga
+    (term pgroonga.text_term_search_ops_v2,
+     readings pgroogna.text_array_term_search_ops_v2);
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完2
+
+(('tag:center'))
+用意するデータ：\n
+候補とカタカナのヨミガナだけ
+
+  # coderay sql
+  INSERT INTO terms
+    VALUES
+      ('牛乳',               -- 補完候補
+       ARRAY['ギュウニュウ', -- ヨミガナ1
+             'ミルク']);     -- ヨミガナ2
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完3
+
+(('tag:center'))
+ローマ字で検索
+
+  # coderay sql
+  SELECT term FROM terms
+    -- 「ギュウニュウ」にヒット
+    WHERE readings &^~ 'gy';
+  --  term 
+  -- ------
+  --  牛乳
+  -- (1 row)
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完4
+
+(('tag:center'))
+ひらがなで検索
+
+  # coderay sql
+  SELECT term FROM terms
+    -- 「ギュウニュウ」にヒット
+    WHERE readings &^~ 'ぎゅう';
+  --  term 
+  -- ------
+  --  牛乳
+  -- (1 row)
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完5
+
+(('tag:center'))
+カタカナで検索
+
+  # coderay sql
+  SELECT term FROM terms
+    -- 「ギュウニュウ」にヒット
+    WHERE readings &^~ 'ギュウ';
+  --  term 
+  -- ------
+  --  牛乳
+  -- (1 row)
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完6
+
+(('tag:center'))
+別のヨミガナでもヒット
+
+  # coderay sql
+  SELECT term FROM terms
+    -- 「ミルク」にヒット
+    WHERE readings &^~ 'mi';
+  --  term 
+  -- ------
+  --  牛乳
+  -- (1 row)
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：入力補完7
+
+(('tag:center'))
+漢字でもヒット
+
+  # coderay sql
+  SELECT term FROM terms
+    -- 「牛乳」にヒット
+    WHERE readings &^ '牛';
+  --  term 
+  -- ------
+  --  牛乳
+  -- (1 row)
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= PGroonga：Windows
+
+(('tag:center'))
+Windows用バイナリーあり
+
+  * 商用ログ管理製品\n
+    「VVAULT AUDIT」が採用\n
+    (('note:http://vvault.jp/product/vvault-audit/'))
+    * アクセスログに対して\n
+      ユーザー名・パスを全文検索
+  * 決め手：高速・省スペース
+
+== スライドプロパティ
+
+: groonga-product
+
+   pgroonga
+
+= まとめ
+
+  * Mroonga（むるんが）
+    * MySQLで高速日本語全文検索！
+    * しかも使いやすいし便利！
+  * PGroonga（ぴーじーるんが）
+    * PostgreSQLで高速日本語全文検索！
+    * しかも使いやすいし便利！
+
+= アンケート1
+
+(('tag:center'))
+(('tag:large'))
+Azure Databaseで\n
+高速な日本語全文検索を\n
+したい人！
+
+(('tag:center'))
+(('note:最初より増えているといいな'))
+
+= アンケート2
+
+(('tag:center'))
+(('tag:large'))
+Azure Databaseで\n
+Mroonga・PGroongaを\n
+使いたい人！
+
+(('tag:center'))
+(('note:Azure Database開発者にアピールして！'))\n
+(('note:どういう風に使いたいか教えて！'))

data/theme.rb

@@ -0,0 +1,5 @@
+@title_slide_title_font_size = @x_large_font_size
+@title_slide_subtitle_font_size = @small_font_size
+@title_slide_content_source_font_size = @xx_small_font_size
+
+include_theme("groonga")

metadata

@@ -0,0 +1,81 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-oss-on-azure-5
+version: !ruby/object:Gem::Version
+  version: 2017.6.26.0
+platform: ruby
+authors:
+- Kouhei Sutou
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2017-06-22 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-groonga
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: MySQL・PostgreSQLでの日本語全文検索の現状を紹介します。また、MySQL・PostgreSQLで日本語全文検索する方法としてMroonga・PGroongaを使う方法を紹介します。この話を聞くと、Azure
+  DatabaseにMroonga・PGroongaがインストールされているといいのに！と思うはずです。
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- mysql-and-postgresql-and-japanese-full-text-search.rab
+- pdf/oss-on-azure-5-mysql-and-postgresql-and-japanese-full-text-search.pdf
+- theme.rb
+homepage: http://slide.rabbit-shocker.org/authors/kou/oss-on-azure-5/
+licenses:
+- CC BY 3.0
+- CC BY-SA 4.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.5.2
+signing_key: 
+specification_version: 4
+summary: MySQLとPostgreSQLと日本語全文検索 - Azure DatabaseでMroonga・PGroongaを使いたいですよね！？
+test_files: []