rabbit-slide-kou-mysql-and-postgresql-and-japanese-full-text-search-3 2016.9.29.1 → 2016.9.29.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 14fab6ad8003dcdfd675192e5fc15bfb61d8462b
-  data.tar.gz: e48e5ae1d5449193521dde73413b41e9ed89a645
+  metadata.gz: 8a7e9133fb0379251b27f937ccc07b01bba05d69
+  data.tar.gz: cfa0b94b9792e68a52c042971842e96069a2c7df
 SHA512:
-  metadata.gz: 7f7891adc7087d18153dc69b698fddcadda9244054743426ace0546f3668d48531c77a26f00ca8f6768d5218be6e16ab439b266732ac3ae6540d02775e04615d
-  data.tar.gz: a6328c347ec533f0a794b11bd114b8032a6466f6d5ab559dbe6b2a0280a95f930833ed4a85c1b4f9b2df148e3ed42c9adba346af0e771c57612ffa1d331f9aa6
+  metadata.gz: e725f5fe183960883fe75810123dca8f27085cfe2fb175c313989bf7c6066de560809d2cf2d3ba7ba72a9c340de592bd5ad4e732e749d904740e551b193aec4e
+  data.tar.gz: 3ccbc9da173beb65a24c78bd105ca2c3a868eac50e331e11acdfd5115a28b7dcb13843fcbe24c4329399a94deb6c35af0e12319bf27364dd0ec38c759a4474f8

data/config.yaml

@@ -9,7 +9,7 @@ tags:
 - postgresql
 - full-text-search
 presentation_date: 2016-09-29
-version: 2016.9.29.1
+version: 2016.9.29.2
 licenses:
 - CC BY 3.0
 - CC BY-SA 4.0

data/mroonga-and-pgroonga.rab

@@ -43,7 +43,7 @@
 
   * Redmine
     * チケット管理システム
-    * Ruby on Redmineを使用
+    * Ruby on Railsを使用
   * Zulip
     * チャットツール
     * Djangoを使用
@@ -174,7 +174,7 @@ MySQL + Mroongaのケース
   class Issue
     # この後にロールバックされることがあるのでカンペキではない
     # 再度同じチケットを更新するかデータを入れ直せば直る
-    after_safe do |record|
+    after_save do |record|
       fts_record =
         FtsIssue.find_or_initialize_by(issue_id: record.id)
       fts_record.subject     = record.subject

data/mypgft3.md

@@ -0,0 +1,205 @@
+# [Groonga] MySQLとPostgreSQLと日本語全文検索3：MroongaとPGroongaの導入方法例 #mypgft
+
+2016年9月29日（肉の日！）に「[MySQLとPostgreSQLと日本語全文検索3](https://groonga.doorkeeper.jp/events/50541)」というイベントを開催しました。その名の通りMySQLとPostgreSQLでの日本語全文検索についての話題を扱うイベントです。今回も[DMM.comラボ](http://labo.dmm.com/)さんに会場を提供してもらいました。
+
+[2月9日に開催した1回目のイベント](20160209)では[Mroonga](http://mroonga.org/ja/)・[PGroonga](https://pgroonga.github.io/ja/)については次の2つのことについて紹介しました。
+
+  * Mroonga・PGroongaが速いということ
+  * Mroonga・PGroongaの使い方
+
+[6月9日に開催した2回目のイベント](20160609)ではMroonga・PGroongaについては次の2つのことについて紹介しました。
+
+  * Mroonga・PGroongaのオススメの使い方
+  * レプリケーションまわり
+
+今回はMroonga・PGroongaについては次のことについて紹介しました。
+
+  * [Redmine](http://www.redmine.org/)・[Zulip](https://zulip.org/)にMroonga・PGroongaを導入する方法
+
+<div class="rabbit-slide">
+  <iframe src="https://slide.rabbit-shocker.org/authors/kou/mysql-and-postgresql-and-japanese-full-text-search-3/viewer.html"
+          width="640" height="524"
+          frameborder="0"
+          marginwidth="0"
+          marginheight="0"
+          scrolling="no"
+          style="border: 1px solid #ccc; border-width: 1px 1px 0; margin-bottom: 5px"
+          allowfullscreen> </iframe>
+  <div style="margin-bottom: 5px">
+    <a href="https://slide.rabbit-shocker.org/authors/kou/mysql-and-postgresql-and-japanese-full-text-search-3/" title="Mroonga・PGroonga導入方法">Mroonga・PGroonga導入方法</a>
+  </div>
+</div>
+
+関連リンク：
+
+  * [スライド（Rabbit Slide Show）](https://slide.rabbit-shocker.org/authors/kou/mysql-and-postgresql-and-japanese-full-text-search-3/)
+  * [スライド（SlideShare）](http://www.slideshare.net/kou/mysql-and-postgresql-and-japanese-full-text-search-3)
+  * [リポジトリー](https://github.com/kou/rabbit-slide-kou-mysql-and-postgresql-and-japanese-full-text-search-3)
+
+## Redmineへの導入方法
+
+RedmineへのMroonga・PGroongaの導入方法を説明します。RedmineはRuby on Railsを利用しているのでRuby on Railsを使っているアプリケーションに導入する例ということになります。
+
+[redmine\_full\_text\_searchプラグイン](20160411)を使うとRedmineでMroongaまたはPGroongaを使って全文検索できるようになります。
+
+このプラグインを使うとRedmineの全文検索が高速になります。たとえば、クリアコードで使っているRedmineには3000件くらいのチケットがありますが、その環境では次のように高速になりました。
+
+<table>
+  <thead>
+    <tr>
+      <th>プラグイン</th>
+      <th>時間</th>
+    </tr>
+  </thead>
+  <tbody>
+    <tr>
+      <td>なし</td>
+      <td>467ms</td>
+    </tr>
+    <tr>
+      <td>あり</td>
+      <td>93ms</td>
+    </tr>
+  </tbody>
+</table>
+
+200万件のチケットがある環境でも約380msで検索できているという報告もあります。
+
+<blockquote class="twitter-tweet" data-lang="ja"><p lang="ja" dir="ltr">200万チケット<a href="https://twitter.com/MySQL">@MySQL</a>でやってみたよ。検索時間は約380ms。 <a href="https://twitter.com/hashtag/Redmine?src=hash">#Redmine</a> の未来が広がって嬉しいな。ありがたいな。／Redmineで高速に全文検索する方法 - ククログ(2016-04-11) <a href="https://t.co/s7FA4gSThu">https://t.co/s7FA4gSThu</a> <a href="https://twitter.com/_clear_code">@_clear_code</a></p>&mdash; Kuniharu AKAHANE (@akahane92) <a href="https://twitter.com/akahane92/status/733832496945594368">2016年5月21日</a></blockquote>
+<script async src="//platform.twitter.com/widgets.js" charset="utf-8"></script>
+
+### Mroongaを導入する方法
+
+Mroongaはトランザクションに対応していないのでトランザクションが必須のRedmineに組み込む場合はひと工夫必要になります。単純に、`ALTER TABLE table ENGINE=Mroonga ADD FULLTEXT INDEX (column)`とするわけにはいきません。
+
+ではどうするかというと別途全文検索用のテーブルを作成して元のテーブルとは`JOIN`できるようにします。（他にもレプリケーションしてレプリケーション先をMroongaにするという[2回目のイベントで紹介した方法](20160609)もありますが、プラグインでやるには大掛かりなのでこの方法を使っています。）
+
+マイグレーションファイルでいうと次のようにします。ここでは`issues`テーブル用の全文検索用のテーブルを作成しています。
+
+```ruby
+def up
+  create_table(:fts_issues, # 全文検索用テーブル作成
+               id: false, # idは有効・無効どっちでも可
+               options: "ENGINE=Mroonga") do |t|
+    t.belongs_to :issue, index: true, null: false
+    t.string :subject, default: "", null: false
+    t.text :description, limit: 65535, null: false
+    t.index [:subject, :description], type: "fulltext"
+  end
+end
+```
+
+全文検索用のテーブルには元のデータをコピーする必要があります。マイグレーション時には既存のデータを一気にコピーします。そのため、本当のマイグレーションの内容は次のようになります。データコピー後にインデックスを追加するようにしているのはそっちの方が速いからです。
+
+```ruby
+def up
+  create_table(:fts_issues, # 全文検索用テーブル作成
+               id: false, # idは有効・無効どっちでも可
+               options: "ENGINE=Mroonga") do |t|
+    t.belongs_to :issue, index: true, null: false
+    t.string :subject, default: "", null: false
+    t.text :description, limit: 65535, null: false
+  end
+  execute("INSERT INTO " + # データをコピー
+            "fts_issues(issue_id, subject, description) " +
+            "SELECT id, subject, description FROM issues;")
+  add_index(:fts_issues, [:subject, :description],
+            type: "fulltext") # 静的インデックス構築（速い）
+end
+```
+
+このテーブルのモデルは次のようになります。
+
+```ruby
+class FtsIssue < ActiveRecord::Base
+  # 実際はissue_idカラムは主キーではない。
+  # 主キーなしのテーブルなので
+  # Active Recordをごまかしているだけ。
+  self.primary_key = :issue_id
+  belongs_to :issue
+end
+```
+
+Mroonga導入後に更新されたデータはアプリケーション（Redmine）側でデータをコピーします。Active Recordの`after_save`フックを利用します。Mroongaがトランザクションをサポートしていないため、ロールバックのタイミングによってはデータに不整合が発生することがありますが、再度保存すれば復旧できることとそれほどロールバックは発生しないため、実運用時には問題になることはないでしょう。
+
+```ruby
+class Issue
+  # この後にロールバックされることがあるのでカンペキではない
+  # 再度同じチケットを更新するかデータを入れ直せば直る
+  after_save do |record|
+    fts_record =
+      FtsIssue.find_or_initialize_by(issue_id: record.id)
+    fts_record.subject     = record.subject
+    fts_record.description = record.description
+    fts_record.save!
+  end
+end
+```
+
+全文検索時は全文検索用のテーブルを`JOIN`して`MATCH AGAINST`を使います。
+
+```ruby
+issue.
+  joins(:fts_issue).
+  where(["MATCH(fts_issues.subject, " +
+               "fts_issues.description) " +
+          "AGAINST (? IN BOOLEAN MODE)",
+         # ↓デフォルトANDで全文検索
+         "*D+ #{keywords.join(', ')}"])
+```
+
+この説明はわかりやすさのために[実際の実装](https://github.com/okkez/redmine_full_text_search)を単純化しています。詳細が知りたい方は実装を確認してください。
+
+### PGroongaを導入する方法
+
+PGroongaはトランザクションに対応しているので別途全文検索用のテーブルを作成する必要はありません。既存のテーブルに全文検索用のインデックスを作成します。
+
+マイグレーションファイルでいうと次のようにします。ここでは`issues`テーブルに全文検索用のインデックスを作成しています。`enable_extension("pgroonga")`はPGroongaを使えるようにするためのSQLです。
+
+```ruby
+def up
+  enable_extension("pgroonga")
+  add_index(:issues,
+            [:id, :subject, :description],
+            using: "pgroonga")
+end
+```
+
+あとは検索時に全文検索条件をつけるだけです。
+
+```ruby
+issue.
+  # 検索対象のカラムごとに
+  # クエリーを指定
+  where(["subject @@ ? OR " +
+         "description @@ ?",
+         keywords.join(", "),
+         keywords.join(", ")])
+```
+
+この説明もわかりやすさのために[実際の実装](https://github.com/okkez/redmine_full_text_search)を単純化しています。詳細が知りたい方は実装を確認してください。
+
+## Zulipへの導入方法
+
+ZulipへのPGroongaの導入方法を説明します。ZulipはPostgreSQLを使っているので、導入するのはPGroongaだけです。ZulipはDjangoを使っているのでDjangoを使っているアプリケーションに導入する例ということになります。
+
+Zulipはチャットツールです。チャットツールなので小さなテキストの書き込みが頻繁に発生する傾向があります。各書き込みは十分速く完了する必要があります。書き込みが遅いとユーザーの不満が溜まりやすいからです。
+
+Zulipは書き込みをできるだけ速くするためにインデックスの更新を遅延させています。インデックスの更新はデータの追加よりも重い処理なので、その処理を後回しにしているということです。（PGroongaは検索だけでなく更新も速いので遅延させずにリアルタイムで更新しても十分速いかもしれません。アプリケーションの要件次第でどのような実装にするか検討する必要があります。）
+
+Zulipは、インデックスの更新を遅延させるため、カラムの値を直接全文検索対象にせずに、別途全文検索用のカラムを用意しています。その全文検索用のカラムの更新を後回しにすることでインデックスの更新を遅延させています。
+
+マイグレーションファイルでいうと次のようにします。最初の`ALTER ROLE`はPGroongaが提供する`@@`という全文検索用のオペレーターの優先順位を調整するためのものです。本質ではないのでここでは気にしなくて構いません。
+
+```python
+migrations.RunSQL("""
+ALTER ROLE zulip SET search_path
+  TO zulip,public,pgroonga,pg_catalog;
+ALTER TABLE zerver_message
+  ADD COLUMN search_pgroonga text;
+UPDATE zerver_message SET search_pgroonga =
+  subject || ' ' || rendered_content;
+CREATE INDEX pgrn_index ON zerver_message
+  USING pgroonga(search_pg$roonga);
+""", "...")
+```

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: rabbit-slide-kou-mysql-and-postgresql-and-japanese-full-text-search-3
 version: !ruby/object:Gem::Version
-  version: 2016.9.29.1
+  version: 2016.9.29.2
 platform: ruby
 authors:
 - 須藤功平
@@ -40,6 +40,7 @@ files:
 - images/zulip-full-text-search-form.png
 - images/zulip-highlight.png
 - mroonga-and-pgroonga.rab
+- mypgft3.md
 - pdf/mysql-and-postgresql-and-japanese-full-text-search-3-mroonga-and-pgroonga.pdf
 homepage: http://slide.rabbit-shocker.org/authors/kou/mysql-and-postgresql-and-japanese-full-text-search-3/
 licenses: