rabbit-slide-Piro-droonga-as-groonga-with-replication 2014.11.29

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: af665b12f3e84e2e6f79c2ddcfbc7154ff957a31
+  data.tar.gz: f08ea847cfe146d774a46f33f4fd2b72baa88da9
+SHA512:
+  metadata.gz: 7b417431fc5a256b986bacd608b4c375fced205a546935fcdae20335411079b229f7020c74866ef3cadbf041312f458da3d099af04196ff93b83f35fb9308610
+  data.tar.gz: 9b21d32912e1ae3c7e8e9548e5b1591327a15ed7aa10304bb3b3a4b71e45fc7e94dc3f6536fca60dfbd2c7bfa7e08e2c4be3a88ee5ff964a48278e94f4012829

data/.rabbit

@@ -0,0 +1 @@
+droonga-as-groonga-with-replication.md

data/README.md

@@ -0,0 +1,25 @@
+# Droonga - 分散Groongaで快適レプリケーション生活（仮）
+
+[全文検索エンジンGroongaを囲む夕べ5](http://groonga.doorkeeper.jp/events/15816)用の発表資料です。
+Groongaユーザ向けのDroongaの簡単な紹介と、Groongaを利用したアプリケーションをDroongaに移行する手順の解説です。
+
+## 作者向け
+
+### 表示
+
+    rake
+
+### 公開
+
+    rake publish
+
+## 閲覧者向け
+
+### インストール
+
+    gem install rabbit-slide-Piro-droonga-as-groonga-with-replication
+
+### 表示
+
+    rabbit rabbit-slide-Piro-droonga-as-groonga-with-replication.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # task.spec.files += Dir.glob("doc/**/*.*")
+  # task.spec.files -= Dir.glob("private/**/*.*")
+  # task.spec.add_runtime_dependency("YOUR THEME")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,21 @@
+---
+id: droonga-as-groonga-with-replication
+base_name: droonga-as-groonga-with-replication
+tags:
+- droonga
+- groonga
+presentation_date: 2014/11/29
+version: 2014.11.29
+licenses: []
+slideshare_id: droonga-as-groonga-with-replication 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :markdown
+  name: 結城洋志
+  email: yuki@clear-code.com
+  rubygems_user: Piro
+  slideshare_user: pirooutsiderreflex
+  speaker_deck_user: 

data/droonga-as-groonga-with-replication.md

@@ -0,0 +1,383 @@
+# Droonga
+
+subtitle
+:   　　
+    分散Groongaで
+    快適レプリケーション生活
+
+author
+:   結城洋志
+
+institution
+:   株式会社クリアコード
+
+allotted_time
+:   30m
+
+theme
+:   groonga
+
+# Droongaって？
+
+*D*istributed G*roonga*
+
+# 要旨
+
+ * 1年間の*進捗報告*
+ * *「分散Groonga」としての
+   Droonga 1.0.8の現状*紹介
+ * 実際に試してみる
+   （できれば）
+
+# 今日話すこと
+
+ * 分散型データ処理エンジン
+   *Droonga*の
+ * 組み込みプラグインの1つ
+   *Groongaプラグイン*
+   * 使い方
+ * Groonga v.s. Droonga
+
+# 今日話さないこと
+
+ * Droongaの*設計*のこと
+
+
+# Part1
+
+-Part1-
+1年間の
+*進捗報告*
+
+# 昨年の発表
+
+ * 設計方針
+ * 実装
+ * （当時の）現状
+ * （当時の）今後の予定
+
+# 大まかに言って
+
+ * *全く新しい・汎用の*分散型
+   データ処理エンジンとして
+   * 「こういう*設計*でこう動きます」
+   * 「こういう事も
+     *やろうと思えばできます*」
+ * 「こうやって*今すぐ試せます*」
+   という話はあまり無かった
+
+# なんで？
+
+ * どっちかというと*フレームワーク*
+ * *具体的な用途*を先に
+   決めないと話が始まらない
+ * 全文検索をやりたいだけでも
+   やり方が*Groongaとは全く違う*
+
+# ハードル高すぎ
+
+![](images/parts.jpg){:relative_height="95"}
+
+# 使うとしても
+
+ * 設計を*熟知*した人が
+ * 用途ごとの*最適な構成*を考え
+   * ログ保存＆検索用？
+   * 掲示板のバックエンド用？
+ * 丁寧な*手作業*でひとつひとつ
+   セットアップ＆設定
+
+# 職人芸の世界
+
+![](images/syokunin.jpg){:relative_height="95"}
+
+# 問題
+
+ * ユーザにとって
+   * *気軽*に試せない
+   * *Groongaユーザ*には馴染みにくい
+ * 開発者にとって
+   * 「汎用かつ便利」は作るのが大変
+   * *Groongaユーザ*を長く放置してしまう
+
+# 当初の開発方針
+
+![](images/development-policy-before.png){:relative_height="95"}
+
+# 進め方を見直し
+
+![](images/development-policy-after.png){:relative_height="95"}
+
+# どう変わった？
+
+ * 変わらないこと
+   * 最終的に作る*物*
+ * 変わったこと
+   * 作る*順番*
+   * プロジェクト外への*見せ方*
+
+# ここまでの成果(1)
+
+ * *Groongaとの互換性*向上
+ * *簡単インストール＆
+   セットアップ*
+ * 管理コマンドによる
+   *簡単クラスタ管理*
+
+# すぐ使える
+
+    $ curl "http://...engine.../install.sh" | \
+             sudo bash
+    $ curl "http://...http-server.../install.sh" | \
+             sudo bash
+    $ service droonga-engine start
+    $ service droonga-http-server start
+
+    $ droonga-engine-join --host=node1 \
+                          --replica-soruce-host=node0
+    $ droonga-engine-join --host=node2 \
+                          --replica-soruce-host=node0
+
+    $ curl "http://hostname:10041/d/select?..."
+
+# ここまでの成果(2)
+
+ * *オーケストレーション*
+   （based on Serf）
+   * 一部のノードが死んでも
+     クラスタとして動作し続ける
+ * *チュートリアル*の充実
+
+# 結果
+
+*レプリケーションできるGroonga*
+
+としてそこそこ
+使えるようになってきたはず
+
+
+
+# Part2
+
+-Part2-
+*分散Groonga*
+としての
+Droongaの紹介
+
+# 特徴
+
+特徴
+
+# Groonga互換
+
+![](images/groonga-vs-droonga-compatible-http.png){:relative_height='95'}
+
+# データベースを分散
+
+ * *レプリケーション*
+   * 現在の開発はここに注力
+ * *パーティショニング*
+   * 現在は部分的に対応（これから改善）
+
+# レプリケーション
+
+![](images/replication-write.png){:relative_width="35" align="left" relative_margin_left="-20"}
+
+![](images/replication-read.png){:relative_width="45" align="right"}
+
+システムの冗長性や
+耐障害性が高まる
+
+# パーティショニング
+
+![](images/partition-write.png){:relative_width="40" align="left" relative_margin_left="-20"}
+
+![](images/partition-read.png){:relative_width="50" align="right"}
+
+より多くの量のデータを管理できる
+
+
+# 実際の性能は？
+
+Groonga v.s. Droonga
+ベンチマーク
+
+ * Wikipedia日本語版
+   *150万ページ*
+ * *全文検索*＋*ドリルダウン*
+ * キャッシュヒット率50％
+ * [詳細はリポジトリを参照](https://github.com/droonga/presentation-groonga-night-5-droonga-as-groonga-with-replication/tree/master/benchmark)
+
+# スループットの比較
+
+![](images/throughput.png){:relative_height='95'}
+
+# レイテンシーの比較
+
+![](images/latency.png){:relative_height='95'}
+
+# 性能の傾向
+
+ * *スループット性能*は良好
+ * *レイテンシー*は若干ある
+   * 同時接続数が多いと性能が逆転
+ * ノード追加で*Groongaの
+   性能上の限界*を超えられる
+
+# これからのDroonga
+
+ * Groonga互換
+   * *Suggest*（ローマ字前方一致検索）
+ * 汎用分散データ処理エンジン
+   * 完全*無停止*でのクラスタ構成変更
+   * *パーティショニング*有りの構成
+   * *プラグイン開発*をより容易に
+
+
+# まとめ
+
+まとめ
+
+# まとめ
+
+ * Droongaは*汎用の
+   分散型データ処理エンジン*
+ * 組み込みのプラグインによって
+   *レプリケーション有りの
+   Groonga*として使える
+
+# 質問？
+
+質問？
+
+
+# Part3
+
+-Part3-
+Droongaを
+*試してみよう*
+
+# 試してみよう
+
+ * インストールと起動
+ * Groongaからのデータ移行
+ * Groongaアプリケーションの
+   バックエンドを
+   Droongaに切り替え
+ * クラスタにノードを追加
+
+# ノードのセットアップ
+
+インストールスクリプト
+（Ubuntu、CentOS7のみ対応）
+
+    # curl \
+        https://raw.githubusercontent.com/droonga/droonga-engine/master/install.sh | \
+        bash
+    # curl \
+        https://raw.githubusercontent.com/droonga/droonga-http-server/master/install.sh | \
+        bash
+
+# サービスの起動
+
+serviceコマンドを使用
+
+    # service droonga-engine start
+    # service droonga-http-server start
+
+# サービスの終了
+
+serviceコマンドを使用
+
+    # service droonga-engine stop
+    # service droonga-http-server stop
+
+# データの移行
+
+    % sudo gem install rroonga grn2drn droonga-client
+
+    % grndump --no-dump-tables /path/to/groonga/db | \
+          grn2drn | \
+          droonga-send --server=node0 \
+                       --report-throughput)
+    % grndump --no-dump-schema --no-dump-indexes \
+              /path/to/groonga/db | \
+          grn2drn | \
+          droonga-send --server=node0 \
+                       --server=node1 \
+                       --server=node2 \
+                       ...
+                       --report-throughput)
+
+# アプリケーションの移行
+
+GroongaのHTTPインターフェースと
+互換性あり
+
+    curl "http://hostname:10041/d/select?..."
+
+アプリケーションは接続先を
+Droongaに変えるだけでOK
+
+# クラスタへのノード追加
+
+    % droonga-engine-join --host=cccc \
+                          --replica-source-host=bbbb
+
+![](images/join.png){:relative_height='100'}
+
+# ノードの切り離し
+
+    % droonga-engine-unjoin --host=cccc
+
+![](images/unjoin.png){:relative_height='100'}
+
+
+
+
+# 再度まとめ
+
+ * Droongaは*汎用の
+   分散型データ処理エンジン*
+ * 組み込みのプラグインによって
+   *レプリケーション有りの
+   Groonga*として使える
+ * HTTPインターフェースは
+   *Groongaと互換性有り*
+
+
+
+# 宣伝
+
+宣伝
+
+# 株式会社クリアコード
+
+ * *Groonga有償サポート*
+   * Groonga以外のGroonga族も
+ * Mozilla有償サポート
+   * Firefox, Thunderbird, Firefox OS
+ * その他OSS開発全般
+ * *コードリーダー育成支援*
+
+# 個人の活動
+
+*日経Linux*誌にて
+
+シェルスクリプト
+解説マンガ
+*#!シス管系女子*
+連載中
+
+![](images/syskan.jpg){:relative_width="30" align="right" relative_margin_right="-10"}
+
+# おわり
+
+*Droonga, Groonga, 
+株式会社クリアコード*
+を宜しくお願いします
+
+ * 使用画像
+   * [写真素材 足成：秋葉原](http://www.ashinari.com/2009/07/12-024265.php)
+   * [職人のおじいちゃん by Neil_Scottuk](http://free-photos.gatag.net/2014/07/06/100000.html)
+

metadata

@@ -0,0 +1,84 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-Piro-droonga-as-groonga-with-replication
+version: !ruby/object:Gem::Version
+  version: 2014.11.29
+platform: ruby
+authors:
+- 結城洋志
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2014-11-29 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - '>='
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - '>='
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+description: |-
+  [全文検索エンジンGroongaを囲む夕べ5](http://groonga.doorkeeper.jp/events/15816)用の発表資料です。
+  Groongaユーザ向けのDroongaの簡単な紹介と、Groongaを利用したアプリケーションをDroongaに移行する手順の解説です。
+email:
+- yuki@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- .rabbit
+- README.md
+- Rakefile
+- config.yaml
+- droonga-as-groonga-with-replication.md
+- images/development-policy-after.png
+- images/development-policy-before.png
+- images/groonga-vs-droonga-compatible-http.png
+- images/join.png
+- images/latency.png
+- images/partition-and-replication-actual.png
+- images/partition-and-replication.png
+- images/partition-read.png
+- images/partition-write.png
+- images/parts.jpg
+- images/replication-read-dead.png
+- images/replication-read.png
+- images/replication-write.png
+- images/service-droonga-dead.png
+- images/service-droonga-overload.png
+- images/syokunin.jpg
+- images/syskan.jpg
+- images/throughput.png
+- images/unjoin.png
+- pdf/droonga-as-groonga-with-replication-droonga-as-groonga-with-replication.pdf
+homepage: http://slide.rabbit-shocker.org/authors/Piro/droonga-as-groonga-with-replication/
+licenses: []
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.4.1
+signing_key: 
+specification_version: 4
+summary: Droonga - 分散Groongaで快適レプリケーション生活（仮）
+test_files: []