rabbit-slide-kou-nginx-tech-talks 2016.2.8.0

data/ngx-http-groonga.rab

@@ -0,0 +1,203 @@
+= ngx_http_groonga\n全文検索nginx
+
+: author
+   須藤功平
+: institution
+   クリアコード
+: content-source
+   nginx Tech Talks
+: date
+   2016-02-08
+: allotted-time
+   5m
+: theme
+   .
+
+= nginx
+
+  * HTTPサーバー
+  * HTTPリバースプロキシサーバー
+  * (('wait'))メールプロキシサーバー
+  * (('wait'))TCPプロキシサーバー\n
+    (('note:1.9.0から。まだmainline。'))
+
+(('wait'))
+(('tag:center'))
+nginx = いろいろできるサーバー
+
+= 全文検索nginx
+
+  * HTTPサーバー
+  * HTTPリバースプロキシサーバー
+  * メールプロキシサーバー
+  * TCPプロキシサーバー
+  * [((*New!*))]全文検索エンジン！
+
+= 使い方：登録
+
+  # image
+  # src = images/register.svg
+  # relative_height = 100
+
+= 使い方：検索
+
+  # image
+  # src = images/search.svg
+  # relative_height = 100
+
+= 速度：1リクエスト
+
+# CPU：core i7・8コア・ハイパースレッディング
+#
+# ソース：Wikipedia日本語版
+# レコード数：1846514
+# データサイズ：約7GB
+# キーワード：nginx
+# ヒット数：26件
+# 検索時間（出力レコード数0）：0.4ms
+# 検索時間（出力レコード数10・タイトルのみ出力）：0.6ms
+# 検索時間（出力レコード数10・タイトルと本文を出力）：2ms
+
+  * 対象：Wikipedia日本語版
+  * レコード数：約185万件
+  * データサイズ：約7GB
+  * 検索キーワード：nginx
+
+(('wait'))
+(('tag:center'))
+(('tag:x-large'))
+0.6ms\n
+(('note:Intel Core i7-6700 3.40GHz'))
+
+= 速度：スループット
+
+# ベンチマーク（出力レコード数10・タイトルのみ出力・ワーカー数8・有線LANで接続）
+
+  # image
+  # src = throughput-no-keep-alive.pdf
+  # relative_height = 90
+
+(('tag:center'))
+(('note:ワーカー数を増やすとCPUコア数までスケール'))
+
+= 速度：スループット
+
+  # image
+  # src = throughput-with-keep-alive.pdf
+  # relative_height = 90
+
+(('tag:center'))
+(('note:クライアントがkeep-aliveを使うとさらにスケール'))
+
+= 速度
+
+  * 1リクエストの処理も速い
+  * スループットも出る
+    * ワーカー数を増やすとスケール
+    * keep-aliveでさらにスケール
+
+= 速さの理由
+
+  * (('wait'))本物の全文検索エンジンを組込
+    * →1リクエストの処理が速い\n
+      (('note:（しかも豊富な機能）'))
+  * (('wait'))それもnginxのよさを殺さずに
+    * 例：マルチプロセスでスケール
+    * 例：性能向上用のHTTPの機能を利用\n
+      (('note:（keep-alive、レスポンス圧縮など）'))
+    * 例：I/O多重化(('note:（同時接続数の増加に対応）'))
+
+= 本物の全文検索エンジン
+
+  # image
+  # src = images/groonga-logo.svg
+  # relative_width = 100
+
+(('tag:center'))
+（ぐるんが）
+
+= Groonga
+
+  * 速い
+  * (('wait'))日本語に強い（国産）
+  * (('wait'))ライブラリーとして使える
+    * ((*組み込みやすい*))
+  * (('wait'))((*マルチプロセス*))対応
+    * 複数のプロセスで同時にDBを使える
+
+= 組込方法
+
+モジュール
+
+= ngx_http_groonga
+
+  # image
+  # src = images/ngx_http_groonga.svg
+  # relative_height = 100
+
+= Groongaから見たメリット
+
+  * nginxと連携すると…
+    * (('wait'))プロセス管理を任せられる
+    * (('wait'))クライアントとのI/Oを任せられる
+    * (('wait'))keep-alive・認証・TLS・圧縮対応
+    * (('wait'))HTTP2対応(('note:（まだmainline）'))
+
+(('wait'))
+(('tag:center'))
+全文検索に集中できる！
+
+= 困ったこと
+
+  * nginxのWindows用バイナリーを\n
+    GNU/Linux上でビルドできない
+    * (('wait'))Groongaはバイナリーを配布したい
+    * (('wait'))Windowsが必要だとリリース作業がツライ
+
+= 対策
+
+(('wait'))
+パッチを送る
+
+= 結果
+
+(('wait'))
+取り込まれた\n
+(('note:（1.7.7 released at 2014-10-28）'))
+
+= パッチが取り込まれるまで
+
+  * (('wait'))hgでパッチを作る
+  * (('wait'))メーリングリストに送る
+  * (('wait'))やりとりする
+  * (('wait'))取り込まれる
+
+(('wait'))
+(('tag:center'))
+結構反応してくれるから\n
+なにかあったら送るといいよ！
+
+= 全文検索nginx
+
+  * nginx + Groonga\n
+    (('note: = groonga-httpd：Groongaパッケージに含まれている'))
+    * (('wait'))nginxが全文検索エンジンに！
+    * (('wait'))nginxのモジュール機能で実装
+
+(('wait'))
+(('tag:center'))
+モジュールを作って\n
+nginxと共存しよう！
+
+= お知らせ
+
+  * (('wait'))MySQL・PostgreSQLとも共存
+  * (('wait'))Groongaは肉の日リリース
+
+(('wait'))
+(('tag:center'))
+2月9日にイベントあります！\n
+\n
+MySQLとPostgreSQLと\n
+日本語全文検索\n
+（DMM.comラボにて）

data/theme.rb

@@ -0,0 +1,3 @@
+@title_slide_title_font_size = @x_large_font_size * 0.9
+
+include_theme("groonga")

data/throughput.data

@@ -0,0 +1,11 @@
+# N connections	1 worker	4 workers	8 workers	8 workers + keep-alive
+1	1693	1517	1786	1559
+2	3045	3041	2910	3300
+3	3454	3130	3896	4887
+4	3477	4125	4699	6360
+5	3433	5305	5520	7210
+6	3429	5418	5750	7758
+7	3400	5315	5830	8433
+8	3479	5257	6252	9173
+16	3431	5340	6287	11512
+32	3462	5477	6101	12476

data/throughput.gnuplot

@@ -0,0 +1,53 @@
+set terminal pdfcairo enhanced color transparent rounded
+
+set key outside center top horizontal reverse Left samplen 2
+unset border
+set xtics scale 0
+set ytics scale 0
+set grid ytics linewidth 1 linetype -1
+
+set style line 1 lt 1 lc rgbcolor "#3465a4" lw 2.5 pt 7 ps 1
+set style line 2 lt 1 lc rgbcolor "#edd400" lw 2.5 pt 7 ps 1
+set style line 3 lt 1 lc rgbcolor "#888a85" lw 2.5 pt 5 ps 1
+set style line 4 lt 1 lc rgbcolor "#f57900" lw 2.5 pt 5 ps 1
+set style line 5 lt 1 lc rgbcolor "#ad7fa8" lw 2.5 pt 9 ps 1
+set style line 6 lt 1 lc rgbcolor "#4e9a06" lw 2.5 pt 9 ps 1
+set style line 7 lt 1 lc rgbcolor "#ef2929" lw 2.5 pt 1 ps 1
+set style line 8 lt 1 lc rgbcolor "#5c3566" lw 2.5 pt 1 ps 1
+set style line 9 lt 1 lc rgbcolor "#c17d11" lw 2.5 pt 3 ps 1
+set style line 10 lt 1 lc rgbcolor "#dce775" lw 2.5 pt 3 ps 1
+
+set term pdf
+set xlabel "N connections"
+set ylabel "requests/sec"
+set yrange [0:15000]
+
+set label 1 \
+          "N CPUs = 8" \
+          at 32,9000 right
+set output "throughput-no-keep-alive.pdf"
+plot "throughput.data" using 1:2:xtic(1) \
+       title "1 worker" \
+       linestyle 5 \
+       with lines, \
+     "throughput.data" using 1:3:xtic(1) \
+       title "4 workers" \
+       linestyle 2 \
+       with lines, \
+     "throughput.data" using 1:4:xtic(1) \
+       title "8 workers" \
+       linestyle 1 \
+       with lines
+
+set label 1 \
+          "N workers = 8 (= N CPUs)" \
+          at 32,3000 right
+set output "throughput-with-keep-alive.pdf"
+plot "throughput.data" using 1:4:xtic(1) \
+       title "No keep-alive" \
+       linestyle 1 \
+       with lines, \
+     "throughput.data" using 1:5:xtic(1) \
+       title "With keep-alive" \
+       linestyle 4 \
+       with lines

metadata

@@ -0,0 +1,89 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-nginx-tech-talks
+version: !ruby/object:Gem::Version
+  version: 2016.2.8.0
+platform: ruby
+authors:
+- Kouhei Sutou
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2016-02-01 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-groonga
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: nginxに全文検索エンジンGroongaを組み込んでnginxを全文検索サーバーにするngx_http_groongaを紹介します。
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- images/groonga-icon-full-size.svg
+- images/groonga-logo.svg
+- images/ngx_http_groonga.svg
+- images/register.svg
+- images/search.svg
+- ngx-http-groonga.rab
+- pdf/nginx-tech-talks-ngx-http-groonga.pdf
+- theme.rb
+- throughput-no-keep-alive.pdf
+- throughput-with-keep-alive.pdf
+- throughput.data
+- throughput.gnuplot
+homepage: http://slide.rabbit-shocker.org/authors/kou/nginx-tech-talks/
+licenses:
+- CC BY 3.0
+- CC BY-SA 4.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.4.5.1
+signing_key: 
+specification_version: 4
+summary: ngx_http_groonga - 全文検索nginx
+test_files: []