rabbit-slide-myokoym-sapporoonga-20150614-2 2015.6.14.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: b1064195128069f34502414bb50e7ba54433d14b
+  data.tar.gz: 9fa81db57746a2a34a019114576a2a608dc0be21
+SHA512:
+  metadata.gz: 5a174f5f4681168e6de91d8ab462e1b9d1da6ed11968260b50bc2463939ee9d17ee156fa0074ce9581100c0c511d2ab49643bb93703c2a35badad5ee133c8830
+  data.tar.gz: 954a06eb1fe9372306446427078e3d345805cac7ce4959fe4e75b11044354d32a08fb6630a7ff1f3ea585d7931f3138f0c8fd32aee09a09802dfddd66ed5259e

data/.rabbit

@@ -0,0 +1 @@
+basic-mechanism-of-full-text-search.rab

data/README.rd

@@ -0,0 +1,24 @@
+= 全文検索の基本的なしくみ
+
+全文検索の基本的なしくみ（ノーマライズ、トークナイズ、転置インデックス）について
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-myokoym-sapporoonga-20150614-2
+
+=== 表示
+
+  rabbit rabbit-slide-myokoym-sapporoonga-20150614-2.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # spec.files += Dir.glob("doc/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-nyankosakana")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/basic-mechanism-of-full-text-search.rab

@@ -0,0 +1,198 @@
+= 全文検索の\n基本的なしくみ
+
+# : subtitle
+#    サブタイトル
+: author
+   @myokoym
+# : institution
+#    株式会社クリアコード
+: content-source
+   全文検索エンジンGroonga勉強会＠札幌
+: date
+   2015-06-14
+: allotted-time
+   18m
+: theme
+   nyankosakana
+
+= 全文検索の流れ
+
+  * 文書を登録
+  * キーワードで検索
+
+= 登録の流れ
+
+  * ノーマライズ
+  * トークナイズ
+  * トークンをキーとして文書IDをインデックスに登録
+
+= 検索の流れ
+
+  * ノーマライズ
+  * トークナイズ
+  * トークンでインデックスを検索
+  * 文書IDを取得
+
+= 用語
+
+  * ノーマライズ
+  * トークナイズ
+  * トークン
+
+= ノーマライズ
+
+  * 正規化
+    * 大文字小文字、全角半角などを揃える
+    * ノーマライザーによって挙動が変わる
+
+= トークナイズ
+
+  * 文書やキーワードをトークンに分割する
+  * トークナイザーによって分け方が異なる
+    * 大きく分けるとN-gramと形態素解析の2種類
+
+= N-gram
+
+  * 文字数で分割する
+    * bi-gramは2文字ごと
+    * tri-gramは3文字ごと
+
+= 形態素解析
+
+  * 品詞を判別して分割する
+  * 別途辞書が必要
+
+= トークン
+
+  * インデックスのキー
+  * Groongaで採用している転置インデックス方式では、トークンごとに文書リストが作成される
+
+= トークナイズの例
+
+(('tag:center'))
+東京都府中市
+
+= bi-gram
+
+(('tag:center'))
+東京/京都/都府/府中/中市/市
+
+= tri-gram
+
+(('tag:center'))
+東京都/京都府/都府中/府中市/中市/市
+
+= 形態素解析
+
+(('tag:center'))
+東京/都/府中/市
+
+= 全文検索の流れ
+
+  * 文書を登録
+  * キーワードで検索
+
+= 全文検索の流れ
+
+  * ((*文書を登録*))
+  * キーワードで検索
+
+= 登録の流れ
+
+  * ノーマライズ
+  * トークナイズ
+  * トークンをキーとして文書IDをインデックスに登録
+
+= サンプル文書
+
+  # RT
+
+  文書ID, 内容
+
+  1, カレー食べた
+  2, カレ-食べたい
+  3, ｶﾚｰ好き
+
+= ノーマライズ
+
+  * 1. カレー食べた
+  * 2. カレー食べたい
+  * 3. カレー好き
+
+= トークナイズ
+
+  * MeCabの例
+    * 1. カレー/食べ/た
+    * 2. カレー/食べ/たい
+    * 3. カレー/好き
+
+= インデックスに登録
+
+  # RT
+
+  キー, 文書IDリスト
+
+  カレー, [1 2 3]
+  食べ, [1 2]
+  た, [1]
+  たい, [2]
+  好き, [3]
+
+= 全文検索の流れ
+
+  * 文書を登録
+  * ((*キーワードで検索*))
+
+= 検索の流れ
+
+  * ノーマライズ
+  * トークナイズ
+  * トークンでインデックスを検索
+  * 文書IDを取得
+
+= サンプルキーワード
+
+  * 食べた
+
+= ノーマライズ
+
+  * 食べた
+    * ノーマライズ対象なし
+
+= トークナイズ
+
+  * 食べ/た
+
+= インデックス（再掲）
+
+  # RT
+
+  キー, 文書IDリスト
+
+  カレー, [1 2 3]
+  食べ, [1 2]
+  た, [1]
+  たい, [2]
+  好き, [3]
+
+= トークンでインデックスを検索
+
+  * 食べ -> [1 2]
+  * た -> [1]
+
+= 文書IDを取得
+
+  * [1]
+    * 両方含まれるもの
+    * 設定によって出現位置も調べる
+      * 隣り合っているかどうかなど
+
+= ヒット1件
+
+(('tag:center'))
+カレー食べた
+
+= ポイント
+
+  * 登録と検索で同じノーマライザーとトークナイザーを使う必要がある
+    * それはなぜか？

data/config.yaml

@@ -0,0 +1,23 @@
+---
+id: sapporoonga-20150614-2
+base_name: basic-mechanism-of-full-text-search
+tags:
+- rabbit
+- full-text-search
+- groonga
+presentation_date: 2015-06-14
+version: 2015.6.14.0
+licenses:
+- CC BY-SA 4.0
+slideshare_id: 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: Masafumi Yokoyama
+  email: myokoym@gmail.com
+  rubygems_user: myokoym
+  slideshare_user: myokoym
+  speaker_deck_user: myokoym

metadata

@@ -0,0 +1,78 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-myokoym-sapporoonga-20150614-2
+version: !ruby/object:Gem::Version
+  version: 2015.6.14.0
+platform: ruby
+authors:
+- Masafumi Yokoyama
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2015-06-13 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-nyankosakana
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: "全文検索の基本的なしくみ（ノーマライズ、トークナイズ、転置インデックス）について"
+email:
+- myokoym@gmail.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- basic-mechanism-of-full-text-search.rab
+- config.yaml
+- pdf/sapporoonga-20150614-2-basic-mechanism-of-full-text-search.pdf
+homepage: http://slide.rabbit-shocker.org/authors/myokoym/sapporoonga-20150614-2/
+licenses:
+- CC BY-SA 4.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.2.2
+signing_key: 
+specification_version: 4
+summary: "全文検索の基本的なしくみ"
+test_files: []