rabbit-slide-kou-redmine-tokyo-17 2019.11.2.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: 21d00f25dd3535bbd2d2aedc4d719237719951d7e5a00464698359645a50e9d8
+  data.tar.gz: 32283b64c59017b57a927e3efa4f37c3e6d4090415e33d37d37dbf9134743767
+SHA512:
+  metadata.gz: e32426100723947cfde3fb6e0629711acba79fef0913c5cf26ac73b52ef9f6ddcf53e57882ff3d92726ab6a0edea4e4684d93f9665ec645ccd8ee60af88e29e5
+  data.tar.gz: 5a59b6faaabf452a2df99a8dc510c5bca4bc1113439e73cf126ef33a1acdd4740724abe4df0a0b593d05bd83a7d4cfb8915c74f93f24375f2fa7496b384e983c

data/.rabbit

@@ -0,0 +1 @@
+--size 800,450 redmine-search-future.rab

data/README.rd

@@ -0,0 +1,40 @@
+= Redmine検索の未来像
+
+Redmineの検索はどうなるといいだろう！
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者：須藤功平
+
+==== Groongaのロゴ
+
+CC BY 3.0
+
+原著作者：Groongaプロジェクト
+
+ページヘッダーで使っています。
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-redmine-tokyo-17
+
+=== 表示
+
+  rabbit rabbit-slide-kou-redmine-tokyo-17.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  spec.files += Dir.glob("images/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-groonga")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,27 @@
+---
+id: redmine-tokyo-17
+base_name: redmine-search-future
+tags:
+- rabbit
+- redmine
+- fts
+- search
+- mroonga
+- groonga
+presentation_date: 2019-11-02
+version: 2019.11.2.0
+licenses:
+- CC-BY-SA-4.0
+- CC-BY-3.0
+slideshare_id: 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: Sutou Kouhei
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user: kou
+  speaker_deck_user: 

data/redmine-search-future.rab

@@ -0,0 +1,242 @@
+= Redmine検索の\n未来像
+
+: author
+   須藤功平
+: institution
+   株式会社クリアコード
+: content-source
+   redmine.tokyo第17回
+: date
+   2019-11-02
+: start-time
+   2019-11-02T14:25:00+09:00
+: end-time
+   2019-11-02T14:45:00+09:00
+: theme
+   groonga
+
+= Redmine検索の未来
+
+全文検索プラグイン\n
+(('note:((<URL:https://github.com/clear-code/redmine_full_text_search>))'))
+
+= 従来の検索システム
+
+  * SQLの標準機能で実現
+    * 比較条件+LIKE
+  * 例：
+    * プロジェクト絞り込み：等価条件
+    * コメント検索：LIKE
+
+= 未来の検索システム
+
+  * 全文検索エンジンで実現
+    * 全文検索だけでなく比較条件もすべて
+  * 例：
+    * プロジェクト絞り込み：等価条件
+    * コメント検索：全文検索
+
+= 従来の検索システムの課題
+
+速度とソート
+
+= 速度
+
+  * コメント増加→検索時間増加
+  * 検索への期待
+    * ((*すばやく*))必要な情報を見つけたい
+  * 遅いと期待に応えられない
+
+= ソート
+
+  * 更新時刻のみ
+  * 検索への期待
+    * すばやく((*必要な*))情報を見つけたい
+  * 最新の情報≠必要な情報
+  * 必要な順にソートしないと\n
+    期待に応えられない
+
+= 未来の検索システム
+
+  * 速度
+    * コメント増加→検索時間超微増
+    * ((*すばやく*))必要な情報を見つけられる
+  * ソート
+    * 更新時刻+適合度
+    * すばやく((*必要な*))情報を見つけられる
+
+= 未来の検索システムの改善点
+
+高速さと高精度
+
+= 未来の検索システムのさらなる改善点
+
+  * 検索対象を追加
+  * クリックで絞り込めるUI
+  * 表現の揺らぎに対応
+  * 定量的な検索機能の評価基盤
+
+= 検索対象を追加
+
+  * メタデータ
+    * ステータス・トラッカー・ユーザー・…
+  * 添付ファイル・リポジトリー内のファイル
+    * PDF・オフィス文書からもテキスト抽出
+    * アーカイブも展開して再帰的にテキスト抽出
+
+= メタデータで検索
+
+  # img
+  # src = images/search-by-metadata.png
+  # relative_height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= クリックで絞り込めるUI
+
+  * ユーザー：なにを探しているかわからない
+    * 検索システムとの対話の中で見つける
+  * 対話：検索結果+次のクエリーを提案
+    * ユーザーと検索システムが一緒に答えを探す
+  * 提案されたクエリーで絞り込み
+
+= 表現の揺らぎに対応
+
+  * 表現の揺らぎ：
+    * 同義語：ネジとビス
+    * 異表記：ネジと螺子
+  * クエリー拡張：
+    * 検索前に自動でクエリーを拡張
+    * ネジ→ネジ OR ビス OR 螺子
+
+= クエリー拡張：Groonga→Groonga OR PGroonga
+
+  # img
+  # src = images/query-expansion.png
+  # relative_height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= 表現の揺らぎのメンテナンス
+
+  * 手動はツライ。。。
+    * 誰がやるの？
+    * いつやるの？
+  * 自動化しないと陳腐化
+
+= 未来の検索システムでのメンテナンス
+
+自動化中
+
+= 自動化方法
+
+  * 既知の情報を収集
+    * 例：Wikipediaのリダイレクト情報
+    * 例：NEologdの情報
+  * Redmine内の情報から学習
+
+= 既知の情報を収集
+
+  * メリット：楽
+    * スクリプトを準備する予定
+  * デメリット：
+    * 一般的な言い回ししか集まらない
+    * ドメイン固有の言い回しがない
+
+= Redmine内の情報から学習
+
+  * メリット：
+    * ドメイン固有の言い回しに対応可
+  * デメリット：
+    * 難しい
+
+= 学習：検証中
+
+  (1) テキスト情報を抽出
+      * 全文検索用に抽出した情報を活用
+      * 自然言語っぽいものだけ選別して行に分割
+  (2) SentencePieceでトークナイズ
+      * MeCabだとドメイン固有の未知語に対応できない
+  (3) BERT/fastTextでベクトル化
+  (4) 類似単語を揺らぎとして抽出
+
+= 学習：現状（伸びしろしかない）
+
+  # img
+  # src = images/query-expansion-example.png
+  # relative_width = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= 定量的な検索機能の評価基盤
+
+  * 定性的な評価（例：インタビュー）
+    * 体感で速くなった！
+    * 体感で見つかりやすくなった！
+  * 定量的な評価（例：ログ分析）
+    * 利用ユーザーが○人
+    * ユーザーが必要な情報を取得できた割合が○%
+
+(('tag:center'))
+ログを追加し定量的な評価が可能に
+
+= 定量的な評価基盤：現状
+
+  * Railsのログに記録
+  * スクリプトでログを解析してレポート
+
+= 定量的な評価基盤：未来
+
+  * RDBMSに記録
+  * 管理画面でリアルタイムにレポート
+
+= 未来の検索システムの\n近い未来
+
+= さらなる高速化
+
+  * 常に1秒未満を目指す
+  * 検索システムとの対話ストレスをなくす
+  * インクリメンタル検索も現実的に
+    * パカパカしてうるさいかもしれない
+    * Googleはこの機能を捨てた
+    * 定量的な評価をしながら取捨選択する予定
+
+= 入力補完
+
+  * 入力中にクエリーを提案
+    * Googleはこの機能にシフトした
+  * 課題：良質な補完候補の用意
+    * Wikipediaなど一般的なデータを活用
+    * Redmine内のデータから機械学習で生成
+    * 極秘データの扱いに注意が必要
+
+= テキスト抽出可能ファイルの追加
+
+  * .msg（Outlookのファイル）
+  * SVGファイル
+  * CADファイル
+  * ...
+
+= Redmine検索の未来
+
+全文検索プラグイン\n
+(('note:((<URL:https://github.com/clear-code/redmine_full_text_search>))'))
+
+= 一緒に未来を作ろう！
+
+  * 仕事として一緒に開発
+    * あなた：お金と要望とデータを提供
+    * クリアコード：開発・コンサルティング
+  * 成果は自由なソフトウェアとして公開
+
+連絡先\n
+((<URL:https://www.clear-code.com/contact/>))

metadata

@@ -0,0 +1,83 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-redmine-tokyo-17
+version: !ruby/object:Gem::Version
+  version: 2019.11.2.0
+platform: ruby
+authors:
+- Sutou Kouhei
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2019-10-30 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-groonga
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: Redmineの検索はどうなるといいだろう！
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- images/query-expansion-example.png
+- images/query-expansion.png
+- images/search-by-metadata.png
+- pdf/redmine-tokyo-17-redmine-search-future.pdf
+- redmine-search-future.rab
+- search-screenshot.png
+homepage: http://slide.rabbit-shocker.org/authors/kou/redmine-tokyo-17/
+licenses:
+- CC-BY-SA-4.0
+- CC-BY-3.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.7.6.2
+signing_key: 
+specification_version: 4
+summary: Redmine検索の未来像
+test_files: []