rabbit-slide-kou-postgresql-conference-japan-2023 2023.11.24.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: e429e96e5e854ece58487584d15f14649784ff7b60c3621ba5c6e8495a07edb8
+  data.tar.gz: 34dd70d21add731e051a540beb16b82dc9bb2c1036bbb338c80718817c24aed7
+SHA512:
+  metadata.gz: 7d2179d1724b3fdfce237aa4a6797c5dd22b429ac4971ae2408d264d2f922ee4b2299f04544ef63cf1d6045814d6d8e104deaa03e4c403333d1f2985982d72ee
+  data.tar.gz: 067f0eb55c225d98c014dd9f4af9e5393026172224d7c6136c59541628db8d727bd87c6ead1db42a248db51286d74b6787d895f5e3c10c1968172d2ef73b58c0

data/.rabbit

@@ -0,0 +1,2 @@
+--size 1920,1080
+apache-arrow-flight-sql-postgresql.rab

data/README.rd

@@ -0,0 +1,40 @@
+= Apache Arrow Flight SQLでPostgreSQLをもっと速く！
+
+PostgreSQLとの接続には独自プロトコルが使われていますが、やりとりするデータが大きくなるとクエリーの処理ではなくこのプロトコルがボトルネックになることが知られています。Apache ArrowFlight SQLプロトコルはこのボトルネックを解消できるプロトコルです。Apache Arrow Flight SQLの詳細、どのくらい速くなるのか、プロトコルを拡張する仕組みのないPostgreSQLでどのように実装したのかといった実装の詳細を紹介します。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者：須藤功平
+
+====  株式会社クリアコードのロゴ
+
+CC BY-SA 4.0
+
+原著作者：株式会社クリアコード
+
+ページヘッダーで使っています。
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-postgresql-conference-japan-2023
+
+=== 表示
+
+  rabbit rabbit-slide-kou-postgresql-conference-japan-2023.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  # spec.files += Dir.glob("doc/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-clear-code")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/apache-arrow-flight-sql-postgresql.rab

@@ -0,0 +1,319 @@
+= Apache Arrow Flight SQLでPostgreSQLをもっと速く！
+
+: author
+   須藤功平
+: institution
+   株式会社クリアコード
+: content-source
+   PostgreSQL Conference Japan 2023
+: date
+   2023-11-24
+: start-time
+   2023-11-24T14:10:00+09:00
+: end-time
+   2023-11-24T15:00:00+09:00
+: theme
+   clear-code
+
+= 対象ユースケース
+
+  * ETL/ELT (Extract, Transform, Load)
+    * PostgreSQLからの大量データの読み込み
+    * PostgreSQLへの大量データの書き込み
+  * 探索的データ分析
+    * PostgreSQL内のデータを理解
+    * サブセットをローカルにダウンロードし、\n
+      インタラクティブに集計・加工・可視化など
+
+= 対象ユースケースの特徴
+
+  * 大量ローカルデータ→PostgreSQLデータ
+  * 大量PostgreSQLデータ→ローカルデータ
+
+= 対象ユースケースの処理
+
+  # mermaid
+  # relative_height = 100
+  sequenceDiagram
+      participant L as ローカル
+      participant P as PostgreSQL
+      alt ロード
+          note left of L: INSERT/COPY用にデータを変換
+          L->>P: データ送信
+          note right of P: データ保存
+      else 抽出
+          P->>L: データ送信
+          note left of L: ローカル用にデータを変換
+      end
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= 注目ポイント
+
+  # mermaid
+  # relative_height = 100
+  # draw0 = [rectangle, false, 0.075, 0.25, 0.34, 0.105, {color: "#0041ab", line_width: 3, dash: [[1, 6], 0]}]
+  # draw1 = [rectangle, false, 0.125, 0.69, 0.29, 0.105, {color: "#0041ab", line_width: 3, dash: [[1, 6], 0]}]
+  # draw2 = [text, 遅い, 0.2, 0.5, {color: "#0041ab", size: 50}]
+  # draw3 = [rectangle, false, 0.43, 0.36, 0.49, 0.17, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
+  # draw4 = [rectangle, false, 0.43, 0.63, 0.27, 0.1, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
+  # draw5 = [text, 速い, 0.77, 0.63, {color: "#458cff", size: 50}]
+
+  sequenceDiagram
+      participant L as ローカル
+      participant P as PostgreSQL
+      alt ロード
+          note left of L: INSERT/COPY用にデータを変換
+          L->>P: データ送信
+          note right of P: データ保存
+      else 抽出
+          P->>L: データ送信
+          note left of L: ローカル用にデータを変換
+      end
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= なぜ遅いのか
+
+  * ((*データ変換*))が必要だから
+  * ロード：
+    * (({INSERT}))/(({COPY}))用に((*データ変換*))
+  * 抽出：
+    * PostgreSQL独自フォーマットの((*パース*))
+
+= 高速化アプローチ
+
+(('tag:center'))
+(('tag:x-large'))
+低データ変換コストの\n
+フォーマットを使う
+
+(('wait'))
+(('tag:center'))
+(('tag:x-large'))
+↓\n
+((*Apache Arrow*))
+
+= 自己紹介
+
+    * 須藤功平/(('font-awesome:github-square'))@kou/(('font-awesome:twitter-square'))@ktou
+    * Apache Arrowのコミット数1位
+    * Apache Arrowの3代目PMC代表\n
+      (('note:PMC：プロジェクト管理委員会'))
+
+  # image
+  # src = http://www.gravatar.com/avatar/ee6ffca720cc428d70247dcd7377dd48.jpeg?s=800
+  # align = right
+  # vertical-align = top
+  # relative-width = 30
+  # relative-margin-right = -10
+  # relative-margin-bottom = 0.5
+  # caption-font-size = 1
+
+= Apache Arrow
+
+  * 高速データ交換用フォーマット
+    * パースコストほぼ0
+    * データ転送コストのみで交換できる
+
+= 高速化ポイント
+
+  # mermaid
+  # relative_height = 100
+  # draw0 = [rectangle, false, 0.075, 0.25, 0.34, 0.105, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
+  # draw1 = [rectangle, false, 0.125, 0.69, 0.29, 0.105, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
+  # draw2 = [text, 速くなる！, 0.13, 0.5, {color: "#458cff", size: 50}]
+
+  sequenceDiagram
+      participant L as ローカル
+      participant P as PostgreSQL
+      alt ロード
+          note left of L: INSERT/COPY用にデータを変換
+          L->>P: データ送信
+          note right of P: データ保存
+      else 抽出
+          P->>L: データ送信
+          note left of L: ローカル用にデータを変換
+      end
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= 実現方法
+
+  * PostgreSQLプロトコルで\n
+    Apache Arrowを扱えるようにする
+    * (({COPY}))の(({FORMAT}))でApache Arrowサポート
+  * Apache Arrowを扱える\n
+    別のプロトコルを使う
+
+= (({COPY}))でApache Arrow
+
+  * メリット：
+    * 既存の仕組み・ツールを使える
+  * デメリット：
+    * PostgreSQL開発者は受け入れてくれるのか？
+
+= Apache Arrow対応の別プロトコル
+
+  * メリット：
+    * PostgreSQLの拡張機能で実現すれば\n
+      PostgreSQLとは独立して開発できる
+  * デメリット：
+    * 既存の仕組み・ツールを使えない
+
+= 選んだ方法
+
+(('tag:center'))
+(('tag:x-large'))
+Apache Arrow対応の\n
+別プロトコル
+
+(('wait'))
+(('tag:center'))
+(('tag:x-large'))
+↓\n
+((*Apache Arrow\nFlight SQL*))
+
+= Apache Arrow Flight SQL
+
+  * クエリー言語：SQL
+    * PostgreSQLになじむ
+  * データフォーマット：Apache Arrow
+    * 高速化できる
+  * ベースのプロトコル：gRPC
+    * 既存の仕組みを再利用できる
+
+(('note:注意：まだexperimentalなプロトコル'))
+
+= 別プロトコルを選んだ理由
+
+  * Apache Arrowでこの問題を解決できるか\n
+    手早く検証したい
+  * PostgreSQL開発者と相談するには\n
+    Apache Arrowでどのくらい改善するかの\n
+    データが必要
+    * このアプローチでの実績をもって\n
+      PostgreSQL開発者と相談したい
+
+= 実現方法
+
+  * PostgreSQLの拡張機能として実装
+    * Apache Arrow Flight SQL adapter for PostgreSQL\n
+      (('note:（プロジェクト名が長い！以後AFSと省略）'))
+  * 難しいところ：
+    * PostgreSQLにはプロトコルを拡張する仕組みはない\n
+      (('note:（MySQLにはある）'))
+    * Apache Arrow Flight SQLのライブラリーは\n
+      プロセスベースではなくスレッドベース\n
+      (('note:（PostgreSQLはプロセスベース）'))
+
+= 新プロトコル対応方法：PostgREST
+
+  # mermaid
+  # relative_height = 100
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant PR as PostgREST
+      participant P as PostgreSQL
+      U->>PR: HTTP
+      PR->>P: PostgreSQLプロトコル
+      P->>PR: PostgreSQLプロトコル
+      PR->>U: HTTP
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= 新プロトコル対応方法：AFS
+
+  # mermaid
+  # relative_height = 100
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFS as AFS
+      P->>AFS: ワーカープロセス起動
+      U->>AFS: Apache Arrow Flight SQL
+      AFS->>U: Apache Arrow Flight SQL
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= 並列方法
+
+  * PostgreSQL：プロセスベース
+    * 同時実行は別プロセスとして実行
+  * Apache Arrow Flight SQL：スレッドベース
+    * 同時実行は別スレッドとして実行
+  * マルチプロセス×マルチスレッド
+    * 混ぜるな危険！
+    * 対策：マルチスレッドのプロセスを分離して\n
+      そのプロセスはPostgreSQLのAPIを使わない
+
+= 並列方法：AFS
+
+  # mermaid
+  # relative_height = 100
+  # draw0 = [text, マルチスレッド, 0.54, 0.15, {color: "#0041ab", size: 30}]
+  # draw1 = [text, PGのAPIを使わない, 0.54, 0.2, {color: "#0041ab", size: 30}]
+  # draw2 = [text, Apache Arrowフォーマット, 0.57, 0.75, {color: "#0041ab", size: 30}]
+  # draw3 = [text, 低コスト！, 0.66, 0.82, {color: "#0041ab", size: 30}]
+  # draw4 = [text, 低コスト！, 0.06, 0.82, {color: "#0041ab", size: 30}]
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFSm as AFS main
+      participant AFSs as AFS server
+      participant AFSe as AFS executor
+      P->>AFSm: 起動
+      AFSm->>AFSs: 起動
+      U->>AFSs: Apache Arrow Flight SQL
+      AFSs->>AFSm: executor起動依頼
+      AFSm->>AFSe: 起動
+      AFSs->>AFSe: 実行依頼
+      note right of AFSe: 実行
+      AFSe->>AFSs: 結果返却
+      AFSs->>U: Apache Arrow Flight SQL
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+# = Apache Arrow Flight SQL
+
+# = 認証
+
+= まとめ
+
+  * 課題：
+    * 大量データの読み書きが遅い
+  * 解決方法：
+    * Apache Arrowフォーマットの使用
+    * Apache Arrow Flight SQLの使用
+
+= サポート
+
+  * コミュニティー：
+    * (('note:((<URL:https://github.com/apache/arrow-flight-sql-postgresql/issues>))'))
+    * (('note:((<URL:https://arrow.apache.org/community/#mailing-lists>))'))
+  * クリアコードによる有償サポート：
+    * (('note:((<URL:https://www.clear-code.com/contact/>))'))
+    * PGroongaのサポートも可\n
+      (('note:PGroonga：PostgreSQLに高速日本語全文検索機能を追加'))
+

data/config.yaml

@@ -0,0 +1,25 @@
+---
+id: postgresql-conference-japan-2023
+base_name: apache-arrow-flight-sql-postgresql
+tags:
+- rabbit
+- arrow
+- postgresql
+presentation_date: 2023-11-24
+version: 2023.11.24.0
+licenses:
+- CC-BY-SA-4.0
+slideshare_id:
+speaker_deck_id:
+vimeo_id:
+youtube_id:
+width: 1920
+height: 1080
+source_code_uri: "https://gitlab.com/ktou/rabbit-slide-kou-postgresql-conference-japan-2023"
+author:
+  markup_language: :rd
+  name: 須藤功平
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user:
+  speaker_deck_user: kou

metadata

@@ -0,0 +1,79 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-postgresql-conference-japan-2023
+version: !ruby/object:Gem::Version
+  version: 2023.11.24.0
+platform: ruby
+authors:
+- 須藤功平
+autorequire:
+bindir: bin
+cert_chain: []
+date: 2023-10-31 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-clear-code
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: PostgreSQLとの接続には独自プロトコルが使われていますが、やりとりするデータが大きくなるとクエリーの処理ではなくこのプロトコルがボトルネックになることが知られています。Apache
+  ArrowFlight SQLプロトコルはこのボトルネックを解消できるプロトコルです。Apache Arrow Flight SQLの詳細、どのくらい速くなるのか、プロトコルを拡張する仕組みのないPostgreSQLでどのように実装したのかといった実装の詳細を紹介します。
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- apache-arrow-flight-sql-postgresql.rab
+- config.yaml
+- pdf/postgresql-conference-japan-2023-apache-arrow-flight-sql-postgresql.pdf
+homepage: https://slide.rabbit-shocker.org/authors/kou/postgresql-conference-japan-2023/
+licenses:
+- CC-BY-SA-4.0
+metadata:
+  source_code_uri: https://gitlab.com/ktou/rabbit-slide-kou-postgresql-conference-japan-2023
+post_install_message:
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.5.0.dev
+signing_key:
+specification_version: 4
+summary: Apache Arrow Flight SQLでPostgreSQLをもっと速く！
+test_files: []