rabbit-slide-kou-postgresql-conference-japan-2023 2023.11.24.0 → 2023.11.24.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e429e96e5e854ece58487584d15f14649784ff7b60c3621ba5c6e8495a07edb8
-  data.tar.gz: 34dd70d21add731e051a540beb16b82dc9bb2c1036bbb338c80718817c24aed7
+  metadata.gz: 155a7faaa21e9b829749a0d4d767d2396edb504b579c5664590f3f990873f9b5
+  data.tar.gz: c6cdb92e3bf87097eb70846af38d0038140caedafe06cdbb63347372411df764
 SHA512:
-  metadata.gz: 7d2179d1724b3fdfce237aa4a6797c5dd22b429ac4971ae2408d264d2f922ee4b2299f04544ef63cf1d6045814d6d8e104deaa03e4c403333d1f2985982d72ee
-  data.tar.gz: 067f0eb55c225d98c014dd9f4af9e5393026172224d7c6136c59541628db8d727bd87c6ead1db42a248db51286d74b6787d895f5e3c10c1968172d2ef73b58c0
+  metadata.gz: 7a17ae84a76db0cc1a98d16cee4c46d5a2987d9d92cd412144917e239c75d414bddec8b210a1ea44621c822b99fabb73bf76a99fd24a171de2c7dae10944aa00
+  data.tar.gz: 36ab05bfb7c0d903dc266747f1154fe0ef14a4d5e46b6843a337510eedae9e6b4bebf67b9680b6e94d3e3c1055ce2759df1ca804038626d261ad16633cb5c957

data/apache-arrow-flight-sql-postgresql.rab

@@ -18,8 +18,8 @@
 = 対象ユースケース
 
   * ETL/ELT (Extract, Transform, Load)
-    * PostgreSQLからの大量データの読み込み
-    * PostgreSQLへの大量データの書き込み
+    * PostgreSQL((*から*))の大量データの((*読み*))込み
+    * PostgreSQL((*へ*))の大量データの((*書き*))込み
   * 探索的データ分析
     * PostgreSQL内のデータを理解
     * サブセットをローカルにダウンロードし、\n
@@ -57,10 +57,7 @@
   # relative_height = 100
   # draw0 = [rectangle, false, 0.075, 0.25, 0.34, 0.105, {color: "#0041ab", line_width: 3, dash: [[1, 6], 0]}]
   # draw1 = [rectangle, false, 0.125, 0.69, 0.29, 0.105, {color: "#0041ab", line_width: 3, dash: [[1, 6], 0]}]
-  # draw2 = [text, 遅い, 0.2, 0.5, {color: "#0041ab", size: 50}]
-  # draw3 = [rectangle, false, 0.43, 0.36, 0.49, 0.17, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
-  # draw4 = [rectangle, false, 0.43, 0.63, 0.27, 0.1, {color: "#458cff", line_width: 3, dash: [[1, 12], 0]}]
-  # draw5 = [text, 速い, 0.77, 0.63, {color: "#458cff", size: 50}]
+  # draw2 = [text, データ変換処理, 0.1, 0.5, {color: "#0041ab", size: 40}]
 
   sequenceDiagram
       participant L as ローカル
@@ -79,26 +76,31 @@
 : enable-title-on-image
    false
 
-= なぜ遅いのか
+= なぜデータ変換処理に注目するのか
 
-  * ((*データ変換*))が必要だから
-  * ロード：
-    * (({INSERT}))/(({COPY}))用に((*データ変換*))
-  * 抽出：
-    * PostgreSQL独自フォーマットの((*パース*))
+(('tag:center'))
+(('tag:large'))
+データ量に比例する処理だから
+
+(('wait'))
+(('tag:center'))
+(('tag:large'))
+↓\n
+大量データだと影響が大きい
 
 = 高速化アプローチ
 
 (('tag:center'))
-(('tag:x-large'))
+(('tag:large'))
 低データ変換コストの\n
 フォーマットを使う
 
 (('wait'))
 (('tag:center'))
-(('tag:x-large'))
+(('tag:large'))
 ↓\n
-((*Apache Arrow*))
+((*Apache Arrow*))\n
+フォーマット
 
 = 自己紹介
 
@@ -116,11 +118,14 @@
   # relative-margin-bottom = 0.5
   # caption-font-size = 1
 
-= Apache Arrow
+= Apache Arrowフォーマット
 
-  * 高速データ交換用フォーマット
+  * データ交換に最適化
     * パースコストほぼ0
     * データ転送コストのみで交換できる
+  * インメモリーのデータ分析に最適化
+    * ローカルデータの表現としても優秀
+    * 受け取ったデータをそのまま使える
 
 = 高速化ポイント
 
@@ -173,13 +178,13 @@
 = 選んだ方法
 
 (('tag:center'))
-(('tag:x-large'))
+(('tag:large'))
 Apache Arrow対応の\n
 別プロトコル
 
 (('wait'))
 (('tag:center'))
-(('tag:x-large'))
+(('tag:large'))
 ↓\n
 ((*Apache Arrow\nFlight SQL*))
 
@@ -197,7 +202,8 @@ Apache Arrow対応の\n
 = 別プロトコルを選んだ理由
 
   * Apache Arrowでこの問題を解決できるか\n
-    手早く検証したい
+    広く検証したい
+    * PostgreSQLの変更だと試してくれる人が少なそう
   * PostgreSQL開発者と相談するには\n
     Apache Arrowでどのくらい改善するかの\n
     データが必要
@@ -208,13 +214,11 @@ Apache Arrow対応の\n
 
   * PostgreSQLの拡張機能として実装
     * Apache Arrow Flight SQL adapter for PostgreSQL\n
+      (('note:((<URL:https://arrow.apache.org/flight-sql-postgresql/>))'))\n
       (('note:（プロジェクト名が長い！以後AFSと省略）'))
-  * 難しいところ：
-    * PostgreSQLにはプロトコルを拡張する仕組みはない\n
-      (('note:（MySQLにはある）'))
-    * Apache Arrow Flight SQLのライブラリーは\n
-      プロセスベースではなくスレッドベース\n
-      (('note:（PostgreSQLはプロセスベース）'))
+  * 別の実現方法
+    * PostgreSQLのリバースプロキシとして実装\n
+      例：PostgREST
 
 = 新プロトコル対応方法：PostgREST
 
@@ -253,26 +257,458 @@ Apache Arrow対応の\n
 : enable-title-on-image
    false
 
-= 並列方法
+= Apache Arrowで速くなるのか？
+
+  * 検証1：(({integer}))の(({SELECT}))
+  * 検証2：(({string}))の(({SELECT}))
+  * 検証3：(({integer}))の(({INSERT}))
+  * 検証4：(({string}))の(({INSERT}))
+
+= 検証1：(({integer}))の(({SELECT}))
+
+  * 1カラムのみN件のランダムデータ
+    * N: 10万、100万、1000万
+  * 比較対象
+    * libpqで(({SELECT}))して結果をパース：ベースライン
+    * AFS：提案方法
+    * libpqで(({COPY}))して結果をパース：既存の高速な方法
+  * PostgreSQL：17（未リリース）
+
+= 検証1：(({integer}))の(({SELECT}))：結果
+
+    * バーが短いほど速い
+    * 10万レコードでは\n
+      どれも変わらない
+    * ✓AFSが速い
+    * 参考：カラム数が\n
+      増えるほど差は開く
+
+  # charty
+  # backend = pyplot
+  # align = right
+  # vertical-align = top
+  # relative-margin-right = -10
+  # relative_height = 90
+  # font-family = MotoyaLMaru
+  # type = bar
+  # x = レコード数
+  # y = 実行時間（秒）
+  # color = 方法
+  方法,レコード数,実行時間（秒）
+  SELECT,10万,0.015
+  AFS,10万,0.014
+  COPY,10万,0.011
+  SELECT,100万,0.140
+  AFS,100万,0.082
+  COPY,100万,0.112
+  SELECT,1000万,1.463
+  AFS,1000万,0.691
+  COPY,1000万,1.108
+
+= 検証2：(({string}))の(({SELECT}))
+
+  * 1カラムのみN件の64バイトランダムデータ
+    * N: 10万、100万、1000万
+  * 比較対象
+    * libpqで(({SELECT}))して結果をパース：ベースライン
+    * AFS：提案方法
+    * libpqで(({COPY}))して結果をパース：既存の高速な方法
+  * PostgreSQL：17（未リリース）
+
+= 検証2：(({string}))の(({SELECT}))：結果
+
+    * バーが短いほど速い
+    * ✕AFSが遅い
+    * 参考：カラム数が\n
+      増えるほど差は開く
+
+  # charty
+  # backend = pyplot
+  # align = right
+  # vertical-align = top
+  # relative-margin-right = -10
+  # relative_height = 90
+  # font-family = MotoyaLMaru
+  # type = bar
+  # x = レコード数
+  # y = 実行時間（秒）
+  # color = 方法
+  方法,レコード数,実行時間（秒）
+  SELECT,10万,0.017
+  AFS,10万,0.040
+  COPY,10万,0.016
+  SELECT,100万,0.162
+  AFS,100万,0.364
+  COPY,100万,0.152
+  SELECT,1000万,1.706
+  AFS,1000万,2.053
+  COPY,1000万,1.603
+
+= AFSがなぜ遅いか
+
+  * そもそも(({SELECT}))/(({COPY}))が速い
+    * データをそのまま送っているのでパースコスト0
+    * 数値は文字列表現→数値の変換が必要
+  * 無駄なデータコピーがある？
+  * (({SPI_getbinval()}))が遅い？
+
+= 検証3：(({integer}))の(({INSERT}))
+
+  * 1カラムのみN件のランダムデータ
+    * N: 10万、100万、1000万
+  * 比較対象
+    * (({INSERT}))を作ってlibpqで実行：ベースライン
+    * AFS：提案方法
+    * (({COPY}))用データを作って実行：既存の高速な方法
+  * PostgreSQL：17（未リリース）
+
+= 検証3：(({integer}))の(({INSERT}))：結果
+
+    * バーが短いほど速い
+    * ✕AFSが遅い
+    * COPYが速い
+
+  # charty
+  # backend = pyplot
+  # align = right
+  # vertical-align = top
+  # relative-margin-right = -10
+  # relative_height = 90
+  # font-family = MotoyaLMaru
+  # type = bar
+  # x = レコード数
+  # y = 実行時間（秒）
+  # color = 方法
+  方法,レコード数,実行時間（秒）
+  INSERT,10万,0.310
+  AFS,10万,0.497
+  COPY,10万,0.068
+  INSERT,100万,5.410
+  AFS,100万,7.013
+  COPY,100万,0.637
+  INSERT,1000万,37.522
+  AFS,1000万,55.064
+  COPY,1000万,6.720
+
+= AFSがなぜ遅いか
+
+  * N回(({SPI_execute("INSERT")}))しているから
+    * 現在はFlight SQLにバルクインサート用APIがない
+    * PREPARE + パラメーターバインドで実現
+  * 今後：
+    * バルクインサート用APIを設計中\n
+      (('note:((<URL:https://github.com/apache/arrow/issues/38255>))'))
+    * より効率的な内部実装にできる予定\n
+      (('note:（でもSPIで(({COPY FROM STDIN}))を使えないんだよな…）'))\n
+      (('note:（(({SPI_register_relation()}))は速いのかな？）'))
+
+= 検証4：(({string}))の(({INSERT}))
+
+  * 1カラムのみN件の64バイトランダムデータ
+    * N: 10万、100万、1000万
+  * 比較対象
+    * (({INSERT}))を作ってlibpqで実行：ベースライン
+    * AFS：提案方法
+    * (({COPY}))用データを作って実行：既存の高速な方法
+  * PostgreSQL：17（未リリース）
+
+= 検証4：(({string}))の(({INSERT}))：結果
+
+    * バーが短いほど速い
+    * (({integer}))と同じ傾向
+
+  # charty
+  # backend = pyplot
+  # align = right
+  # vertical-align = top
+  # relative-margin-right = -10
+  # relative_height = 90
+  # font-family = MotoyaLMaru
+  # type = bar
+  # x = レコード数
+  # y = 実行時間（秒）
+  # color = 方法
+  方法,レコード数,実行時間（秒）
+  INSERT,10万,0.662
+  AFS,10万,0.662
+  COPY,10万,0.265
+  INSERT,100万,5.956
+  AFS,100万,7.028
+  COPY,100万,2.915
+  INSERT,1000万,86.678
+  AFS,1000万,97.898
+  COPY,1000万,50.889
+
+= ユーザー向けの話のまとめ
+
+  * 課題：大量データの読み書きが遅い
+  * 解決方法：
+    * Apache Arrowフォーマット/Flight SQL
+  * 現状：
+    * ✓数値の読み込みは速い→今すぐ体験できる！
+    * ✕文字列の読み込みは遅い→今後に期待！
+    * ✕書き込みは遅い→今後に期待！
+
+= 開発者向けの話
+
+  * Apache Arrow Flight SQL
+  * 認証
+  * 追加プロトコル対応
+
+= Apache Arrow Flight SQL
+
+  * プロトコル
+  * Apache Arrow（列指向）データに最適化
+    * すでにArrowベースなデータ処理システムになじむ
+    * 例：Polars, pandas, PG-Strom, ...
+  * 複数ノードから並列ダウンロード可
+    * postgres_fdwを使ったPostgreSQLクラスターから\n
+      並列ダウンロードとか？
+
+= (({SELECT}))
+
+  # mermaid
+  # relative_height = 100
+
+  sequenceDiagram
+      participant C as クライアント
+      participant S as サーバー
+      C->>S: GetFlightInfo("SELECT ...")
+      S->>C: FlightInfo（データ取得のための情報）
+      C->>S: DoGet(FlightInfo)
+      S->>C: Apache Arrowデータ（ストリームで送信）
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= (({SELECT}))：並列ダウンロード
 
-  * PostgreSQL：プロセスベース
-    * 同時実行は別プロセスとして実行
-  * Apache Arrow Flight SQL：スレッドベース
-    * 同時実行は別スレッドとして実行
-  * マルチプロセス×マルチスレッド
-    * 混ぜるな危険！
-    * 対策：マルチスレッドのプロセスを分離して\n
-      そのプロセスはPostgreSQLのAPIを使わない
+  # mermaid
+  # relative_height = 100
+
+  sequenceDiagram
+      participant C as クライアント
+      participant S as サーバー
+      participant N1 as ノード1
+      participant N2 as ノード2
+      C->>S: GetFlightInfo("SELECT ...")
+      S->>C: FlightInfo1, FlightInfo2
+      par ノード1からデータ取得
+          C->>N1: DoGet(FlightInfo1)
+          N1->>C: Apache Arrowデータ
+      and ノード2からデータ取得
+          C->>N2: DoGet(FlightInfo2)
+          N2->>C: Apache Arrowデータ
+      end
+
+== Slide properties
+
+: enable-title-on-image
+   false
 
-= 並列方法：AFS
+= (({INSERT}))
 
   # mermaid
   # relative_height = 100
-  # draw0 = [text, マルチスレッド, 0.54, 0.15, {color: "#0041ab", size: 30}]
-  # draw1 = [text, PGのAPIを使わない, 0.54, 0.2, {color: "#0041ab", size: 30}]
-  # draw2 = [text, Apache Arrowフォーマット, 0.57, 0.75, {color: "#0041ab", size: 30}]
-  # draw3 = [text, 低コスト！, 0.66, 0.82, {color: "#0041ab", size: 30}]
-  # draw4 = [text, 低コスト！, 0.06, 0.82, {color: "#0041ab", size: 30}]
+
+  sequenceDiagram
+      participant C as クライアント
+      participant S as サーバー
+      C->>S: DoAction("CreatePreparedStatement", "INSERT ... VALUES (?)")
+      S->>C: ハンドル（プリペアドステートメントのID）
+      C->>S: DoPut(ハンドル, Apache Arrowデータ)（ストリームで送信）
+      S->>C: 変更したレコード数
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= (({INSERT}))：今後
+
+  # mermaid
+  # relative_height = 100
+
+  sequenceDiagram
+      participant C as クライアント
+      participant S as サーバー
+      note left of S: これで速くなるといいな！
+      C->>S: DoPut(テーブル, Apache Arrowデータ)
+      S->>C: 変更したレコード数
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= 開発者向けの話：認証
+
+  * Apache Arrow Flight SQL
+  * ((*認証*))
+  * 追加プロトコル対応
+
+= 認証
+
+  * PGプロトコルを使わない→自前実装が必要
+    * PGの認証実装はPGプロトコルと蜜結合
+  * でも、認証情報の二重管理はしたくない！
+    * →PostgreSQLの認証情報で認証
+
+= PostgreSQLの認証情報
+
+  * (({pg_hba.conf}))
+    * ホストベースの認証情報
+    * 接続可の接続元は？SSLは必須？とか
+  * (({CREATE ROLE}))
+    * PostgreSQL内にユーザーを作成
+    * パスワードはPostgreSQLで管理または別途管理
+
+= 対応済み認証方法
+
+  * trust認証
+    * 接続可のホストから接続されればOK
+    * 本番環境では使わないこと！
+  * パスワード認証
+    * PostgreSQL内のパスワードを使って認証
+    * SSLを有効にすること！
+
+= その他の認証方法
+
+  * scram-sha-256
+    * チャレンジレスポンスが必要なので未対応
+    * 今はHTTP/2のauthorization: Basicを使っている
+  * 証明書認証（mTLS）\n
+    (('note:（Mutual Transport Layer Security・相互TLS）'))
+    * サーバーがクライアントの証明書を検証
+    * 簡単に実装できるはずなので実装予定\n
+      (('note:（実装にはSSL対応が必須）'))
+
+= SSL対応
+
+  * 実装済み
+    * Apache Arrow Flight SQLはSSL対応
+    * mTLSにも対応
+  * SSL対応に必要なもの
+    * 証明書・証明書の秘密鍵・認証局
+    * すべてPostgreSQLで設定可
+    * →AFSは↑を使っている\n
+      (('note:（二重管理を避ける！）'))
+
+= 開発者向けの話：認証
+
+  * Apache Arrow Flight SQL
+  * 認証
+  * ((*追加プロトコル対応*))
+
+= 追加プロトコル対応
+
+  * PostgreSQLは別プロトコルでの\n
+    接続を想定していない
+    * 拡張ポイントがたくさんあるPostgreSQLだが\n
+      プロトコル追加用の拡張ポイントはない
+  * ソケットをlistenしないといけない
+    * PostgreSQLはシングルスレッドなので\n
+      既存プロセスでやるとブロックする
+
+= バックグランドワーカー
+
+    * PG管理の別プロセスを\n
+      起動する仕組み
+      * ここでlistenすれば\n
+        既存処理をブロックしない
+
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 45
+  # relative-margin-right = -10
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFS as AFS
+      P->>AFS: 起動
+      U->>AFS: Apache Arrow Flight SQL
+      AFS->>U: Apache Arrow Flight SQL
+
+= 接続
+
+    * ✕listenするプロセスでSQL実行
+      * listenするプロセスはマルチスレッド
+      * PGはマルチスレッド非対応→PGのAPIを呼べない
+    * プロセスを分離：
+      * listenするプロセス：\n
+        server
+      * 各接続を処理するプロセス：\n
+        executor(('note:（シングルスレッド）'))
+
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 45
+  # relative-margin-top = 10
+  # relative-margin-right = -10
+  # draw0 = [text, マルチスレッド, 0.47, 0.15, {color: "#0041ab", size: 15}]
+  # draw1 = [text, シングルスレッド, 0.67, 0.15, {color: "#0041ab", size: 15}]
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFSs as AFS server
+      participant AFSe as AFS executor
+      P->>AFSs: 起動
+      U->>AFSs: Apache Arrow Flight SQL
+      AFSs->>AFSe: 起動
+      AFSs->>AFSe: 実行依頼
+      note right of AFSe: 実行
+      AFSe->>AFSs: 結果返却
+      AFSs->>U: Apache Arrow Flight SQL
+
+= executorの起動方法
+
+    * ✕マルチスレッド下でfork
+      * serverはマルチスレッド
+      * ✕serverからexecutorを起動
+    * この構成は危険
+
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 45
+  # relative-margin-top = 10
+  # relative-margin-right = -10
+  # draw0 = [text, マルチスレッド, 0.47, 0.15, {color: "#0041ab", size: 15}]
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFSs as AFS server
+      participant AFSe as AFS executor
+      P->>AFSs: 起動
+      U->>AFSs: Apache Arrow Flight SQL
+      AFSs->>AFSe: 起動
+      note right of AFSe: だめ！！！
+      AFSs->>AFSe: 実行依頼
+      AFSe->>AFSs: 結果返却
+      AFSs->>U: Apache Arrow Flight SQL
+
+= 安全なexecutorの起動方法
+
+    * executor起動用プロセスを追加
+      * main：シングルスレッド
+    * serverはmainに起動依頼
+      * mainからexecutorを起動
+
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 45
+  # relative-margin-top = 10
+  # relative-margin-right = -10
+  # draw0 = [text, シングルスレッド, 0.39, 0.13, {color: "#0041ab", size: 10}]
+  # draw1 = [text, マルチスレッド, 0.57, 0.13, {color: "#0041ab", size: 10}]
 
   sequenceDiagram
       actor U as ユーザー
@@ -290,22 +726,90 @@ Apache Arrow対応の\n
       AFSe->>AFSs: 結果返却
       AFSs->>U: Apache Arrow Flight SQL
 
-== Slide properties
+= executorでの実行
 
-: enable-title-on-image
-   false
+    * やり方は2つ
+      * libpq：PostgreSQLに\n
+        接続して実行
+      * SPI：プロセス内で実行\n
+        (('note:（Server Programming Interface）'))
+    * AFSはSPI
+      * libpqだと意味がない\n
+        (('note:（PostgreSQLプロトコルを使ってしまう）'))
 
-# = Apache Arrow Flight SQL
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 45
+  # relative-margin-top = 10
+  # relative-margin-right = -10
 
-# = 認証
+  sequenceDiagram
+      participant P as PostgreSQL
+      participant AFSe as AFS executor
+      alt libpq
+          AFSe->>P: PostgreSQLプロトコルで接続
+          AFSe->>P: 実行依頼
+          note left of P: 別プロセスを立ち上げて実行するけど省略
+          P->>AFSe: 結果返却
+      else SPI
+          AFSe->>AFSe: 自分で実行
+      end
+
+= プロセス間通信
 
-= まとめ
+    * serverとexecutorで\n
+      Apache Arrowデータのやりとりが必要
+    * 通信方法
+      * 共有メモリーで\n
+        リングバッファー
+      * ナイーブな自前実装\n
+        (('note:（高速化の余地あり）'))\n
+      * (({shm_mq}))でいいかも…
 
-  * 課題：
-    * 大量データの読み書きが遅い
+  # mermaid
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 50
+  # relative-margin-top = 10
+  # relative-margin-right = -10
+
+  sequenceDiagram
+      actor U as ユーザー
+      participant P as PostgreSQL
+      participant AFSm as AFS main
+      participant AFSs as AFS server
+      participant AFSe as AFS executor
+      P->>AFSm: 起動
+      AFSm->>AFSs: 起動
+      U->>AFSs: Apache Arrow Flight SQL
+      AFSs->>AFSm: executor起動依頼
+      AFSm->>AFSe: 起動
+      AFSs->>AFSe: 実行依頼
+      note left of AFSe: 共有メモリーでリングバッファー
+      AFSe->>AFSs: 結果返却
+      AFSs->>U: Apache Arrow Flight SQL
+
+= 開発者向けの話のまとめ
+
+  * 設計判断も含めて全体の構成を紹介
+  * 改良案も含めて課題も紹介
+
+(('wait'))
+(('tag:center'))
+(('tag:x-large'))
+↓\n
+一緒に開発しよう！
+
+= 全体のまとめ
+
+  * 課題：大量データの読み書きが遅い
   * 解決方法：
-    * Apache Arrowフォーマットの使用
-    * Apache Arrow Flight SQLの使用
+    * Apache Arrowフォーマット/Flight SQL
+  * 現状：✓数値の読み込みは速い
+  * 今後：
+    * このアプローチの改良
+    * (({COPY}))のApache Arrowフォーマット対応
 
 = サポート
 
@@ -316,4 +820,3 @@ Apache Arrow対応の\n
     * (('note:((<URL:https://www.clear-code.com/contact/>))'))
     * PGroongaのサポートも可\n
       (('note:PGroonga：PostgreSQLに高速日本語全文検索機能を追加'))
-

data/config.yaml

@@ -6,7 +6,7 @@ tags:
 - arrow
 - postgresql
 presentation_date: 2023-11-24
-version: 2023.11.24.0
+version: 2023.11.24.1
 licenses:
 - CC-BY-SA-4.0
 slideshare_id:

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: rabbit-slide-kou-postgresql-conference-japan-2023
 version: !ruby/object:Gem::Version
-  version: 2023.11.24.0
+  version: 2023.11.24.1
 platform: ruby
 authors:
 - 須藤功平
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2023-10-31 00:00:00.000000000 Z
+date: 2023-11-23 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rabbit