rabbit-slide-kou-davis-2023 2023.3.29.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: cd85107b1cf5e5e69a9812d06224c827c17f5ada0b0833f4a53ac37b2c232676
+  data.tar.gz: 38732822670692e9b081b2e1130b2b39f9b787f09a5a28733c8d09f6c12c47d8
+SHA512:
+  metadata.gz: 475e3e863e6d07f2fa6f1d073c3aaaef5c77cbaa407e5e7cd613a281be4dba4f5a89973166e46a55785c9bb732e0229887b4a9aed4128e6a5bd00161d1848af6
+  data.tar.gz: ac9c7993e03762e2307d34e536220c384fec803859f7f058ac4c395f606c1e2a3c0749fbba7b29139ed885afbd732f40cd96630b4b9f9f9dac32d0d94ee62b86

data/.rabbit

@@ -0,0 +1,2 @@
+--size 1920,1080
+arrow-and-red-data-tools.rab

data/README.rd

@@ -0,0 +1,44 @@
+= Apache Arrow, Red Arrow, Red Data Tools
+
+Apache Arrow、Red Arrow、Red Data Toolsという観点からRubyにおけるデータ処理の現状を説明します。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者名は以下の通りです。
+
+  * 須藤功平（またはSutou Kouhei）
+
+=== 画像
+
+==== クリアコードのロゴ
+
+CC BY-SA 4.0
+
+原著作者：株式会社クリアコード
+
+ページヘッダーで使っています。
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-davis-2023
+
+=== 表示
+
+  rabbit rabbit-slide-kou-davis-2023.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  spec.files += Dir.glob("images/**/*.*")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-clear-code")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/arrow-and-red-data-tools.rab

@@ -0,0 +1,572 @@
+= Apache Arrow,\nRed Arrow,\nRed Data Tools
+
+: author
+   須藤功平
+: institution
+   株式会社クリアコード
+: content-source
+   地球流体データ解析・数値計算ワークショップ
+: date
+   2023-03-29
+: start-time
+   2023-03-29T13:30:00+09:00
+: end-time
+   2023-03-29T14:30:00+09:00
+: theme
+   clear-code
+
+= 須藤功平
+
+    * kou
+    * 2004年からRubyコミッター
+    * 2017年から\n
+      Apache Arrowのコミッター
+    * 2017年にRed Data Tools開始
+    * 2022年のApache ArrowのPMCチェアー
+
+  # image
+  # src = http://www.gravatar.com/avatar/ee6ffca720cc428d70247dcd7377dd48.jpeg?s=800
+  # align = right
+  # vertical-align = top
+  # relative-width = 30
+  # relative-margin-right = -10
+  # relative-margin-bottom = 0.5
+  # caption-font-size = 1
+
+= 今日の話
+
+  * あなたたちもRubyでデータ処理できるように((*する*))側にまわるんだよ！！！
+  * これからのデータ処理界隈のことを知るにはApache Arrowのことを知っておくといいから基本を説明するね！
+
+= Rubyでデータ処理、2023
+
+  * 相変わらずPythonとかRほどはできない
+  * でも、できることは増えている
+
+= できること
+
+  * 多次元数値配列の演算：Numo::NArray
+  * データフレームでの前処理：RedAmber他
+  * 可視化：Charty他
+  * データセットへのアクセス：Red Datasets
+  * 著名データフォーマットの読み書き
+  * ...
+
+= なぜできることが増えているのか
+
+手を動かしている\n
+人たちが\n
+いるから！
+
+= 手を動かしている人たち
+
+  * Red Data Tools
+  * Ruby Numo (('note:(NUmerical MOdule)'))
+  * SciRuby
+  * BioRuby
+  * ankane
+  * ...
+
+= あなたがするべきこと
+
+私たちと一緒に\n
+手を動かす！
+
+= Red Data Toolsポリシー
+
+(1) Rubyコミュニティーを超えて協力する
+(2) 非難することよりも手を動かすことが大事
+(3) (('note:一回だけの活発な活動よりも小さくてもいいので'))\n
+    継続的に活動することが大事
+(4) 現時点での知識不足は問題ではない
+(5) 部外者からの非難は気にしない
+(6) 楽しくやろう！
+
+(('tag:center'))
+(('note:((<URL:https://red-data-tools.github.io/ja/>))'))
+
+= 活動例
+
+Apache Arrowの開発
+
+= Apache Arrow
+
+インメモリー\n
+データ処理の\n
+共通基盤
+
+= 共通基盤
+
+各データ処理プロダクト共通で必要なやつはみんなで協力して作って共有しようぜ！
+
+= 共通で必要なやつ？共有？
+
+  * たくさんある！
+    * 今どきはPython用に作られていたようなやつら
+    * 理由：すでにPythonにエコシステムがあるから
+  * なんで共有したいの？
+    * Python以外でも使いたい！(('note:（エコシステムがあるのに！？）'))
+    * RとかJavaとか！最近だとRust！\n
+      (('note:Rubyも仲間に入れて！！！'))
+
+= Rubyとデータ処理\n(('note:負のループ'))
+
+  # mermaid
+  # relative_width = 90
+  graph LR;
+    A[ユーザーが少ない]-->B[コミュニティーが小さい];
+    B-->C[開発者が少ない];
+    C-->D[便利ツールが少ない];
+    D-->A;
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= この負のループを打ち破るには？
+
+    # mermaid
+    # relative_width = 40
+    # align = right
+    # vertical-align = top
+    # relative-margin-right = -10
+    # relative-margin-bottom = 0.5
+    graph LR;
+      A[ユーザーが少ない]-->B[コミュニティーが小さい];
+      B-->C[開発者が少ない];
+      C-->D[便利ツールが少ない];
+      D-->A;
+
+  * ユーザーが少ない：便利ツールを増やす？
+  * コミュニティーが小さい：ユーザー増？
+  * 開発者少：コミュニティーを大きくする？
+  * 便利ツールが少ない：開発者を増やす？
+
+= 少ない開発者で便利ツールを増やす
+
+  # mermaid
+  # relative_width = 90
+  graph LR;
+    subgraph all[" "]
+      direction TB
+      subgraph 負のループ
+        N0[ユーザーが少ない]-->N1[コミュニティーが小さい];
+        N1-->N2[開発者が少ない];
+        N2-->N3[便利ツールが少ない];
+        N3-->N0;
+      end
+      subgraph 正のループ
+        P0[ユーザーが多い]-->P1[コミュニティーが大きい];
+        P1-->P2[開発者が多い];
+        P2-->P3[便利ツールが多い];
+        P3-->P0;
+      end
+      N2-.->P3;
+    end
+    style all fill-opacity:0,stroke-width:0px
+
+== Slide properties
+
+: enable-title-on-image
+   false
+
+= そこでApache Arrowですよ！！！
+
+  * 共通基盤を共有！
+  * Rubyも乗るしかない！
+    * 他の言語の人たちと共同開発できる
+    * Ruby開発者が少なくても便利ツールを増やせる
+
+= ということでやっている
+
+  * 2017年からApache Arrowのコミッター
+  * 2017年にRed Data Tools開始
+    * 1. Rubyコミュニティーを超えて協力する
+  * 2022年のApache ArrowのPMCチェアー
+
+= 成果例
+
+  * Red Arrow
+    * Apache ArrowのRubyバインディング
+  * RedAmber
+    * Red Arrowベースのデータフレーム
+  * Red Parquet
+    * Apache Parquetの読み書き
+
+= Apache Arrowが提供するもの
+
+  * 読み書きがすごく速いデータフォーマット
+  * ↑を活かしたRPCフレームワーク
+  * ↑を活かしたDB連携機能
+  * 各種データフォーマットとの相互変換
+  * 計算がすごく速いメモリーレイアウト
+  * ↑を活かした速い計算
+  * ...
+
+= すごく速いデータフォーマット
+
+  # img
+  # src = https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-online-2020/why-apache-arrow-format-is-fast.pdf
+  # relative_height = 80
+
+(('tag:center'))
+(('note:((<URL:https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-online-2020/>))'))
+
+= Apache Arrowフォーマット
+
+  * データフォーマット
+    * 通信用とインメモリー用の両方
+  * 表形式のデータ用
+    * ＝データフレーム形式のデータ用
+  * 速い！
+
+= 速い！
+
+  * データ((*交換*))が速い！
+  * データ((*処理*))が速い！
+
+= データ交換が速い！
+
+(('tag:center'))
+(('tag:margin-bottom * -0.5'))
+Apache Arrowフォーマットにすると高速化！
+
+  # image
+  # src = images/apache-arrow-and-data-interchange.svg
+  # relative-height = 100
+
+= 利用事例：Apache Spark
+
+  # image
+  # src = images/apache-arrow-and-apache-spark.svg
+  # relative-height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= 利用事例：Amazon Athena
+
+  # image
+  # src = images/apache-arrow-and-amazon-athena.svg
+  # relative-height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= どうして速いの？
+
+  * シリアライズコストが低い
+    * すぐに送れるようになる
+  * デシリアライズコストが低い
+    * 受け取ったデータをすぐに使えるようになる
+
+= シリアライズ処理
+
+  (1) メタデータを用意
+  (2) メタデータ+元データそのものを送信
+      * 元データを加工しないから速い！
+      * なにもしないのが最速！
+
+= 元データを加工する例：JSON
+
+  0x01 0x02（8bit数値の配列）
+     ↓
+  "[1,2]"（JSON）
+  0x01→0x49（数値→ASCIIの文字：'1'）
+  0x02→0x50（数値→ASCIIの文字：'2'）
+
+= 元データそのものを使うと…
+
+  * 変換処理にCPUを使わなくてよい
+    * 速い
+  * 変換後のデータ用のメモリー確保ゼロ
+    * 大きなメモリー確保はコストが高い
+    * 一定の作業領域を使い回すとかしなくてよい
+    * 速い
+
+= デシリアライズ処理
+
+  (1) メタデータをパース
+  (2) メタデータを基に元データを取り出す
+      * 元データをそのまま使えるから速い！
+      * なにもしないのが最速！
+
+= 元データを元に戻す例：JSON
+
+  "[1,2]"（JSON）
+     ↓
+  0x01 0x02（8bit数値の配列）
+  0x49→0x01（ASCIIの文字：'1'→数値）
+  0x50→0x02（ASCIIの文字：'2'→数値）
+
+= 元データを取り出せると…
+
+  * 変換処理にCPUを使わなくてよい
+    * 速い
+  * 変換後のデータ用のメモリー確保ゼロ
+    * すでにあるデータをそのまま使うのでゼロコピー
+    * 速い
+  * メモリーマップで直接データを使える
+    * ディスク上のメモリー以上のデータを扱える
+
+= {,デ}シリアライズコスト
+
+  * Apache Arrowフォーマット
+    * ほぼメタデータのパースコストだけ
+  * それ以外の多くのフォーマット
+    * データ変換処理（CPU）
+    * 作業用メモリー確保処理（メモリー）
+
+= データ交換が速い！
+
+(('tag:center'))
+(('tag:margin-bottom * -0.5'))
+Apache Arrowフォーマットにすると高速化！
+
+  # image
+  # src = images/apache-arrow-and-data-interchange.svg
+  # relative-height = 100
+
+= データサイズは？
+
+  * CPU・メモリーにやさしくて速いんだね！
+  * じゃあ、データサイズはどうなの？
+    * 大きいとネットワーク・IOがボトルネック
+    * 本来のデータ処理を最大限リソースを使いたい
+    * データ交換をボトルネックにしたくない
+
+= データサイズ
+
+  * 別に小さくない
+    * 元データそのままなのでデータ量に応じて増加
+  * Zstandard・LZ4での圧縮をサポート
+    * ゼロコピーではなくなるがサイズは数分の1
+    * 圧縮・展開が必要→元データそのものを使えない
+    * CPU・メモリー負荷は上がるが\n
+      ネットワーク・IO負荷は下がる
+    * ネットワーク・IOがボトルネックになるなら効く
+
+= 圧縮時のデータサイズと読み込み速度
+
+    # image
+    # src = https://ursalabs.org/20200414_file_sizes.png
+    # align = left
+    # vertical-align = top
+    # relative-width = 75
+
+  # image
+  # src = https://ursalabs.org/20200414_read_py.png
+  # align = right
+  # vertical-align = bottom
+  # relative-width = 75
+  # relative-clip-y = 12
+  # relative-margin-top = 12
+  # relative-margin-left = -3.8
+
+(('tag:right'))
+(('tag:margin-top * 15'))
+(('note:((<URL:https://ursalabs.org/blog/2020-feather-v2/>))'))
+
+== スライドプロパティー
+
+: enable-clear-blue-slide-body-vertical-centering
+   false
+
+: enable-title-on-image
+   false
+
+= データ交換が速い！のまとめ
+
+  * {,デ}シリアライズが速い
+    * 元データをそのまま使うので処理が少ない
+    * CPU・メモリーにやさしい
+  * 圧縮もサポート
+    * ネットワーク・IOがボトルネックならこれ
+    * CPU・メモリー負荷は上がるが\n
+      データ交換のボトルネックを解消できるかも
+
+= 交換したデータの扱い
+
+  * データ分析はデータ交換だけじゃない
+    * データ交換だけ速くしても基盤とは言えない
+  * データ処理も速くしないと！
+    * データ処理を速くするにはデータ構造が大事
+
+= 高速処理のためのデータ構造
+
+  * 基本方針：
+    * 関連するデータを近くに置く
+  * 効果：
+    * CPUキャッシュミスを減らす
+    * SIMDを活用できる
+
+= データ分析時の関連データ
+
+  * 分析時はカラムごとの処理が多い
+    * 集計・ソート・絞り込み…
+  * 同じカラムのデータを近くに置く
+    * カラムナーフォーマット
+
+= カラムナーフォーマット
+
+  # img
+  # src = images/columnar.svg
+  # relative_height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= 各カラムでのデータの配置
+
+  * 関連するデータを近くに置く
+  * 定数時間でアクセスできるように置く
+  * SIMDできるように置く
+    * アラインする\n
+      (('note:アライン：データの境界を64の倍数とかに揃える'))
+    * 条件分岐をなくす
+
+= 真偽値・数値のデータの配置
+
+  固定長データなので連続して配置
+  32ビット整数：[1, 2, 3]
+  0x01 0x00 0x00 0x00 0x02 0x00 0x00 0x00 0x03 ...
+
+= 文字列・バイト列：データの配置
+
+  実データバイト列+長さ配列に配置
+  UTF-8文字列：["Hello", "", "!"]
+  実データバイト列："Hello!"
+  長さ配列：[0, 5, 5, 6]
+  i番目の長さ：長さ配列[i+1] - 長さ配列[i]
+  i番目のデータ：
+    実データバイト列[長さ配列[i]..長さ配列[i+1]]
+  注：長さ→データ→長さ→データ→…で置くと
+      定数時間でi番目にアクセスできない
+
+= nullと条件分岐
+
+  * null対応のアプローチ：
+    * null値：Julia: ((<(({missing}))|URL:https://docs.julialang.org/en/v1/manual/missing/>)), R: ((<(({NA}))|URL:https://cran.r-project.org/doc/manuals/r-release/R-lang.html#NA-handling>))
+    * 別途ビットマップを用意：Apache Arrow
+  * ビットマップを使うと条件分岐をなくせる
+
+= nullと条件分岐とSIMD
+
+  # img
+  # src = images/simd-null.svg
+  # relative_height = 100
+
+== スライドプロパティー
+
+: enable-title-on-image
+   false
+
+= nullと条件分岐とSIMD
+
+  # image
+  # src = https://wesmckinney.com/images/bitmaps_vs_sentinels.png
+  # relative-height = 90
+
+(('tag:right'))
+(('note:((<URL:https://wesmckinney.com/blog/bitmaps-vs-sentinel-values/>))'))
+
+== スライドプロパティー
+
+: enable-clear-blue-slide-body-vertical-centering
+   false
+
+: enable-title-on-image
+   false
+
+= 高速なデータ処理のまとめ
+
+  * 高速なデータ処理にはデータ構造が重要
+    * データ分析にはカラムナーフォマットが適切
+  * 定数時間でアクセス可能なデータの配置
+  * SIMDにやさしいデータの持ち方
+    * アライン・null用のビットマップ
+
+= まとめ：Apache Arrowフォーマット
+
+  * Apache Arrowフォーマット
+    * 通信用・インメモリー用のデータフォーマット
+    * 表形式のデータ用
+  * Apache Arrowフォーマットは速い
+    * データ((*交換*))が速い
+    * データ((*処理*))が速い
+    * データ交換してすぐに高速処理できるフォーマット
+
+= まとめ：なぜデータ交換が速いのか
+
+  * 元データをそのままやりとりできるから
+    * {,デ}シリアライズコストが低い
+    * CPU・メモリーにやさしい
+  * ネットワーク・IOの負荷を下げたい
+    * Zstandard・LZ4による圧縮
+    * CPU・メモリー負荷は上がるが\n
+      ネットワーク・IO負荷は下がる
+
+= まとめ：なぜデータ処理が速いのか
+
+  * 最適化されたデータ構造
+    * カラムナーフォーマット
+    * SIMDを使えるデータの持ち方
+  * 最適化された実装
+    * 今回は紹介していない！！！
+    * pandas 2.0.0はこれを使って高速になるよ！
+
+= Red Arrow
+
+  * Apache ArrowのRubyバインディング
+    * Apache Arrowの機能をRubyらしいAPIで
+    * red-parquet/red-adbcなど別gemに分離した機能も
+  * 既存gemのApache Arrow対応は別gemで
+    * red-arrow-activerecord: Active Recordのクエリー結果をRed Arrowオブジェクトに変換
+    * red-arrow-duckdb: DuckDBの入出力をRed Arrowオブジェクトで
+
+= あなたとRed Arrow
+
+  * よく使うだろう機能：
+    * (({Arrow::Table.load(path)}))：いい感じに読み込む
+    * (({Arrow::Table#save(path)})): いい感じに書き出す
+  * 開発に参加！は難しそう
+    * 使用技術：C++/GObject Introspection/Ruby(('note:（少し）'))
+
+= Red Data Tools
+
+Rubyでデータ処理\n
+できるように\n
+するための\n
+プロジェクト
+
+= Red Data Toolsプロダクツ
+
+  * Red Arrow
+  * Charty：可視化
+  * Red Datasets：データセット
+  * RedAmber：データフレーム
+  * ...
+
+= あなたとRed Data Tools
+
+  * 使う
+  * 開発に参加する
+    * 4. 現時点での知識不足は問題ではない
+    * 6. 楽しくやろう！
+  * チャットにおいで！
+    * ((<URL:https://gitter.im/red-data-tools/ja>))
+
+= あなたとRed Data Toolsプロダクツ
+
+  * Red Arrow：難しそう
+  * Charty：いけるかも？
+  * Red Datasets：よさそう
+  * RedAmber：よさそう
+  * ...(('note:（チャットでよさそうなプロダクトを一緒に考えるよ！）'))...

data/config.yaml

@@ -0,0 +1,25 @@
+---
+id: davis-2023
+base_name: arrow-and-red-data-tools
+tags:
+- rabbit
+- arrow
+- red_data_tools
+presentation_date: 2023-03-29
+version: 2023.3.29.0
+licenses:
+- CC-BY-SA-4.0
+slideshare_id:
+speaker_deck_id:
+vimeo_id:
+youtube_id:
+width: 1920
+height: 1080
+source_code_uri: https://gitlab.com/ktou/rabbit-slide-kou-davis-2023
+author:
+  markup_language: :rd
+  name: 須藤功平
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user: kou
+  speaker_deck_user: