rabbit-slide-kou-okinawa-rubykaigi-02 2018.3.10.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: e1daa592cd5f2eae875752190067c783883a382d
+  data.tar.gz: 3543d9415d62ebfe9c90b1d1c02a453ad11912c8
+SHA512:
+  metadata.gz: 15e71378ff100e5f20d8f235e021813d648eb143027a31235526c64615e887f75f64cb834b6b587569155fb34fc52d0441b28922197bd9f0834a9d662631af0d
+  data.tar.gz: c79103e61a0c9476e90686a929d6c97ef426b1a849f743757a6eb42b5ef36caba8b3d0e03e12e31c39f2866a7a1c3e220b9fc42a0f300f3fc2110687a0b109c8

data/.rabbit

@@ -0,0 +1 @@
+red-data-tools.rab

data/README.rd

@@ -0,0 +1,44 @@
+= Red Data Tools
+
+Rubyでデータ処理するツールが足りないなら自分たちで楽しく作ればいいじゃんねー。よーし、作るかー！というプロジェクトがRed Data Toolsです。そんなRed Data Toolsプロジェクトが作っているツールの実装を紹介します。楽しそうだなー、一緒に作りたいなー、と思ったなら私の勝ちです。
+
+== ライセンス
+
+=== スライド
+
+CC BY-SA 4.0
+
+原著作者名は以下の通りです。
+
+  * 須藤功平（またはKouhei Sutou）
+
+=== 画像
+
+==== 各種クリアコード関連のロゴ
+
+CC BY-SA 4.0
+
+原著作者名は以下の通りです。
+
+  * 株式会社クリアコード
+
+== 作者向け
+
+=== 表示
+
+  rake
+
+=== 公開
+
+  rake publish
+
+== 閲覧者向け
+
+=== インストール
+
+  gem install rabbit-slide-kou-okinawa-rubykaigi-02
+
+=== 表示
+
+  rabbit rabbit-slide-kou-okinawa-rubykaigi-02.gem
+

data/Rakefile

@@ -0,0 +1,17 @@
+require "rabbit/task/slide"
+
+# Edit ./config.yaml to customize meta data
+
+spec = nil
+Rabbit::Task::Slide.new do |task|
+  spec = task.spec
+  spec.files += Dir.glob("*.rb")
+  # spec.files -= Dir.glob("private/**/*.*")
+  spec.add_runtime_dependency("rabbit-theme-clear-code")
+end
+
+desc "Tag #{spec.version}"
+task :tag do
+  sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
+  sh("git", "push", "--tags")
+end

data/config.yaml

@@ -0,0 +1,25 @@
+---
+id: okinawa-rubykaigi-02
+base_name: red-data-tools
+tags:
+- rabbit
+- okrk02
+- red-data-tools
+presentation_date: 2018-03-10
+presentation_start_time: 
+presentation_end_time: 
+version: 2018.3.10.0
+licenses:
+- CC BY-SA 4.0
+slideshare_id: 
+speaker_deck_id: 
+ustream_id: 
+vimeo_id: 
+youtube_id: 
+author:
+  markup_language: :rd
+  name: 須藤功平
+  email: kou@clear-code.com
+  rubygems_user: kou
+  slideshare_user: kou
+  speaker_deck_user: 

data/no-alpha.rb

@@ -0,0 +1,13 @@
+#!/usr/bin/env ruby
+
+require "arrow-gdk-pixbuf"
+require "arrow-numo-narray"
+
+pixbuf = GdkPixbuf::Pixbuf.new(file: "lavie.png")
+
+narray = pixbuf.to_arrow.to_narray
+narray[true, true, 3] = 0xff
+no_alpha_pixbuf = narray.to_arrow.to_pixbuf
+
+no_alpha_pixbuf.save("png", filename: "lavie-no-alpha.png")
+

data/progress-background.rb

@@ -0,0 +1,14 @@
+#!/usr/bin/env ruby
+
+n = 40
+1.upto(n) do |i|
+  stat = File.read("/proc/self/stat").sub(/\A.+\) /, "").split
+  process_group_id = stat[2]
+  terminal_process_group_id = stat[5]
+  if process_group_id == terminal_process_group_id
+    print("\r|%-*s|" % [n, "*" * i])
+  end
+  sleep(0.1)
+end
+puts
+puts("Done")

data/progress-term-width.rb

@@ -0,0 +1,15 @@
+#!/usr/bin/env ruby
+
+require "io/console/size"
+
+n = 40
+1.upto(n) do |i|
+  height, width = IO.console_size
+  progress_width = width - "||".size
+  if progress_width > 0
+    ratio = (progress_width * (i / n.to_f)).ceil
+    print("\r|%-*s|" % [progress_width, "*" * ratio])
+  end
+  sleep(0.1)
+end
+puts

data/progress.rb

@@ -0,0 +1,8 @@
+#!/usr/bin/env ruby
+
+n = 40
+1.upto(n) do |i|
+  print("\r|%-*s|" % [n, "*" * i])
+  sleep(0.05)
+end
+puts

data/read-csv.rb

@@ -0,0 +1,10 @@
+#!/usr/bin/env ruby
+
+require "arrow"
+require "parquet"
+
+table = Arrow::Table.load("sample.csv")
+table.save("sample.arrow")
+table.save("sample.parquet")
+
+puts(Arrow::Table.load("sample.parquet"))

data/red-data-tools.rab

@@ -0,0 +1,1006 @@
+= Red Data Tools
+
+: subtitle
+   楽しく実装すればいいじゃんねー
+: author
+   須藤功平
+: institution
+   株式会社クリアコード
+: content-source
+   沖縄Ruby会議02
+: date
+   2018-03-10
+: start-time
+   2018-03-10T13:00:00+09:00
+: end-time
+   2018-03-10T13:50:00+09:00
+: theme
+   clear-code
+
+= Red Data Tools
+
+プロジェクト
+
+= 実現したいこと
+
+Rubyで\n
+データ処理
+
+= やっていること
+
+データ処理用の\n
+ツールの開発
+
+= 開発例
+
+  * 各種フォーマットを扱うgem
+    * Apache Arrow, Apache Parquet, CSV, ...
+  * 各種パッケージの用意
+    * deb, RPM, Homebrew, ...
+  * ...
+
+= この話の目的
+
+勧誘\n
+(('note:一緒に開発しようぜ！'))
+
+= 勧誘方法
+
+  * プロジェクトのポリシーを紹介
+    * 一緒に活動したくなる！
+  * 開発の具体例を紹介
+    * 一緒に開発したくなる！
+
+= ポリシー1
+
+(('tag:center'))
+(('tag:large'))
+Rubyコミュニティーを\n
+超えて協力する\n
+(('note:もちろんRubyコミュニティーとも協力する'))
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= Rubyに閉じずに協力
+
+  * 他の言語は敵ではない
+    * 他の言語がよくなることは\n
+      Rubyがなにかを失うことではない
+  * みんなよくなったらいいじゃん
+    * Rubyも他の言語も
+
+= 協力例\n(('note:Apache Arrow'))
+
+  * Pythonの人達他と一緒にC/C++のライブラリーを開発
+    * それぞれでバインディングを開発
+    * それぞれで同じライブラリーを活用
+
+= ポリシー2
+
+(('tag:center'))
+(('tag:large'))
+非難することよりも\n
+手を動かすことが大事
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 非難しない
+
+そんなことを\n
+している\n
+時間はない
+
+= 手を動かす
+
+  * これ、よくないなー
+    * よくすればいいじゃんねー
+  * これがないからなー
+    * 作ればいいじゃんねー
+
+= ポリシー3
+
+(('tag:center'))
+(('tag:large'))
+一回だけの活発な活動より\n
+小さくても\n
+継続的に活動することが\n
+大事
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 一回だけの活発な活動
+
+  * ○○作ったよ！どーん！
+    * すごい！
+    * (('note:…数年後…'))今動かないんだよね…
+
+= 継続的な活動
+
+  * ちまちま○○作ってるんだー！
+    * がんばってね！今後に期待！
+    * (('note:…数年後…'))これは…使える！
+
+= 継続的な活動のために
+
+  * がんばり過ぎない
+    * 短距離走ではなくマラソン
+    * 途中で休んだっていい
+  * 1人で抱え込まない
+    * みんなでやれば途中で休みやすい
+
+= ポリシー4
+
+(('tag:center'))
+(('tag:large'))
+現時点での知識不足は\n
+問題ではない
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 知識不足？
+
+  * 高速な実装の実現
+    * プログラミング・数学などの\n
+      高度な知識は便利
+  * 今すごい人でも\n
+    最初はなにも知らなかった
+    * 「今知らないこと」は\n
+      「始めない理由」にはならない
+
+= 私たちは学べる
+
+  * 知識は身につく
+    * 活動していく中で自然と
+  * 学び方
+    * OSSの既存実装から学習
+    * ドキュメントを読む
+    * 他の人から教えてもらう
+
+= ポリシー5
+
+(('tag:center'))
+(('tag:large'))
+部外者からの非難は\n
+気にしない
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 部外者からの非難
+
+  * Rubyで頑張ってもアレだよねー\n
+    とか
+    * 無視する
+  * 対応している時間はない
+
+= ポリシー6
+
+楽しくやろう！
+
+= 楽しむ
+
+使っているのは\n
+Rubyだから！
+
+= ポリシー
+
+  * Ruby外とも協力
+  * 非難するより手を動かす
+  * 継続的な活動
+  * 知識不足は問題ない
+  * 外からの非難は気にしない
+  * 楽しくやろう！
+
+= 開発例
+
+  * ツールの紹介((*ではない*))
+  * 実装の紹介
+    * 開発中に((*おっ*))と思ったやつとか
+    * 紹介したいやつとか
+
+= 開発例1
+
+csv
+
+= csv
+
+  * CSVの読み書きライブラリー
+  * 2003年から標準添付
+  * 2018年からメンテナンスを引取
+
+= (({dig}))を追加したとき
+
+(('tag:x-small'))((<URL:https://github.com/ruby/csv/pull/15>))
+
+  * (({CSV::Table#dig}))
+  * (({CSV::Row#dig}))
+
+= (({dig}))の作り方
+
+  # rouge ruby
+
+  def dig(index, *indexes)
+    # ここだけ違う
+    value = find_value(index)
+    # ↓は共通
+    return nil if value.nil?
+    return value if indexes.empty?
+    value.dig(*indexes)
+  end
+
+= (({CSV::Row}))での(({find_value}))
+
+  # rouge ruby
+
+  row[index] # => field value
+
+(({dig}))の中では(({self}))の(({[]}))を呼べばよい
+
+= (({[]}))の呼び方
+
+  # rouge ruby
+
+  def dig(index, *indexes)
+    # インスタンスメソッドでは
+    # selfを省略できるからこう？
+    value = [index]
+    # ↑は配列リテラル
+    # ...
+  end
+
+= (({[]}))の呼び方
+
+  # rouge ruby
+
+  def dig(index, *indexes)
+    # こういうときこそsendで　　
+    # メソッド呼び出し
+    value = send(:[], index)
+    # 動く
+    # ...
+  end
+
+= (({[]}))の呼び方
+
+  # rouge ruby
+
+  def dig(index, *indexes)
+    # row[index]みたいに書けば　
+    # よかった
+    value = self[index]
+    # もちろん動く
+    # ...
+  end
+
+= (({self}))の(({[]}))の呼び方
+
+  * 自分も昔悩んだ気がする
+  * 懐かしかったので紹介
+  * みんなで開発🠊気づきやすい
+
+= 開発例2
+
+Red Datasets
+
+= Red Datasets
+
+  * データを簡単に使えるように！
+  * 実験・開発に便利
+
+= 例：日本語データ欲しい！
+
+  # rouge ruby
+  require "datasets"
+  # 日本語版Wikipediaの記事データ
+  options = {language: :ja, type: :articles}
+  dataset = Datasets::Wikipedia.new(options)
+  dataset.each do |page| # 全ページを順に処理
+    p page.title         # タイトル
+    p page.revision.text # 本文
+  end
+
+(('tag:center'))
+(('note:インターフェイスがeachなのがカッコいいんだよ！'))
+
+= 実装方法
+
+  (1) データのダウンロード
+  (2) データのパース
+  (3) 順に(({yield}))
+
+= ダウンロード
+
+  # rouge ruby
+  require "open-uri"
+  open("https://...") do |input|
+    File.open("...", "wb") do |output|
+      IO.copy_stream(input, output)
+    end
+  end
+
+= 途中でエラーになったら？
+
+(('tag:center'))
+(('tag:x-large'))
+やり直し
+
+(('tag:center'))
+または
+
+(('tag:center'))
+(('tag:x-large'))
+再開
+
+= 再開
+
+HTTP\n
+range request
+
+= HTTP range request
+
+  * リクエスト
+    * (({Range: bytes=#{start}-}))
+  * レスポンス
+    * (({206 Partial Content}))
+    * (({Content-Range: bytes ...}))
+
+= open-uriとrange request
+
+  * open-uriはrange request未対応
+    * 出力無関係のAPIだからしょうがない
+  * どうなるのがいいだろう？
+    * 今度田中さんに相談しよう
+    * Red Data ToolsはRubyもよくしたい\n
+      (('note:ポリシー1：コミュニティーを超えて協力'))
+
+= open-uriでrange request
+
+  # rouge ruby
+  # 文字列キーはHTTPヘッダーになる
+  options = {"Range" => "bytes=#{start}-"}
+  open("...", options) do |input|
+    # レスポンスが200か206かはわからない
+    File.open("...", "ab") do |output|
+      IO.copy_stream(input, output)
+    end
+  end
+
+= 大きなデータの扱い
+
+  * 時間がかかる
+  * あとどのくらいか気になる
+    * ちゃんと動いているよね…？
+
+= あとどのくらい？
+
+プログレスバー
+
+= プログレスバーの実装
+
+  # rouge ruby
+
+  n = 40
+  1.upto(n) do |i|
+    print("\r|%-*s|" % [n, "*" * i])
+    sleep(0.1)
+  end
+  puts
+
+= sprintfフォーマット
+
+(('tag:center'))
+(({%-*s}))
+
+  * (({%}))：フォーマット開始
+  * (({-}))：左詰め
+  * (({*}))：引数で幅を指定
+  * (({s}))：対象は文字列
+
+= sprintfフォーマット
+
+(('tag:center'))
+(({"%-*s" % [n, "*" * i]}))
+
+  * 幅は(({n}))桁
+  * (({"*" * i}))を左詰め
+
+= open-uriでプログレスバー
+
+  # rouge ruby
+
+  length = nil
+  progress = lambda do |current|
+    ratio = current / length.to_f
+    print("\r|%-10s|" % ["*" * (ratio * 10).ceil])
+  end
+  open(uri,
+       content_length_proc: ->(l) {length = l},
+       progress_proc: progress) do |input|
+    # ...
+  end
+  puts
+
+= もっとプログレスバー
+
+  * バックグランド化したら？
+    * 表示して欲しくない\n
+      (('note:ヒント：プロセスグループ'))
+  * リダイレクトしているときは？
+    * 表示して欲しくない\n
+      (('note:ヒント：IO#tty?'))
+  * プログレスバーの表示幅は？\n
+    (('note:ヒント：io/console/size'))
+
+= 開発例3
+
+Apache Arrow\n
+Red Arrow
+
+= Apache Arrow
+
+  * インメモリーデータ分析用\n
+    データフォーマット\n
+    (('note:ほぼ固まってきた'))
+  * インメモリーデータ分析用\n
+    高速なデータ操作実装\n
+    (('note:徐々に実装が始まっている'))
+  * 今、すごくアツい！
+
+= Apache Arrowの特徴
+
+(('tag:center'))
+(('tag:large'))
+データ交換コストが低い
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 低データ交換コスト
+
+  * 複数システムで協力しやすい
+    * Rubyでデータ取得🠊Pythonで分析
+  * 徐々にRubyを使えるところを\n
+    増やせる
+
+= Apache Arrowの利用例
+
+  * Scala🤝Python
+    * (('tag:x-small'))Apache Spark
+  * CPU🤝GPU
+    * (('tag:x-small'))((<URL:https://github.com/gpuopenanalytics/libgdf>))
+  * CPU🤝FPGA
+    * (('tag:x-small'))((<URL:https://github.com/johanpel/fletcher>))
+
+= Apache ArrowをRubyでも！
+
+  * バインディングを本体で開発
+    * 本体の開発チームに入った\n
+    * GObject Introspection(GI)を利用
+  * GIを使うとRuby以外のバインディングも自動生成できる\n
+    (('note:ポリシー1：コミュニティーを超えて協力'))
+
+= Red Arrow
+
+  * Apache Arrowの\n
+    Rubyバインディング
+  * GIベースのバインディングに\n
+    Ruby特有の機能をプラス
+
+= Ruby特有の機能例
+
+スライスAPI
+
+= スライス
+
+(('tag:center'))
+データの一部を切り出す
+
+  # rouge ruby
+
+  (0..10).to_a.slice(2)
+  # => 2
+  (0..10).to_a.slice(2..4)
+  # => [2, 3, 4]
+  (0..10).to_a.slice(2, 4)
+  # => [2, 3, 4, 5]
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice(2)
+  # 2行目だけのテーブル
+  # Array#sliceと違う
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice(2..4)
+  # 2,3,4行目だけのテーブル
+  # Array#sliceと同じ
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice(2, 4)
+  # 2,4行目だけのテーブル
+  # Array#sliceと違う
+  table.slice(2, 4, 6, 8)
+  # 2,4,6,8行目だけのテーブル
+  # Array#sliceと違う
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice([2, 4])
+  # 2,3,4,5行目だけのテーブル
+  # Array#slice(2, 4)と同じ
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice([true, false] * 5)
+  # 0,2,4,6,8行目だけのテーブル
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice do |slicer|
+    slicer.price >= 500
+  end
+  # priceカラムの値が500以上の
+  # 行だけのテーブル
+
+= Red Arrowのスライス
+
+  # rouge ruby
+
+  table.slice do |slicer|
+    (slicer.price >= 500) &
+      (slicer.is_published)
+  end
+  # priceカラムの値が500以上かつ
+  # is_publishedカラムの値がtrueの
+  # 行だけのテーブル
+
+= Red Arrowのスライス
+
+Active Recordみたいなfluent intefaceよりもブロック内で式を書く方がRubyっぽいんじゃないかと思うんだよねー\n
+fluent interfaceはORを書きにくいからさー
+
+(('tag:xx-small'))
+Fluent interface:\n
+((<URL:http://bliki-ja.github.io/FluentInterface/>))
+
+= ブロック内で条件式
+
+  # rouge ruby
+
+  class Arrow::Table
+    # table.slice {|slicer| ...}の実現
+    def slice(*slicers)
+      if block_given?
+        slicer = yield(Slicer.new(self))
+        slicers << slicer.evaluate
+      end
+      # ...
+    end
+  end
+
+= ブロック内で条件式
+
+  # rouge ruby
+
+  class Arrow::Slicer
+    def initialize(table)
+      @table = table
+    end
+
+    # slicer.priceの実現
+    def method_missing(name, *args, &block)
+      ColumnCondition.new(@table[name])
+    end
+  end
+
+= ブロック内で条件式
+
+  # rouge ruby
+
+  class ColumnCondition < Condition
+    def initialize(column)
+      @column = column
+    end
+
+    # slicer.price >= 500の実現
+    def >=(value)
+      GreaterEqualCondition.new(@column, value)
+    end
+  end
+
+= ブロック内で条件式
+
+  # rouge ruby
+
+  class GreaterEqualCondition < Condition
+    def initialize(column, value)
+      @column = column
+      @value = value
+    end
+
+    # slicer.price >= 500を評価
+    def evaluate
+      # ホントはC++で実装
+      @column.collect {|value| value >= @value}
+    end
+  end
+
+= ブロック内で条件式
+
+  # rouge ruby
+
+  class Condition
+    # (slicer.price >= 500) & (...)の実現
+    def &(condition)
+      AndCondition.new(self, condition)
+    end
+  end
+
+= 条件式のポイント
+
+  * 遅延評価
+    * ❌各要素毎にブロックを評価
+    * ブロックは一回だけ評価
+    * ブロックで指定した条件は\n
+      コンパイルしてC++実装で実行
+
+= Red Arrowと外の世界
+
+  * ハブになるといいかも！
+    * 各種データと変換可能に
+    * 各種オブジェクトと変換可能に
+  * Ruby間の連携を推進
+    * 今は互換性がないライブラリー\n
+      🠊連携できるように！
+
+= データ変換
+
+  * (({Arrow::Table.load}))
+    * データの読み込み
+  * (({Arrow::Table#save}))
+    * データの書き出し
+
+= データ変換例
+
+  # rouge ruby
+
+  # CSVを読み込んで
+  table = Arrow::Table.load("a.csv")
+  # Arrowで保存
+  table.save("a.arrow")
+  # Parquetで保存
+  table.save("a.parquet")
+
+= CSVの読み込み
+
+  * CSVは広く使われている
+    * CSVなデータを簡単に使えると捗る
+  * 難しいところ
+    * データ定義が緩い\n
+      例：カラムの型情報がない
+
+= Red Arrowでの読み込み
+
+  * 2パスで処理
+    (1) 全部処理して各カラムの型を推定
+    (2) 推定した型でArrowのデータに変換
+  * 😅時間がかかる
+    * 読み込んだデータを別の形式に変換して再利用する使い方を想定\n
+      だから、まぁ、いいかなぁって
+
+= 型の推定
+
+  # rouge ruby
+
+  candidate = nil
+  column.each do |value|
+    case value
+    when nil; next # ignore
+    when "true", "false", true, false; c = :boolean
+    when Integer; c = :integer
+    # ...
+    else; c = :string # わからなかったら文字列
+    end
+    candidate ||= c
+    candidate = :string if candidate != c # 混ざったら文字列
+    break if candidate == :string # 文字列なら終わり
+  end
+  candidate || :string # わからなかったら文字列
+
+= オブジェクト変換
+
+  * Numo::NArray, NMatrix
+    * 既存の多次元配列オブジェクト
+  * PyCall経由でPyArrow
+    * Rubyでデータ作成🠊Pythonで処理
+  * GDK Pixbuf
+    * 画像オブジェクト
+
+= オブジェクト変換例
+
+  # rouge ruby
+
+  # PNG画像を読み込み
+  pixbuf = GdkPixbuf::Pixbuf.new(file: "a.png")
+  # Arrow経由でNumo::NArrayに変換
+  narray = pixbuf.to_arrow.to_narray
+  # 不透明に（アルファ値（透明度）を0xffに）
+  narray[true, true, 3] = 0xff
+  # Arrow経由でGdkPixbuf::Pixbufに変換
+  no_alpha_pixbuf = narray.to_arrow.to_pixbuf
+  # GIF画像として保存
+  no_alpha_pixbuf.save(filename: "a-no-alpha.gif")
+
+= Pixbuf→Arrow
+
+  # rouge ruby
+
+  class GdkPixbuf::Pixbuf
+    def to_arrow
+      bytes = read_pixel_bytes # ピクセル値
+      buffer = Arrow::Buffer.new(bytes)
+      # 高さ、幅、チャンネル数の3次元配列
+      # チャンネル数：RGBAだと4チャンネル
+      shape = [height, width, n_channels]
+      # バイト列なのでUInt8
+      Arrow::Tensor.new(Arrow::UInt8DataType.new,
+                        buffer, shape)
+    end
+  end
+
+= ゼロコピーの実現
+
+  * ゼロコピー
+    * 同じメモリー領域を参照し、\n
+      コピーせずに同じデータを利用
+    * 速い！！！
+  * データ
+    * バイト列へのポインター
+    * Rubyでは(({RSTRING_PTR(string)}))
+
+= (({String}))とゼロコピー
+
+  # rouge c
+
+  /* pointerの内容をコピー */
+  rb_str_new(pointer, size);
+  /* pointerの内容を参照：ゼロコピー */
+  rb_str_new_static(pointer, size);
+
+= (({String}))とゼロコピーとGC
+
+  # rouge c
+
+  arrow_data = /* ... */;
+  /* ゼロコピー */
+  rb_str_new_static(arrow_data, size);
+  /* arrow_dataはいつ、だれが開放？ */
+
+= Rubyでゼロコピー
+
+  * ❌(({rb_str_new_static()}))だけ
+    * メモリー管理できない
+  * メモリー管理する何かが必要
+
+= Red Arrowでゼロコピー
+
+  * GBytesを利用
+  * GBytes
+    * GLib提供のバイト列オブジェクト
+    * リファレンスカウントあり
+  * Rubyだと(({GLib::Bytes}))
+
+= (({GLib::Bytes#to_s}))
+
+  # rouge c
+
+  static VALUE rgbytes_to_s(VALUE self) {
+    GBytes *bytes = RVAL2BOXED(self, G_TYPE_BYTES);
+    gsize size;
+    gconstpointer data =
+      g_bytes_get_data(bytes, &size);
+    /* ゼロコピーでASCII-8BITな文字列を生成 */
+    VALUE rb_data = rb_enc_str_new_static(
+      data, size, rb_ascii8bit_encoding());
+    rb_iv_set(rb_data, "@bytes", self); /* GC対策 */
+    return rb_data;
+  }
+
+= (({GLib::Bytes#initialize}))
+
+  # rouge c
+
+  static VALUE rgbytes_initialize(VALUE self, VALUE rb_data) {
+    const char *pointer = RSTRING_PTR(rb_data);
+    long size = RSTRING_LEN(rb_data);
+    GBytes *bytes;
+    if (RB_OBJ_FROZEN(rb_data)) { /* ゼロコピー */
+      bytes = g_bytes_new_static(pointer, size);
+      rb_iv_set(self, "source", rb_data); /* GC対策 */
+    } else { /* コピー */
+      bytes = g_bytes_new(pointer, size);
+    }
+    G_INITIALIZE(self, bytes);
+    return Qnil;
+  }
+
+= GBytesはすでに使っていた
+
+  # rouge ruby
+
+  class GdkPixbuf::Pixbuf
+    def to_arrow
+      # ピクセル値はGLib::Bytes
+      bytes = read_pixel_bytes
+      buffer = Arrow::Buffer.new(bytes)
+      shape = [height, width, n_channels]
+      Arrow::Tensor.new(Arrow::UInt8DataType.new,
+                        buffer,
+                        shape)
+    end
+  end
+
+= Red Chainer
+
+(('tag:large'))
+ChainerのRuby移植
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= Chainer
+
+  * 深層学習フレームワーク
+    * Pythonのみで実装
+  * 移植しやすい
+    * Pythonのみで実装されているから
+
+= Red Chainerサンプル
+
+  # rouge ruby
+
+  model = Chainer::Links::Model::Classifier.new(MLP.new(args[:unit], 10))
+  optimizer = Chainer::Optimizers::Adam.new
+  optimizer.setup(model)
+  train, test = Chainer::Datasets::Mnist.get_mnist
+
+  train_iter = Chainer::Iterators::SerialIterator.new(train, args[:batchsize])
+  test_iter = Chainer::Iterators::SerialIterator.new(test, args[:batchsize], repeat: false, shuffle: false)
+
+  # ...
+
+(('tag:center'))
+横に長い
+
+= Chainerのサンプル
+
+  # rouge python
+
+  import chainer
+  import chainer.links as L
+
+  model = L.Classifier(MLP(args.unit, 10))
+  optimizer = chainer.optimizers.Adam()
+  optimizer.setup(model)
+  train, test = chainer.datasets.get_mnist()
+  train_iter = chainer.iterators.SerialIterator(train, args.batchsize)
+  test_iter = chainer.iterators.SerialIterator(test, args.batchsize,
+                                               repeat=False, shuffle=False)
+
+(('tag:center'))
+こっちも横に長い
+
+= Pythonでの短く仕方
+
+  # rouge python
+
+  # 通常
+  import chainer
+  model = chainer.links.Classifier(MLP(args.unit, 10))
+
+  # Lでショートカット
+  import chainer.links as L
+  model = L.Classifier(MLP(args.unit, 10))
+
+= Rubyでの短く仕方
+
+  # rouge ruby
+
+  # 通常
+  model = Chainer::Links::Model::Classifier.new(...)
+
+  # Lでショートカット
+  L = Chainer::Links
+  model = L::Model::Classifier.new(...)
+
+= PythonとRubyの違い
+
+  * Python
+    * ファイル内でだけ(({L}))が有効
+    * ファイル単位でネームスペース
+  * Ruby
+    * グローバルに(({L}))が有効
+    * 微妙！
+
+= Rubyらしく短く
+
+  # rouge ruby
+
+  # Rubyのネームスペースの仕組みはモジュール
+  Module.new do
+    L = Chainer::Links
+    model = L::Model::Classifier.new(...)
+  end
+
+= 開発したくなった？
+
+  * 楽しそう！
+    * 一緒に開発しようぜ！
+  * やっぱRubyでデータ扱いたい！
+    * 一緒に開発しようぜ！
+  * レベルアップしたい！
+    * 一緒に開発しようぜ！
+
+= レベルアップへの道
+
+  * 😅NG集をたくさん覚える
+  * 😀よいコードにたくさん触れる
+
+= よいコード
+
+(('tag:large'))
+Red Data Toolsに\n
+たくさんある！
+
+== スライドプロパティー
+
+: as-large-as-possible
+   false
+
+= 一緒に開発
+
+  * 🌏どこからでもオンラインで
+    * GitHubとGitter（チャット）を使用
+  * ➕東京は月一オフラインで
+    * 🔍「OSS Gate Red Data Tools」
+
+= Join Red Data Tools!
+
+  * Webサイト
+    * (('tag:x-small'))((<URL:https://red-data-tools.github.io/ja/>))
+  * Gitter（チャット）
+    * (('tag:x-small'))((<URL:https://gitter.im/red-data-tools/ja>))
+  * GitHub
+    * (('tag:x-small'))((<URL:https://github.com/red-data-tools/>))

metadata

@@ -0,0 +1,86 @@
+--- !ruby/object:Gem::Specification
+name: rabbit-slide-kou-okinawa-rubykaigi-02
+version: !ruby/object:Gem::Version
+  version: 2018.3.10.0
+platform: ruby
+authors:
+- 須藤功平
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2018-03-09 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rabbit
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: 2.0.2
+- !ruby/object:Gem::Dependency
+  name: rabbit-theme-clear-code
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: Rubyでデータ処理するツールが足りないなら自分たちで楽しく作ればいいじゃんねー。よーし、作るかー！というプロジェクトがRed Data
+  Toolsです。そんなRed Data Toolsプロジェクトが作っているツールの実装を紹介します。楽しそうだなー、一緒に作りたいなー、と思ったなら私の勝ちです。
+email:
+- kou@clear-code.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rabbit"
+- README.rd
+- Rakefile
+- config.yaml
+- lavie-no-alpha.png
+- lavie.png
+- no-alpha.rb
+- pdf/okinawa-rubykaigi-02-red-data-tools.pdf
+- progress-background.rb
+- progress-term-width.rb
+- progress.rb
+- read-csv.rb
+- red-data-tools.rab
+homepage: http://slide.rabbit-shocker.org/authors/kou/okinawa-rubykaigi-02/
+licenses:
+- CC BY-SA 4.0
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.5.2.2
+signing_key: 
+specification_version: 4
+summary: Red Data Tools
+test_files: []