rabbit-slide-kou-data-science-rb 2017.5.19.1 → 2017.5.19.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: caa8052c0f2c084f9223249ee024cbb9e6ae35ce
-  data.tar.gz: df5bb5c6dea6d0cb4440533045c80a24436d06d5
+  metadata.gz: 8695ae18768ed7c379be63ca652892e35e6f375b
+  data.tar.gz: 18f3b2b84d73480199907dd6c6f7f07c96e175ff
 SHA512:
-  metadata.gz: 9818962f983dad4c48745e1c785b08bf99465b06c550d8025e64c88c004db87d16a6c2ea5d09112b229815256f0cc5c60411f5320f1e3981e27388595efcbddf
-  data.tar.gz: 0a0dd0861ecc75eea0b835e959578df85e5ab7d9ff46914aaec0bcf7a7ccabf0ab24cd09abe2d18026e310dfb3d38483ecf2c61e55941a239a2bbf54afbe0e3c
+  metadata.gz: b2cad6aec92ce83e33c0db57466363103da2c8447e99520af768f8013153817465de9066a365d1b6f91998852b9621a71f62a8f7d3ea00584ecf20cd3a722e66
+  data.tar.gz: 4f48ab9fd025c9a79633a2fea320e177a45a5fe84641e9da09285225076787be3a592e50c332e4f698a1fa23be8d41f61fbd0fb7c5496f20bda9ec7e9118abe6

data/config.yaml

@@ -7,7 +7,7 @@ tags:
 - arrow
 - data
 presentation_date: 2017-05-19
-version: 2017.5.19.1
+version: 2017.5.19.2
 licenses:
 - CC-BY-SA-4.0
 slideshare_id: datasciencerb

data/ruby-with-apache-arrow-joins-data-processing-languages.rab

@@ -79,7 +79,7 @@ Rubyでやりたい
     * 例：PySparkが高速化
     * 理由:Py🡘Javaのデータ交換コスト減
   * Java・Python・R以外も活躍
-    * 例：Ruby・Go・Rust・Juliaとか
+    * 例：Ruby・Lua・Julia・Go・Rust…
     * 理由：低コストでデータ交換可能
 
 = ArrowとRuby
@@ -108,7 +108,7 @@ Rubyでやりたい
 
 = 今できること
 
-  * Python・Rとのデータ交換
+  * Python・R…とのデータ交換
   * データ処理をいくらか
   * Rubyの各種ライブラリー間での\n
     データ交換
@@ -144,6 +144,25 @@ Rubyでやりたい
     end
   end
 
+= Arrow：Lua
+
+  # rouge lua
+  -- LuaでArrow形式のpandasのデータを読み込み
+  -- Torchへの変換コードはArrowの公式リポジトリーにアリ
+  local lgi = require "lgi"
+  local Arrow = lgi.Arrow
+
+  local input_class = Arrow.MemoryMappedInputStream
+  local input = input_class.new("/tmp/pandas.arrow")
+  local reader = Arrow.RecordBatchFileReader.new(input)
+  for i = 0, reader:get_n_record_batches() - 1 do
+     local record_batch = reader:get_record_batch(i)
+     print(string.rep("=", 40))
+     print("record-batch["..i.."]:")
+     io.write(record_batch:to_string())
+  end
+  input:close()
+
 = Feather：R
 
   # rouge R
@@ -198,7 +217,7 @@ Rubyでやりたい
 = 対応データ形式まとめ
 
   * Arrow形式
-    * 各種言語(('note:（これから広く使われているはず）'))
+    * 各種言語(('note:（これから広く使われるはず）'))
   * Feather形式
     * Python・R専用
   * Parquet形式
@@ -253,7 +272,7 @@ Rubyでやりたい
     * 途中でメッセージを参照しないなら
   * MessagePackからArrowに変える
     * Arrowのまま出力先へ送る
-    * 途中でRubyオブジェクトができない\n
+    * 途中でRubyオブジェクトを作らない\n
       (('note:シリアライズ・パースがなくなって速い！'))
 
 = 多次元配列
@@ -263,7 +282,7 @@ Rubyでやりたい
       (('note:（traditional multidimensional array objectと説明）'))
   * C++実装ではサポート
     * バインディングでは使える
-    * Python・Ruby…では使える
+    * Python・Ruby・Lua…では使える
 
 = Tensor：Python
 

data/sample/read-pandas.lua

@@ -0,0 +1,15 @@
+#!/usr/bin/env lua
+
+local lgi = require "lgi"
+local Arrow = lgi.Arrow
+
+local input_class = Arrow.MemoryMappedInputStream
+local input = input_class.new("/tmp/pandas.arrow")
+local reader = Arrow.RecordBatchFileReader.new(input)
+for i = 0, reader:get_n_record_batches() - 1 do
+   local record_batch = reader:get_record_batch(i)
+   print(string.rep("=", 40))
+   print("record-batch["..i.."]:")
+   io.write(record_batch:to_string())
+end
+input:close()

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: rabbit-slide-kou-data-science-rb
 version: !ruby/object:Gem::Version
-  version: 2017.5.19.1
+  version: 2017.5.19.2
 platform: ruby
 authors:
 - Kouhei Sutou
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2017-05-18 00:00:00.000000000 Z
+date: 2017-05-19 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rabbit
@@ -56,6 +56,7 @@ files:
 - sample/filter-groonga.rb
 - sample/read-feather.rb
 - sample/read-groonga.py
+- sample/read-pandas.lua
 - sample/read-pandas.rb
 - sample/read-parquet.rb
 - sample/read-tensor.rb