rabbit-slide-kou-apache-arrow-tokyo 2017.6.13.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +7 -0
- data/.rabbit +1 -0
- data/README.rd +34 -0
- data/Rakefile +17 -0
- data/apache-arrow.rab +167 -0
- data/config.yaml +23 -0
- data/pdf/apache-arrow-tokyo-apache-arrow.pdf +0 -0
- metadata +79 -0
checksums.yaml
ADDED
@@ -0,0 +1,7 @@
|
|
1
|
+
---
|
2
|
+
SHA1:
|
3
|
+
metadata.gz: d13c7d08df014c6be4e0d4869044df6cf1aa04bb
|
4
|
+
data.tar.gz: d9e26daa43eda67a2dd68a37d4d577fb2d82431a
|
5
|
+
SHA512:
|
6
|
+
metadata.gz: e1cd2da7d17aaa63e845f6ffb2bc2a7701259cafc670dc810011db674746edb271e10dbbf40254176704183ad3c5273ea4911e85da634076897a0fee44958791
|
7
|
+
data.tar.gz: 890929b769ec03b36ca43992d76b86e9d6878e790cce08ac1583037501531fccffb9b05d28c0ab9d615686c5120a606eb0b3c059c0b3900eb209fc51c70fd415
|
data/.rabbit
ADDED
@@ -0,0 +1 @@
|
|
1
|
+
apache-arrow.rab
|
data/README.rd
ADDED
@@ -0,0 +1,34 @@
|
|
1
|
+
= Apache Arrow
|
2
|
+
|
3
|
+
Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。
|
4
|
+
|
5
|
+
== ライセンス
|
6
|
+
|
7
|
+
=== スライド
|
8
|
+
|
9
|
+
CC BY-SA 4.0
|
10
|
+
|
11
|
+
原著作者名は以下の通りです。
|
12
|
+
|
13
|
+
* 須藤功平(またはKouhei Sutou)
|
14
|
+
|
15
|
+
== 作者向け
|
16
|
+
|
17
|
+
=== 表示
|
18
|
+
|
19
|
+
rake
|
20
|
+
|
21
|
+
=== 公開
|
22
|
+
|
23
|
+
rake publish
|
24
|
+
|
25
|
+
== 閲覧者向け
|
26
|
+
|
27
|
+
=== インストール
|
28
|
+
|
29
|
+
gem install rabbit-slide-kou-apache-arrow-tokyo
|
30
|
+
|
31
|
+
=== 表示
|
32
|
+
|
33
|
+
rabbit rabbit-slide-kou-apache-arrow-tokyo.gem
|
34
|
+
|
data/Rakefile
ADDED
@@ -0,0 +1,17 @@
|
|
1
|
+
require "rabbit/task/slide"
|
2
|
+
|
3
|
+
# Edit ./config.yaml to customize meta data
|
4
|
+
|
5
|
+
spec = nil
|
6
|
+
Rabbit::Task::Slide.new do |task|
|
7
|
+
spec = task.spec
|
8
|
+
# spec.files += Dir.glob("doc/**/*.*")
|
9
|
+
# spec.files -= Dir.glob("private/**/*.*")
|
10
|
+
spec.add_runtime_dependency("rabbit-theme-clear-code")
|
11
|
+
end
|
12
|
+
|
13
|
+
desc "Tag #{spec.version}"
|
14
|
+
task :tag do
|
15
|
+
sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
|
16
|
+
sh("git", "push", "--tags")
|
17
|
+
end
|
data/apache-arrow.rab
ADDED
@@ -0,0 +1,167 @@
|
|
1
|
+
= Apache Arrow
|
2
|
+
|
3
|
+
: author
|
4
|
+
須藤功平
|
5
|
+
: institution
|
6
|
+
クリアコード
|
7
|
+
: content-source
|
8
|
+
データ分析用次世代データフォーマットApache Arrow勉強会
|
9
|
+
: date
|
10
|
+
2017-06-13
|
11
|
+
: allotted-time
|
12
|
+
60m
|
13
|
+
: theme
|
14
|
+
clear-code
|
15
|
+
|
16
|
+
= ハッシュタグ
|
17
|
+
|
18
|
+
(('#tokyo_arrow'))\n
|
19
|
+
(('note:今日はいろんなURLを参照するのでそれらを共有したい'))
|
20
|
+
|
21
|
+
= 流れ
|
22
|
+
|
23
|
+
(1) Apache Arrowの概要を知る
|
24
|
+
(2) Apache Arrowの詳細を知る
|
25
|
+
(3) Apache Arrow関連の開発に\n
|
26
|
+
参加する方法を知る
|
27
|
+
|
28
|
+
= 概要
|
29
|
+
|
30
|
+
DataScience.rbワークショップ\n
|
31
|
+
の資料で紹介
|
32
|
+
|
33
|
+
* RubyもApache Arrowで\n
|
34
|
+
データ処理言語の仲間入り\n
|
35
|
+
(('tag:small:https://slide.rabbit-shocker.org/authors/kou/data-science-rb/'))
|
36
|
+
|
37
|
+
= 詳細
|
38
|
+
|
39
|
+
* 最新情報はWes McKinneyさんのスライドを見るのがよい
|
40
|
+
* https://www.slideshare.net/wesm/
|
41
|
+
* 例:
|
42
|
+
* (('tag:xx-small'))
|
43
|
+
https://www.slideshare.net/wesm/memory-interoperability-in-analytics-and-machine-learning
|
44
|
+
* (('tag:xx-small'))
|
45
|
+
https://www.slideshare.net/wesm/nextgeneration-python-big-data-tools-powered-by-apache-arrow
|
46
|
+
|
47
|
+
= 紹介
|
48
|
+
|
49
|
+
* (('tag:xx-small'))
|
50
|
+
https://www.slideshare.net/MapR_Japan/apache-arrow-value-vectors-tokyo-apache-drill-meetup-20160322
|
51
|
+
* (('tag:xx-small'))
|
52
|
+
https://www.slideshare.net/HadoopSummit/the-columnar-era-leveraging-parquet-arrow-and-kudu-for-highperformance-analytics
|
53
|
+
* (('tag:xx-small'))
|
54
|
+
https://www.slideshare.net/wesm/memory-interoperability-in-analytics-and-machine-learning
|
55
|
+
|
56
|
+
= 開発に参加
|
57
|
+
|
58
|
+
* Apache Arrowの旨味がでる状態
|
59
|
+
* みんながApache Arrowを使う
|
60
|
+
* 早く↑の状態にするには
|
61
|
+
* Apache Arrow関連の開発に参加!\n
|
62
|
+
(('note:待っていることもできるけど一緒にやろうよ!'))
|
63
|
+
|
64
|
+
= Apache Arrowの開発に参加
|
65
|
+
|
66
|
+
* JIRA:(('tag:xx-small:https://issues.apache.org/jira/browse/ARROW/'))
|
67
|
+
* コミットはすべてチケットに紐づく
|
68
|
+
* こういうのやりたいねー!も\n
|
69
|
+
チケットになる
|
70
|
+
* メーリングリスト:(('tag:xx-small:dev@arrow.apache.org'))\n
|
71
|
+
(('note:dev-subscribe@arrow.apache.orgにメールを送ればOK'))
|
72
|
+
* 基本的にここでディスカッション
|
73
|
+
* JIRAの新規チケットも流れる
|
74
|
+
|
75
|
+
= Apache Arrowの開発に参加
|
76
|
+
|
77
|
+
* バグレポート
|
78
|
+
* JIRAにチケット作成
|
79
|
+
* バグ修正・機能追加
|
80
|
+
* JIRAにチケット作成→GitHubでPR\n
|
81
|
+
(('note:Pull Requestタイトルにルールあり(後述)'))
|
82
|
+
* 相談
|
83
|
+
* メーリングリスト
|
84
|
+
|
85
|
+
= PRのタイトル
|
86
|
+
|
87
|
+
フォーマット:
|
88
|
+
ARROW-XXX: [YYY] ...
|
89
|
+
例:
|
90
|
+
ARROW-897: [GLib] Extract ...
|
91
|
+
|
92
|
+
ARROW-XXX: JIRAのissue ID
|
93
|
+
[YYY]: モジュール名
|
94
|
+
|
95
|
+
= モジュール
|
96
|
+
|
97
|
+
* Java: Java実装
|
98
|
+
* C++: C++実装
|
99
|
+
* GLib: C++実装のCラッパー\n
|
100
|
+
(('note:(各種言語バインディング向け)'))
|
101
|
+
* GLibを使用
|
102
|
+
* JS: JavaScript実装
|
103
|
+
* TypeScriptを使用
|
104
|
+
|
105
|
+
= WANTED: モジュール
|
106
|
+
|
107
|
+
(('tag:center'))
|
108
|
+
↓は未着手なはずなので\n
|
109
|
+
ここから開発に参加もあり
|
110
|
+
|
111
|
+
* R: C++実装のR(('note:cpp'))ラッパー
|
112
|
+
* Julia: Juliaネイティブ実装
|
113
|
+
* Go: Goネイティブ実装\n
|
114
|
+
(('note:GLib経由で使えるけどネイティブ実装の方がいいかも?'))
|
115
|
+
* Rust: Rustネイティブ実装
|
116
|
+
|
117
|
+
= Apache Arrow関連の開発
|
118
|
+
|
119
|
+
* 大量のデータ交換が必要な\n
|
120
|
+
プロダクトをArrowに対応させる
|
121
|
+
* 例:Apache Spark\n
|
122
|
+
(('note:(PySparkはすでに進んでいる:SPARK-13534)'))
|
123
|
+
|
124
|
+
= 対応プロダクト
|
125
|
+
|
126
|
+
* Groonga: http://groonga.org/
|
127
|
+
* 全文検索エンジン
|
128
|
+
* Ray: (('tag:x-small:https://github.com/ray-project/ray'))
|
129
|
+
* 分散タスク実行エンジン
|
130
|
+
* Turbodbc:\n
|
131
|
+
(('tag:x-small:https://github.com/blue-yonder/turbodbc'))
|
132
|
+
* ODBCでDB内の分析用データにアクセスするためのPythonモジュール
|
133
|
+
|
134
|
+
= Red Data Tools
|
135
|
+
|
136
|
+
(('tag:center'))
|
137
|
+
(('tag:small'))
|
138
|
+
https://red-data-tools.github.io/
|
139
|
+
|
140
|
+
* Ruby用データ分析ツールを\n
|
141
|
+
揃えよう!プロジェクト
|
142
|
+
* Apache Arrowベース
|
143
|
+
* ただし!できるだけRuby以外でも使えるようにしたい!
|
144
|
+
|
145
|
+
= Ruby以外でも使える?
|
146
|
+
|
147
|
+
* GLibバインディングとして開発\n
|
148
|
+
(('note:(Ruby専用バインディングとして開発しない)'))
|
149
|
+
* Luaとかでも使えるようになる
|
150
|
+
* 例:parquet-glib\n
|
151
|
+
(('tag:xx-small:https://github.com/red-data-tools/parquet-glib'))
|
152
|
+
* 例:xtensor-glib\n
|
153
|
+
(('tag:xx-small:https://github.com/red-data-tools/xtensor-glib'))
|
154
|
+
|
155
|
+
= Ruby以外でも使える?
|
156
|
+
|
157
|
+
* データも似たような感じで
|
158
|
+
* どうすればいろんな言語から\n
|
159
|
+
使いやすくなるかは要検討
|
160
|
+
|
161
|
+
= 開発に参加しよう!
|
162
|
+
|
163
|
+
* Apache Arrow
|
164
|
+
* dev@arrow.apache.org
|
165
|
+
* Red Data Tools
|
166
|
+
* https://gitter.im/red-data-tools
|
167
|
+
* Arrowが嬉しそうなプロダクト
|
data/config.yaml
ADDED
@@ -0,0 +1,23 @@
|
|
1
|
+
---
|
2
|
+
id: apache-arrow-tokyo
|
3
|
+
base_name: apache-arrow
|
4
|
+
tags:
|
5
|
+
- rabbit
|
6
|
+
- arrow
|
7
|
+
- data
|
8
|
+
presentation_date: 2017-06-13
|
9
|
+
version: 2017.6.13.0
|
10
|
+
licenses:
|
11
|
+
- CC-BY-SA-4.0
|
12
|
+
slideshare_id:
|
13
|
+
speaker_deck_id:
|
14
|
+
ustream_id:
|
15
|
+
vimeo_id:
|
16
|
+
youtube_id:
|
17
|
+
author:
|
18
|
+
markup_language: :rd
|
19
|
+
name: Kouhei Sutou
|
20
|
+
email: kou@clear-code.com
|
21
|
+
rubygems_user: kou
|
22
|
+
slideshare_user:
|
23
|
+
speaker_deck_user:
|
Binary file
|
metadata
ADDED
@@ -0,0 +1,79 @@
|
|
1
|
+
--- !ruby/object:Gem::Specification
|
2
|
+
name: rabbit-slide-kou-apache-arrow-tokyo
|
3
|
+
version: !ruby/object:Gem::Version
|
4
|
+
version: 2017.6.13.0
|
5
|
+
platform: ruby
|
6
|
+
authors:
|
7
|
+
- Kouhei Sutou
|
8
|
+
autorequire:
|
9
|
+
bindir: bin
|
10
|
+
cert_chain: []
|
11
|
+
date: 2017-06-12 00:00:00.000000000 Z
|
12
|
+
dependencies:
|
13
|
+
- !ruby/object:Gem::Dependency
|
14
|
+
name: rabbit
|
15
|
+
requirement: !ruby/object:Gem::Requirement
|
16
|
+
requirements:
|
17
|
+
- - ">="
|
18
|
+
- !ruby/object:Gem::Version
|
19
|
+
version: 2.0.2
|
20
|
+
type: :runtime
|
21
|
+
prerelease: false
|
22
|
+
version_requirements: !ruby/object:Gem::Requirement
|
23
|
+
requirements:
|
24
|
+
- - ">="
|
25
|
+
- !ruby/object:Gem::Version
|
26
|
+
version: 2.0.2
|
27
|
+
- !ruby/object:Gem::Dependency
|
28
|
+
name: rabbit-theme-clear-code
|
29
|
+
requirement: !ruby/object:Gem::Requirement
|
30
|
+
requirements:
|
31
|
+
- - ">="
|
32
|
+
- !ruby/object:Gem::Version
|
33
|
+
version: '0'
|
34
|
+
type: :runtime
|
35
|
+
prerelease: false
|
36
|
+
version_requirements: !ruby/object:Gem::Requirement
|
37
|
+
requirements:
|
38
|
+
- - ">="
|
39
|
+
- !ruby/object:Gem::Version
|
40
|
+
version: '0'
|
41
|
+
description: Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache
|
42
|
+
Arrowのことがわかるようになる説明をします。
|
43
|
+
email:
|
44
|
+
- kou@clear-code.com
|
45
|
+
executables: []
|
46
|
+
extensions: []
|
47
|
+
extra_rdoc_files: []
|
48
|
+
files:
|
49
|
+
- ".rabbit"
|
50
|
+
- README.rd
|
51
|
+
- Rakefile
|
52
|
+
- apache-arrow.rab
|
53
|
+
- config.yaml
|
54
|
+
- pdf/apache-arrow-tokyo-apache-arrow.pdf
|
55
|
+
homepage: http://slide.rabbit-shocker.org/authors/kou/apache-arrow-tokyo/
|
56
|
+
licenses:
|
57
|
+
- CC-BY-SA-4.0
|
58
|
+
metadata: {}
|
59
|
+
post_install_message:
|
60
|
+
rdoc_options: []
|
61
|
+
require_paths:
|
62
|
+
- lib
|
63
|
+
required_ruby_version: !ruby/object:Gem::Requirement
|
64
|
+
requirements:
|
65
|
+
- - ">="
|
66
|
+
- !ruby/object:Gem::Version
|
67
|
+
version: '0'
|
68
|
+
required_rubygems_version: !ruby/object:Gem::Requirement
|
69
|
+
requirements:
|
70
|
+
- - ">="
|
71
|
+
- !ruby/object:Gem::Version
|
72
|
+
version: '0'
|
73
|
+
requirements: []
|
74
|
+
rubyforge_project:
|
75
|
+
rubygems_version: 2.5.2
|
76
|
+
signing_key:
|
77
|
+
specification_version: 4
|
78
|
+
summary: Apache Arrow
|
79
|
+
test_files: []
|