rabbit-slide-kou-apache-arrow-tokyo 2017.6.13.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +7 -0
- data/.rabbit +1 -0
- data/README.rd +34 -0
- data/Rakefile +17 -0
- data/apache-arrow.rab +167 -0
- data/config.yaml +23 -0
- data/pdf/apache-arrow-tokyo-apache-arrow.pdf +0 -0
- metadata +79 -0
checksums.yaml
ADDED
@@ -0,0 +1,7 @@
|
|
1
|
+
---
|
2
|
+
SHA1:
|
3
|
+
metadata.gz: d13c7d08df014c6be4e0d4869044df6cf1aa04bb
|
4
|
+
data.tar.gz: d9e26daa43eda67a2dd68a37d4d577fb2d82431a
|
5
|
+
SHA512:
|
6
|
+
metadata.gz: e1cd2da7d17aaa63e845f6ffb2bc2a7701259cafc670dc810011db674746edb271e10dbbf40254176704183ad3c5273ea4911e85da634076897a0fee44958791
|
7
|
+
data.tar.gz: 890929b769ec03b36ca43992d76b86e9d6878e790cce08ac1583037501531fccffb9b05d28c0ab9d615686c5120a606eb0b3c059c0b3900eb209fc51c70fd415
|
data/.rabbit
ADDED
@@ -0,0 +1 @@
|
|
1
|
+
apache-arrow.rab
|
data/README.rd
ADDED
@@ -0,0 +1,34 @@
|
|
1
|
+
= Apache Arrow
|
2
|
+
|
3
|
+
Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache Arrowのことがわかるようになる説明をします。
|
4
|
+
|
5
|
+
== ライセンス
|
6
|
+
|
7
|
+
=== スライド
|
8
|
+
|
9
|
+
CC BY-SA 4.0
|
10
|
+
|
11
|
+
原著作者名は以下の通りです。
|
12
|
+
|
13
|
+
* 須藤功平(またはKouhei Sutou)
|
14
|
+
|
15
|
+
== 作者向け
|
16
|
+
|
17
|
+
=== 表示
|
18
|
+
|
19
|
+
rake
|
20
|
+
|
21
|
+
=== 公開
|
22
|
+
|
23
|
+
rake publish
|
24
|
+
|
25
|
+
== 閲覧者向け
|
26
|
+
|
27
|
+
=== インストール
|
28
|
+
|
29
|
+
gem install rabbit-slide-kou-apache-arrow-tokyo
|
30
|
+
|
31
|
+
=== 表示
|
32
|
+
|
33
|
+
rabbit rabbit-slide-kou-apache-arrow-tokyo.gem
|
34
|
+
|
data/Rakefile
ADDED
@@ -0,0 +1,17 @@
|
|
1
|
+
require "rabbit/task/slide"
|
2
|
+
|
3
|
+
# Edit ./config.yaml to customize meta data
|
4
|
+
|
5
|
+
spec = nil
|
6
|
+
Rabbit::Task::Slide.new do |task|
|
7
|
+
spec = task.spec
|
8
|
+
# spec.files += Dir.glob("doc/**/*.*")
|
9
|
+
# spec.files -= Dir.glob("private/**/*.*")
|
10
|
+
spec.add_runtime_dependency("rabbit-theme-clear-code")
|
11
|
+
end
|
12
|
+
|
13
|
+
desc "Tag #{spec.version}"
|
14
|
+
task :tag do
|
15
|
+
sh("git", "tag", "-a", spec.version.to_s, "-m", "Publish #{spec.version}")
|
16
|
+
sh("git", "push", "--tags")
|
17
|
+
end
|
data/apache-arrow.rab
ADDED
@@ -0,0 +1,167 @@
|
|
1
|
+
= Apache Arrow
|
2
|
+
|
3
|
+
: author
|
4
|
+
須藤功平
|
5
|
+
: institution
|
6
|
+
クリアコード
|
7
|
+
: content-source
|
8
|
+
データ分析用次世代データフォーマットApache Arrow勉強会
|
9
|
+
: date
|
10
|
+
2017-06-13
|
11
|
+
: allotted-time
|
12
|
+
60m
|
13
|
+
: theme
|
14
|
+
clear-code
|
15
|
+
|
16
|
+
= ハッシュタグ
|
17
|
+
|
18
|
+
(('#tokyo_arrow'))\n
|
19
|
+
(('note:今日はいろんなURLを参照するのでそれらを共有したい'))
|
20
|
+
|
21
|
+
= 流れ
|
22
|
+
|
23
|
+
(1) Apache Arrowの概要を知る
|
24
|
+
(2) Apache Arrowの詳細を知る
|
25
|
+
(3) Apache Arrow関連の開発に\n
|
26
|
+
参加する方法を知る
|
27
|
+
|
28
|
+
= 概要
|
29
|
+
|
30
|
+
DataScience.rbワークショップ\n
|
31
|
+
の資料で紹介
|
32
|
+
|
33
|
+
* RubyもApache Arrowで\n
|
34
|
+
データ処理言語の仲間入り\n
|
35
|
+
(('tag:small:https://slide.rabbit-shocker.org/authors/kou/data-science-rb/'))
|
36
|
+
|
37
|
+
= 詳細
|
38
|
+
|
39
|
+
* 最新情報はWes McKinneyさんのスライドを見るのがよい
|
40
|
+
* https://www.slideshare.net/wesm/
|
41
|
+
* 例:
|
42
|
+
* (('tag:xx-small'))
|
43
|
+
https://www.slideshare.net/wesm/memory-interoperability-in-analytics-and-machine-learning
|
44
|
+
* (('tag:xx-small'))
|
45
|
+
https://www.slideshare.net/wesm/nextgeneration-python-big-data-tools-powered-by-apache-arrow
|
46
|
+
|
47
|
+
= 紹介
|
48
|
+
|
49
|
+
* (('tag:xx-small'))
|
50
|
+
https://www.slideshare.net/MapR_Japan/apache-arrow-value-vectors-tokyo-apache-drill-meetup-20160322
|
51
|
+
* (('tag:xx-small'))
|
52
|
+
https://www.slideshare.net/HadoopSummit/the-columnar-era-leveraging-parquet-arrow-and-kudu-for-highperformance-analytics
|
53
|
+
* (('tag:xx-small'))
|
54
|
+
https://www.slideshare.net/wesm/memory-interoperability-in-analytics-and-machine-learning
|
55
|
+
|
56
|
+
= 開発に参加
|
57
|
+
|
58
|
+
* Apache Arrowの旨味がでる状態
|
59
|
+
* みんながApache Arrowを使う
|
60
|
+
* 早く↑の状態にするには
|
61
|
+
* Apache Arrow関連の開発に参加!\n
|
62
|
+
(('note:待っていることもできるけど一緒にやろうよ!'))
|
63
|
+
|
64
|
+
= Apache Arrowの開発に参加
|
65
|
+
|
66
|
+
* JIRA:(('tag:xx-small:https://issues.apache.org/jira/browse/ARROW/'))
|
67
|
+
* コミットはすべてチケットに紐づく
|
68
|
+
* こういうのやりたいねー!も\n
|
69
|
+
チケットになる
|
70
|
+
* メーリングリスト:(('tag:xx-small:dev@arrow.apache.org'))\n
|
71
|
+
(('note:dev-subscribe@arrow.apache.orgにメールを送ればOK'))
|
72
|
+
* 基本的にここでディスカッション
|
73
|
+
* JIRAの新規チケットも流れる
|
74
|
+
|
75
|
+
= Apache Arrowの開発に参加
|
76
|
+
|
77
|
+
* バグレポート
|
78
|
+
* JIRAにチケット作成
|
79
|
+
* バグ修正・機能追加
|
80
|
+
* JIRAにチケット作成→GitHubでPR\n
|
81
|
+
(('note:Pull Requestタイトルにルールあり(後述)'))
|
82
|
+
* 相談
|
83
|
+
* メーリングリスト
|
84
|
+
|
85
|
+
= PRのタイトル
|
86
|
+
|
87
|
+
フォーマット:
|
88
|
+
ARROW-XXX: [YYY] ...
|
89
|
+
例:
|
90
|
+
ARROW-897: [GLib] Extract ...
|
91
|
+
|
92
|
+
ARROW-XXX: JIRAのissue ID
|
93
|
+
[YYY]: モジュール名
|
94
|
+
|
95
|
+
= モジュール
|
96
|
+
|
97
|
+
* Java: Java実装
|
98
|
+
* C++: C++実装
|
99
|
+
* GLib: C++実装のCラッパー\n
|
100
|
+
(('note:(各種言語バインディング向け)'))
|
101
|
+
* GLibを使用
|
102
|
+
* JS: JavaScript実装
|
103
|
+
* TypeScriptを使用
|
104
|
+
|
105
|
+
= WANTED: モジュール
|
106
|
+
|
107
|
+
(('tag:center'))
|
108
|
+
↓は未着手なはずなので\n
|
109
|
+
ここから開発に参加もあり
|
110
|
+
|
111
|
+
* R: C++実装のR(('note:cpp'))ラッパー
|
112
|
+
* Julia: Juliaネイティブ実装
|
113
|
+
* Go: Goネイティブ実装\n
|
114
|
+
(('note:GLib経由で使えるけどネイティブ実装の方がいいかも?'))
|
115
|
+
* Rust: Rustネイティブ実装
|
116
|
+
|
117
|
+
= Apache Arrow関連の開発
|
118
|
+
|
119
|
+
* 大量のデータ交換が必要な\n
|
120
|
+
プロダクトをArrowに対応させる
|
121
|
+
* 例:Apache Spark\n
|
122
|
+
(('note:(PySparkはすでに進んでいる:SPARK-13534)'))
|
123
|
+
|
124
|
+
= 対応プロダクト
|
125
|
+
|
126
|
+
* Groonga: http://groonga.org/
|
127
|
+
* 全文検索エンジン
|
128
|
+
* Ray: (('tag:x-small:https://github.com/ray-project/ray'))
|
129
|
+
* 分散タスク実行エンジン
|
130
|
+
* Turbodbc:\n
|
131
|
+
(('tag:x-small:https://github.com/blue-yonder/turbodbc'))
|
132
|
+
* ODBCでDB内の分析用データにアクセスするためのPythonモジュール
|
133
|
+
|
134
|
+
= Red Data Tools
|
135
|
+
|
136
|
+
(('tag:center'))
|
137
|
+
(('tag:small'))
|
138
|
+
https://red-data-tools.github.io/
|
139
|
+
|
140
|
+
* Ruby用データ分析ツールを\n
|
141
|
+
揃えよう!プロジェクト
|
142
|
+
* Apache Arrowベース
|
143
|
+
* ただし!できるだけRuby以外でも使えるようにしたい!
|
144
|
+
|
145
|
+
= Ruby以外でも使える?
|
146
|
+
|
147
|
+
* GLibバインディングとして開発\n
|
148
|
+
(('note:(Ruby専用バインディングとして開発しない)'))
|
149
|
+
* Luaとかでも使えるようになる
|
150
|
+
* 例:parquet-glib\n
|
151
|
+
(('tag:xx-small:https://github.com/red-data-tools/parquet-glib'))
|
152
|
+
* 例:xtensor-glib\n
|
153
|
+
(('tag:xx-small:https://github.com/red-data-tools/xtensor-glib'))
|
154
|
+
|
155
|
+
= Ruby以外でも使える?
|
156
|
+
|
157
|
+
* データも似たような感じで
|
158
|
+
* どうすればいろんな言語から\n
|
159
|
+
使いやすくなるかは要検討
|
160
|
+
|
161
|
+
= 開発に参加しよう!
|
162
|
+
|
163
|
+
* Apache Arrow
|
164
|
+
* dev@arrow.apache.org
|
165
|
+
* Red Data Tools
|
166
|
+
* https://gitter.im/red-data-tools
|
167
|
+
* Arrowが嬉しそうなプロダクト
|
data/config.yaml
ADDED
@@ -0,0 +1,23 @@
|
|
1
|
+
---
|
2
|
+
id: apache-arrow-tokyo
|
3
|
+
base_name: apache-arrow
|
4
|
+
tags:
|
5
|
+
- rabbit
|
6
|
+
- arrow
|
7
|
+
- data
|
8
|
+
presentation_date: 2017-06-13
|
9
|
+
version: 2017.6.13.0
|
10
|
+
licenses:
|
11
|
+
- CC-BY-SA-4.0
|
12
|
+
slideshare_id:
|
13
|
+
speaker_deck_id:
|
14
|
+
ustream_id:
|
15
|
+
vimeo_id:
|
16
|
+
youtube_id:
|
17
|
+
author:
|
18
|
+
markup_language: :rd
|
19
|
+
name: Kouhei Sutou
|
20
|
+
email: kou@clear-code.com
|
21
|
+
rubygems_user: kou
|
22
|
+
slideshare_user:
|
23
|
+
speaker_deck_user:
|
Binary file
|
metadata
ADDED
@@ -0,0 +1,79 @@
|
|
1
|
+
--- !ruby/object:Gem::Specification
|
2
|
+
name: rabbit-slide-kou-apache-arrow-tokyo
|
3
|
+
version: !ruby/object:Gem::Version
|
4
|
+
version: 2017.6.13.0
|
5
|
+
platform: ruby
|
6
|
+
authors:
|
7
|
+
- Kouhei Sutou
|
8
|
+
autorequire:
|
9
|
+
bindir: bin
|
10
|
+
cert_chain: []
|
11
|
+
date: 2017-06-12 00:00:00.000000000 Z
|
12
|
+
dependencies:
|
13
|
+
- !ruby/object:Gem::Dependency
|
14
|
+
name: rabbit
|
15
|
+
requirement: !ruby/object:Gem::Requirement
|
16
|
+
requirements:
|
17
|
+
- - ">="
|
18
|
+
- !ruby/object:Gem::Version
|
19
|
+
version: 2.0.2
|
20
|
+
type: :runtime
|
21
|
+
prerelease: false
|
22
|
+
version_requirements: !ruby/object:Gem::Requirement
|
23
|
+
requirements:
|
24
|
+
- - ">="
|
25
|
+
- !ruby/object:Gem::Version
|
26
|
+
version: 2.0.2
|
27
|
+
- !ruby/object:Gem::Dependency
|
28
|
+
name: rabbit-theme-clear-code
|
29
|
+
requirement: !ruby/object:Gem::Requirement
|
30
|
+
requirements:
|
31
|
+
- - ">="
|
32
|
+
- !ruby/object:Gem::Version
|
33
|
+
version: '0'
|
34
|
+
type: :runtime
|
35
|
+
prerelease: false
|
36
|
+
version_requirements: !ruby/object:Gem::Requirement
|
37
|
+
requirements:
|
38
|
+
- - ">="
|
39
|
+
- !ruby/object:Gem::Version
|
40
|
+
version: '0'
|
41
|
+
description: Apache Arrowが解決したい問題、設計方針、速さの秘密、現在できること、今後できるようになることなど、Apache Arrowを知らない人でもApache
|
42
|
+
Arrowのことがわかるようになる説明をします。
|
43
|
+
email:
|
44
|
+
- kou@clear-code.com
|
45
|
+
executables: []
|
46
|
+
extensions: []
|
47
|
+
extra_rdoc_files: []
|
48
|
+
files:
|
49
|
+
- ".rabbit"
|
50
|
+
- README.rd
|
51
|
+
- Rakefile
|
52
|
+
- apache-arrow.rab
|
53
|
+
- config.yaml
|
54
|
+
- pdf/apache-arrow-tokyo-apache-arrow.pdf
|
55
|
+
homepage: http://slide.rabbit-shocker.org/authors/kou/apache-arrow-tokyo/
|
56
|
+
licenses:
|
57
|
+
- CC-BY-SA-4.0
|
58
|
+
metadata: {}
|
59
|
+
post_install_message:
|
60
|
+
rdoc_options: []
|
61
|
+
require_paths:
|
62
|
+
- lib
|
63
|
+
required_ruby_version: !ruby/object:Gem::Requirement
|
64
|
+
requirements:
|
65
|
+
- - ">="
|
66
|
+
- !ruby/object:Gem::Version
|
67
|
+
version: '0'
|
68
|
+
required_rubygems_version: !ruby/object:Gem::Requirement
|
69
|
+
requirements:
|
70
|
+
- - ">="
|
71
|
+
- !ruby/object:Gem::Version
|
72
|
+
version: '0'
|
73
|
+
requirements: []
|
74
|
+
rubyforge_project:
|
75
|
+
rubygems_version: 2.5.2
|
76
|
+
signing_key:
|
77
|
+
specification_version: 4
|
78
|
+
summary: Apache Arrow
|
79
|
+
test_files: []
|