splatone 0.0.21 → 0.0.23
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/.API_KEY.Flickr +1 -0
- package/README.md +91 -136
- package/browse.js +8 -0
- package/color.js +360 -4
- package/crawler.js +448 -131
- package/package.json +3 -2
- package/plugins/flickr/worker.js +6 -27
- package/public/out/.gitkeep +0 -0
- package/public/out/result.nzzxvl24mi420u0v.json +1 -0
- package/public/out/voronoi/.gitkeep +0 -0
- package/publication/README.md +18 -0
- package/publication/main.tex +85 -0
- package/publication/references.bib +6 -0
- package/views/index.ejs +686 -343
- package/.vscode/mcp.json +0 -12
- package/.vscode/settings.json +0 -7
- package/assets/icon_data_export.png +0 -0
- package/assets/icon_image_download.png +0 -0
- package/assets/screenshot_florida_hex_majorityr.png +0 -0
- package/assets/screenshot_massive_points_bulky.png +0 -0
- package/assets/screenshot_pie_tokyo.png +0 -0
- package/assets/screenshot_sea-mountain_bulky.png +0 -0
- package/assets/screenshot_venice_heat.png +0 -0
- package/assets/screenshot_venice_marker-cluster.png +0 -0
- package/assets/screenshot_venice_simple.png +0 -0
- package/assets/screenshot_voronoi_tokyo.png +0 -0
package/.API_KEY.Flickr
ADDED
|
@@ -0,0 +1 @@
|
|
|
1
|
+
469d6cabae53805a18b68d5d56fd9738
|
package/README.md
CHANGED
|
@@ -18,24 +18,37 @@ SNSのジオタグ付きポストをキーワードに基づいて収集する
|
|
|
18
18
|
|
|
19
19
|
## Change Log
|
|
20
20
|
|
|
21
|
-
### v0.0.
|
|
21
|
+
### v0.0.22 → → v0.0.23
|
|
22
|
+
|
|
23
|
+
* ブラウズモードの追加
|
|
24
|
+
* ダウンロードした結果ファイルを閲覧するモード
|
|
25
|
+
* ハンバーガーメニューの拡充
|
|
26
|
+
* 結果の統計情報の追加
|
|
27
|
+
* CLIコマンドの表示
|
|
28
|
+
* カラーパレット生成ツールの改良
|
|
29
|
+
* ブラウザ上でカラーの確認と調整を可能に
|
|
30
|
+
|
|
31
|
+
### v0.0.18 → → v0.0.22
|
|
22
32
|
|
|
23
33
|
* **[可視化モジュール]** ```--vis-voronoi```追加
|
|
24
34
|
* ボロノイ図の生成
|
|
25
35
|
* **[可視化モジュール]** ```--vis-pie-charts```追加
|
|
26
36
|
* Hex中心のカテゴリ割合Pie Chart描画
|
|
37
|
+
* マイナーBug Fix
|
|
27
38
|
|
|
28
39
|
### v0.0.17 → v0.0.18
|
|
29
40
|
|
|
30
41
|
* **[可視化モジュール]** ```--vis-heat```追加
|
|
31
42
|
* ヒートマップの生成
|
|
32
43
|
|
|
33
|
-
### v0.0.13 →
|
|
44
|
+
### v0.0.13 → → v0.0.17
|
|
45
|
+
|
|
34
46
|
* **[可視化モジュール]** ```--vis-majority-hex```追加
|
|
35
47
|
* 結果の色固定機能追加 (キーワード指定方法を参照の事)
|
|
36
48
|
* [Bug Fix] npxが起動しない事象の修正
|
|
37
49
|
|
|
38
50
|
### v0.0.12 → v0.0.13
|
|
51
|
+
|
|
39
52
|
* BulkyのPointMarkerのサイズや透明度を可変に
|
|
40
53
|
* コマンドライン引数で指定 (詳しくは``` npx -y -p splatone@latest crawler --help```)
|
|
41
54
|
|
|
@@ -55,149 +68,64 @@ $ npx -y -p splatone@latest crawler --help
|
|
|
55
68
|
使い方: crawler.js [options]
|
|
56
69
|
|
|
57
70
|
Basic Options
|
|
58
|
-
-p, --plugin
|
|
59
|
-
-k, --keywords
|
|
60
|
-
"nature,tree,flower|building,house|water,sea,river,pond"]
|
|
61
|
-
-f, --filed
|
|
62
|
-
[真偽] [デフォルト: true]
|
|
63
|
-
-c, --chopped
|
|
64
|
-
[非推奨] [真偽] [デフォルト: false]
|
|
71
|
+
-p, --plugin 実行するプラグイン [文字列] [選択してください: "flickr"]
|
|
72
|
+
-k, --keywords 検索キーワード(|区切り) [文字列] [デフォルト:
|
|
73
|
+
"nature,tree,flower|building,house|water,sea,river,pond"]
|
|
74
|
+
-f, --filed 大きなデータをファイルとして送受信する
|
|
75
|
+
[真偽] [デフォルト: true]
|
|
76
|
+
-c, --chopped 大きなデータを細分化して送受信する
|
|
77
|
+
[非推奨] [真偽] [デフォルト: false]
|
|
78
|
+
--browse-mode ブラウズ専用モード（範囲描画とクロールを無効化）
|
|
79
|
+
[真偽] [デフォルト: false]
|
|
65
80
|
|
|
66
81
|
Debug
|
|
67
|
-
--debug-verbose デバッグ情報出力 [真偽] [デフォルト: false]
|
|
68
|
-
|
|
69
|
-
For flickr Plugin
|
|
70
|
-
--p-flickr-APIKEY Flickr ServiceのAPI KEY [文字列]
|
|
71
|
-
--p-flickr-Extras カンマ区切り/保持する写真のメタデータ(デフォルト値は
|
|
72
|
-
記載の有無に関わらず保持)
|
|
73
|
-
[文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]
|
|
74
|
-
--p-flickr-DateMode 利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)
|
|
75
|
-
[選択してください: "upload", "taken"] [デフォルト: "upload"]
|
|
76
|
-
--p-flickr-Haste 時間軸分割並列処理 [真偽] [デフォルト: true]
|
|
77
|
-
--p-flickr-DateMax クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD
|
|
78
|
-
[文字列] [デフォルト: 1763354552]
|
|
79
|
-
--p-flickr-DateMin クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD
|
|
80
|
-
[文字列] [デフォルト: 1072882800]
|
|
81
|
-
|
|
82
|
-
Visualization (最低一つの指定が必須です)
|
|
83
|
-
--vis-bulky 全データをCircleMarkerとして地図上に表示
|
|
84
|
-
[真偽] [デフォルト: false]
|
|
85
|
-
--vis-heat カテゴリ毎に異なるレイヤのヒートマップで可視化（色=
|
|
86
|
-
カテゴリ色、透明度=頻度） [真偽] [デフォルト: false]
|
|
87
|
-
--vis-majority-hex HexGrid内で最も出現頻度が高いカテゴリの色で彩色。Hex
|
|
88
|
-
apartiteモードで6分割パイチャート表示。透明度は全体
|
|
89
|
-
で正規化。 [真偽] [デフォルト: false]
|
|
90
|
-
--vis-marker-cluster マーカークラスターとして地図上に表示
|
|
91
|
-
[真偽] [デフォルト: false]
|
|
92
|
-
--vis-pie-charts Hex中心にカテゴリ割合のPie
|
|
93
|
-
Chartを描画するビジュアライザ
|
|
94
|
-
[真偽] [デフォルト: false]
|
|
95
|
-
--vis-voronoi Hex Grid ボロノイ図 [真偽] [デフォルト: false]
|
|
96
|
-
|
|
97
|
-
For bulky Visualizer
|
|
98
|
-
--v-bulky-Radius Point Markerの半径 [数値] [デフォルト: 5]
|
|
99
|
-
--v-bulky-Stroke Point Markerの線の有無 [真偽] [デフォルト: true]
|
|
100
|
-
--v-bulky-Weight Point Markerの線の太さ [数値] [デフォルト: 1]
|
|
101
|
-
--v-bulky-Opacity Point Markerの線の透明度 [数値] [デフォルト: 1]
|
|
102
|
-
--v-bulky-Filling Point Markerの塗りの有無 [真偽] [デフォルト: true]
|
|
103
|
-
--v-bulky-FillOpacity Point Markerの塗りの透明度 [数値] [デフォルト: 0.5]
|
|
104
|
-
|
|
105
|
-
For heat Visualizer
|
|
106
|
-
--v-heat-Radius ヒートマップブラーの半径 [数値] [デフォルト: 0.0005]
|
|
107
|
-
--v-heat-MinOpacity ヒートマップの最小透明度 [数値] [デフォルト: 0]
|
|
108
|
-
--v-heat-MaxOpacity ヒートマップの最大透明度 [数値] [デフォルト: 1]
|
|
109
|
-
--v-heat-MaxValue ヒートマップ強度の最大値
|
|
110
|
-
(未指定時はデータから自動推定) [数値]
|
|
111
|
-
|
|
112
|
-
For majority-hex Visualizer
|
|
113
|
-
--v-majority-hex-Hexapartite 中のカテゴリの頻度に応じて六角形を分割色彩
|
|
114
|
-
[真偽] [デフォルト: false]
|
|
115
|
-
--v-majority-hex-HexOpacity 六角形の線の透明度 [数値] [デフォルト: 1]
|
|
116
|
-
--v-majority-hex-HexWeight 六角形の線の太さ [数値] [デフォルト: 1]
|
|
117
|
-
--v-majority-hex-MaxOpacity 正規化後の最大塗り透明度
|
|
118
|
-
[数値] [デフォルト: 0.9]
|
|
119
|
-
--v-majority-hex-MinOpacity 正規化後の最小塗り透明度
|
|
120
|
-
[数値] [デフォルト: 0.5]
|
|
121
|
-
|
|
122
|
-
For marker-cluster Visualizer
|
|
123
|
-
--v-marker-cluster-MaxClusterRadius クラスタを構成する範囲(半径)
|
|
124
|
-
[数値] [デフォルト: 80]
|
|
125
|
-
|
|
126
|
-
For pie-charts Visualizer
|
|
127
|
-
--v-pie-charts-MaxRadiusScale Hex内接円半径に対する最大半径スケール
|
|
128
|
-
(0-1.5) [数値] [デフォルト: 0.9]
|
|
129
|
-
--v-pie-charts-MinRadiusScale 最大半径に対する最小半径スケール (0-1)
|
|
130
|
-
[数値] [デフォルト: 0.25]
|
|
131
|
-
--v-pie-charts-StrokeWidth Pie Chart輪郭線の太さ(px)
|
|
132
|
-
[数値] [デフォルト: 1]
|
|
133
|
-
--v-pie-charts-BackgroundOpacity 最大半径ガイドリングの透明度 (0-1)
|
|
134
|
-
[数値] [デフォルト: 0.2]
|
|
135
|
-
|
|
136
|
-
For voronoi Visualizer
|
|
137
|
-
--v-voronoi-MaxSitesPerHex ポワソン分布に基づいて各ヘックス内でサン
|
|
138
|
-
プリングされる最大サイト数 (0 = 無制限)
|
|
139
|
-
[数値] [デフォルト: 0]
|
|
140
|
-
--v-voronoi-MinSiteSpacingMeters 各ヘックス内でサンプリングされたサイト間
|
|
141
|
-
の最小距離をメートル単位で保証 (0 =
|
|
142
|
-
無効) [数値] [デフォルト: 50]
|
|
143
|
-
|
|
144
|
-
オプション:
|
|
145
|
-
--help ヘルプを表示 [真偽]
|
|
146
|
-
--version バージョンを表示 [真偽]
|
|
147
|
-
|
|
148
|
-
必須の引数が見つかりません: plugin
|
|
149
|
-
|
|
150
|
-
cold_@bimota-due MINGW64 /c/GitHub/Splatone (62-可視化メソッドpiecharts)
|
|
151
|
-
$ node crawler.js --help
|
|
152
|
-
[app] [plugin] loaded: flickr@1.0.0
|
|
153
|
-
使い方: crawler.js [options]
|
|
82
|
+
--debug-verbose デバッグ情報出力 [真偽] [デフォルト: false]
|
|
154
83
|
|
|
155
|
-
|
|
156
|
-
|
|
157
|
-
|
|
158
|
-
|
|
159
|
-
|
|
160
|
-
|
|
161
|
-
|
|
162
|
-
|
|
163
|
-
|
|
164
|
-
|
|
165
|
-
--debug-verbose デバッグ情報出力 [真偽] [デフォルト: false]
|
|
84
|
+
UI Defaults
|
|
85
|
+
--ui-cell-size 起動時にUIへ設定するセルサイズ (0で自動)
|
|
86
|
+
[数値] [デフォルト: 0]
|
|
87
|
+
--ui-units セルサイズの単位 (kilometers/meters/miles)
|
|
88
|
+
[文字列] [選択してください: "kilometers", "meters", "miles"] [デフォルト:
|
|
89
|
+
"kilometers"]
|
|
90
|
+
--ui-bbox UI初期表示の矩形範囲。"minLon,minLat,maxLon,maxLat" の形式
|
|
91
|
+
[文字列]
|
|
92
|
+
--ui-polygon UI初期表示のポリゴン。Polygon/MultiPolygonを含むGeoJSON文
|
|
93
|
+
字列 [文字列]
|
|
166
94
|
|
|
167
95
|
For flickr Plugin
|
|
168
|
-
--p-flickr-APIKEY Flickr ServiceのAPI KEY [文字列]
|
|
169
|
-
--p-flickr-Extras カンマ区切り/保持する写真のメタデータ(デフォルト値は
|
|
96
|
+
--p-flickr-APIKEY Flickr ServiceのAPI KEY [文字列]
|
|
97
|
+
--p-flickr-Extras カンマ区切り/保持する写真のメタデータ(デフォルト値は
|
|
170
98
|
記載の有無に関わらず保持)
|
|
171
|
-
[文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]
|
|
172
|
-
--p-flickr-DateMode 利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)
|
|
173
|
-
[選択してください: "upload", "taken"] [デフォルト: "upload"]
|
|
174
|
-
--p-flickr-Haste 時間軸分割並列処理 [真偽] [デフォルト: true]
|
|
175
|
-
--p-flickr-DateMax クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD
|
|
176
|
-
[文字列] [デフォルト:
|
|
177
|
-
--p-flickr-DateMin クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD
|
|
178
|
-
[文字列] [デフォルト: 1072882800]
|
|
99
|
+
[文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]
|
|
100
|
+
--p-flickr-DateMode 利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)
|
|
101
|
+
[選択してください: "upload", "taken"] [デフォルト: "upload"]
|
|
102
|
+
--p-flickr-Haste 時間軸分割並列処理 [真偽] [デフォルト: true]
|
|
103
|
+
--p-flickr-DateMax クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD
|
|
104
|
+
[文字列] [デフォルト: 1763465845]
|
|
105
|
+
--p-flickr-DateMin クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD
|
|
106
|
+
[文字列] [デフォルト: 1072882800]
|
|
179
107
|
|
|
180
108
|
Visualization (最低一つの指定が必須です)
|
|
181
109
|
--vis-bulky 全データをCircleMarkerとして地図上に表示
|
|
182
|
-
[真偽] [デフォルト: false]
|
|
183
|
-
--vis-heat カテゴリ毎に異なるレイヤのヒートマップで可視化（色=
|
|
184
|
-
カテゴリ色、透明度=頻度） [真偽] [デフォルト: false]
|
|
185
|
-
--vis-majority-hex HexGrid内で最も出現頻度が高いカテゴリの色で彩色。Hex
|
|
186
|
-
apartiteモードで6分割パイチャート表示。透明度は全体
|
|
187
|
-
で正規化。 [真偽] [デフォルト: false]
|
|
110
|
+
[真偽] [デフォルト: false]
|
|
111
|
+
--vis-heat カテゴリ毎に異なるレイヤのヒートマップで可視化（色=
|
|
112
|
+
カテゴリ色、透明度=頻度） [真偽] [デフォルト: false]
|
|
113
|
+
--vis-majority-hex HexGrid内で最も出現頻度が高いカテゴリの色で彩色。Hex
|
|
114
|
+
apartiteモードで6分割パイチャート表示。透明度は全体
|
|
115
|
+
で正規化。 [真偽] [デフォルト: false]
|
|
188
116
|
--vis-marker-cluster マーカークラスターとして地図上に表示
|
|
189
|
-
[真偽] [デフォルト: false]
|
|
117
|
+
[真偽] [デフォルト: false]
|
|
190
118
|
--vis-pie-charts Hex中心にカテゴリ割合のPie
|
|
191
119
|
Chartを描画するビジュアライザ
|
|
192
|
-
[真偽] [デフォルト: false]
|
|
193
|
-
--vis-voronoi Hex Grid ボロノイ図 [真偽] [デフォルト: false]
|
|
120
|
+
[真偽] [デフォルト: false]
|
|
121
|
+
--vis-voronoi Hex Grid ボロノイ図 [真偽] [デフォルト: false]
|
|
194
122
|
|
|
195
123
|
For bulky Visualizer
|
|
196
|
-
--v-bulky-Radius Point Markerの半径 [数値] [デフォルト: 5]
|
|
197
|
-
--v-bulky-Stroke Point Markerの線の有無 [真偽] [デフォルト: true]
|
|
198
|
-
--v-bulky-Weight Point Markerの線の太さ [数値] [デフォルト: 1]
|
|
199
|
-
--v-bulky-Opacity Point Markerの線の透明度 [数値] [デフォルト: 1]
|
|
200
|
-
--v-bulky-Filling Point Markerの塗りの有無 [真偽] [デフォルト: true]
|
|
124
|
+
--v-bulky-Radius Point Markerの半径 [数値] [デフォルト: 5]
|
|
125
|
+
--v-bulky-Stroke Point Markerの線の有無 [真偽] [デフォルト: true]
|
|
126
|
+
--v-bulky-Weight Point Markerの線の太さ [数値] [デフォルト: 1]
|
|
127
|
+
--v-bulky-Opacity Point Markerの線の透明度 [数値] [デフォルト: 1]
|
|
128
|
+
--v-bulky-Filling Point Markerの塗りの有無 [真偽] [デフォルト: true]
|
|
201
129
|
--v-bulky-FillOpacity Point Markerの塗りの透明度 [数値] [デフォルト: 0.5]
|
|
202
130
|
|
|
203
131
|
For heat Visualizer
|
|
@@ -243,6 +171,7 @@ For voronoi Visualizer
|
|
|
243
171
|
--help ヘルプを表示 [真偽]
|
|
244
172
|
--version バージョンを表示 [真偽]
|
|
245
173
|
```
|
|
174
|
+
|
|
246
175
|
## 最小コマンド例
|
|
247
176
|
|
|
248
177
|
1. *plugin*を一つ、*visualizer*を一つ以上指定し、複数のキーワードでクロールを開始します。
|
|
@@ -259,6 +188,26 @@ For voronoi Visualizer
|
|
|
259
188
|
$ npx -y -p splatone@latest crawler -p flickr -k "canal,river|street,alley|bridge" --vis-bulky --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
|
|
260
189
|
```
|
|
261
190
|
|
|
191
|
+
## ブラウズ専用モード
|
|
192
|
+
|
|
193
|
+
ダウンロードした結果ファイルをブラウザ上で閲覧するためのモードです。
|
|
194
|
+
|
|
195
|
+
```bash
|
|
196
|
+
npx -y -p splatone@latest browse
|
|
197
|
+
```
|
|
198
|
+
|
|
199
|
+
あるいは
|
|
200
|
+
|
|
201
|
+
```bash
|
|
202
|
+
npx -y -p splatone@latest crawl --browse-mode
|
|
203
|
+
```
|
|
204
|
+
|
|
205
|
+
- ブラウザ上に result*.json（`crawler` が保存したファイル）をドラッグ＆ドロップすると、その場で結果が地図へ描画されます。ズームやパン等Leafletの機能が使えます。
|
|
206
|
+
- CLI コマンド生成欄には、この結果を生成したコマンドが表示さるため、同じ条件をベースに新たなクエリを発行できます。
|
|
207
|
+
|
|
208
|
+
|
|
209
|
+
|
|
210
|
+
|
|
262
211
|
# 詳細説明
|
|
263
212
|
|
|
264
213
|
## Plugin (クローラー)
|
|
@@ -435,6 +384,8 @@ MinSiteSpacingMetersによる間引きは、各サイト周辺 (MinSiteSpacingMe
|
|
|
435
384
|
|
|
436
385
|
## キーワード指定方法
|
|
437
386
|
|
|
387
|
+
キーワードとはソーシャルデータを検索する単語の事で、複数のキーワードをしていする事で、地理的な出現頻度・分散を比較できます。
|
|
388
|
+
|
|
438
389
|
### 比較キーワードの指定
|
|
439
390
|
|
|
440
391
|
複数のキーワードでジオタグ付きポストを集め分布を比較します。比較キーワードは「|」区切りで指定します。例えばseaとmountainの分布を調べたい場合は以下のようにします。この例では、seaとタグ付けられたポストとmountainとタグ付けられたポストが色分けされて分布を表示します。
|
|
@@ -485,14 +436,21 @@ npx -y -p splatone@latest color <count> <sets>
|
|
|
485
436
|
npx -y -p splatone@latest color 6 3
|
|
486
437
|
```
|
|
487
438
|
|
|
488
|
-
-
|
|
439
|
+
- ブラウザでプレビューするか聞かれるのでYとすると、ブラウザ上で実際の色が確認できます。
|
|
440
|
+
- カラーピッカーになっていますので、微調整も可能です。
|
|
441
|
+
- カラーコードをクリックするとコピーされます。
|
|
489
442
|
|
|
490
|
-
|
|
443
|
+
|
|
444
|
+
|
|
445
|
+
- オプション:
|
|
446
|
+
- `--no-ansi` : ANSI カラーシーケンスを出力せず、プレーンなカンマ区切りの HEX を出力します（パイプやログ向け）。
|
|
491
447
|
|
|
492
448
|
```bash
|
|
493
449
|
npx -y -p splatone@latest color --no-ansi 6 3
|
|
494
450
|
```
|
|
495
451
|
|
|
452
|
+
|
|
453
|
+
|
|
496
454
|
## ダウンロード
|
|
497
455
|
|
|
498
456
|
### 画像のダウンロード
|
|
@@ -507,9 +465,6 @@ npx -y -p splatone@latest color --no-ansi 6 3
|
|
|
507
465
|
* クロール結果をデータとしてダウンロードしたい場合は凡例の下にあるエクスポートボタンをクリックしてください。
|
|
508
466
|
* 指定したビジュアライザ毎にFeature Collectionとして結果が格納されます。
|
|
509
467
|
* クローリングしたデータそのものが欲しい場合はBulky等、単純なビジュアライザを指定してください。
|
|
510
|
-
|
|
511
|
-
|
|
512
|
-
|
|
513
468
|
### 広範囲なデータ収集例
|
|
514
469
|
|
|
515
470
|
* クエリ数はおおよそ1 query/secに調整されますので、時間はかかりますが大量のデータを収集する事も可能です。
|