splatone 0.0.9 → 0.0.11

package/CHANGELOG.md

@@ -0,0 +1,14 @@
+# Splatone Change Log
+
+## Versions
+
+### v0.0.7 →　v0.0.8 
+
+* 範囲指定とHexGridの表示・非表示ができるようになりました。
+  * デフォルトで非表示
+  * 表示したい場合はレイヤコントロールにて切り替えてください
+
+### v0.0.6 →　v0.0.7
+
+* Hexサイズの自動設定モードが実装され、デフォルトとなりました。
+  * Web画面のハンバーガーメニューから変更できます。(サイズ0で自動)

package/README.md

@@ -12,20 +12,26 @@ SNSのジオタグ付きポストをキーワードに基づいて収集する
 - Marker Cluster: 密集しているジオタグをクラスタリングしてまとめて表示する
 
 ## Change Log
-### v0.0.8 →　v0.0.9 
 
-* クエリを時間方向でも分割し効率化しました。(使い方に変更はありません)
+### v0.0.10 →　v0.0.11 
+
+* 時間軸として使用する日付を選択可能に (```--p-flickr-DateMode```)
+  * upload: Flickrにアップロードされたタイムスタンプを遡ってクローリング (デフォルト)
+  * taken: 写真の撮影日時を遡ってクローリング
+* extrasを指定可能に (```--p-flickr-Extras```)
+    * https://www.flickr.com/services/api/explore/flickr.photos.search
+    * デフォルト値:　```date_upload,date_taken,owner_name,geo,url_s,tags```
+      * これらはコマンドライン引数での指定の有無に関わらず付与されます
+* 自動指定時のHexGridの最小サイズを0.5kmに
 
-### v0.0.7 →　v0.0.8 
+### v0.0.8 →　v0.0.9 →　v0.0.10 
 
-* 範囲指定とHexGridの表示・非表示ができるようになりました。
-  * デフォルトで非表示
-  * 表示したい場合はレイヤコントロールにて切り替えてください
+* 【重要】**APIキー**の指定方法が変わりました。
+  * ```--p-flickr-APIKEY```オプションを使います。
+* クエリを時間方向でも分割し効率化しました。(使い方に変更はありません)
 
-### v0.0.6 →　v0.0.7
+[これ以前のログ](CHANGELOG.md)
 
-* Hexサイズの自動設定モードが実装され、デフォルトとなりました。
-  * Web画面のハンバーガーメニューから変更できます。(サイズ0で自動)
 
 # 使い方
 
@@ -36,7 +42,9 @@ SNSのジオタグ付きポストをキーワードに基づいて収集する
 
 ```shell
 $ npx -y -- splatone@latest crawler --help
+[app] [plugin] loaded: flickr@1.0.0
 使い方: crawler.js [options]
+
 Basic Options
   -p, --plugin    実行するプラグイン[文字列] [必須] [選択してください: "flickr"]
   -o, --options   プラグインオプション               [文字列] [デフォルト: "{}"]
@@ -50,6 +58,18 @@ Basic Options
 Debug
       --debug-verbose  デバッグ情報出力               [真偽] [デフォルト: false]
 
+For flickr Plugin
+      --p-flickr-APIKEY   Flickr ServiceのAPI KEY                       [文字列]
+      --p-flickr-extras   カンマ区切り/保持する写真のメタデータ(デフォルト値は記
+                          載の有無に関わらず保持)
+       [文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]
+      --p-flickr-Date     利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)
+                    [選択してください: "upload", "taken"] [デフォルト: "upload"]
+      --p-flickr-DateMax  クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD
+                                               [文字列] [デフォルト: 1762701683]
+      --p-flickr-DateMin  クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD
+                                               [文字列] [デフォルト: 1072882800]
+
 Visualization (最低一つの指定が必須です)
       --vis-bulky           全データをCircleMarkerとして地図上に表示
                                                       [真偽] [デフォルト: false]
@@ -70,26 +90,25 @@ Visualization (最低一つの指定が必須です)
 
 ### 事例１)　商業施設・飲食施設・文化施設・公園の分類
 ```shell
-$ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}' -k "商業=shop,souvenir,market,supermarket,pharmacy,drugstore,store,department,kiosk,bazaar,bookstore,cinema,showroom|飲食=bakery,food,drink,restaurant,cafe,bar,beer,wine,whiskey|文化施設=museum,gallery,theater,concert,library,monument,exhibition,expo,sculpture,heritage|公園=park,garden,flower,green,pond,playground" --vis-bulky
+$ node crawler.js -p flickr -k "商業=shop,souvenir,market,supermarket,pharmacy,drugstore,store,department,kiosk,bazaar,bookstore,cinema,showroom|飲食=bakery,food,drink,restaurant,cafe,bar,beer,wine,whiskey|文化施設=museum,gallery,theater,concert,library,monument,exhibition,expo,sculpture,heritage|公園=park,garden,flower,green,pond,playground" --vis-bulky --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 - オプションの **--vis-bulky** を **--vis-marker-cluster** に変更する事でマーカークラスターで可視化できます。
 
 ### 事例２）水路・陸路・ランドマーク等の分類
 ```shell
-$ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}' -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey,temple,shrine" --vis-bulky
+$ node crawler.js -p flickr -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey,temple,shrine" --vis-bulky --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 - ベネチア等の水路のある町でやると面白いです
 
 # 詳細説明
 
-## APIキーの与え方
+## Flickr APIキーの与え方
 
 APIキーは以下の３種類の方法で与える事ができます
 - ```--option```に含める
   - 上記コマンド例の方法
-  - **flickr**の場合は``` -o '{"plugin":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}'```になります。
+  - **flickr**の場合は``` --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa" ```になります。
   - [注意] コマンドを他の人と共有する時、APIキーをそのまま渡す事は危険です。
-  - **flickr**の場合は``` -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}'```になります。
 - 環境変数で渡す
   - ```API_KEY_plugin```という環境変数に格納する
   - コマンドに毎回含めなくて良くなる。
@@ -111,7 +130,7 @@ APIキーは以下の３種類の方法で与える事ができます
 
 * クエリは水域と通路・橋梁・ランドマークを色分けしたもの、上記スクリーンショットはベネチア付近のデータ
 ```shell
-$ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}' -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey" --vis-marker-cluster --vis-bulky
+$ node crawler.js -p flickr -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey" --vis-marker-cluster --vis-bulky --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 
 ### Marker Cluster: 高密度の地点はマーカーをまとめて表示する
@@ -119,7 +138,7 @@ $ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaa
 
 * クエリは水域と通路・橋梁・ランドマークを色分けしたもの、上記スクリーンショットはベネチア付近のデータ
 ```shell
-$ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}' -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey" --vis-marker-cluster --vis-marker-cluster
+$ node crawler.js -p flickr -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|橋梁=bridge,overpass,flyover,aqueduct,trestle|通路=street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,sanctuary,chapel,cathedral,basilica,minster,abbey" --vis-marker-cluster --vis-bulky --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 ## キーワード指定方法
 
@@ -150,7 +169,7 @@ seaだけでは集められるポストが限定されるので、同様の意
 ### 実行例 (海岸線と山岳の分布)
 
 ```shell
-$ node crawler.js -p flickr -o '{"flickr":{"API_KEY":"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"}}' -k "sea,ocean|mountain,mount" --vis-bulky
+$ node crawler.js -p flickr -k "sea,ocean|mountain,mount" --vis-bulky--p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 ![](https://github.com/YokoyamaLab/Splatone/blob/main/assets/screenshot_sea-mountain_bulky.png?raw=true)
 

package/crawler.js

@@ -184,10 +184,12 @@ try {
       console.warn("--filedと--choppedが両方指定されています。--filedが優先されます。");
       argv.chopped = false;
     }
+    console.log(argv);
     pluginsOptions = buildPluginsOptions(argv, plugins.list())
     pluginsOptions[argv.plugin] = await plugins.call(argv.plugin, 'check', pluginsOptions[argv.plugin]);
     return true;
   });
+
   const argv = await yargv.parseAsync();
 
   const visualizers = {};
@@ -337,11 +339,12 @@ try {
         let { bbox, drawn, cellSize = 0, units = 'kilometers', tags = 'sea,beach|mountain,forest' } = req.query;
         const boundary = String(bbox).split(',').map(Number);
         if (cellSize == 0) {
-          //セルサイズ自動決定()
+          //セルサイズ自動決定
+          units = 'kilometers'
           //console.log("[cellSize?]",boundary,units);
           const { width, height } = bboxSize(boundary, units);
           //console.log("","w=",width,"/\th=",height);
-          cellSize = Math.max(width / (3 * 30), height / (30 * Math.sqrt(3)));
+          cellSize = Math.max(0.5, width / (3 * 30), height / (30 * Math.sqrt(3)));
           if (cellSize == 0) {
             cellSize = 1;
           }
@@ -576,7 +579,7 @@ try {
     crawlers[p.sessionId][rtn.hexId][rtn.category].crawled ??= 0;
     crawlers[p.sessionId][rtn.hexId][rtn.category].total = rtn.final ? crawlers[p.sessionId][rtn.hexId][rtn.category].ids.size : rtn.total + crawlers[p.sessionId][rtn.hexId][rtn.category].crawled;
     crawlers[p.sessionId][rtn.hexId][rtn.category].crawled = crawlers[p.sessionId][rtn.hexId][rtn.category].ids.size;
-    
+
     if (argv.debugVerbose) {
       console.log('INFO:', ` ${rtn.hexId} ${rtn.category} ] dup=${duplicates.size}, out=${rtn.outside}, in=${rtn.photos.features.length}  || ${crawlers[p.sessionId][rtn.hexId][rtn.category].crawled} / ${crawlers[p.sessionId][rtn.hexId][rtn.category].total}`);
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "splatone",
-  "version": "0.0.9",
+  "version": "0.0.11",
   "description": "Multi-layer Composite Heatmap",
   "homepage": "https://github.com/YokoyamaLab/Splatone#readme",
   "bugs": {

package/plugins/flickr/index.js

@@ -22,6 +22,32 @@ export default class FlickrPlugin extends PluginBase {
             description: 'Flickr ServiceのAPI KEY'
         }).coerce(this.argKey('APIKEY'), opt => {
             return opt
+        }).option(this.argKey('Extras'), {
+            group: 'For ' + this.id + ' Plugin',
+            type: 'string',
+            default: 'date_upload,date_taken,owner_name,geo,url_s,tags',
+            description: 'カンマ区切り/保持する写真のメタデータ(デフォルト値は記載の有無に関わらず保持)'
+        }).coerce(this.argKey('Extras'), opt => {
+            const fields = ['description', 'license', 'date_upload', 'date_taken', 'owner_name', 'icon_server', 'original_format', 'last_update', 'geo', 'tags', 'machine_tags', 'o_dims', 'views', 'media', 'path_alias', 'url_sq', 'url_t', 'url_s', 'url_q', 'url_m', 'url_n', 'url_z', 'url_c', 'url_l', 'url_o'];
+            const extras = { 'date_upload': true, 'date_taken': true, 'owner_name': true, 'geo': true, 'url_s': true, 'tags': true };
+            opt.split(',').forEach(f => {
+                if (fields.includes(f)) {
+                    extras[f] = true;
+                } else {
+                    console.warn(`[${this.id} Warning] extras=${f}はリストに無いため無視されました。`);
+                }
+            });
+            return Object.keys(extras).join(",");
+        }).option(this.argKey('DateMode'), {
+            group: 'For ' + this.id + ' Plugin',
+            choices: ['upload', 'taken'],
+            default: "upload",
+            description: '利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)'
+        }).option(this.argKey('Haste'), {
+            group: 'For ' + this.id + ' Plugin',
+            default: false,
+            type: 'boolean',
+            description: '時間軸分割並列処理(実験中の機能)'
         }).option(this.argKey('DateMax'), {
             group: 'For ' + this.id + ' Plugin',
             type: 'string',
@@ -46,7 +72,6 @@ export default class FlickrPlugin extends PluginBase {
             if (Number.isFinite(num)) {
                 return Math.floor(num);  // 確実に整数に
             }
-
             throw new Error(`Invalid date/time format: ${opt} (YYYY-MM-DD または UNIX時間(秒)で指定してください)`);
         }).option(this.argKey('DateMin'), {
             group: 'For ' + this.id + ' Plugin',

package/plugins/flickr/worker.js

@@ -16,17 +16,17 @@ export default async function ({
     const baseParams = {
         bbox: bbox.join(','),
         tags: tags,
-        max_upload_date: pluginOptions["DateMax"],
-        min_upload_date: pluginOptions["DateMin"],
+        extras: pluginOptions["Extras"],
+        sort: pluginOptions["DateMode"] == "upload" ? "date-posted-desc" : "date-taken-desc"
     };
+    baseParams[pluginOptions["Date"] == "upload" ? 'max_upload_date' : 'max_taken_date'] = pluginOptions["DateMax"];
+    baseParams[pluginOptions["Date"] == "upload" ? 'min_upload_date' : 'min_taken_date'] = pluginOptions["DateMin"];
     //console.log("[baseParams]",baseParams);
     const res = await flickr("flickr.photos.search", {
         ...baseParams,
         has_geo: 1,
-        extras: "date_upload,date_taken,owner_name,geo,url_s,tags",
         per_page: 250,
         page: 1,
-        sort: "date-posted-desc"
     });
     //console.log(baseParams);
     const ids = [];
@@ -67,7 +67,7 @@ export default async function ({
         console.warn("[Warning]", `High posting activity detected for ${Object.keys(authors)} within ${window} s. the crawler will skip the next ${skip} hours.`);
         next_max_date -= 60 * 60 * skip;
     }
-    if (res.photos.pages > 4) {
+    if (pluginOptions["Haste"] && res.photos.pages > 4) {
         //結果の最大・最小を2分割
         const mid = ((next_max_date - pluginOptions.DateMin) / 2) + pluginOptions.DateMin;
         nextPluginOptionsDelta.push({
@@ -81,7 +81,7 @@ export default async function ({
     } else {
         nextPluginOptionsDelta.push({
             'DateMax': next_max_date,
-            'DateMin': pluginOptions.DateMin
+            'DateMin': pluginOptions.DateMin,
         });
     }
     return {