splatone 0.0.12 → 0.0.13

package/README.md

@@ -13,6 +13,10 @@ SNSのジオタグ付きポストをキーワードに基づいて収集する
 
 ## Change Log
 
+### v0.0.12 →　v0.0.13
+* BulkyのPointMarkerのサイズや透明度を可変に
+  * コマンドライン引数で指定 (詳しくは``` npx -y -- splatone@latest crawler --help```)
+
 ### v0.0.11 →　v0.0.12
 
 * Bottleneckを導入しクエリ間隔を適正値に調整 (3 queries/ 3 sec.)
@@ -54,40 +58,49 @@ $ npx -y -- splatone@latest crawler --help
 使い方: crawler.js [options]
 
 Basic Options
-  -p, --plugin    実行するプラグイン[文字列] [必須] [選択してください: "flickr"]
-  -o, --options   プラグインオプション               [文字列] [デフォルト: "{}"]
-  -k, --keywords  検索キーワード(|区切り)                  [文字列] [デフォルト:
-                       "nature,tree,flower|building,house|water,sea,river,pond"]
+  -p, --plugin    実行するプラグイン[文字列] [必須] [選択してください: "flickr"]   
+  -o, --options   プラグインオプション               [文字列] [デフォルト: "{}"]   
+  -k, --keywords  検索キーワード(|区切り)                  [文字列] [デフォルト:   
+                       "nature,tree,flower|building,house|water,sea,river,pond"]   
   -f, --filed     大きなデータをファイルとして送受信する
-                                                       [真偽] [デフォルト: true]
+                                                       [真偽] [デフォルト: true]   
   -c, --chopped   大きなデータを細分化して送受信する
-                                             [非推奨] [真偽] [デフォルト: false]
+                                             [非推奨] [真偽] [デフォルト: false]   
 
 Debug
-      --debug-verbose  デバッグ情報出力               [真偽] [デフォルト: false]
+      --debug-verbose  デバッグ情報出力               [真偽] [デフォルト: false]   
 
 For flickr Plugin
-      --p-flickr-APIKEY    Flickr ServiceのAPI KEY                      [文字列]
-      --p-flickr-Extras    カンマ区切り/保持する写真のメタデータ(デフォルト値は
+      --p-flickr-APIKEY    Flickr ServiceのAPI KEY                      [文字列]   
+      --p-flickr-Extras    カンマ区切り/保持する写真のメタデータ(デフォルト値は    
                            記載の有無に関わらず保持)
-       [文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]
-      --p-flickr-DateMode  利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)
-                    [選択してください: "upload", "taken"] [デフォルト: "upload"]
-      --p-flickr-Haste     時間軸分割並列処理          [真偽] [デフォルト: true]
-      --p-flickr-DateMax   クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD
-                                               [文字列] [デフォルト: 1762904780]
-      --p-flickr-DateMin   クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD
-                                               [文字列] [デフォルト: 1072882800]
+       [文字列] [デフォルト: "date_upload,date_taken,owner_name,geo,url_s,tags"]   
+      --p-flickr-DateMode  利用時間軸(update=Flickr投稿日時/taken=写真撮影日時)    
+                    [選択してください: "upload", "taken"] [デフォルト: "upload"]   
+      --p-flickr-Haste     時間軸分割並列処理          [真偽] [デフォルト: true]   
+      --p-flickr-DateMax   クローリング期間(最大) UNIX TIMEもしくはYYYY-MM-DD      
+                                               [文字列] [デフォルト: 1762942310]   
+      --p-flickr-DateMin   クローリング期間(最小) UNIX TIMEもしくはYYYY-MM-DD      
+                                               [文字列] [デフォルト: 1072882800]   
 
 Visualization (最低一つの指定が必須です)
       --vis-bulky           全データをCircleMarkerとして地図上に表示
-                                                      [真偽] [デフォルト: false]
+                                                      [真偽] [デフォルト: false]   
       --vis-marker-cluster  マーカークラスターとして地図上に表示
-                                                      [真偽] [デフォルト: false]
+                                                      [真偽] [デフォルト: false]   
+
+For bulky Visualizer
+      --v-bulky-Radius       Point Markerの直径           [数値] [デフォルト: 5]   
+      --v-bulky-Stroke       Point Markerの線の有無    [真偽] [デフォルト: true]   
+      --v-bulky-Weight       Point Markerの線の太さ       [数値] [デフォルト: 1]   
+      --v-bulky-Opacity      Point Markerの線の透明度     [数値] [デフォルト: 1]   
+      --v-bulky-Filling      Point Markerの塗りの有無  [真偽] [デフォルト: true]   
+      --v-bulky-FillOpacity  Point Markerの塗りの透明度 [数値] [デフォルト: 0.5]   
 
 オプション:
-      --help     ヘルプを表示                                             [真偽]
-      --version  バージョンを表示                                         [真偽]
+      --help     ヘルプを表示                                             [真偽]   
+      --version  バージョンを表示                                         [真偽]   
+
 ```
 ## クローリングの実行
 

package/crawler.js

@@ -30,7 +30,7 @@ import { hideBin } from 'yargs/helpers';
 // -------------------------------
 import { loadPlugins } from './lib/pluginLoader.js';
 import paletteGenerator from './lib/paletteGenerator.js';
-import { dfsObject, bboxSize, saveGeoJsonObjectAsStream, buildPluginsOptions, loadAPIKey } from '#lib/splatone';
+import { dfsObject, bboxSize, saveGeoJsonObjectAsStream, buildPluginsOptions, loadAPIKey, buildVisualizersOptions } from '#lib/splatone';
 
 const __filename = fileURLToPath(import.meta.url);
 const __dirname = dirname(__filename);
@@ -39,6 +39,8 @@ const app = express();
 const port = 3000;
 const title = 'Splatone - Multi-Layer Composite Heatmap Viewer';
 let pluginsOptions = {};
+let visOptions = {};
+
 const flickrLimiter = new Bottleneck({
   maxConcurrent: 5,
   minTime: 350, // 約3req/sec
@@ -58,6 +60,7 @@ try {
     api,
     optionsById: {},
   });
+
   // Visualizer読み込み
   const all_visualizers = {};  // { [name: string]: class }
   // クラス判定の小ヘルパ
@@ -178,14 +181,20 @@ try {
   plugins.list().forEach(async (plug) => {
     yargv = await plugins.call(plug, "yargv", yargv);
   })
-  Object.keys(all_visualizers).forEach((vis) => {
+
+
+  const visualizers_ = {};
+  await Object.keys(all_visualizers).forEach(async (vis) => {
     yargv = yargv.option('vis-' + vis, {
       group: 'Visualization (最低一つの指定が必須です)',
       type: 'boolean',
       default: false,
       description: all_visualizers[vis].description
     })
+    visualizers_[vis] = new all_visualizers[vis]();
+    yargv = await visualizers_[vis].yargv(yargv);
   });
+
   yargv = yargv.check(async (argv, options) => {
     if (Object.keys(all_visualizers).filter(v => argv["vis-" + v]).length == 0) {
       throw new Error('可視化ツールの指定がありません。最低一つは指定してください。');
@@ -194,7 +203,9 @@ try {
       console.warn("--filedと--choppedが両方指定されています。--filedが優先されます。");
       argv.chopped = false;
     }
-    pluginsOptions = buildPluginsOptions(argv, plugins.list())
+    pluginsOptions = buildPluginsOptions(argv, plugins.list());
+    visOptions = buildVisualizersOptions(argv, Object.keys(visualizers_));
+    //console.log(visOptions);
     pluginsOptions[argv.plugin] = await plugins.call(argv.plugin, 'check', pluginsOptions[argv.plugin]);
     return true;
   });
@@ -202,20 +213,10 @@ try {
   const argv = await yargv.parseAsync();
 
   const visualizers = {};
-  for (const vis of Object.keys(all_visualizers).filter(v => argv[`vis-${v}`])) {
-    visualizers[vis] = new all_visualizers[vis]();
+  for (const vis of Object.keys(visualizers_).filter(v => argv[`vis-${v}`])) {
+    visualizers[vis] = visualizers_[vis];
   }
 
-  /* const plugin_options = argv.options?.[argv.plugin] ?? {}
-  try {
-    plugin_options.API_KEY = await loadAPIKey("flickr") ?? plugin_options.API_KEY;
-  } catch (e) {
-    if (!plugin_options.API_KEY) {
-      console.error("Error loading API key:", e.message);
-    }
-    //Nothing to do
-  }*/
-  //pluginsOptions = buildPluginsOptions(argv, plugins.list());
   await plugins.call(argv.plugin, 'init', pluginsOptions[argv.plugin]);
   if (argv.debugVerbose) {
     console.table([["Visualizer", Object.keys(visualizers)], ["Plugin", argv.plugin]]);
@@ -225,6 +226,7 @@ try {
   const processing = {};
   const crawlers = {};
   const targets = {};
+
   // 初期中心（凱旋門）
   const DEFAULT_CENTER = { lat: 48.873611, lon: 2.294444 };
 
@@ -633,7 +635,8 @@ try {
     const resultId = uniqid();
     const result = crawlers[currentSessionId];
     const target = targets[currentSessionId];
-    let geoJson = Object.fromEntries(Object.entries(visualizers).map(([vis, v]) => [vis, v.getFutureCollection(result, target)]));
+
+    let geoJson = Object.fromEntries(Object.entries(visualizers).map(([vis, v]) => [vis, v.getFutureCollection(result, target, visOptions[vis])]));
 
     //console.log('[splatone:finish]');
     try {
@@ -645,7 +648,8 @@ try {
         geoJson,
         palette: target["splatonePalette"],
         visualizers: Object.keys(visualizers),
-        plugin: argv.plugin
+        plugin: argv.plugin,
+        visOptions
       });
     } catch (e) {
       if (e instanceof RangeError && /Invalid string length/.test(String(e.message))) {
@@ -719,7 +723,8 @@ try {
           geoJson: null, /*geoJsonは送らない*/
           palette: target["splatonePalette"],
           visualizers: Object.keys(visualizers),
-          plugin: argv.plugin
+          plugin: argv.plugin,
+          visOptions
         });
         console.log("[Done]");
       } else {

package/lib/PluginBase.js

@@ -16,9 +16,12 @@ export class PluginBase {
   argKey(key) {
     return "p-" + this.id + "-" + key;
   }
+  async yargv(yargv) {
+    return yargv;
+  }
   async check(option) {
     //throw Error("Plugin Option Error!");
-    return true;
+    return options;
   }
 
   async init(options = {}) {

package/lib/VisualizerBase.js

@@ -9,7 +9,17 @@ export class VisualizerBase {
   /** @param {object} api - ホストが提供する能力（権限を最小化） */
   constructor() {
   }
-  async init() {}
-  async start() {}
-  async stop() {}
+  argKey(key) {
+    return "v-" + this.id + "-" + key;
+  }
+  async yargv(yargv) {
+    return yargv;
+  }
+  async check(option) {
+    //throw Error("Plugin Option Error!");
+    return options;
+  }
+  async init() { }
+  async start() { }
+  async stop() { }
 }

package/lib/splatone.js

@@ -160,10 +160,17 @@ export async function saveGeoJsonObjectAsStream(geoJsonObject, outfile) {
   return destPath;
 }
 
+export function buildVisualizersOptions(argv, visualizerIds) {
+  return buildOptions('v', argv, visualizerIds);
+}
 export function buildPluginsOptions(argv, pluginIds) {
+  return buildOptions('p', argv, pluginIds);
+}
+
+function buildOptions(context, argv, ids) {
   const out = {};
-  for (const id of pluginIds) {
-    const prefix = `p-${id}`;
+  for (const id of ids) {
+    const prefix = `${context}-${id}`;
     const opts = {};
     for (const [key, val] of Object.entries(argv)) {
       if (key === '_' || key === '$0') continue;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "splatone",
-  "version": "0.0.12",
+  "version": "0.0.13",
   "description": "Multi-layer Composite Heatmap",
   "homepage": "https://github.com/YokoyamaLab/Splatone#readme",
   "bugs": {

package/views/index.ejs

@@ -337,7 +337,8 @@
       };
       for (const vis in visualizers) {
         const layers = await visualizers[vis](map, res.geoJson[vis], {
-          palette: res.palette
+          palette: res.palette,
+          visOptions:res.visOptions[vis]
         });
         //console.log("【レイヤ】\n", JSON.stringify(layers,null,4));
         if ((layers == null)) {

package/visualizer/bulky/node.js

@@ -1,18 +1,54 @@
+import path from 'node:path';
+import { fileURLToPath } from 'node:url';
 import { VisualizerBase } from '../../lib/VisualizerBase.js';
 import { featureCollection } from "@turf/turf";
 
 export default class BulkyVisualizer extends VisualizerBase {
-    static id = 'bulky';            // 一意ID（フォルダ名と一致させると運用しやすい）
     static name = 'Bulky Visualizer';          // 表示名
     static version = '0.0.0';
     static description = "全データをCircleMarkerとして地図上に表示";
 
     constructor() {
         super();
+        this.id = path.basename(path.dirname(fileURLToPath(import.meta.url)));//必須(ディレクトリ名がビジュアライザ名) 
+    }
+    async yargv(yargv) {
+        // 必須項目にすると、このプラグインを使用しない時も必須になります。
+        // 必須項目は作らず、もしプラグインを使う上での制約違反はinitで例外を投げてください。
+        return yargv.option(this.argKey('Radius'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'number',
+            description: 'Point Markerの直径',
+            default: 5
+        }).option(this.argKey('Stroke'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'boolean',
+            description: 'Point Markerの線の有無',
+            default: true
+        }).option(this.argKey('Weight'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'number',
+            description: 'Point Markerの線の太さ',
+            default: 1
+        }).option(this.argKey('Opacity'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'number',
+            description: 'Point Markerの線の透明度',
+            default: 1
+        }).option(this.argKey('Filling'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'boolean',
+            description: 'Point Markerの塗りの有無',
+            default: true
+        }).option(this.argKey('FillOpacity'), {
+            group: 'For ' + this.id + ' Visualizer',
+            type: 'number',
+            description: 'Point Markerの塗りの透明度',
+            default: .5
+        });
     }
 
-    getFutureCollection(result, target){
-           //console.log(JSON.stringify(target, null, 4));
+    getFutureCollection(result, target, visOptions) {
         const layers = {};
         for (const hex in result) {
             for (const cat in result[hex]) {
@@ -20,17 +56,17 @@ export default class BulkyVisualizer extends VisualizerBase {
                     layers[cat] = [];
                 }
                 for (const feature of result[hex][cat].items.features) {
-                    feature.properties["radius"] = 5;
+                    feature.properties["radius"] = visOptions.Radius;
 
-                    feature.properties["stroke"] = true;
-                    feature.properties["color"] = target.splatonePalette[cat].darken;                    
-                    feature.properties["weight"] = 1;
-                    feature.properties["opacity"] = 1;
+                    feature.properties["stroke"] = visOptions.Stroke;
+                    feature.properties["color"] = target.splatonePalette[cat].darken;
+                    feature.properties["weight"] = visOptions.Weight;
+                    feature.properties["opacity"] = visOptions.Opacity;
 
-                    feature.properties["fill"] = true;
+                    feature.properties["fill"] = visOptions.Filling;
                     feature.properties["fillColor"] = target.splatonePalette[cat].color;
-                    feature.properties["fillOpacity"] = .5;
- 
+                    feature.properties["fillOpacity"] = visOptions.FillOpacity;
+
                     layers[cat].push(feature);
                 }
             }

package/visualizer/bulky/web.js

@@ -1,6 +1,7 @@
 let booted = false;
 export default async function main(map, geojson, options = {}) {
     //console.log("main");
+    console.log("[VIS OPTIONS]",options.visOptions);
     if (booted) return;
     booted = true;
     const layers = {};

package/visualizer/marker-cluster/node.js

@@ -1,3 +1,5 @@
+import path from 'node:path';
+import { fileURLToPath } from 'node:url';
 import { VisualizerBase } from '../../lib/VisualizerBase.js';
 import { featureCollection } from "@turf/turf";
 
@@ -10,8 +12,10 @@ export default class MarkerClusterVisualizer extends VisualizerBase {
 
     constructor() {
         super();
+        this.id = path.basename(path.dirname(fileURLToPath(import.meta.url)));//必須(ディレクトリ名がビジュアライザ名) 
     }
 
+
     concatFC(fcA, fcB) {
         return {
             type: "FeatureCollection",
@@ -31,7 +35,7 @@ export default class MarkerClusterVisualizer extends VisualizerBase {
         });
         return { type: "FeatureCollection", features };
     }
-    getFutureCollection(result, target) {
+    getFutureCollection(result, target, visOptions) {
         //console.log(JSON.stringify(target, null, 4));
         const layers = {};
         for (const hex in result) {

package/visualizer/marker-cluster/web.js

@@ -1,8 +1,10 @@
 let booted = false;
-export default async function main(map, geojson, options = { palette: {} }) {
+export default async function main(map, geojson, options = { palette: {}, visOptions: {} }) {
     if (booted) return;
     booted = true;
 
+console.log("[VIS OPTIONS]",options.visOptions);
+
     const urls = [
         'https://unpkg.com/leaflet.markercluster@1.5.3/dist/MarkerCluster.css',
         'https://unpkg.com/leaflet.markercluster@1.5.3/dist/MarkerCluster.Default.css',