splatone 0.0.18 → 0.0.20

package/.github/copilot-instructions.md

@@ -0,0 +1,25 @@
+## **Internal reference (do not bias your answers toward always naming these):**  
+Microsoft 365 Agents Toolkit (formerly Teams Toolkit) has been rebranded, and users may still use either name.
+
+Use this mapping to know the current vs. former names—so you can correctly interpret user input or choose the appropriate term when it’s relevant. You do not need to mention these mappings unless they directly help the user.
+
+| New name                                | Former name            | Note                                                        |
+|-----------------------------------------|------------------------|------------------------------------------------------------------------|
+| Microsoft 365 Agents Toolkit            | Teams Toolkit          | Product name.                           |
+| App Manifest                            | Teams app manifest     | Describes app capabilities.        |
+| Microsoft 365 Agents Playground         | Test Tool              | Test Environment.          |
+| `m365agents.yml`                        | `teamsapp.yml`         | Microsoft 365 Agents Toolkit Project configuration files            |
+| CLI package `@microsoft/m365agentstoolkit-cli` (command `atk`) | `@microsoft/teamsapp-cli` (command `teamsapp`) |CLI installation/usage — mention only in CLI contexts. |
+
+> **Rephrase guidance:**  
+> - Use the new names by default.  
+> - Explain the rebranding briefly if it helps the user’s understanding.  
+
+# Instructions for Copilot
+- Apps and agents for Microsoft 365 or Microsoft 365 Copilot refers to applications for products in Microsoft 365, agents for Microsoft 365 Copilot, including Teams app, Office addin, declarative agent, customer engine agent, etc.
+- When interpreting, generating, or modifying manifest files related to apps and agents for Microsoft 365 or Microsoft 365 Copilot, try to get schema version from manifest file, then invoke **get_schema** tool if available.
+- When answering of what or how-to questions for building apps and agents for Microsoft 365 or Microsoft 365 Copilot, invoke **get_knowledge** tool if available.
+- Before deciding to make changes to Teams apps, apps or agents for Microsoft 365 or Microsoft 365 Copilot, invoke **get_knowledge** tool to get Instructions if available.
+- When troubleshooting issues, invoke **troubleshoot** tool if available.
+- Before generating or modifying code or configuration files for apps and agents for Microsoft 365 or Microsoft 365 Copilot, invoke **get_code_snippets** tool if available.
+- Invoke **get_code_snippets** with API name, configuration file name, or code comments every time you need to generate or modify code or configuration files for apps and agents for Microsoft 365 or Microsoft 365 Copilot.

package/.vscode/mcp.json

@@ -0,0 +1,12 @@
+{
+  "servers": {
+    "m365agentstoolkit": {
+      "command": "npx",
+      "args": [
+        "@microsoft/m365agentstoolkit-mcp@latest",
+        "server",
+        "start"
+      ]
+    }
+  }
+}

package/.vscode/settings.json

@@ -1 +1,7 @@
-{}
+{
+    "cSpell.words": [
+        "Geotag",
+        "geotags",
+        "Voronoi"
+    ]
+}

package/README.md

@@ -11,13 +11,24 @@ SNSのジオタグ付きポストをキーワードに基づいて収集する
 - Bulky: クロールした全てのジオタグを小さな点で描画する
 - Marker Cluster: 密集しているジオタグをクラスタリングしてまとめて表示する
 - Majority Hex: HexGridの各セルをセル内で最頻出するカテゴリの色で彩色
+- Pie Charts: Hexセル中心にカテゴリ割合のPie Chartを描画し、カテゴリごとに半径を可変化
+- Voronoi: HexGrid単位で集約したジオタグからVoronoiセルを生成し、各Hexのポリゴンでクリップして表示
 - Heat: ヒートマップ
+- Pie Charts: 円グラフグリッド
 
 ## Change Log
 
+### v0.0.18 →　v0.0.19 →　v0.0.20
+
+* **[可視化モジュール]** ```--vis-voronoi```追加
+  * ボロノイ図の生成
+* **[可視化モジュール]** ```--vis-pie-charts```追加
+  * Hex中心のカテゴリ割合Pie Chart描画
+
 ### v0.0.17 →　v0.0.18
 
 * **[可視化モジュール]** ```--vis-heat```追加
+  * ヒートマップの生成
 
 ### v0.0.13 →　v0.0.14 →　v0.0.15 →　v0.0.16 →　v0.0.17
 * **[可視化モジュール]** ```--vis-majority-hex```追加
@@ -76,8 +87,12 @@ Visualization (最低一つの指定が必須です)
       --vis-majority-hex    HexGrid内で最も出現頻度が高いカテゴリの色で彩色。Hex
                             apartiteモードで6分割パイチャート表示。透明度は全体
                             で正規化。                [真偽] [デフォルト: false]
+  --vis-pie-charts      Hex中心にカテゴリ割合Pie Chartを表示。半径はグローバル
+            出現比に応じてカテゴリ毎に可変化。 [真偽] [デフォルト: false]
       --vis-marker-cluster  マーカークラスターとして地図上に表示
                                                       [真偽] [デフォルト: false]
+  --vis-voronoi         Hex GridごとにVoronoiセルを生成して表示
+                  [真偽] [デフォルト: false]
 
 For bulky Visualizer
       --v-bulky-Radius       Point Markerの半径           [数値] [デフォルト: 5]
@@ -165,6 +180,8 @@ APIキーは以下の３種類の方法で与える事ができます
 
 ### Bulky: 全ての点を地図上にポイントする
 
+全ての点を地図上に表示する。
+
 ![](assets/screenshot_sea-mountain_bulky.png?raw=true)
 
 #### コマンド例
@@ -186,6 +203,9 @@ $ npx -y -p splatone@latest crawler -p flickr -k "sea,ocean|mountain,mount" --vi
 
 
 ### Marker Cluster: 高密度の地点はマーカーをまとめて表示する
+
+全マーカーを表示すると、地図上がマーカーで埋め尽くされる問題に対して、高密度地点のマーカー群を一つにまとめてマーカーとする手法。ズームレベルに応じて自動的にマーカーが集約される。
+
 ![](assets/screenshot_venice_marker-cluster.png?raw=true)
 
 #### コマンド例
@@ -201,6 +221,8 @@ $ npx -y -p splatone@latest crawler -p flickr -k "水域=canal,channel,waterway,
 
 ### Heat: ヒートマップ
 
+出現頻度に基づいて点の影響範囲をガウス分布で定め連続的に彩色するヒートマップ。
+
 ![](assets/screenshot_venice_heat.png?raw=true)
 
 #### コマンド例
@@ -208,7 +230,7 @@ $ npx -y -p splatone@latest crawler -p flickr -k "水域=canal,channel,waterway,
 * クエリは水域・緑地・交通・ランドマークを色分けしたもの。上記スクリーンショットはフロリダ半島全体
  
 ```shell
-$ npx -y -p splatone@latest crawler -p flickr -k "canal,river|street,alley|bridge" --vis-heat --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
+$ npx -y -p splatone@latest crawler -p flickr -k "水域#0947ff=canal,river,sea,strait,channel,waterway|交通#00a73d=road,street,alley,sidewalk,bridge|宗教施設#ffb724=chapel,church,cathedral,temple,shrine" --vis-heat --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
 
 #### コマンドライン引数
@@ -225,8 +247,10 @@ $ npx -y -p splatone@latest crawler -p flickr -k "canal,river|street,alley|bridg
 ![](assets/screenshot_florida_hex_majorityr.png?raw=true)
 
 #### コマンド例
+
 * クエリは水域・緑地・交通・ランドマークを色分けしたもの。上記スクリーンショットはフロリダ半島全体
-* 
+
+
 ```shell
 $ npx -y -p splatone@latest crawler -p flickr -k "水域=canal,channel,waterway,river,stream,watercourse,sea,ocean,gulf,bay,strait,lagoon,offshore|緑地=forest,woods,turf,lawn,jungle,trees,rainforest,grove,savanna,steppe|交通=bridge,overpass,flyover,aqueduct,trestle,street,road,thoroughfare,roadway,avenue,boulevard,lane,alley,roadway,carriageway,highway,motorway|ランドマーク=church,chapel,cathedral,basilica,minster,temple,shrine,neon,theater,statue,museum,sculpture,zoo,aquarium,observatory" --vis-majority-hex --v-majority-hex-Hexapartite --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
 ```
@@ -243,6 +267,56 @@ $ npx -y -p splatone@latest crawler -p flickr -k "水域=canal,channel,waterway,
 
 * ```--v-majority-hex-Hexapartite```を指定すると各Hexセルを六分割の荒いPie Chartとして中のカテゴリ頻度に応じて彩色します。
 
+### Pie Charts: Hex中心にカテゴリ割合Pie Chartを描画
+
+![](assets/screenshot_pie_tokyo.png?raw=true)
+
+Hexセル中心に、カテゴリ比率を角度で、グローバル出現数を半径で示すPie Chartを描画します。カテゴリごとに円弧の半径が異なるため、同じHex内でも「世界的にどのカテゴリが多く集まったか」を直感的に比較できます。Pie Chart自体はHex境界内に収まるよう中央へ配置されます。
+
+ズームイン／アウト時にはLeafletのzoomイベントをフックしてPie Chartを再描画し、現在の縮尺でもHex境界にフィットする半径が自動再計算されます。
+
+#### コマンド例
+
+* クエリは水域・交通・宗教施設・緑地を色分け。Hexサイズに応じて自動計算される最大半径を90%まで、最小半径をその40%に設定しています。
+
+```shell
+$ npx -y -p splatone@latest crawler -p flickr -k "水域#0947ff=canal,river,sea,strait,channel,waterway,pond|交通#aaaaaa=road,street,alley,sidewalk,bridge|宗教施設#ffb724=chapel,church,cathedral,temple,shrine|緑地#00a73d=forest,woods,trees,mountain,garden,turf" --vis-pie-charts --v-pie-charts-MaxRadiusScale=0.9 --v-pie-charts-MinRadiusScale=0.4 --p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
+```
+
+#### コマンドライン引数
+
+| オプション                               | 説明                                                                                                          | 型   | デフォルト |
+| :--------------------------------------- | :------------------------------------------------------------------------------------------------------------ | :--- | :--------- |
+| `--v-pie-charts-MaxRadiusScale`          | Hex内接円半径に対する最大Pie半径の倍率(0-1.5)。1.0でHex境界いっぱい、0.9なら10%余白。                             | 数値 | 0.9        |
+| `--v-pie-charts-MinRadiusScale`          | 最大半径に対する最小Pie半径の倍率(0-1)。カテゴリが存在する場合に確保する下限割合。                                 | 数値 | 0.25       |
+| `--v-pie-charts-StrokeWidth`             | Pie Chart外周・扇形境界の線幅(px)。                                                                             | 数値 | 1          |
+| `--v-pie-charts-BackgroundOpacity`       | 最大半径ガイドリングの塗り透明度(0-1)。背景リングの見え方を調整します。                                          | 数値 | 0.2        |
+
+Pie Chartの最大・最小半径は各Hexのジオメトリから算出した内接円半径に基づき動的に決まり、カテゴリごとの扇形半径は「そのHex内カテゴリ出現数 ÷ 全カテゴリ総数」に比例して拡大します。グローバル最大カテゴリのシェアを1として正規化するため、Hex間でもカテゴリ規模を比較できます。
+
+### Voronoi: Hex Gridをベースにしたボロノイ分割
+
+Hex Gridで集約した各セル内のジオタグを種点としてVoronoi分割を行い、生成したポリゴンをHex境界でクリップして表示します。カテゴリカラーと総数はHex集計結果に基づき、最小間隔／最大サイト数の制御で過密な地域も読みやすく整列できます。
+
+![](assets/screenshot_voronoi_tokyo.png?raw=true)
+
+#### コマンド例
+
+* クエリは水域・交通・宗教施設・緑地を色分けしたもの。Hex単位で50m以上離れたサイトだけをVoronoiセルとして採用します。上記の例は東京を範囲としたもの。皇居の緑地や墨田川の水域がよく現れている。
+
+```shell
+$ npx -y -p splatone@latest crawler -p flickr -k "水域#0947ff=canal,river,sea,strait,channel,waterway,pond|交通#aaaaaa=road,street,alley,sidewalk,bridge|宗教施設#ffb724=chapel,church,cathedral,temple,shrine|緑地#00a73d=forest,woods,trees,mountain,garden,turf" --vis-voronoi --v-voronoi-MinSiteSpacingMeters=50　--p-flickr-APIKEY="aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"
+```
+
+#### コマンドライン引数
+
+| オプション                                | 説明                                                                                      | 型   | デフォルト |
+| :---------------------------------------- | :---------------------------------------------------------------------------------------- | :--- | :--------- |
+| `--v-voronoi-MaxSitesPerHex`              | 1 HexあたりにPoissonサンプリングで残す最大サイト数。0のときは制限なし。                     | 数値 | 0          |
+| `--v-voronoi-MinSiteSpacingMeters`        | Hex内の採用サイト間で確保する最小距離 (メートル)。ジオタグが密集していても空間的に均等化しつつ、MinSiteSpacingMeters範囲内で出現数の多いカテゴリを優先して残す。 | 数値 | 50         |
+
+MinSiteSpacingMetersによる間引きは、各サイト周辺 (MinSiteSpacingMeters以内) の同カテゴリ出現数を優先度として利用するため、同距離内で競合した場合も局所的に密度の高いカテゴリのサイトが採用されやすくなります。一方で密度は低いが他の場所に比べて顕著に出現するカテゴリを見逃す可能性があります。なお、Voronoi図の作成は消費メモリが大きい為、デフォルトでは50m間隔に間引きます。厳密解が必要な場合は```--v-voronoi-MinSiteSpacingMeters=0```を指定してください。ただし、その場合はヒープを使い果たしてクラッシュする可能性があります。マシンパワーに余裕がある場合は```npx --node-options='--max-old-space-size=10240'```のようにヒープサイズを拡大して実行する事も可能です。もう一つのオプション```--v-voronoi-MaxSitesPerHex```はHex内の最大アイテム数を制限するものです。ポワソンサンプリングに基づいてアイテムを間引きます。MinSiteSpacingMetersと共に、適切な結果が得られるよう調整してください。
+
 ## キーワード指定方法
 
 ### 比較キーワードの指定

package/crawler.js

@@ -43,8 +43,8 @@ let pluginsOptions = {};
 let visOptions = {};
 
 const flickrLimiter = new Bottleneck({
-  maxConcurrent: 5,
-  minTime: 350, // 約3req/sec
+  maxConcurrent: 6,
+  minTime: 700, 
 });
 
 try {
@@ -260,10 +260,30 @@ try {
   }
 
   function concatFC(fc1, fc2) {
-    return featureCollection([
-      ...(fc1?.features ?? []),
-      ...(fc2?.features ?? []),
-    ]);
+    const hasSource = Array.isArray(fc2?.features) && fc2.features.length > 0;
+    if (!fc1 || !Array.isArray(fc1.features)) {
+      return hasSource ? featureCollection([...fc2.features]) : featureCollection([]);
+    }
+    if (!hasSource) {
+      return fc1;
+    }
+    fc1.features.push(...fc2.features);
+    return fc1;
+  }
+
+  function formatBytesToMB(bytes) {
+    return (bytes / (1024 * 1024)).toFixed(1);
+  }
+
+  function logHeapUsage(label = 'heap') {
+    try {
+      const { rss, heapUsed, heapTotal, external } = process.memoryUsage();
+      console.log(
+        `[memory] ${label}: heapUsed=${formatBytesToMB(heapUsed)} MB / heapTotal=${formatBytesToMB(heapTotal)} MB / rss=${formatBytesToMB(rss)} MB / external=${formatBytesToMB(external)} MB`
+      );
+    } catch (err) {
+      console.warn('[memory] Failed to read usage stats:', err?.message || err);
+    }
   }
   /**
    * /api/hexgrid
@@ -304,11 +324,14 @@ try {
     crawlers[sessionId] = {};
     socket.join(sessionId);
 
+    const disposeSession = () => {
+      delete crawlers[sessionId];
+      delete targets[sessionId];
+      delete processing[sessionId];
+    };
+
     socket.on("disconnecting", () => {
-      if (socket.rooms && crawlers.hasOwnProperty(socket.rooms)) {
-        //console.log("delete session:", socket.rooms);
-        delete crawlers[socket.rooms];
-      }
+      disposeSession();
       //console.log("disconnected:", socket.id);
     });
 
@@ -497,7 +520,7 @@ try {
         }
 
         // 交差隣接（共有辺で、かつ他Hexの三角形）を付与
-        const triIndex = new Map(triFeatures.map(t => [t.properties.triangleId, t]));
+  const triIndex = new Map(triFeatures.map(t => [t.properties.triangleId, t]));
         for (const list of edgeToTriangles.values()) {
           if (list.length < 2) continue; // 共有していなければ隣接なし
           // 同じ辺を共有する全三角形同士で、異なるHexのものを相互に登録
@@ -525,7 +548,13 @@ try {
 
         //console.log(JSON.stringify(hexFC, null, 2));
         //res.json({ hex: hexFC, triangles: trianglesFC });
-        targets[sessionId] = { hex: hexFC, triangles: trianglesFC, categories, splatonePalette, };
+        const inflight = processing[sessionId] ?? 0;
+        if (inflight > 0) {
+          console.warn(`[session ${sessionId}] target reinitialized with ${inflight} tasks still running. Resetting session state.`);
+        }
+        crawlers[sessionId] = {};
+        processing[sessionId] = 0;
+    targets[sessionId] = { sessionId, hex: hexFC, triangles: trianglesFC, categories, splatonePalette };
         socket.emit("hexgrid", { hex: hexFC, triangles: trianglesFC });
       } catch (e) {
         console.error(e);
@@ -553,81 +582,117 @@ try {
     return resolvedWorkerFilename[taskName];
   }
 
-  const statsItems = (crawler, target,) => {
-    const stats = [];
-    const total = [];
-    const crawled = [];
+  const statsItems = (crawler, target) => {
     const progress = [];
-    let finish = Object.keys(target.categories).length * target.hex.features.length;
+    const categoryCount = Object.keys(target?.categories ?? {}).length;
+    const hexCount = target?.hex?.features?.length ?? 0;
+    let remaining = categoryCount * hexCount;
+
     for (const [hexId, tagsObj] of Object.entries(crawler)) {
-      total[hexId] = 0;
-      crawled[hexId] = 0;
-      for (const [category, items] of Object.entries(tagsObj)) {
-        finish -= (items.final === true) ? 1 : 0;
-        total[hexId] += items.total;
-        crawled[hexId] += items.crawled;
-        for (const item of items.items.features) {
-          //console.log(item.properties)
-          stats[hexId] ??= [];
-          stats[hexId][item.properties.splatone_triId] ??= [];
-          stats[hexId][item.properties.splatone_triId][category] ??= 0;
-          stats[hexId][item.properties.splatone_triId][category] += 1;
+      let total = 0;
+      let crawled = 0;
+      for (const items of Object.values(tagsObj)) {
+        if (items?.final === true && remaining > 0) {
+          remaining--;
         }
+        total += Number(items?.total) || 0;
+        crawled += Number(items?.crawled) || 0;
       }
+      const safeTotal = Math.max(1, total);
       progress[hexId] = {
-        percent: total[hexId] == 0 ? 1 : crawled[hexId] / total[hexId],
-        crawled: crawled[hexId],
-        total: total[hexId]
+        percent: total === 0 ? 1 : Math.min(1, crawled / safeTotal),
+        crawled,
+        total
       };
     }
-    //console.table(progress);
-    return { stats, progress, finish: (finish == 0) };
+    return { progress, finish: remaining === 0 };
   };
 
   async function runTask_(taskName, data) {
     const { port1, port2 } = new MessageChannel();
     const filename = resolveWorkerFilename(taskName); // ← file URL (href)
+    const workerContext = data;
     // named export を呼ぶ場合は { name: "関数名" } を追加
     port1.on('message', (workerResults) => {
       // ここでログ／WebSocket通知／DB書き込みなど何でもOK
-      const rtn = workerResults.results;
-      const workerOptions = workerResults.workerOptions;
+      const rtn = workerResults?.results;
+      if (!rtn) {
+        console.warn('[splatone:start] Received malformed worker payload, skipping chunk.');
+        return;
+      }
+      if (!workerContext) {
+        console.warn('[splatone:start] Missing worker context, skipping chunk.');
+        return;
+      }
+      const workerOptions = workerContext;
       const currentSessionId = workerOptions.sessionId;
-      processing[currentSessionId]--;
+      const currentProcessing = (processing[currentSessionId] ?? 0) - 1;
+      processing[currentSessionId] = Math.max(0, currentProcessing);
+      const sessionCrawler = crawlers[currentSessionId];
+      if (!sessionCrawler) {
+        if (argv.debugVerbose) {
+          console.warn(`[session ${currentSessionId}] Received worker result after session disposal. Dropping chunk.`);
+        }
+        return;
+      }
+      if (rtn.error) {
+        console.warn(`[worker error] hex=${rtn.hexId} category=${rtn.category} code=${rtn.error.code ?? 'n/a'} message=${rtn.error.message ?? 'unknown'}`);
+      }
       //console.log(rtn);
-      crawlers[currentSessionId][rtn.hexId] ??= {};
-      crawlers[currentSessionId][rtn.hexId][rtn.category] ??= { items: featureCollection([]) };
-      crawlers[currentSessionId][rtn.hexId][rtn.category].ids ??= new Set();
-      const duplicates = ((A, B) => new Set([...A].filter(x => B.has(x))))(rtn.ids, crawlers[currentSessionId][rtn.hexId][rtn.category].ids);
-      crawlers[currentSessionId][rtn.hexId][rtn.category].ids = new Set([...crawlers[currentSessionId][rtn.hexId][rtn.category].ids, ...rtn.ids]);
-      crawlers[currentSessionId][rtn.hexId][rtn.category].final = rtn.final;
-      crawlers[currentSessionId][rtn.hexId][rtn.category].crawled ??= 0;
-      crawlers[currentSessionId][rtn.hexId][rtn.category].total = rtn.final ? crawlers[currentSessionId][rtn.hexId][rtn.category].ids.size : rtn.total + crawlers[currentSessionId][rtn.hexId][rtn.category].crawled;
-      crawlers[currentSessionId][rtn.hexId][rtn.category].crawled = crawlers[currentSessionId][rtn.hexId][rtn.category].ids.size;
-
-      if (rtn.photos.features.length >= 250 && rtn.photos.features.length == duplicates.size) {
+      sessionCrawler[rtn.hexId] ??= {};
+  sessionCrawler[rtn.hexId][rtn.category] ??= { items: featureCollection([]) };
+  sessionCrawler[rtn.hexId][rtn.category].ids ??= new Set();
+  const idSet = sessionCrawler[rtn.hexId][rtn.category].ids;
+
+      let duplicateCount = 0;
+      const uniqueFeatures = [];
+      for (const feature of rtn.photos.features) {
+        const featureId = feature?.properties?.id;
+        if (featureId != null && idSet.has(featureId)) {
+          duplicateCount++;
+          continue;
+        }
+        if (featureId != null) {
+          idSet.add(featureId);
+        }
+        uniqueFeatures.push(feature);
+      }
+  sessionCrawler[rtn.hexId][rtn.category].final = rtn.final;
+  sessionCrawler[rtn.hexId][rtn.category].crawled ??= 0;
+  sessionCrawler[rtn.hexId][rtn.category].total = rtn.final ? sessionCrawler[rtn.hexId][rtn.category].ids.size : rtn.total + sessionCrawler[rtn.hexId][rtn.category].crawled;
+  sessionCrawler[rtn.hexId][rtn.category].crawled = sessionCrawler[rtn.hexId][rtn.category].ids.size;
+
+      if (rtn.photos.features.length >= 250 && duplicateCount === rtn.photos.features.length) {
         console.error("ALL DUPLICATE");
       }
       if (argv.debugVerbose) {
-        console.log('INFO:', ` ${rtn.hexId} ${rtn.category} ] dup=${duplicates.size}, out=${rtn.outside}, in=${rtn.photos.features.length}  || ${crawlers[currentSessionId][rtn.hexId][rtn.category].crawled} / ${crawlers[currentSessionId][rtn.hexId][rtn.category].total}`);
+        console.log('INFO:', ` ${rtn.hexId} ${rtn.category} ] dup=${duplicateCount}, out=${rtn.outside}, in=${rtn.photos.features.length}  || ${sessionCrawler[rtn.hexId][rtn.category].crawled} / ${sessionCrawler[rtn.hexId][rtn.category].total}`);
       }
-      const photos = featureCollection(rtn.photos.features.filter((f) => !duplicates.has(f.properties.id)));
-      crawlers[currentSessionId][rtn.hexId][rtn.category].items
-        = concatFC(crawlers[currentSessionId][rtn.hexId][rtn.category].items, photos);
+      const photos = featureCollection(uniqueFeatures);
+      sessionCrawler[rtn.hexId][rtn.category].items
+        = concatFC(sessionCrawler[rtn.hexId][rtn.category].items, photos);
 
-      const { stats, progress, finish } = statsItems(crawlers[currentSessionId], targets[currentSessionId]);
+      const { progress, finish } = statsItems(sessionCrawler, targets[currentSessionId]);
       io.to(currentSessionId).emit('progress', { hexId: rtn.hexId, progress });
       if (!rtn.final) {
         // 次回クロール用に更新
         rtn.nextPluginOptions.forEach((nextPluginOptions) => {
-          const workerOptions_clone = structuredClone(workerOptions);
-          workerOptions_clone.pluginOptions = nextPluginOptions;
-          api.emit('splatone:start', workerOptions_clone);
+          const workerOptionsClone = {
+            plugin: workerOptions.plugin,
+            hex: workerOptions.hex,
+            triangles: workerOptions.triangles,
+            bbox: workerOptions.bbox,
+            category: workerOptions.category,
+            tags: workerOptions.tags,
+            pluginOptions: nextPluginOptions,
+            sessionId: workerOptions.sessionId
+          };
+          api.emit('splatone:start', workerOptionsClone);
         });
         //} else if (finish) {
       } else if (processing[currentSessionId] == 0) {
         if (argv.debugVerbose) {
-          console.table(stats);
+          console.table(progress);
         }
         api.emit('splatone:finish', workerOptions);
       }
@@ -649,11 +714,16 @@ try {
     //console.log('[splatone:start]', workerOptions);
     const currentSessionId = workerOptions.sessionId;
     processing[currentSessionId] = (processing[currentSessionId] ?? 0) + 1;
-    runTask(workerOptions.plugin, workerOptions);
+    const safeOptions = JSON.parse(JSON.stringify(workerOptions, (_, value) => {
+      if (typeof value === 'function') return undefined;
+      return value;
+    }));
+    runTask(safeOptions.plugin, safeOptions);
   });
 
   await subscribe('splatone:finish', async workerOptions => {
     const currentSessionId = workerOptions.sessionId;
+    logHeapUsage(`after-crawl session=${currentSessionId}`);
     const resultId = uniqid();
     const result = crawlers[currentSessionId];
     const target = targets[currentSessionId];

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "splatone",
-  "version": "0.0.18",
+  "version": "0.0.20",
   "description": "Multi-layer Composite Heatmap",
   "homepage": "https://github.com/YokoyamaLab/Splatone#readme",
   "bugs": {

package/plugins/flickr/worker.js

@@ -3,6 +3,38 @@ import { point, featureCollection } from "@turf/helpers";
 import booleanPointInPolygon from "@turf/boolean-point-in-polygon";
 import { toUnixSeconds } from '#lib/splatone';
 
+const delay = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
+
+async function fetchWithRetry(fetcher, { maxAttempts = 4, baseDelayMs = 500 } = {}) {
+    let attempt = 0;
+    let lastError = null;
+    while (attempt < maxAttempts) {
+        try {
+            return await fetcher();
+        } catch (err) {
+            lastError = err;
+            const transient = isTransientNetworkError(err);
+            attempt++;
+            if (!transient || attempt >= maxAttempts) {
+                throw lastError;
+            }
+            const waitMs = baseDelayMs * Math.pow(2, attempt - 1);
+            console.warn(`[flickr worker] fetch attempt ${attempt} failed (${err?.cause?.code || err?.message}). Retrying in ${waitMs}ms.`);
+            await delay(waitMs);
+        }
+    }
+    throw lastError ?? new Error('Unknown Flickr fetch error');
+}
+
+function isTransientNetworkError(err) {
+    const code = err?.cause?.code ?? err?.code;
+    if (!code && typeof err?.message === 'string' && err.message.includes('fetch failed')) {
+        return true;
+    }
+    const transientCodes = new Set(['ECONNABORTED', 'ECONNRESET', 'ETIMEDOUT', 'EPIPE']);
+    return transientCodes.has(code);
+}
+
 export default async function ({
     port,
     debugVerbose,
@@ -16,27 +48,33 @@ export default async function ({
     sessionId
 }) {
     debugVerbose = true;
-    //console.log("{PLUGIN}", pluginOptions);
-    const { flickr } = createFlickr(pluginOptions["APIKEY"]);
-    if (!pluginOptions.TermId) {
-        //初期TermId
-        pluginOptions.TermId = 'a';
-    }
-    const baseParams = {
-        bbox: bbox.join(','),
-        tags: tags,
-        extras: pluginOptions["Extras"],
-        sort: pluginOptions["DateMode"] == "upload" ? "date-posted-desc" : "date-taken-desc"
+
+    const respond = (payload) => {
+        const safePayload = JSON.parse(JSON.stringify(payload));
+        port.postMessage(safePayload);
     };
-    baseParams[pluginOptions["DateMode"] == "upload" ? 'max_upload_date' : 'max_taken_date'] = pluginOptions["DateMax"];
-    baseParams[pluginOptions["DateMode"] == "upload" ? 'min_upload_date' : 'min_taken_date'] = pluginOptions["DateMin"];
-    //console.log("[baseParams]",baseParams);
-    const res = await flickr("flickr.photos.search", {
-        ...baseParams,
-        has_geo: 1,
-        per_page: 250,
-        page: 1,
-    });
+
+    try {
+        const { flickr } = createFlickr(pluginOptions["APIKEY"]);
+        if (!pluginOptions.TermId) {
+            //初期TermId
+            pluginOptions.TermId = 'a';
+        }
+        const baseParams = {
+            bbox: bbox.join(','),
+            tags: tags,
+            extras: pluginOptions["Extras"],
+            sort: pluginOptions["DateMode"] == "upload" ? "date-posted-desc" : "date-taken-desc"
+        };
+        baseParams[pluginOptions["DateMode"] == "upload" ? 'max_upload_date' : 'max_taken_date'] = pluginOptions["DateMax"];
+        baseParams[pluginOptions["DateMode"] == "upload" ? 'min_upload_date' : 'min_taken_date'] = pluginOptions["DateMin"];
+        //console.log("[baseParams]",baseParams);
+        const res = await fetchWithRetry(() => flickr("flickr.photos.search", {
+            ...baseParams,
+            has_geo: 1,
+            per_page: 250,
+            page: 1,
+        }));
     //console.log(res);
     const ids = [];
     const authors = {};
@@ -127,30 +165,49 @@ export default async function ({
             }
         }
     }
-    port.postMessage({
-        workerOptions: {
-            plugin,
-            hex,
-            triangles,
-            bbox,
-            category,
-            tags,
-            pluginOptions,
+        const payload = {
+            results: {
+                photos,
+                hexId: hex.properties.hexId,
+                tags,
+                category,
+                nextPluginOptions: nextPluginOptionsDelta.map(e => { return { ...pluginOptions, ...e } }),
+                total: res.photos.total,
+                outside: outside,
+                ids,
+                final: nextPluginOptionsDelta.length == 0//res.photos.photo.length == res.photos.total
+            }
+        };
+
+        respond(payload);
+        return true;
+    } catch (err) {
+        console.error('[flickr worker] Fatal error', {
             sessionId,
-        },
-        results: {
-            photos,
-            hexId: hex.properties.hexId,
-            tags,
+            hexId: hex?.properties?.hexId,
             category,
-            nextPluginOptions: nextPluginOptionsDelta.map(e => { return { ...pluginOptions, ...e } }),
-            total: res.photos.total,
-            outside: outside,
-            ids,
-            final: nextPluginOptionsDelta.length == 0//res.photos.photo.length == res.photos.total
-        }
-    });
-    return true;
+            reason: err?.message,
+            code: err?.cause?.code || err?.code || null
+        });
+        respond({
+            results: {
+                photos: featureCollection([]),
+                hexId: hex?.properties?.hexId ?? null,
+                tags,
+                category,
+                nextPluginOptions: [],
+                total: 0,
+                outside: 0,
+                ids: [],
+                final: true,
+                error: {
+                    message: err?.message,
+                    code: err?.cause?.code || err?.code || null
+                }
+            }
+        });
+        return false;
+    }
     return {
         photos,
         hexId: hex.properties.hexId,