claude-spotter 1.5.10 → 1.5.12

package/CHANGELOG.md

@@ -3,6 +3,27 @@
 各節はそのversion公開時点の変更記録であり、後続versionにより置換された仕様を含む。
 現行runtime契約は[`docs/00_overview.md`](docs/00_overview.md)から辿る。
 
+## 1.5.12 — 2026-08-18
+
+- **Stop未観測の評価turnを次prompt時に採点して閉じる。** 実測でoutcome_missing 2,091件の94%が
+  「Stop未観測のまま次promptが来てincomplete廃棄」だった（steering・キュー済みprompt・Esc中断で
+  prompt:StopはClaude 3:1 / Codex 24:1）。`recordTurn`はopenな前turnを白紙で捨てず、収集済み
+  `used_tool_ids`で`adopted` / `not_adopted`へ確定する。`usage_status=incomplete`の印が付いたturn
+  だけが従来どおり`outcome_missing`に残る。
+- **A/C率の表示を「提案適合率（上限）」へ改名。** 同一turn内の利用は提案の文脈適合の上限しか
+  示さず、Spotter起因の成果を証明しない。CLI報告は`tool fit rate (upper bound)`、dashboardは
+  「提案適合率（上限）」と表示する。内部schema（`toolAdoptionRate`キー）と集計式は変更しない。
+- 過去に保存済みの`outcome_missing`itemは遡って再採点しない（closeの証拠が残っていないため）。
+
+## 1.5.11 — 2026-08-15
+
+- **Windows dashboard taskのconsole windowを隠す。** device serverとreverse tunnelの
+  PowerShell actionへ`-NonInteractive -WindowStyle Hidden`を指定し、ログオン時に黒い窓を表示しない。
+- **既存のユーザー実行契約を維持する。** Task Schedulerの`Interactive` principal、APPDATA上の
+  npm shim、SSH鍵とknown_hostsのユーザープロファイルは変更せず、起動表示だけを修正する。
+- **非Claude Hookの無出力契約をNode 24でも満たす。** UserPromptSubmitとPreToolUseはunsupported判定後に
+  評価SQLiteを遅延読込し、negative fixtureへ`ExperimentalWarning`を出さない。
+
 ## 1.5.10 — 2026-08-14
 
 - **非ClaudeのHook入力を副作用前に無視する。** 非空の`sessionId`と`hookEventName`を持ち、

package/README.ja.md

@@ -224,7 +224,7 @@ spotter diagnostics factory
 spotter diagnostics runtime-errors
                          # opt-in端末内runtime error集計をread-only表示（network送信なし）
 spotter evaluation report
-                         # 端末内DBからproject横断の提案率・tool採用率を集計
+                         # 端末内DBからproject横断の提案率・提案適合率（上限）を集計
 spotter evaluation cases --outcome not-adopted
                          # 提案されたが同じturnで使われなかったtool itemを一覧
 spotter evaluation case <observation-id>
@@ -253,13 +253,15 @@ spotter uninstall        # hook 登録を解除 (~/.spotter は残す)
 
 dashboardはlocal-firstで動く。各端末が自身の`~/.spotter/evaluation.db`を読み、hubは固定の
 端末・upstream対応だけを持つ。評価データをcloud DBへ複製しない。端末画面では
-対象ターン、ツール提案あり、提案ツール数、利用判定済み、実際に使用、判定不能、提案率、採用率、
+対象ターン、ツール提案あり、提案ツール数、利用判定済み、実際に使用、判定不能、提案率、提案適合率（上限。同一ターン内の利用はSpotter起因を証明しない）、
 project/tool内訳、非採用case、監査対象request、任意の提案時Throughline証拠を確認できる。
 health確認は端末一覧request時だけなので、端末がofflineでもbackground監視や
 retry queueを作らず、その端末だけを切り離せる。
 
 4端末のservice、reverse tunnel、Caddy/Cloudflare構成は
 [docs/11_dashboard-operations.md](docs/11_dashboard-operations.md)を参照。
+Windows同梱のTask Scheduler installerはnpm・SSH用の対話ユーザープロファイルを維持しつつ、
+dashboardの2つのPowerShell actionを非対話・console非表示で起動する。
 
 Codex risk dispatch を daemon から非同期に流す場合:
 

package/README.md

@@ -232,7 +232,7 @@ spotter diagnostics factory
 spotter diagnostics runtime-errors
                          # print the local allow-listed runtime-error aggregate snapshot (no network)
 spotter evaluation report
-                         # show cross-project proposal/adoption counts and rates from the local DB
+                         # show cross-project proposal counts and fit (upper-bound) rates from the local DB
 spotter evaluation cases --outcome not-adopted
                          # list proposed tools that were not used in the same turn
 spotter evaluation case <observation-id>
@@ -261,14 +261,17 @@ spotter uninstall        # remove hooks from this project (leaves ~/.spotter int
 
 The dashboard is local-first. Every terminal reads its own `~/.spotter/evaluation.db`; the hub
 keeps only a static device-to-upstream map and does not copy evaluation data into a cloud database.
-The device view shows Japanese labels for every evaluation metric, proposal and adoption rates
-with their numerator and denominator, project/tool breakdowns, non-adopted cases, the request
+The device view shows Japanese labels for every evaluation metric, the proposal rate and the
+fit rate (an upper bound: same-turn usage does not prove Spotter caused it) with their
+numerator and denominator, project/tool breakdowns, non-adopted cases, the request
 audited by Spotter, and optional proposal-time Throughline evidence. The hub checks health only
 when the device list is requested, so an offline terminal is isolated without a background monitor
 or retry queue.
 
 The reference four-terminal service, reverse-tunnel, and Caddy/Cloudflare layout is documented in
 [docs/11_dashboard-operations.md](docs/11_dashboard-operations.md).
+On Windows, the bundled Task Scheduler installer keeps the interactive user's profile for npm and
+SSH while starting both dashboard PowerShell actions non-interactively with hidden console windows.
 
 Optional async Codex risk dispatch:
 

package/docs/11_dashboard-operations.md

@@ -1,7 +1,7 @@
 # Spotter評価dashboard運用
 
-現行npm配布版: **v1.5.10**（2026-08-14）。v1.5.10は非Claude Hook入力の副作用前no-op releaseであり、
-dashboard routing構成はv1.5.3から変更していない。
+現行npm配布版: **v1.5.12**（2026-08-18）。v1.5.12は評価の採点方式と表示名
+（提案適合率（上限））を変更し、dashboardのrouting構成は変更していない。
 
 この文書はservice設定の正本であり、各端末に現在installされているnpm versionの台帳ではない。
 端末versionは対象端末で`spotter --version`を実行して確認する。
@@ -86,20 +86,53 @@ systemctl --user enable --now spotter-dashboard-device.service spotter-dashboard
 
 ## FOX Windows native
 
-管理者権限は不要。`ops/dashboard/windows/`を固定pathへ配置し、Windows側から解決できる
-main-serverのSSH host名またはIPを明示して次を1回実行する。
+同梱された`ops/dashboard/windows/`のPowerShellを固定pathへ配置する。npm global版から
+`~/.spotter/dashboard/`へ反映し、Windows側から解決できるmain-serverのSSH host名またはIPを
+明示してinstallerを実行する。npm更新後も同じ手順で配布scriptとtask定義を更新する。
 
 ```powershell
-.\install-dashboard-tasks.ps1 -MainServer '<main-server-host-or-ip>'
+$source = Join-Path (npm root -g) 'claude-spotter\ops\dashboard\windows'
+$target = Join-Path $HOME '.spotter\dashboard'
+New-Item -ItemType Directory -Path $target -Force | Out-Null
+Copy-Item -Path (Join-Path $source '*.ps1') -Destination $target -Force
+& (Join-Path $target 'install-dashboard-tasks.ps1') -MainServer '<main-server-host-or-ip>'
 ```
 
-登録される2 taskはログオン時にdevice serverとreverse tunnelを起動する。確認:
+新規taskまたは現在ユーザーが所有するtaskなら管理者権限は不要。既存taskが
+`BUILTIN\Administrators`所有で`Register-ScheduledTask`が`Access is denied`になった場合だけ、
+同じinstallerを管理者PowerShellから再実行する。principalは`Interactive` / `Limited`のままで、
+APPDATAのnpm shim、SSH鍵、known_hostsを現在ユーザープロファイルから読む。
+
+登録される2 taskはログオン時にdevice serverとreverse tunnelをhidden起動し、console windowを
+表示しない。task actionに`-NonInteractive -WindowStyle Hidden`が含まれることとdevice healthを確認する。
 
 ```powershell
 Invoke-RestMethod http://127.0.0.1:53944/_spotter/health
-Get-ScheduledTask -TaskName 'Spotter dashboard *' | Get-ScheduledTaskInfo
+Get-ScheduledTask -TaskName 'Spotter dashboard *' |
+  Select-Object TaskName, State, @{Name='Arguments'; Expression={$_.Actions.Arguments}}
+```
+
+task更新時に旧deviceの子processだけが残ると、healthは旧processから返る一方、新taskはport競合で
+`Ready` / result `2`になる。この組合せを観測した場合だけ、53944 listenerのcommand lineを先に確認する。
+
+```powershell
+$connection = Get-NetTCPConnection -LocalAddress 127.0.0.1 -LocalPort 53944 -State Listen
+$owner = Get-CimInstance Win32_Process -Filter "ProcessId = $($connection.OwningProcess)"
+$owner | Select-Object ProcessId, ParentProcessId, Name, CommandLine
 ```
 
+`CommandLine`が`claude-spotter`の`dashboard device`かつtaskが`Ready`であることを確認できた時だけ、
+その旧PIDを停止してtaskを起動し直す。名前だけで全Node processを停止しない。
+
+```powershell
+Stop-Process -Id $owner.ProcessId
+Start-ScheduledTask -TaskName 'Spotter dashboard device'
+Invoke-RestMethod http://127.0.0.1:53944/_spotter/health
+```
+
+v1.5.11のFOX Windows native実測は
+[`evidence/dashboard-windows-hidden-v1.5.11.md`](evidence/dashboard-windows-hidden-v1.5.11.md)に記録する。
+
 ## 公開経路
 
 Caddyへ次を追加する。`spotter.kitepon.dev`はcase詳細に会話文脈を含むため、Cloudflare側では

package/ops/dashboard/windows/install-dashboard-tasks.ps1

@@ -6,10 +6,10 @@ $principal = New-ScheduledTaskPrincipal -UserId $env:USERNAME -LogonType Interac
 $settings = New-ScheduledTaskSettingsSet -RestartCount 999 -RestartInterval (New-TimeSpan -Minutes 1) -ExecutionTimeLimit ([TimeSpan]::Zero)
 $trigger = New-ScheduledTaskTrigger -AtLogOn -User $env:USERNAME
 
-$deviceAction = New-ScheduledTaskAction -Execute $powershell -Argument "-NoProfile -ExecutionPolicy Bypass -File `"$ops\spotter-dashboard-device.ps1`""
+$deviceAction = New-ScheduledTaskAction -Execute $powershell -Argument "-NoProfile -NonInteractive -WindowStyle Hidden -ExecutionPolicy Bypass -File `"$ops\spotter-dashboard-device.ps1`""
 Register-ScheduledTask -TaskName 'Spotter dashboard device' -Action $deviceAction -Trigger $trigger -Principal $principal -Settings $settings -Force | Out-Null
 
-$tunnelAction = New-ScheduledTaskAction -Execute $powershell -Argument "-NoProfile -ExecutionPolicy Bypass -File `"$ops\spotter-dashboard-tunnel.ps1`" -MainServer `"$MainServer`""
+$tunnelAction = New-ScheduledTaskAction -Execute $powershell -Argument "-NoProfile -NonInteractive -WindowStyle Hidden -ExecutionPolicy Bypass -File `"$ops\spotter-dashboard-tunnel.ps1`" -MainServer `"$MainServer`""
 Register-ScheduledTask -TaskName 'Spotter dashboard tunnel' -Action $tunnelAction -Trigger $trigger -Principal $principal -Settings $settings -Force | Out-Null
 
 Start-ScheduledTask -TaskName 'Spotter dashboard device'

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "claude-spotter",
-  "version": "1.5.10",
+  "version": "1.5.12",
   "description": "Audit agent running alongside Claude Code that catches missed tool calls — 気づく役と実行する役の分離",
   "type": "module",
   "bin": {

package/src/core/evaluation-report.mjs

@@ -68,7 +68,9 @@ function appendSummary(lines, label, summary, prefix = '') {
   lines.push(`${prefix}${label}`);
   lines.push(`${prefix}  S=${summary.S} P=${summary.P} I=${summary.I} C=${summary.C} A=${summary.A} M=${summary.M}`);
   lines.push(`${prefix}  proposal rate: ${fraction(summary.P, summary.S)}`);
-  lines.push(`${prefix}  tool adoption rate: ${fraction(summary.A, summary.C)}`);
+  // Same-turn usage proves at most that a proposal fit the context; it cannot
+  // attribute the usage to Spotter. Label the A/C ratio as an upper bound.
+  lines.push(`${prefix}  tool fit rate (upper bound): ${fraction(summary.A, summary.C)}`);
 }
 
 function fraction(numerator, denominator) {

package/src/core/evaluation-store.mjs

@@ -50,12 +50,18 @@ export class EvaluationStore {
   recordTurn(input) {
     const turn = normalizeTurn(input);
     return this.#transaction(() => {
+      // A still-open previous turn means its Stop was never observed (steering /
+      // queued prompt / Esc interrupt). Grade it with the usage evidence collected
+      // so far instead of discarding it: only a turn already marked incomplete
+      // keeps outcome_missing.
       const previous = this.database.prepare(`
-        SELECT observation_id FROM evaluation_turns
+        SELECT observation_id, used_tool_ids, usage_status FROM evaluation_turns
         WHERE session_id = ? AND completed_at_ms IS NULL
         ORDER BY recorded_at_ms DESC LIMIT 1
       `).get(turn.sessionId);
-      if (previous) this.#close(previous.observation_id, [], 'incomplete', turn.recordedAtMs);
+      if (previous) {
+        this.#close(previous.observation_id, parseToolIds(previous.used_tool_ids), previous.usage_status, turn.recordedAtMs);
+      }
 
       this.database.prepare(`
         INSERT INTO evaluation_turns (

package/src/dashboard/render.mjs

@@ -127,13 +127,13 @@ function renderFilters(filters, action) {
 function renderRates(summary) {
   const proposal = rate(metricNumber(summary, 'P'), metricNumber(summary, 'S'));
   const adoption = rate(metricNumber(summary, 'A'), metricNumber(summary, 'C'));
-  return `<dl class="rates"><div><dt>提案率<small>ツール提案あり ÷ 対象ターン</small></dt><dd>${escapeHtml(proposal)}</dd></div><div><dt>採用率<small>実際に使用 ÷ 利用判定済み</small></dt><dd>${escapeHtml(adoption)}</dd></div></dl>`;
+  return `<dl class="rates"><div><dt>提案率<small>ツール提案あり ÷ 対象ターン</small></dt><dd>${escapeHtml(proposal)}</dd></div><div><dt>提案適合率（上限）<small>実際に使用 ÷ 利用判定済み</small></dt><dd>${escapeHtml(adoption)}</dd></div></dl>`;
 }
 
 function renderBreakdown(id, title, rows) {
   return `<section aria-labelledby="${id}">
   <h2 id="${id}">${title}</h2>
-  ${rows.length === 0 ? '<p class="empty">該当するデータはありません。</p>' : `<div class="table-wrap"><table><thead><tr><th scope="col">項目</th>${METRIC_KEYS.map((key) => `<th scope="col">${METRIC_LABELS[key]}</th>`).join('')}<th scope="col">提案率</th><th scope="col">採用率</th></tr></thead><tbody>${rows.map(([label, summary]) => `<tr><th scope="row">${escapeHtml(label)}</th>${METRIC_KEYS.map((key) => `<td>${escapeHtml(metric(summary, key))}</td>`).join('')}<td>${escapeHtml(rate(metricNumber(summary, 'P'), metricNumber(summary, 'S')))}</td><td>${escapeHtml(rate(metricNumber(summary, 'A'), metricNumber(summary, 'C')))}</td></tr>`).join('')}</tbody></table></div>`}
+  ${rows.length === 0 ? '<p class="empty">該当するデータはありません。</p>' : `<div class="table-wrap"><table><thead><tr><th scope="col">項目</th>${METRIC_KEYS.map((key) => `<th scope="col">${METRIC_LABELS[key]}</th>`).join('')}<th scope="col">提案率</th><th scope="col">提案適合率（上限）</th></tr></thead><tbody>${rows.map(([label, summary]) => `<tr><th scope="row">${escapeHtml(label)}</th>${METRIC_KEYS.map((key) => `<td>${escapeHtml(metric(summary, key))}</td>`).join('')}<td>${escapeHtml(rate(metricNumber(summary, 'P'), metricNumber(summary, 'S')))}</td><td>${escapeHtml(rate(metricNumber(summary, 'A'), metricNumber(summary, 'C')))}</td></tr>`).join('')}</tbody></table></div>`}
 </section>`;
 }
 

package/src/hooks/pre-tool-use.mjs

@@ -17,7 +17,6 @@ import {
 } from './lib.mjs';
 import { sendRequest } from '../daemon/transport.mjs';
 import { canonicalizeToolId } from '../core/evaluation-tool-id.mjs';
-import { createEvaluationStore } from '../core/evaluation-store.mjs';
 
 const TIMEOUT_MS = 1_000;
 
@@ -25,7 +24,7 @@ export async function runPreToolUse({
   readInput = readStdinJson,
   sendRequestFn = sendRequest,
   recordHookEventFn = recordClaudeHookEvent,
-  createEvaluationStoreFn = createEvaluationStore,
+  createEvaluationStoreFn = null,
   writeError = (text) => process.stderr.write(text),
 } = {}) {
   if (isChildCall()) return;
@@ -33,6 +32,8 @@ export async function runPreToolUse({
   if (isUnsupportedNonClaudeEnvelope(input)) return;
   if (isSubagentCall(input)) return;
   if (isOutsideSpotterProject(input)) return;
+  const evaluationStoreFactory = createEvaluationStoreFn
+    ?? (await import('../core/evaluation-store.mjs')).createEvaluationStore;
 
   const sessionId = requireString(input, 'session_id');
   const toolName = requireString(input, 'tool_name');
@@ -45,7 +46,7 @@ export async function runPreToolUse({
   const invalidateEvaluation = () => {
     if (!evaluationObserved || evaluationInvalidated) return;
     evaluationInvalidated = true;
-    closeEvaluationAsIncomplete({ sessionId, createEvaluationStoreFn, writeError });
+    closeEvaluationAsIncomplete({ sessionId, createEvaluationStoreFn: evaluationStoreFactory, writeError });
   };
 
   try {

package/src/hooks/user-prompt.mjs

@@ -27,7 +27,6 @@ import { spawnDaemonAndWaitReady } from './spawn-daemon.mjs';
 import { discardLegacyPending } from './pending-context.mjs';
 import { projectBackendFailure, projectParentAdvice, projectToolIds } from './parent-output-projector.mjs';
 import { randomUUID } from 'node:crypto';
-import { createEvaluationStore } from '../core/evaluation-store.mjs';
 import { loadEvaluationContext } from '../core/evaluation-context.mjs';
 import { version } from '../version.mjs';
 
@@ -39,7 +38,7 @@ export async function runUserPrompt({
   spawnDaemonAndWaitReadyFn = spawnDaemonAndWaitReady,
   discardLegacyPendingFn = discardLegacyPending,
   recordHookEventFn = recordClaudeHookEvent,
-  createEvaluationStoreFn = createEvaluationStore,
+  createEvaluationStoreFn = null,
   loadEvaluationContextFn = loadEvaluationContext,
   randomUUIDFn = randomUUID,
   spotterVersion = version,
@@ -52,6 +51,8 @@ export async function runUserPrompt({
   if (isUnsupportedNonClaudeEnvelope(input)) return;
   if (isSubagentCall(input)) return;
   if (isOutsideSpotterProject(input)) return;
+  const evaluationStoreFactory = createEvaluationStoreFn
+    ?? (await import('../core/evaluation-store.mjs')).createEvaluationStore;
 
   const sessionId = requireString(input, 'session_id');
   const prompt = requireString(input, 'prompt');
@@ -76,7 +77,7 @@ export async function runUserPrompt({
           recordedAtMs: proposalRecordedAtMs,
         })
         : { status: 'not_requested', snapshot: null };
-      const store = createEvaluationStoreFn();
+      const store = evaluationStoreFactory();
       try {
         store.recordTurn({
           observationId,