mixdog 0.9.2 → 0.9.4

package/scripts/bench/round-mixdog-lead.json

@@ -0,0 +1,269 @@
+{
+  "round": "2",
+  "runner": "lead",
+  "opts": {
+    "provider": null,
+    "model": null,
+    "effort": null,
+    "fast": false,
+    "env": {
+      "MIXDOG_DATA_DIR": "C:\\Users\\tempe\\.mixdog\\bench-data"
+    }
+  },
+  "tasks": 3,
+  "completed": 3,
+  "completion_rate": 100,
+  "sessions": [
+    "sess_53852_1783031527627_1783031527803_63b5825893a6df65a914d155c7e3b5f6",
+    "sess_58092_1783031527640_1783031527814_6d4d5de210251154f047e52f1dce8d64",
+    "sess_59856_1783031527716_1783031527890_0e354b9f1f4e092cf6c6fadc6d121893"
+  ],
+  "results": [
+    {
+      "id": "lead-review-session-runtime",
+      "agent": "reviewer",
+      "ok": true,
+      "ms": 707369,
+      "sessionId": "sess_53852_1783031527627_1783031527803_63b5825893a6df65a914d155c7e3b5f6",
+      "output": "sessionId: sess_53852_1783031527627_1783031527803_63b5825893a6df65a914d155c7e3b5f6\n결과가 모두 모였습니다. 핵심 발견을 직접 교차 확인하겠습니다.모든 스코프 리뷰가 끝났고, 보고된 발견들을 코드에서 직접 교차 확인했습니다. 결과는 아래와 같습니다.\n\n**High**\n- `src/session-runtime/model-capabilities.mjs:115-118` — `saveModelSettings`가 `route.effort` 부재/null 시 저장된 effort를 삭제하고 `route.fast` 부재 시 `fast=false`를 강제 기록해, 부분 route 저장이 기존 per-model 설정을 지움 (데이터 손실 경로, 코드로 확인).\n\n**Medium**\n- `src/session-runtime/config-lifecycle.mjs:190` — `reloadFullConfig`가 config 저장 debounce만 flush하고 outputStyle/backend debounce는 방치해, 디스크의 stale 값으로 in-memory 상태가 일시 회귀하는 레이스.\n- `src/session-runtime/provider-usage.mjs:51` — `cachedProviderSetup({force:true})`가 진행 중인 비강제 setup promise를 그대로 반환해 강제 갱신이 stale 결과를 캐시하는 레이스.\n- `src/session-runtime/workflow.mjs:276` — `normalizeWorkflowRoute`가 잘못 저장된 `effort` 값에서 `normalizeEffortInput` 예외를 그대로 던짐 (`normalizeSearchRouteConfig`는 :252-255에서 try/catch로 방어하는 것과 대조; route 해석 전체가 중단됨).\n- `src/session-runtime/config-lifecycle.mjs:84` — `adoptConfig`가 `.effective` 대신 `.command`만 전달해 `MIXDOG_SHELL` 환경변수 전용 쉘 설정이 무시됨.\n- `src/session-runtime/config-helpers.mjs:49,66` — preset의 provider 부재 시 `resolveDefaultProvider(config)` 대신 하드코딩 `DEFAULT_PROVIDER`로 폴백해 `config.defaultProvider`가 무시됨 (:79의 올바른 경로와 불일치).\n- `src/session-runtime/model-capabilities.mjs:93-97` — 카탈로그의 `supportsWebSearch:true`가 OpenAI 헬퍼(:37)에서만 반영되고 xAI/Gemini/Anthropic 경로에서는 무시되어 검색 가능 모델이 휴리스틱에 걸러짐.\n\n**Low**\n- `src/session-runtime/mcp-glue.mjs:161` — Windows에서 MCP stdio `cwd` 포함 검사가 대소문자 구분 `startsWith`라 드라이브/경로 케이싱이 다른 정상 cwd를 거부.\n\n깨진 import나 미정의 식별자는 4개 스코프 모두에서 발견되지 않았습니다.\n\n**판정: 치명적 결함은 없으나, 설정 유실 1건(High)과 debounce/캐시 레이스 및 폴백 불일치 6건(Medium)은 수정 가치가 있는 실질 버그입니다.**",
+      "card": {
+        "session": "sess_53852_1783031527627_1783031527803_63b5825893a6df65a914d155c7e3b5f6",
+        "provider": "anthropic-oauth",
+        "model": "claude-fable-5",
+        "wall_ms": 405393,
+        "turns": 51,
+        "tool_calls": 62,
+        "tools_per_turn": 1.2,
+        "total_tool_ms": 2829,
+        "llm_stream_ms": 810182,
+        "cache_ratio": 0.7786143540118918,
+        "cached_tokens": 1027820,
+        "prompt_tokens": 1320063,
+        "uncached_tokens": 104234,
+        "output_tokens": 19565,
+        "cache_weighted_input_10": 207016,
+        "cache_weighted_input_25": 361189,
+        "prompt_growth": 44706,
+        "antipatterns": 3,
+        "issues": 19,
+        "issue_types": [
+          "cache",
+          "cache_break",
+          "broad_tool_result",
+          "readonly_stall",
+          "service_tier",
+          "missed_parallelism",
+          "tool_churn_cluster"
+        ],
+        "read_fragmentation_paths": [],
+        "grep_sweep_count": 0
+      }
+    },
+    {
+      "id": "lead-review-channels-lib",
+      "agent": "reviewer",
+      "ok": true,
+      "ms": 1236093,
+      "sessionId": "sess_58092_1783031527640_1783031527814_6d4d5de210251154f047e52f1dce8d64",
+      "output": "sessionId: sess_58092_1783031527640_1783031527814_6d4d5de210251154f047e52f1dce8d64\n모든 owned-path 쓰기에 CAS 가드 적용을 완료했습니다. 마지막 리뷰 지적(`applyTranscriptBinding` 바인드 광고, inbound 폴백)까지 `onlyIfOwned`로 전환했고, last-wins로 남긴 곳은 의도된 명시적 claim 2곳뿐입니다(`index.mjs:191` 부트 publish, `owner-heartbeat.mjs:37` claimBridgeOwnership). `node --check` 통과.\n\n**최종 상태**\n\n- **High 3건 수정 완료**: 큐 ack 레이스(inject 실패 시 즉시 requeue + 5회 예산 dead-letter), rule-webhook 프롬프트 인젝션(보간 값 펜싱+마커 스크럽, 스모크 테스트 통과), 소유권 re-steal(TOCTOU CAS 가드 — heartbeat·refresh 틱·startOwnedRuntime·바인드 경로 전부, 스모크 테스트 통과).\n- **리뷰 3라운드 클린**: 최초 리뷰 지적 2건 + 델타 지적 1건 모두 반영, 잔여 지적 없음.\n- **남은 리스크**: Medium/Low 발견 항목(webhook pending dedup 창, forwarder.userMessageId 데드 코드, whisper teardown 등)은 미수정 상태로 대기 중입니다.\n\nMedium 이하도 이어서 수정할까요, 아니면 여기서 커밋 준비를 할까요?",
+      "card": {
+        "session": "sess_58092_1783031527640_1783031527814_6d4d5de210251154f047e52f1dce8d64",
+        "provider": "anthropic-oauth",
+        "model": "claude-fable-5",
+        "wall_ms": 1133164,
+        "turns": 101,
+        "tool_calls": 132,
+        "tools_per_turn": 1.3,
+        "total_tool_ms": 14183,
+        "llm_stream_ms": 1412476,
+        "cache_ratio": 0.8478726440507455,
+        "cached_tokens": 4364020,
+        "prompt_tokens": 5147023,
+        "uncached_tokens": 108137,
+        "output_tokens": 99445,
+        "cache_weighted_input_10": 544539,
+        "cache_weighted_input_25": 1199142,
+        "prompt_growth": 98685,
+        "antipatterns": 1,
+        "issues": 24,
+        "issue_types": [
+          "cache",
+          "cache_break",
+          "tool_error",
+          "broad_tool_result",
+          "readonly_stall",
+          "service_tier",
+          "missed_parallelism",
+          "tool_churn_cluster"
+        ],
+        "read_fragmentation_paths": [],
+        "grep_sweep_count": 0
+      }
+    },
+    {
+      "id": "lead-review-compact",
+      "agent": "reviewer",
+      "ok": true,
+      "ms": 1297273,
+      "sessionId": "sess_59856_1783031527716_1783031527890_0e354b9f1f4e092cf6c6fadc6d121893",
+      "output": "sessionId: sess_59856_1783031527716_1783031527890_0e354b9f1f4e092cf6c6fadc6d121893\n이어서 Medium 4건 처리합니다. 먼저 cycle1 오류 처리 방향을 정하기 위해 호출부를 확인합니다.M4가 실패했으니 messages.mjs의 현재 상태를 확인합니다.Medium 4건 중 3건 수정 완료, 1건은 구조적 사유로 보류합니다.\n\n- **camelCase 시크릿 redaction**: `SENSITIVE_TOOL_ARG_KEY_FULL`이 `accessToken`·`authToken`·`bearerToken` 등 camelCase 경계도 인식하도록 확장 — 유출 5종 차단, `maxTokens`/`fileName` 같은 비민감 키는 과잉 redaction 없음 확인 (`text-utils.mjs`).\n\n- **cycle1 오류 표면화**: `drainSessionCycle1`이 `error` 필드를 반환하고 두 호출부(`compaction-runner.mjs:115`, `recall-fasttrack.mjs:128`)가 이를 diagnostics/stderr로 전파 — 조용한 성공 위장 제거.\n\n- **코드펜스 헤딩 오인**: `summaryHeadingLines`/`parseSummarySections`가 ``` 펜스 상태를 추적해 펜스 안 `## ...`를 무시 — 가짜 헤딩 검증 통과·실제 요약 오판·repair 시 내용 유실 3케이스 모두 확인 (`summary-schema.mjs`).\n\n- **prefix 주입(보류)**: `meta` 필드 기반 검증은 불가 판정 — 생성처 여러 곳(`manager.mjs:727`, `loop.mjs:261` 등)이 meta를 일관되게 안 붙이고, `messages.mjs:37-40` 주석대로 tail rebuild 시 meta가 유실되는 전제라 content-prefix 검출이 의도된 설계입니다. 근본 대응은 신뢰 마커의 세션 단위 서명 등 구조 변경이 필요해 별도 과제로 제안드립니다.\n\n- **회귀 확인**: 기존 `node --test` 스위트 전체 통과, 수정 파일 `node --check` 통과.\n\n**남은 항목**: Low 2건(smart-arrival 헤더 스트립 누락 `summary.mjs:405`, 중복 앨리어스 헤딩 유실 `summary-schema.mjs:198`)이 미수정입니다. 이것까지 마무리할까요, 재영님?",
+      "card": {
+        "session": "sess_59856_1783031527716_1783031527890_0e354b9f1f4e092cf6c6fadc6d121893",
+        "provider": "anthropic-oauth",
+        "model": "claude-fable-5",
+        "wall_ms": 1296782,
+        "turns": 52,
+        "tool_calls": 53,
+        "tools_per_turn": 1,
+        "total_tool_ms": 8033,
+        "llm_stream_ms": 1082501,
+        "cache_ratio": 0.8836128270522455,
+        "cached_tokens": 2080515,
+        "prompt_tokens": 2354555,
+        "uncached_tokens": 71814,
+        "output_tokens": 119391,
+        "cache_weighted_input_10": 279865.5,
+        "cache_weighted_input_25": 591942.75,
+        "prompt_growth": 68618,
+        "antipatterns": 3,
+        "issues": 13,
+        "issue_types": [
+          "cache",
+          "cache_break",
+          "tool_error",
+          "broad_tool_result",
+          "readonly_stall",
+          "service_tier",
+          "missed_parallelism",
+          "tool_churn_cluster"
+        ],
+        "read_fragmentation_paths": [],
+        "grep_sweep_count": 0
+      }
+    }
+  ],
+  "task_complete": true,
+  "task_errors": [],
+  "score_complete": true,
+  "score_errors": [],
+  "group": {
+    "n": 3,
+    "wall_ms": 945113,
+    "turns": 68,
+    "tool_calls": 82.3,
+    "tools_per_turn": 1.2,
+    "total_tool_ms": 8348.3,
+    "llm_stream_ms": 1101719.7,
+    "cache_ratio": 0.8,
+    "cached_tokens": 2490785,
+    "prompt_tokens": 2940547,
+    "uncached_tokens": 94728.3,
+    "output_tokens": 79467,
+    "cache_weighted_input_10": 343806.8,
+    "cache_weighted_input_25": 717424.6,
+    "prompt_growth": 70669.7,
+    "antipatterns": 2.3,
+    "issues": 18.7,
+    "grep_sweep_count": 0
+  },
+  "cards": [
+    {
+      "session": "sess_53852_1783031527627_1783031527803_63b5825893a6df65a914d155c7e3b5f6",
+      "provider": "anthropic-oauth",
+      "model": "claude-fable-5",
+      "wall_ms": 405393,
+      "turns": 51,
+      "tool_calls": 62,
+      "tools_per_turn": 1.2,
+      "total_tool_ms": 2829,
+      "llm_stream_ms": 810182,
+      "cache_ratio": 0.7786143540118918,
+      "cached_tokens": 1027820,
+      "prompt_tokens": 1320063,
+      "uncached_tokens": 104234,
+      "output_tokens": 19565,
+      "cache_weighted_input_10": 207016,
+      "cache_weighted_input_25": 361189,
+      "prompt_growth": 44706,
+      "antipatterns": 3,
+      "issues": 19,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    },
+    {
+      "session": "sess_58092_1783031527640_1783031527814_6d4d5de210251154f047e52f1dce8d64",
+      "provider": "anthropic-oauth",
+      "model": "claude-fable-5",
+      "wall_ms": 1133164,
+      "turns": 101,
+      "tool_calls": 132,
+      "tools_per_turn": 1.3,
+      "total_tool_ms": 14183,
+      "llm_stream_ms": 1412476,
+      "cache_ratio": 0.8478726440507455,
+      "cached_tokens": 4364020,
+      "prompt_tokens": 5147023,
+      "uncached_tokens": 108137,
+      "output_tokens": 99445,
+      "cache_weighted_input_10": 544539,
+      "cache_weighted_input_25": 1199142,
+      "prompt_growth": 98685,
+      "antipatterns": 1,
+      "issues": 24,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "tool_error",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    },
+    {
+      "session": "sess_59856_1783031527716_1783031527890_0e354b9f1f4e092cf6c6fadc6d121893",
+      "provider": "anthropic-oauth",
+      "model": "claude-fable-5",
+      "wall_ms": 1296782,
+      "turns": 52,
+      "tool_calls": 53,
+      "tools_per_turn": 1,
+      "total_tool_ms": 8033,
+      "llm_stream_ms": 1082501,
+      "cache_ratio": 0.8836128270522455,
+      "cached_tokens": 2080515,
+      "prompt_tokens": 2354555,
+      "uncached_tokens": 71814,
+      "output_tokens": 119391,
+      "cache_weighted_input_10": 279865.5,
+      "cache_weighted_input_25": 591942.75,
+      "prompt_growth": 68618,
+      "antipatterns": 3,
+      "issues": 13,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "tool_error",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    }
+  ]
+}

package/scripts/bench/round-mixdog.json

@@ -0,0 +1,126 @@
+{
+  "sessions": [
+    "sess_28344_1783030447631_1783030447881_cf1201d429590443e3fbb7b5c3948bf2",
+    "sess_59076_1783030447642_1783030447887_3facf9388d8972471460b107ed810dc6",
+    "sess_33544_1783030447658_1783030447906_d3d201831af6d9d90af352dcbd91e8b5"
+  ],
+  "cards": [
+    {
+      "session": "sess_28344_1783030447631_1783030447881_cf1201d429590443e3fbb7b5c3948bf2",
+      "provider": "openai-oauth",
+      "model": "gpt-5.5",
+      "wall_ms": 173444,
+      "turns": 12,
+      "tool_calls": 12,
+      "tools_per_turn": 1,
+      "total_tool_ms": 1095,
+      "llm_stream_ms": 172326,
+      "cache_ratio": 0.7713142153971063,
+      "cached_tokens": 486400,
+      "prompt_tokens": 630612,
+      "uncached_tokens": 144212,
+      "output_tokens": 18350,
+      "cache_weighted_input_10": 192852,
+      "cache_weighted_input_25": 265812,
+      "prompt_growth": 77096,
+      "antipatterns": 2,
+      "issues": 8,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    },
+    {
+      "session": "sess_59076_1783030447642_1783030447887_3facf9388d8972471460b107ed810dc6",
+      "provider": "openai-oauth",
+      "model": "gpt-5.5",
+      "wall_ms": 152763,
+      "turns": 13,
+      "tool_calls": 17,
+      "tools_per_turn": 1.3,
+      "total_tool_ms": 956,
+      "llm_stream_ms": 151471,
+      "cache_ratio": 0.728979411113571,
+      "cached_tokens": 526848,
+      "prompt_tokens": 722720,
+      "uncached_tokens": 195872,
+      "output_tokens": 14440,
+      "cache_weighted_input_10": 248556.8,
+      "cache_weighted_input_25": 327584,
+      "prompt_growth": 109215,
+      "antipatterns": 1,
+      "issues": 9,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    },
+    {
+      "session": "sess_33544_1783030447658_1783030447906_d3d201831af6d9d90af352dcbd91e8b5",
+      "provider": "openai-oauth",
+      "model": "gpt-5.5",
+      "wall_ms": 204389,
+      "turns": 9,
+      "tool_calls": 8,
+      "tools_per_turn": 0.9,
+      "total_tool_ms": 5754,
+      "llm_stream_ms": 198582,
+      "cache_ratio": 0.6435098340422801,
+      "cached_tokens": 170496,
+      "prompt_tokens": 264947,
+      "uncached_tokens": 94451,
+      "output_tokens": 23105,
+      "cache_weighted_input_10": 111500.6,
+      "cache_weighted_input_25": 137075,
+      "prompt_growth": 47366,
+      "antipatterns": 1,
+      "issues": 7,
+      "issue_types": [
+        "cache",
+        "cache_break",
+        "broad_tool_result",
+        "readonly_stall",
+        "service_tier",
+        "missed_parallelism",
+        "tool_churn_cluster"
+      ],
+      "read_fragmentation_paths": [],
+      "grep_sweep_count": 0
+    }
+  ],
+  "skipped": [],
+  "group": {
+    "n": 3,
+    "wall_ms": 176865.3,
+    "turns": 11.3,
+    "tool_calls": 12.3,
+    "tools_per_turn": 1.1,
+    "total_tool_ms": 2601.7,
+    "llm_stream_ms": 174126.3,
+    "cache_ratio": 0.7,
+    "cached_tokens": 394581.3,
+    "prompt_tokens": 539426.3,
+    "uncached_tokens": 144845,
+    "output_tokens": 18631.7,
+    "cache_weighted_input_10": 184303.1,
+    "cache_weighted_input_25": 243490.3,
+    "prompt_growth": 77892.3,
+    "antipatterns": 1.3,
+    "issues": 8,
+    "grep_sweep_count": 0
+  }
+}