agentboss 0.1.0 → 0.1.1

package/server/llm/analysis-prompt.js

@@ -1,162 +1,173 @@
-/**
- * Unified session-analysis prompt — one LLM call that returns BOTH the
- * v2.1 capability scores (H1/H2/E1/O1) AND the per-session collaboration
- * advice, as a single strict-JSON object:
- *
- *   { "scores": { H1:{clarity,converge,drift cells}, H2:{...}, E1:{...}, O1:{...} },
- *     "advice": { summary, categories:{cost,accuracy,context,skills,workflow}, rationale } }
- *
- * Replaces the two separate calls (judge-prompts.buildSessionJudgePrompt +
- * advice-prompt.buildAdvicePrompt).
- *
- * CRITICAL — score laundering guard: the model produces the scores AND the
- * advice in the same context, but the advice section MUST NOT reference any
- * score / level / dimension key.  Earlier (separate-call) experience showed
- * the model otherwise echoes the numbers back as fake "evidence".  The
- * `advice` rules below repeat this prohibition; the two JSON sections are
- * independent.
- *
- * @author Felix
- */
-
-'use strict';
-
-const { truncateContext } = require('./advice-prompt');
-
-/** First line marker so the resulting CLI session is filtered by the ETL
- *  (registered in server/etl/judge-filter.js). */
-const ANALYSIS_SENTINEL = '[ABOSS-ANALYZE]';
-
-/** Bump when the JSON output contract changes.
- *  v2: sub-indicator cells return a granular 0–100 `score` (was `level`). */
-const ANALYSIS_PROMPT_VERSION = 2;
-
-const CATEGORIES = ['cost', 'accuracy', 'context', 'skills', 'workflow'];
-
-// ---------------------------------------------------------------------------
-//  Context formatting (mirrors advice-prompt; kept local so this module is
-//  self-contained and changes here can't break advice generation).
-// ---------------------------------------------------------------------------
-
-function fmtNum(n) {
-  if (n == null || Number.isNaN(n)) return '–';
-  if (typeof n !== 'number') return String(n);
-  if (Number.isInteger(n)) return n.toLocaleString('en-US');
-  return n.toFixed(3);
-}
-
-function fmtToolTable(tools) {
-  if (!Array.isArray(tools) || tools.length === 0) return '(无工具调用)';
-  return tools.slice(0, 20).map((t) =>
-    `  ${(t.name || '?').padEnd(20)} count=${String(t.count ?? 0).padStart(4)} ` +
-    `err=${String(t.errorCount ?? 0).padStart(3)} ` +
-    `args="${(t.argsPreview || '').replace(/\s+/g, ' ').slice(0, 120)}"`
-  ).join('\n');
-}
-
-function fmtMessages(messages) {
-  if (!Array.isArray(messages) || messages.length === 0) return '(无消息)';
-  return messages
-    .filter((m) => m.text != null && m.text !== '')
-    .map((m) => `[${(m.role || '?').toUpperCase().padEnd(9)}] ${m.text}`)
-    .join('\n---\n');
-}
-
-// ---------------------------------------------------------------------------
-//  Rubric (scores) — difficulty-conditioned L1–L4 anchors.
-// ---------------------------------------------------------------------------
-
-const RUBRIC = `
-H1 立意（把模糊需求收敛成可执行的精确问题的功力）
-  clarity 初始指令清晰度 · converge 收敛效率 · drift 方向稳定性
-  L4 开局即给出目标+约束+验收，几乎无需追问；L3 信息基本充分，少量澄清；
-  L2 需多轮补全；L1 一句话甩任务、反复改方向。
-H2 判断（不盲从、敢质疑、敢推翻 vs 橡皮图章式照单全收）
-  challenge 合理质疑 · override 该推翻时推翻 · accept_rate 采纳前是否有判断
-  L4 在该质疑处质疑、在合理处高效采纳，质疑有依据；L3 大体审视偶有盲从；
-  L2 多数直接采纳少量质疑；L1 几乎全程"好的/继续"式盲从。
-E1 知识（AI 对该技术栈的掌握）
-  domain_errors 领域错误（越少越好）· staleness 过时引用（越少越好）· best_practice 最佳实践
-  L4 无错误、无过时、全程最佳实践；L3 偶有小瑕疵；L2 多处问题；L1 频繁错误/过时。
-O1 产出（结果是否真的可用）
-  first_take 一次采纳 · code_style 代码规范 · completeness 边界/异常/测试完备
-  L4 几乎一次过且规范完备；L3 小修即可；L2 需明显返工；L1 大量返工或缺失完备性。
-`;
-
-// ---------------------------------------------------------------------------
-//  Prompt
-// ---------------------------------------------------------------------------
-
-/**
- * Build the unified analysis prompt.
- *
- * @param {object} ctx  advice-style context (assembleContext output) plus a
- *                       numeric `difficulty` (1-4).  Shape:
- *   { session:{model,difficulty,durationMinutes,cost,tokens,errorCount,
- *              toolCallCount,messageCount,userCount,assistantCount,reverted},
- *     toolBreakdown:[...], messages:[{role,text}], truncated, omittedMessages }
- * @returns {string}
- */
-function buildSessionAnalysisPrompt(ctx) {
-  const s = ctx.session || {};
-  const t = s.tokens || {};
-  const difficulty = s.difficulty ?? ctx.difficulty ?? '?';
-  const truncatedNote =
-    ctx.truncated === 'hard' ? '（注意:会话很长，已强力截断。）'
-    : ctx.truncated ? `（注意:中段已省略 ${ctx.omittedMessages} 条消息。）`
-    : '';
-
-  return `${ANALYSIS_SENTINEL}（内部标记，忽略本行）
-你是一名严格、客观的"人机协作"审计员兼协作教练。下面是一段开发者与 AI 编程助手的会话原文与基础统计。
-请一次性完成两件事，返回**单个严格 JSON 对象**，不要任何额外文字 / markdown：
-(A) scores —— 按 rubric 给五维能力打分；(B) advice —— 给出可执行的协作改进建议。
-
-================  (A) 评分 rubric（难度越高合格线越宽松，本会话难度 ${difficulty}/4）  ================
-${RUBRIC}
-scores 每个子指标返回三元组：
-- score: 0–100 的数值，**可含一位小数**（如 78.5）；证据不足或对话太短无法判断 → null（不要硬给低分）。
-  档位↔分数区间：L4 = 85–100 · L3 = 65–84 · L2 = 40–64 · L1 = 0–39；
-  请在区间内按实际好坏细分到具体分值，**不要只给 25/55/80/95 这种档位中点或整十的死板分**。
-- confidence: 0.0–1.0。
-- evidence: 引用对话中的具体表现（哪条消息、什么内容），说明为何是这个分值。没有证据写"未发现相关证据"。
-评分客观性：① 不因输出更长/更礼貌而加分；② 证据不足必须 null；③ 难度低不等于做得差。
-
-================  (B) advice —— 只评"如何使用 AI"，不评业务对错  ================
-评估开发者的协作方式（提问清晰度、上下文准备、工具/模型使用、流程节奏、是否该用 skill/subagent、成本）。
-不要评对话里讨论的具体技术/代码是否正确（那属于代码评审）。
-**关键禁令**：advice 部分禁止引用、推测或编造任何"分数/等级/Lx/子分/H1/H2/E1/O1"字眼；
-每条 evidence 必须是对话事实（如"第 3 条用户消息只说'改一下'，未给文件路径"），不得换算成分数。
-5 个类别：cost 省钱 · accuracy 协作层提准确（暴露假设/要求自检/加验证，非业务对错）· context 上下文准备 ·
-skills 推荐 opencode skill/subagent · workflow 流程节奏。
-AdviceItem: { severity: high|medium|low, title:≤20字, why:1句, action:下次怎么做(协作动作), evidence:对话事实,
-  actionable:bool, executor: opencode|claude|manual, cwd_hint: "project_root" }
-硬规则：5 个类别键必须存在(无内容给空数组)；AdviceItem 总数 ≤ 6，按 severity 由高到低；
-executor='manual' 时 actionable 必须 false。
-
-================  会话基础（只作事实参考）  ================
-模型 ${s.model || '未知'} · 难度 ${difficulty}/4 · 时长 ${fmtNum(s.durationMinutes)} 分钟 · 已回退 ${s.reverted ? '是' : '否'}
-消息 ${fmtNum(s.messageCount)}（用户 ${fmtNum(s.userCount)} / 助手 ${fmtNum(s.assistantCount)}）· 工具 ${fmtNum(s.toolCallCount)} 次 错误 ${fmtNum(s.errorCount)}
-Token in ${fmtNum(t.input)} / out ${fmtNum(t.output)} / reasoning ${fmtNum(t.reasoning)} / cacheR ${fmtNum(t.cacheRead)} / cacheW ${fmtNum(t.cacheWrite)} · 成本 $${typeof s.cost === 'number' ? s.cost.toFixed(4) : '–'}
-
-工具使用 Top 20:
-${fmtToolTable(ctx.toolBreakdown)}
-
-消息全文 ${truncatedNote}:
-${fmtMessages(ctx.messages)}
-
-================  输出 JSON（仅此对象）  ================
-{"scores":{
-  "H1":{"clarity":{"score":78.5,"confidence":0.8,"evidence":"…"},"converge":{"score":90,"confidence":0.9,"evidence":"…"},"drift":{"score":null,"confidence":0,"evidence":"无法判断"}},
-  "H2":{"challenge":{…},"override":{…},"accept_rate":{…}},
-  "E1":{"domain_errors":{…},"staleness":{…},"best_practice":{…}},
-  "O1":{"first_take":{…},"code_style":{…},"completeness":{…}}},
- "advice":{"summary":"≤60字只谈协作","categories":{"cost":[],"accuracy":[],"context":[],"skills":[],"workflow":[]},"rationale":"≤80字只谈协作"}}`;
-}
-
-module.exports = {
-  ANALYSIS_SENTINEL,
-  ANALYSIS_PROMPT_VERSION,
-  CATEGORIES,
-  buildSessionAnalysisPrompt,
-  truncateContext,
-};
+/**
+ * Unified session-analysis prompt — one LLM call that returns BOTH the
+ * v2.1 capability scores (H1/H2/E1/O1) AND the per-session collaboration
+ * advice, as a single strict-JSON object:
+ *
+ *   { "scores": { H1:{clarity,converge,drift cells}, H2:{...}, E1:{...}, O1:{...} },
+ *     "advice": { summary, categories:{cost,accuracy,context,skills,workflow}, rationale } }
+ *
+ * Replaces the two separate calls (judge-prompts.buildSessionJudgePrompt +
+ * advice-prompt.buildAdvicePrompt).
+ *
+ * CRITICAL — score laundering guard: the model produces the scores AND the
+ * advice in the same context, but the advice section MUST NOT reference any
+ * score / level / dimension key.  Earlier (separate-call) experience showed
+ * the model otherwise echoes the numbers back as fake "evidence".  The
+ * `advice` rules below repeat this prohibition; the two JSON sections are
+ * independent.
+ *
+ * @author Felix
+ */
+
+'use strict';
+
+const { truncateContext } = require('./advice-prompt');
+
+/** First line marker so the resulting CLI session is filtered by the ETL
+ *  (registered in server/etl/judge-filter.js). */
+const ANALYSIS_SENTINEL = '[ABOSS-ANALYZE]';
+
+/** Bump when the JSON output contract changes.
+ *  v2: sub-indicator cells return a granular 0–100 `score` (was `level`).
+ *  v3: added H3 (system thinking) as a per-session dimension.
+ *  v4: H3 expanded to 3 sub-indicators (abstraction / reuse / standard).
+ *  v5: merged E1+E2 into ENV (knowledge / tooling / currency). */
+const ANALYSIS_PROMPT_VERSION = 5;
+
+const CATEGORIES = ['cost', 'accuracy', 'context', 'skills', 'workflow'];
+
+// ---------------------------------------------------------------------------
+//  Context formatting (mirrors advice-prompt; kept local so this module is
+//  self-contained and changes here can't break advice generation).
+// ---------------------------------------------------------------------------
+
+function fmtNum(n) {
+  if (n == null || Number.isNaN(n)) return '–';
+  if (typeof n !== 'number') return String(n);
+  if (Number.isInteger(n)) return n.toLocaleString('en-US');
+  return n.toFixed(3);
+}
+
+function fmtToolTable(tools) {
+  if (!Array.isArray(tools) || tools.length === 0) return '(无工具调用)';
+  return tools.slice(0, 20).map((t) =>
+    `  ${(t.name || '?').padEnd(20)} count=${String(t.count ?? 0).padStart(4)} ` +
+    `err=${String(t.errorCount ?? 0).padStart(3)} ` +
+    `args="${(t.argsPreview || '').replace(/\s+/g, ' ').slice(0, 120)}"`
+  ).join('\n');
+}
+
+function fmtMessages(messages) {
+  if (!Array.isArray(messages) || messages.length === 0) return '(无消息)';
+  return messages
+    .filter((m) => m.text != null && m.text !== '')
+    .map((m) => `[${(m.role || '?').toUpperCase().padEnd(9)}] ${m.text}`)
+    .join('\n---\n');
+}
+
+// ---------------------------------------------------------------------------
+//  Rubric (scores) — difficulty-conditioned L1–L4 anchors.
+// ---------------------------------------------------------------------------
+
+const RUBRIC = `
+H1 立意（把模糊需求收敛成可执行的精确问题的功力）
+  clarity 初始指令清晰度 · converge 收敛效率 · drift 方向稳定性
+  L4 开局即给出目标+约束+验收，几乎无需追问；L3 信息基本充分，少量澄清；
+  L2 需多轮补全；L1 一句话甩任务、反复改方向。
+H2 判断（不盲从、敢质疑、敢推翻 vs 橡皮图章式照单全收）
+  challenge 合理质疑 · override 该推翻时推翻 · accept_rate 采纳前是否有判断
+  L4 在该质疑处质疑、在合理处高效采纳，质疑有依据；L3 大体审视偶有盲从；
+  L2 多数直接采纳少量质疑；L1 几乎全程"好的/继续"式盲从。
+H3 系统思维（本次对话是否体现系统性 / 抽象思维，三个子项）
+  abstraction 抽象层级：是否从架构 / 模块 / 接口 / 抽象层面思考，而非纯就事论事
+  reuse 复用意识：是否复用既有设计 / 组件 / 模式，不重复造轮子
+  standard 规范约束：是否主动设定或遵循规范 / 约束 / 协议 / 命名一致性
+  各子项 L4 充分体现；L3 部分体现；L2 偶有；L1 基本没有。
+ENV 环境（AI 能力环境诊断：本次 AI 凭借的知识 / 工具 / 时效够不够用，3 个子项）
+  knowledge 知识覆盖：AI 对该技术栈的掌握，领域准确、概念无误、符合最佳实践（高分=掌握好）
+  tooling 工具运用：工具选择是否得当、调用链路高效不啰嗦、出错能自愈（高分=运用好）
+  currency 时效性：是否避免了过时 / 已废弃的 API、版本、做法（高分=新，越少过时越高）
+  各子项 L4 优秀；L3 良好；L2 一般；L1 差。
+O1 产出（结果是否真的可用）
+  first_take 一次采纳 · code_style 代码规范 · completeness 边界/异常/测试完备
+  L4 几乎一次过且规范完备；L3 小修即可；L2 需明显返工；L1 大量返工或缺失完备性。
+`;
+
+// ---------------------------------------------------------------------------
+//  Prompt
+// ---------------------------------------------------------------------------
+
+/**
+ * Build the unified analysis prompt.
+ *
+ * @param {object} ctx  advice-style context (assembleContext output) plus a
+ *                       numeric `difficulty` (1-4).  Shape:
+ *   { session:{model,difficulty,durationMinutes,cost,tokens,errorCount,
+ *              toolCallCount,messageCount,userCount,assistantCount,reverted},
+ *     toolBreakdown:[...], messages:[{role,text}], truncated, omittedMessages }
+ * @returns {string}
+ */
+function buildSessionAnalysisPrompt(ctx) {
+  const s = ctx.session || {};
+  const t = s.tokens || {};
+  const difficulty = s.difficulty ?? ctx.difficulty ?? '?';
+  const truncatedNote =
+    ctx.truncated === 'hard' ? '（注意:会话很长，已强力截断。）'
+    : ctx.truncated ? `（注意:中段已省略 ${ctx.omittedMessages} 条消息。）`
+    : '';
+
+  return `${ANALYSIS_SENTINEL}（内部标记，忽略本行）
+你是一名严格、客观的"人机协作"审计员兼协作教练。下面是一段开发者与 AI 编程助手的会话原文与基础统计。
+请一次性完成两件事，返回**单个严格 JSON 对象**，不要任何额外文字 / markdown：
+(A) scores —— 按 rubric 给五维能力打分；(B) advice —— 给出可执行的协作改进建议。
+
+================  (A) 评分 rubric（难度越高合格线越宽松，本会话难度 ${difficulty}/4）  ================
+${RUBRIC}
+scores 每个子指标返回三元组：
+- score: 0–100 的数值，**可含一位小数**（如 78.5）；证据不足或对话太短无法判断 → null（不要硬给低分）。
+  档位↔分数区间：L4 = 85–100 · L3 = 65–84 · L2 = 40–64 · L1 = 0–39；
+  请在区间内按实际好坏细分到具体分值，**不要只给 25/55/80/95 这种档位中点或整十的死板分**。
+- confidence: 0.0–1.0。
+- evidence: 引用对话中的具体表现（哪条消息、什么内容），说明为何是这个分值。没有证据写"未发现相关证据"。
+评分客观性：① 不因输出更长/更礼貌而加分；② 证据不足必须 null；③ 难度低不等于做得差。
+
+================  (B) advice —— 只评"如何使用 AI"，不评业务对错  ================
+评估开发者的协作方式（提问清晰度、上下文准备、工具/模型使用、流程节奏、是否该用 skill/subagent、成本）。
+不要评对话里讨论的具体技术/代码是否正确（那属于代码评审）。
+**关键禁令**：advice 部分禁止引用、推测或编造任何"分数/等级/Lx/子分/H1/H2/E1/O1"字眼；
+每条 evidence 必须是对话事实（如"第 3 条用户消息只说'改一下'，未给文件路径"），不得换算成分数。
+5 个类别：cost 省钱 · accuracy 协作层提准确（暴露假设/要求自检/加验证，非业务对错）· context 上下文准备 ·
+skills 推荐 opencode skill/subagent · workflow 流程节奏。
+AdviceItem: { severity: high|medium|low, title:≤20字, why:1句, action:下次怎么做(协作动作), evidence:对话事实,
+  actionable:bool, executor: opencode|claude|manual, cwd_hint: "project_root" }
+硬规则：5 个类别键必须存在(无内容给空数组)；AdviceItem 总数 ≤ 6，按 severity 由高到低；
+executor='manual' 时 actionable 必须 false。
+
+================  会话基础（只作事实参考）  ================
+模型 ${s.model || '未知'} · 难度 ${difficulty}/4 · 时长 ${fmtNum(s.durationMinutes)} 分钟 · 已回退 ${s.reverted ? '是' : '否'}
+消息 ${fmtNum(s.messageCount)}（用户 ${fmtNum(s.userCount)} / 助手 ${fmtNum(s.assistantCount)}）· 工具 ${fmtNum(s.toolCallCount)} 次 错误 ${fmtNum(s.errorCount)}
+Token in ${fmtNum(t.input)} / out ${fmtNum(t.output)} / reasoning ${fmtNum(t.reasoning)} / cacheR ${fmtNum(t.cacheRead)} / cacheW ${fmtNum(t.cacheWrite)} · 成本 $${typeof s.cost === 'number' ? s.cost.toFixed(4) : '–'}
+
+工具使用 Top 20:
+${fmtToolTable(ctx.toolBreakdown)}
+
+消息全文 ${truncatedNote}:
+${fmtMessages(ctx.messages)}
+
+================  输出 JSON（仅此对象）  ================
+{"scores":{
+  "H1":{"clarity":{"score":78.5,"confidence":0.8,"evidence":"…"},"converge":{"score":90,"confidence":0.9,"evidence":"…"},"drift":{"score":null,"confidence":0,"evidence":"无法判断"}},
+  "H2":{"challenge":{…},"override":{…},"accept_rate":{…}},
+  "H3":{"abstraction":{"score":70,"confidence":0.7,"evidence":"…"},"reuse":{…},"standard":{…}},
+  "ENV":{"knowledge":{"score":80,"confidence":0.8,"evidence":"…"},"tooling":{…},"currency":{…}},
+  "O1":{"first_take":{…},"code_style":{…},"completeness":{…}}},
+ "advice":{"summary":"≤60字只谈协作","categories":{"cost":[],"accuracy":[],"context":[],"skills":[],"workflow":[]},"rationale":"≤80字只谈协作"}}`;
+}
+
+module.exports = {
+  ANALYSIS_SENTINEL,
+  ANALYSIS_PROMPT_VERSION,
+  CATEGORIES,
+  buildSessionAnalysisPrompt,
+  truncateContext,
+};

package/server/llm/cli-runner.js

@@ -141,6 +141,7 @@ async function runJudge(opts = {}) {
       proc = spawn(cli.bin, cli.argv(prompt), {
         stdio: [useStdin ? 'pipe' : 'ignore', 'pipe', 'pipe'],
         shell: process.platform === 'win32',
+        windowsHide: true,
       });
       if (useStdin && proc.stdin) {
         proc.stdin.on('error', () => {}); // EPIPE if CLI exits early
@@ -173,14 +174,29 @@ async function runJudge(opts = {}) {
       }
       const parsed = extractJson(stdout);
       if (parsed === undefined) {
-        return settle({ ok: false, reason: 'bad-json', raw: stdout.slice(0, 500) });
+        // Include a snippet of stderr too — when claude / opencode
+        // print a warning ("not logged in", "rate-limited", "use
+        // --print"), the stdout JSON parse fails but the actual cause
+        // lives in stderr.
+        return settle({
+          ok: false,
+          reason: 'bad-json',
+          raw: stdout.slice(0, 500),
+          error: stderr ? stderr.slice(0, 500) : undefined,
+        });
       }
       settle({ ok: true, data: parsed, raw: stdout, cli: cli.name });
     });
 
     const t = setTimeout(() => {
       try { proc.kill('SIGKILL'); } catch {}
-      settle({ ok: false, reason: 'timeout' });
+      // Surface stderr on timeout — usually has "waiting for input" or
+      // a prompt that explains why the CLI is hanging.
+      settle({
+        ok: false,
+        reason: 'timeout',
+        error: stderr ? stderr.slice(0, 500) : undefined,
+      });
     }, timeoutMs);
     proc.on('exit', () => clearTimeout(t));
   });

package/server/llm/judge.js

@@ -85,7 +85,12 @@ async function judgeSession(db, session, messages, meta = {}) {
 
   const prompt = buildSessionJudgePrompt(messages, meta);
   const result = await withSlot(() => runJudge({ prompt, timeoutMs: 90_000 }));
-  if (!result.ok || !result.data) return null;
+  if (!result.ok || !result.data) {
+    const reason = result.ok ? 'no-data' : (result.reason || 'unknown');
+    const detail = result.error ? ` — ${String(result.error).slice(0, 200)}` : '';
+    console.error('[judge]', session.id, 'LLM fell through:', reason + detail);
+    return null;
+  }
 
   return {
     ...result.data,

package/server/llm/session-analyzer.js

@@ -106,7 +106,16 @@ async function analyzeSessionLLM(db, session, opts = {}) {
   const prompt = buildSessionAnalysisPrompt(ctx);
 
   const result = await withSlot(() => runJudge({ prompt, timeoutMs: 90_000 }));
-  if (!result.ok || !result.data || !result.data.scores) return null;
+  if (!result.ok || !result.data || !result.data.scores) {
+    // Surface why we fell back to rule-based judging.  Silent nulls
+    // here made macOS `claude -p` failures (timeout / bad-json / exit
+    // non-zero) impossible to diagnose from the outside — the HTTP
+    // endpoint just returned 200 with empty v2 columns.
+    const reason = result.ok ? 'no-scores' : (result.reason || 'unknown');
+    const detail = result.error ? ` — ${String(result.error).slice(0, 200)}` : '';
+    console.error('[session-analyzer]', session.id, 'LLM fell through:', reason + detail);
+    return null;
+  }
 
   return {
     scores: result.data.scores,