mocode-ai 1.5.3 → 1.5.4

package/dist/context/token-calibration.js

@@ -2,11 +2,27 @@ import fs from 'node:fs';
 import os from 'node:os';
 import path from 'node:path';
 import { createHash } from 'node:crypto';
-const CACHE_VERSION = 1;
+// v2:引入 SUSPECT_* 可信区间。旧缓存里被口径不可比的 provider 砸到 MIN_CORRECTION
+// 下限、又被 clamp 住的条目(correction=0.5 且再不会有新样本去修正它)会永久打对折
+// 所有显示数字,只能整表作废——丢掉的是几十个样本,重学只要几步。
+const CACHE_VERSION = 2;
 const EWMA_ALPHA = 0.2;
 const MIN_CORRECTION = 0.5;
 const MAX_CORRECTION = 2;
 const MAX_ENTRIES = 64;
+/**
+ * 可信样本区间(actual / estimated)。超出即**不并入 EWMA**。
+ *
+ * 为什么需要这道闸:估算器的任务只是「别让请求溢出窗口」,它允许偏高;而 usage 是
+ * provider 报的账,两者本该同量级(本机 40+ 会话实测 est/actual 落在 0.33–1.66)。
+ * 一旦某个 gateway/model 的 usage 口径不可比(实测踩过:localhost 网关的 thinking 模型
+ * 报 20.8 chars/token,同机其它 provider 全是 1.3–3.3),ratio 会直接砸到 MIN_CORRECTION
+ * 下限并被 clamp 住——之后 correction 恒为 0.5,**每个乘以它的显示数字都被无谓地打对折**
+ * (压缩行 40% vs 底栏 80%,用户看到的两个数都不是真值)。这种样本学不出有用信息,
+ * 只会污染 UI;丢掉它,correction 保持上一次可用值(或 1)。
+ */
+const SUSPECT_MIN_RATIO = 0.3;
+const SUSPECT_MAX_RATIO = 3.5;
 let cache;
 const toolFingerprints = new WeakMap();
 function cachePath() {
@@ -75,7 +91,8 @@ export function getTokenCalibration(baseURL, model, tools) {
     const entry = readCache().entries[calibrationKey(baseURL, model, tools)];
     return validEntry(entry) ? { correction: entry.correction, samples: entry.samples } : { correction: 1, samples: 0 };
 }
-/** 用一次真实 prompt usage 更新 EWMA；只落比例和样本数，不保存任何消息内容。 */
+/** 用一次真实 prompt usage 更新 EWMA；只落比例和样本数，不保存任何消息内容。
+ *  样本与估算器差到 SUSPECT_* 区间之外时判为 provider 口径异常，直接丢弃(不改 correction)。 */
 export function updateTokenCalibration(baseURL, model, tools, estimatedTokens, actualTokens) {
     if (estimatedTokens <= 100 ||
         actualTokens <= 100 ||
@@ -83,6 +100,10 @@ export function updateTokenCalibration(baseURL, model, tools, estimatedTokens, a
         !Number.isFinite(actualTokens)) {
         return getTokenCalibration(baseURL, model, tools);
     }
+    const ratio = actualTokens / estimatedTokens;
+    if (ratio < SUSPECT_MIN_RATIO || ratio > SUSPECT_MAX_RATIO) {
+        return getTokenCalibration(baseURL, model, tools);
+    }
     const key = calibrationKey(baseURL, model, tools);
     const store = readCache();
     const previous = store.entries[key];

package/dist/i18n/index.js

@@ -186,6 +186,7 @@ const zhCN = {
     'status.measured': '实测',
     'status.estimated': '估算',
     'status.messages': '{count} 条消息',
+    'status.providerMeasured': 'provider 上一步实测 {tokens}:{pct}%',
     'agent.sending': '发送中…  (任意键 / Esc / Ctrl+C 撤回)',
     'agent.thinking': '思考中',
     'agent.generating': '生成 {tool}',
@@ -516,6 +517,7 @@ const en = {
     'status.measured': 'measured',
     'status.estimated': 'estimated',
     'status.messages': '{count} messages',
+    'status.providerMeasured': 'provider measured {tokens} last step:{pct}%',
     'agent.sending': 'Sending…  (any key / Esc / Ctrl+C to recall)',
     'agent.thinking': 'Thinking',
     'agent.generating': 'Generating {tool}',

package/dist/repl/status-bar.js

@@ -23,8 +23,20 @@ export function renderContextBar(history) {
     const W = 10;
     const filled = Math.round(pct * W);
     const bar = '█'.repeat(filled) + '░'.repeat(W - filled);
-    const src = contextState.lastUsage ? t('status.measured') : t('status.estimated');
     const k = (n) => `${Math.round(n / 1000)}k`;
+    // 标签必须描述**这个数字**是什么:本条 bar 恒为「对话内容」估算(dialog-only,不含
+    // system prompt / 工具 schema),与底栏用量条、80% 压力线都不是同一个数。
+    // 旧实现只要 lastUsage 存在就打「实测」,而显示的仍是估算值 —— 标签与数字对不上,
+    // 用户拿它跟底栏对账只会更困惑。改为:数字照旧标「估算」,把 provider 真正测到的
+    // prompt 并列出来,两者差多少一眼可见(差值本身就是 provider 口径是否可信的证据)。
+    const src = t('status.estimated');
+    const measured = contextState.lastUsage?.promptTokens;
+    const measuredNote = measured && measured > 0
+        ? ` · ${t('status.providerMeasured', {
+            tokens: k(measured),
+            pct: Math.round(Math.min(1, measured / win) * 100),
+        })}`
+        : '';
     const pctCol = pct >= DEFAULT_BUDGET_POLICY.pressureTriggerRatio ? ui.yellow : ui.accent;
     const lifecycle = contextState.lifecycleStats;
     const archived = computePruneStats(history);
@@ -36,7 +48,7 @@ export function renderContextBar(history) {
         ? `\n  lifecycle · live ${lifecycle.live} · referenced ${lifecycle.referenced} · digested ${lifecycle.digested} · stubbed ${lifecycle.stubbed}`
         : '\n  lifecycle · no active snapshot (run a tool-enabled turn first)';
     const archiveLine = `\n  archived tool results · ${archived.stubbed}`;
-    return `${ui.gray}[${pctCol}${bar}${ui.reset}] ${Math.round(pct * 100)}%  ${k(est)}/${k(win)} tokens · ${t('status.messages', { count: history.length })} (${src})${ui.reset}${artifactLine}${lifecycleLine}${archiveLine}`;
+    return `${ui.gray}[${pctCol}${bar}${ui.reset}] ${Math.round(pct * 100)}%  ${k(est)}/${k(win)} tokens · ${t('status.messages', { count: history.length })} (${src})${measuredNote}${ui.reset}${artifactLine}${lifecycleLine}${archiveLine}`;
 }
 /** 状态行用量条(精简版,进底栏):[bar] pct% k/k。
  * 必须**用全 prompt 估算**(消息 + 工具 schema + 尾部 ephemeral 注入),与压缩触发器
@@ -45,6 +57,8 @@ export function renderContextBar(history) {
  * 触发器用 `Math.max(rawTotal, total) >= 0.8 * window`,bar 也照搬:校正后和校正前
  * 哪个大取哪个,确保不会因 correction<1 而低估。ephemeral 文本由 agent/core 每步写入
  * contextState.ephemeralText(避免在 bar 里再读一次 notes.md)。
+ * 压缩行(compact.ts 的 compactionLogLine)已统一到同一口径:数字取裸估算、后缀带窗口
+ * 百分比,两者可直接对账——「底栏 80% 而压缩行 40%」这类口径分裂不再出现。
  *
  * /context 命令仍是 dialog-only(见 renderContextBar):它的设计意图是"我说了多少"而非
  * "还剩多少空间",两条职责分开。 */

package/dist/session/compact.js

@@ -559,6 +559,26 @@ async function defaultSummarize(older, focus, signal, runtime = defaultCompactio
     }
 }
 // ── 对外:compactHistory / maybeCompact ───────────────────────────────────
+/**
+ * 用户可见的上下文占用口径:**裸估算**(不乘 correction)。
+ *
+ * 为什么必须裸估算:触发判定用的就是它——session/scheduler.ts 的 80% 压力线比
+ * `Math.max(report.rawTotal, report.total)`(context/budget.ts scheduleActions),
+ * repl 底栏用量条也取 `max(raw, corrected)`(repl/status-bar.ts)。压缩行若打印校正后的值,
+ * 同一时刻 TUI 上就同时存在三个都叫 token 的数字(provider 实测 / 校正后 / 触发用裸估),
+ * 用户无从判断哪条线会触发 —— 实测踩过:底栏 80%、压缩行 40%,看起来「没到线却压了」。
+ * correction 只服务内部保留区尺寸估算(见 correctTokenEstimate 调用点),不再外泄成占用读数。
+ */
+function rawPromptTokens(history, activeTools) {
+    return estimatePromptTokens(history, activeTools, 1);
+}
+/** 压缩行统一格式:`● 标签  205214 → 28614 tokens  (80% → 11%)`。
+ * 百分比与数字同源(裸估算 / 窗口),让「凭什么这时压」在行内自证,不必回头翻代码。 */
+function compactionLogLine(label, before, after, window) {
+    const pct = (n) => `${Math.round((n / Math.max(1, window)) * 100)}%`;
+    return (`  ${ui.bold}${ui.accent}●${ui.reset} ${ui.accent}${label}${ui.reset}  ` +
+        `${ui.dim}${before} → ${after} tokens  (${pct(before)} → ${pct(after)})${ui.reset}\n`);
+}
 /**
  * 压缩 history(原地)。手动 /compact 与自动 maybeCompact 都走这里。
  * 不检查阈值——调用方(maybeCompact)决定是否调;/compact 直接调以强制压缩。
@@ -566,8 +586,8 @@ async function defaultSummarize(older, focus, signal, runtime = defaultCompactio
 export async function compactHistory(history, opts) {
     const state = opts.contextState ?? contextState;
     const activeTools = opts.tools ?? chatTools;
-    const estimateBefore = estimatePromptTokens(history, activeTools, state.correction);
-    state.lastEstimate = estimateBefore;
+    const estimateBefore = rawPromptTokens(history, activeTools);
+    state.lastEstimate = estimatePromptTokens(history, activeTools, state.correction);
     // 调用前就已中断(用户在上一步末尾按的 Ctrl+C):一步都别做,直接冒泡。
     // 不做完再抛是为了保证 history 完全未被触碰——abortRestore 才还原得干净。
     if (opts.signal?.aborted) {
@@ -688,12 +708,12 @@ export async function compactHistory(history, opts) {
             const single = groups[0];
             const userOnly = single.tools.length === 0 && single.assistant?.role === 'user';
             if (!userOnly && microcompactGroup(single)) {
-                const estimateAfter = estimatePromptTokens(history, activeTools, state.correction);
-                state.lastEstimate = estimateAfter;
+                const estimateAfter = rawPromptTokens(history, activeTools);
+                state.lastEstimate = estimatePromptTokens(history, activeTools, state.correction);
                 state.lastUsage = undefined;
                 if (!layout.isLastContentRowBlank())
                     layout.contentWrite('\n');
-                layout.contentWrite(`  ${ui.bold}${ui.accent}●${ui.reset} ${ui.accent}强制微压缩(单组)${ui.reset}  ${ui.dim}${estimateBefore} → ${estimateAfter} tokens${ui.reset}\n`);
+                layout.contentWrite(compactionLogLine('强制微压缩(单组)', estimateBefore, estimateAfter, opts.window));
                 return {
                     compacted: true,
                     summarized: false,
@@ -780,14 +800,14 @@ export async function compactHistory(history, opts) {
         history.length = 0;
         history.push(...rebuilt);
         (opts.runtime?.rollbackStore ?? defaultRollbackStore).pruneAfterCompaction(history);
-        const estimateAfter = estimatePromptTokens(history, activeTools, state.correction);
-        state.lastEstimate = estimateAfter;
-        state.lastUsage = undefined; // 压缩后旧 usage 失效,/context 改用校正估算
+        const estimateAfter = rawPromptTokens(history, activeTools);
+        state.lastEstimate = estimatePromptTokens(history, activeTools, state.correction);
+        state.lastUsage = undefined; // 压缩后旧 usage 失效,/context 改用估算
         // 压缩行与上一个工具批次摘要行之间补空行分隔(compact 在 core step 循环顶部触发,
         // 上一步的 batch 可能尚未 flush,缓冲末行仍是 ● 工具摘要行 → 两行黏在一起)。
         if (!layout.isLastContentRowBlank())
             layout.contentWrite('\n');
-        layout.contentWrite(`  ${ui.bold}${ui.accent}●${ui.reset} ${ui.accent}压缩上下文${ui.reset}  ${ui.dim}${estimateBefore} → ${estimateAfter} tokens${ui.reset}\n`);
+        layout.contentWrite(compactionLogLine('压缩上下文', estimateBefore, estimateAfter, opts.window));
         // 抖动保护:压缩后仍超阈 → 提示 /clear,不死循环
         if (estimateAfter >= opts.threshold * opts.window) {
             layout.contentWrite(`  ${ui.yellow}●${ui.reset} ${ui.yellow}压缩后仍超阈,可能存在超大单条;建议 /clear。${ui.reset}\n`);
@@ -811,13 +831,13 @@ export async function compactHistory(history, opts) {
         if (microcompactGroup(g))
             microcompactDone = true;
     }
-    const estimateAfter = estimatePromptTokens(history, activeTools, state.correction);
-    state.lastEstimate = estimateAfter;
+    const estimateAfter = rawPromptTokens(history, activeTools);
+    state.lastEstimate = estimatePromptTokens(history, activeTools, state.correction);
     state.lastUsage = undefined; // token 数已变,旧 usage 失效
     if (microcompactDone) {
         if (!layout.isLastContentRowBlank())
             layout.contentWrite('\n');
-        layout.contentWrite(`  ${ui.bold}${ui.accent}●${ui.reset} ${ui.accent}微压缩旧工具结果${ui.reset}  ${ui.dim}${estimateBefore} → ${estimateAfter} tokens${ui.reset}\n`);
+        layout.contentWrite(compactionLogLine('微压缩旧工具结果', estimateBefore, estimateAfter, opts.window));
         return {
             compacted: true,
             summarized: false,

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "mocode-ai",
-  "version": "1.5.3",
+  "version": "1.5.4",
   "description": "终端编码 agent:LLM + tool-call 循环 + 流式输出(含思考)+ 25 个工具,接任意 OpenAI 兼容后端。",
   "type": "module",
   "bin": {