mio-agent-runtime 0.13.4 → 0.14.0

package/README.md

@@ -55,8 +55,9 @@ mio memory migrate --ids a,b --scope global|project   Move records between the p
 mio policy check "<action>" Check the historical risk of an action before running it (--project; reads global MIO_HOME)
 mio creativity status        Show creativity hypothesis counts and recent top ideas (reads global MIO_HOME)
 mio creativity list          List creativity hypotheses (--status active|validated|rejected|draft, --limit N)
-mio creativity generate      Generate hypotheses from 2+ --source "name|content" (calls an LLM)
+mio creativity generate      Generate hypotheses from 2+ --source "name|content" (or --from-insights; calls an LLM)
 mio creativity ferment       Review and refine active hypotheses (calls an LLM)
+mio idea generate --goal "..."   Grounded idea pipeline: auto sources + novelty gate, persisted (calls an LLM)
 mio insight status           Insight counts: total, reported, unreported, high-value (needs @akemi-mio/insight)
 mio insight list             List insights (--unreported, --min-score N, --detector X, --limit N)
 mio insight generate         Generate insights from context (--memory "kind|content"/--summary "text"; calls an LLM)
@@ -101,7 +102,7 @@ mio --version                Print the version and exit (-V)
 
 ## MCP 工具
 
-MCP 服务端在 5 大域共暴露 50 个工具：
+MCP 服务端在 5 大域共暴露 51 个工具：
 
 ### 记忆（11）
 `mio.memory.query` · `mio.memory.record` · `mio.memory.archive` · `mio.memory.merge` · `mio.memory.migrate` · `mio.memory.analyze` · `mio.memory.forget` · `mio.experience.list` · `mio.experience.confirm` · `mio.experience.reuse` · `mio.policy.check`
@@ -114,15 +115,15 @@ MCP 服务端在 5 大域共暴露 50 个工具：
 ### 洞察自省（4）
 `mio.insight.status` · `mio.insight.list` · `mio.insight.mark_reported` · `mio.insight.generate`
 
-### 创意引擎（4）
-`mio.creativity.generate` · `mio.creativity.ferment` · `mio.creativity.list` · `mio.creativity.status`
+### 创意引擎（5）
+`mio.creativity.generate` · `mio.creativity.ferment` · `mio.creativity.list` · `mio.creativity.status` · `mio.idea.generate`
 
 ### 任务、Agent 与演化（16）
 `mio.task.route` · `mio.task.record_outcome` · `mio.agent.register` · `mio.agent.list` · `mio.agent.report` · `mio.agent.evaluation` · `mio.host.capabilities` · `mio.evolution.status` · `mio.evolution.report` · `mio.evolution.shadow.record` · `mio.evolution.dual_write.record` · `mio.evolution.cutover.readiness` · `mio.evolution.cutover.apply` · `mio.evolution.migration.plan` · `mio.evolution.authority.plan` · `mio.phase0.report`
 
 ## 包
 
-`mio-agent-runtime` 依赖发布在 `@akemi-mio` scope 下的 **9** 个包（声明于 `package.json`，均为 `0.1.0`）。它们仅在源码变更时才发布，所以普通的 CLI 发布不会重新发布这些包。
+`mio-agent-runtime` 依赖发布在 `@akemi-mio` scope 下的 **10** 个包（声明于 `package.json`，均为 `0.1.0`）。它们仅在源码变更时才发布，所以普通的 CLI 发布不会重新发布这些包。
 
 | 依赖 | 说明 |
 |---|---|
@@ -135,6 +136,7 @@ MCP 服务端在 5 大域共暴露 50 个工具：
 | `@akemi-mio/evolution-scheduler` | 演化调度器 |
 | `@akemi-mio/observer` | ObserverService —— 多源数据采集、趋势分析、深度研究、世界模型、发酵、DAG 状态机、自演化引擎（唯一运行时依赖 `undici`，只用于走代理采集） |
 | `@akemi-mio/insight` | InsightService —— 基于 LLM 的洞察生成、冲突/漂移/重复/停滞目标/摩擦检测器、在场服务、洞察打分（零 npm 依赖） |
+| `@akemi-mio/creativity` | IdeaGenerator / NoveltyScorer / SourceAggregator —— `mio idea generate` 与创意引擎的生成算法（依赖 `@akemi-mio/core`） |
 
 以下 `@akemi-mio` 包同样位于本 monorepo 中并独立发布，但**不是**本 CLI 的依赖——其源码从不 import 它们，因此未声明在 `package.json` 里：
 
@@ -146,9 +148,9 @@ MCP 服务端在 5 大域共暴露 50 个工具：
 
 它们可直接被其它 Node 项目消费。`mio-agent-runtime` 自身是 CLI + MCP server 包。
 
-### 与宿主耦合的包（不发布）
+### 曾经不发布的两个包（现已发布）
 
-`@akemi-mio/core` 与 `@akemi-mio/creativity` 通过 `workspace:*` 链接在本 monorepo 内部消费，因此从源码构建，**不**发布到 npm。`packages/cli/` 已不存在。不要把这两个包加进下游 `package.json`——安装会失败。
+`@akemi-mio/core` 与 `@akemi-mio/creativity` 自 `mio-agent-runtime@0.14.0` 起发布到 npm（`0.1.0`）。`@akemi-mio/creativity` 是本 CLI 的直接依赖，`@akemi-mio/core` 经由它传递引入；其它 Node 项目可直接安装这两个包。
 
 ## 宿主说明
 
@@ -359,7 +361,7 @@ Historically risky: ...
 
 说明：
 
-- **它读取全局 `MIO_HOME`，而非每项目目录。** MCP 服务端把数据目录解析为 `MIO_DATA_DIR || cwd/.mio-intelligence`，因此从任意目录发起的 MCP 调用看到的是空存储；CLI 刻意指向累积的全局日志。用 `--project` 把 trace 集合限定到某个项目。
+- **它读取全局 `MIO_HOME`，而非每项目目录。** MCP 服务端把数据目录解析为 `MIO_DATA_DIR || cwd/.mio-intelligence`，因此从任意目录发起的 MCP 调用看到的是空存储；CLI 刻意指向累积的全局日志。`mio mcp` 是例外：它先把 `MIO_DATA_DIR` 钉到 `MIO_HOME` 再启动服务端，于是 stdio 入口与终端读写同一份数据。注意：各桌面宿主适配器（codex、opencode、workbuddy、hermes、claude-code）在启动 MCP 服务端时会**显式传入**各自的 `MIO_DATA_DIR`（指向宿主的配置目录），因此它们**不共享** CLI 的 `MIO_HOME`；只有 `mio mcp`（直接 stdio 连接）才与终端读写同一份数据。用 `--project` 把 trace 集合限定到某个项目。
 - **风险即失败占比**，`>= 0.4` 为高，`>= 0.2` 为中。`retry` 与 `aborted` 与 `failure`、`error` 一并计为失败。无匹配历史报告 `UNKNOWN`，与 `LOW`（干净记录）不同。
 - **匹配可能被通用 token 带偏。** 匹配是对动作 token 的宽松 OR，所以像 `task` 这样的动作几乎匹配每条 trace，因为关键词 `task` 几乎出现在所有 payload 中。当动作中*每个* token 都至少出现在半数候选 trace 里时，CLI 会打印警告，而不是让等级自说自话：
 
@@ -386,7 +388,7 @@ mio creativity list --json
 ```text
 Creativity engine:
   hypotheses: 5  combos: 3  experiments: 1
-  active: 2  validated: 1  rejected: 1
+  active: 2  validated: 1  rejected: 1  draft: 1
 
 Recent top ideas:
 - Plugin architecture  (novelty=80 feasibility=70 impact=90 score=240)
@@ -396,7 +398,10 @@ Recent top ideas:
 说明：
 
 - **它委托给与 MCP 服务端相同的 `CreativityEngine`**，因此终端的 `mio creativity list` 看到的是与 `mio.creativity.list` 工具完全一致的假设。存储位于 `<MIO_HOME>/creativity/creativity-hypotheses.jsonl`；CLI 指向全局 `MIO_HOME`，与 `mio policy check` 一致。
+- **`list` 默认只返回最新 20 条**，与 `mio.creativity.list` 的 schema 承诺一致；`--limit 0`（或 MCP 的 `limit: 0`）才是「全部」。存储很大时默认全量返回会把工具结果撑爆。
+- **`status` 计入 `draft`。** `draft` 是发酵中的真实状态（`ferment` 会同时处理 `draft` 与 `active`），此前漏计导致 `status` 与 `list --status draft` 对不上。
 - **空存储是正常状态。** 引擎运行之前，`status` 报告全零计数，`list` 显示 "No hypotheses match." 两者都是有效输出，不是错误。
+- **缓存会在文件变化时失效。** 三个 JSONL 的读取按 `(size, mtime)` 校验，因此另一个进程写入后长驻的 MCP 服务端无需重启就能看到——与 `server/insight-store.js` 同一套守卫。
 
 ### 生成与发酵（`generate` / `ferment`）
 
@@ -405,19 +410,44 @@ Recent top ideas:
 
 ```bash
 mio creativity generate --source "auth|token rotation" --source "cache|write-through"
+mio creativity generate --from-insights --source "auth|token rotation"
 mio creativity ferment --limit 3
 ```
 
 - `--source "名称|内容"` **至少两个**：引擎是把概念两两配对来产生新假设的，
   一个来源在构造上就不可能产出组合（此时**不会**调用 LLM，直接返回
-  `need at least 2 sources`）。
-- `ferment` 会复核 `active` 假设并更新分数；`verdict=promote` 且总分 > 200 时
+  `need at least 2 sources`）。显式来源不足 2 个时，本地自动来源（memory / traces / 已存假设；MCP 侧还含 insight 与 observer 趋势）会先把列表补齐到 2——显式 `--source` 永远排在前面且不被替换；补齐后仍不足 2 个才报上面的错。
+- **`--from-insights`（MCP 侧为 `fromInsights: true`）用已存洞察补足概念来源**：
+  读取 `mio insight list` 能看到的同一份存储，按分数取前 10 条映射成
+  `{ name, content, type: 'insight' }`，再与显式的 `--source` 合并。它只在
+  `@akemi-mio/insight` 已安装且至少存有一条洞察时有意义，否则明确报错而不是
+  静默当作「没有来源」。因为来源可由它提供，`mio.creativity.generate` 的
+  `sources` 不再是 schema 必填项。
+- `ferment` 会复核 `active` / `draft` 假设并更新分数；`verdict=promote` 且总分 > 200 时
   升为 `validated`，`verdict=reject` 则标记为 `rejected`。
+- **失败的 LLM 调用会出现在结果里，不再被吞掉。** 返回值带 `errors`
+  （`generate` 是 `pair` + 原因，`ferment` 是 `id` + 原因），CLI 也会在正文后
+  打印 `N pair(s) failed:`。此前 `catch {}` 让「端点挂了」与「这一对确实没有
+  新意」长得一模一样——`ideas: []` / `Nothing fermented` 两种输出都无法区分。
+
+### 目标驱动的 idea 流水线（`mio idea generate`）
+
+一个 goal 直接产出可实验的假设（MCP 面为 `mio.idea.generate`），来源全程本地优先组装：
+
+```bash
+mio idea generate --goal "降低 MCP 调用延迟" --context "近三天 p95 上升" --constraint "不引入新依赖"
+mio idea generate --goal "扩大命令覆盖" --json
+```
+
+- **来源顺序**：goal → context → constraints → 记忆 grounding（取前 3 条，`scope: all`）→ 本地自动来源（memory / traces / 已存假设，MCP 侧还含 insight 与 observer 趋势），按 `origin` 去重；凑不足 2 个时返回 `reason` 文案而不是报错。
+- **每条 idea 都持久化**到 `<MIO_HOME>/creativity/creativity-hypotheses.jsonl`（`draft`，带 `provenance`：strategy / technique / relatedMemoryIds / 命中来源 / generatedAt），**绝不写入 Mio memory**。
+- **novelty 门禁**：与已 `rejected` 假设近似重复的候选落盘为 `rejected` 并带 `rejectionReason`；与近期假设相似的只降分。拒绝的假设同样入库，供后续去重。
+- `--num` 钳制在 1..3（默认 3）；`--json` 返回完整结构 `{ ideas, generatedAt, groundedWith, persistedIds }`。
 
 #### LLM 配置
 
-只有 4 条命令会调用大模型：`mio creativity generate` / `ferment`、
-`mio insight generate`、`mio observer ferment`。它们共用
+只有 5 条命令会调用大模型：`mio creativity generate` / `ferment`、
+`mio idea generate`、`mio insight generate`、`mio observer ferment`。它们共用
 `server/llm-client.js` 这一份实现，配置也共用同一套解析顺序：
 
 ```
@@ -491,7 +521,7 @@ mio observer trends --base-dir /path/to/.local/observer
   mio observer ferment --session morning                # morning|afternoon|night
   ```
 
-  两者都依赖可选包 `@akemi-mio/observer`（未安装时提示 `not installed`，不是空结果）。`collect` 会**联网**抓取，`ferment` 需要 LLM；它们**不做预览**，因为预览意味着把数据抓两遍。单个源失败不会中断整次运行——该源会以 `errors: ...` 出现在输出里，其余源照常统计。
+  两者都依赖可选包 `@akemi-mio/observer`（未安装时提示 `not installed`，不是空结果）。`collect` 会**联网**抓取，`ferment` 需要 LLM；它们**不做预览**，因为预览意味着把数据抓两遍。单个源失败不会中断整次运行——该源会以 `errors: ...` 出现在输出里，其余源照常统计。`collect` 会**联网**抓取，`ferment` 需要 LLM；它们**不做预览**，因为预览意味着把数据抓两遍。单个源失败不会中断整次运行——该源会以 `errors: ...` 出现在输出里，其余源照常统计。
 - **`mio observer pipeline` 是研究 DAG 的入口**（`collect → trend → tension → research → multi-brain → compose → world model → publish → self-evolve`）。此前 `runPipeline` / `tickPipeline` / `forcePipeline` 在 mio-agent-runtime 里**没有任何调用方**，所以 trends / research / insights 默认永远是空的，只有手动实例化服务才能跑通。它同样依赖 `@akemi-mio/observer`，会**联网并调用多次 LLM**，因此和 `subscribe` 一样**默认只预览**（读今天的 DAG 状态与解析后的 LLM 端点，不构造服务、不建目录），`--run` 才真正执行：
 
   ```bash

package/adapters/codex.js

@@ -1,122 +1,122 @@
-'use strict'
-
-const fs = require('fs')
-const path = require('path')
-const os = require('os')
-const { restartWarning } = require('./host-utils')
-
-const SERVER_SECTION = '[mcp_servers.mio-intelligence]'
-const ENV_SECTION = '[mcp_servers.mio-intelligence.env]'
-
-function configPath() {
-  return path.join(os.homedir(), '.codex', 'config.toml')
-}
-
-function isInstalled() {
-  const target = configPath()
-  if (!fs.existsSync(target)) return false
-  return fs.readFileSync(target, 'utf8').includes(SERVER_SECTION)
-}
-
-// Legacy installs pointed args at the worktree copy of the server
-// (server/mio-intelligence-mcp/index.js) instead of this package's copy
-// (server/mio-intelligence-mcp/index.js). Detect staleness by comparing the
-// configured args path with the server path this package ships.
-function configNeedsRepair(serverScript) {
-  const target = configPath()
-  if (!fs.existsSync(target)) return false
-  try {
-    const src = fs.readFileSync(target, 'utf8')
-    if (!src.includes(SERVER_SECTION)) return false
-    const needle = serverScript.replace(/\\/g, '/').toLowerCase()
-    return !src.replace(/\\/g, '/').toLowerCase().includes(needle)
-  } catch (_) {
-    return false
-  }
-}
-
-function installMessage(installed, restartHint) {
-  let message = installed
-    ? 'Codex Mio MCP repaired (server path updated). Restart Codex to load it.'
-    : 'Codex Mio MCP installed. Restart Codex to load it.'
-  if (restartHint) message += ' ' + restartHint
-  return message
-}
-
-function restartWarningMessage() {
-  return restartWarning({
-    hostLabel: 'Codex',
-    exeName: 'codex.exe',
-    exePathFragment: 'OpenAI.Codex',
-    configPath: configPath(),
-  })
-}
-
-function stripMioSection(toml) {
-  const lines = toml.replace(/\r\n/g, '\n').split('\n')
-  const out = []
-  let skipping = false
-  for (const line of lines) {
-    const trimmed = line.trim()
-    if (trimmed === SERVER_SECTION || trimmed === ENV_SECTION) {
-      skipping = true
-      continue
-    }
-    if (skipping && /^\[.*\]$/.test(trimmed)) {
-      skipping = false
-    }
-    if (!skipping) out.push(line)
-  }
-  return out.join('\n').replace(/\n{3,}/g, '\n\n').trimEnd() + '\n'
-}
-
-function install({ node, serverScript, home, workspace }) {
-  const target = configPath()
-  const backup = `${target}.bak-mio-${Date.now()}`
-  const installed = isInstalled()
-  if (installed && !configNeedsRepair(serverScript)) {
-    return {
-      changed: false,
-      configPath: target,
-      message: 'Codex Mio MCP already installed.',
-    }
-  }
-
-  if (fs.existsSync(target)) {
-    fs.copyFileSync(target, backup)
-  }
-
-  const context = JSON.stringify({
-    agentId: 'codex',
-    workspace: workspace || process.cwd(),
-    sessionId: 'codex-session',
-  })
-
-  fs.mkdirSync(path.dirname(target), { recursive: true })
-  let toml = fs.existsSync(target) ? fs.readFileSync(target, 'utf8') : ''
-  toml = stripMioSection(toml)
-  toml = toml.replace(/\n{3,}/g, '\n\n')
-  if (!toml.endsWith('\n')) toml += '\n'
-  const section = [
-    '',
-    SERVER_SECTION,
-    `command = '${node}'`,
-    `args = ['${serverScript}']`,
-    'startup_timeout_sec = 30',
-    '',
-    ENV_SECTION,
-    `MIO_DATA_DIR = '${home}'`,
-    `MIO_CONTEXT = '${context}'`,
-    '',
-  ].join('\n')
-  fs.writeFileSync(target, `${toml}${section}\n`, 'utf8')
-
-  return {
-    changed: true,
-    configPath: target,
-    backup,
-    message: installMessage(installed, restartWarningMessage()),
-  }
-}
-
+'use strict'
+
+const fs = require('fs')
+const path = require('path')
+const os = require('os')
+const { restartWarning } = require('./host-utils')
+
+const SERVER_SECTION = '[mcp_servers.mio-intelligence]'
+const ENV_SECTION = '[mcp_servers.mio-intelligence.env]'
+
+function configPath() {
+  return path.join(os.homedir(), '.codex', 'config.toml')
+}
+
+function isInstalled() {
+  const target = configPath()
+  if (!fs.existsSync(target)) return false
+  return fs.readFileSync(target, 'utf8').includes(SERVER_SECTION)
+}
+
+// Legacy installs pointed args at the worktree copy of the server
+// (server/mio-intelligence-mcp/index.js) instead of this package's copy
+// (server/mio-intelligence-mcp/index.js). Detect staleness by comparing the
+// configured args path with the server path this package ships.
+function configNeedsRepair(serverScript) {
+  const target = configPath()
+  if (!fs.existsSync(target)) return false
+  try {
+    const src = fs.readFileSync(target, 'utf8')
+    if (!src.includes(SERVER_SECTION)) return false
+    const needle = serverScript.replace(/\\/g, '/').toLowerCase()
+    return !src.replace(/\\/g, '/').toLowerCase().includes(needle)
+  } catch (_) {
+    return false
+  }
+}
+
+function installMessage(installed, restartHint) {
+  let message = installed
+    ? 'Codex Mio MCP repaired (server path updated). Restart Codex to load it.'
+    : 'Codex Mio MCP installed. Restart Codex to load it.'
+  if (restartHint) message += ' ' + restartHint
+  return message
+}
+
+function restartWarningMessage() {
+  return restartWarning({
+    hostLabel: 'Codex',
+    exeName: 'codex.exe',
+    exePathFragment: 'OpenAI.Codex',
+    configPath: configPath(),
+  })
+}
+
+function stripMioSection(toml) {
+  const lines = toml.replace(/\r\n/g, '\n').split('\n')
+  const out = []
+  let skipping = false
+  for (const line of lines) {
+    const trimmed = line.trim()
+    if (trimmed === SERVER_SECTION || trimmed === ENV_SECTION) {
+      skipping = true
+      continue
+    }
+    if (skipping && /^\[.*\]$/.test(trimmed)) {
+      skipping = false
+    }
+    if (!skipping) out.push(line)
+  }
+  return out.join('\n').replace(/\n{3,}/g, '\n\n').trimEnd() + '\n'
+}
+
+function install({ node, serverScript, home, workspace }) {
+  const target = configPath()
+  const backup = `${target}.bak-mio-${Date.now()}`
+  const installed = isInstalled()
+  if (installed && !configNeedsRepair(serverScript)) {
+    return {
+      changed: false,
+      configPath: target,
+      message: 'Codex Mio MCP already installed.',
+    }
+  }
+
+  if (fs.existsSync(target)) {
+    fs.copyFileSync(target, backup)
+  }
+
+  const context = JSON.stringify({
+    agentId: 'codex',
+    workspace: workspace || process.cwd(),
+    sessionId: 'codex-session',
+  })
+
+  fs.mkdirSync(path.dirname(target), { recursive: true })
+  let toml = fs.existsSync(target) ? fs.readFileSync(target, 'utf8') : ''
+  toml = stripMioSection(toml)
+  toml = toml.replace(/\n{3,}/g, '\n\n')
+  if (!toml.endsWith('\n')) toml += '\n'
+  const section = [
+    '',
+    SERVER_SECTION,
+    `command = '${node}'`,
+    `args = ['${serverScript}']`,
+    'startup_timeout_sec = 30',
+    '',
+    ENV_SECTION,
+    `MIO_DATA_DIR = '${home}'`,
+    `MIO_CONTEXT = '${context}'`,
+    '',
+  ].join('\n')
+  fs.writeFileSync(target, `${toml}${section}\n`, 'utf8')
+
+  return {
+    changed: true,
+    configPath: target,
+    backup,
+    message: installMessage(installed, restartWarningMessage()),
+  }
+}
+
 module.exports = { configPath, isInstalled, install, restartWarningMessage }