magic-agent 1.0.0

package/internal/agent/codex_home.go

@@ -0,0 +1,206 @@
+package agent
+
+// codex_home.go - codex 引擎的 CODEX_HOME 隔离。
+//
+// 根因（2026-09-16 实测，codex-cli 0.154.0）：
+//
+//	~/.codex/auth.json 存在 ChatGPT 登录态（auth_mode="chatgpt"）时，
+//	codex exec 启动会拉取 cloud config bundle（企业云端配置），目标域名
+//	auth.openai.com。若系统 DNS 解析该域名失败/超时（本机实测 curl 8s
+//	无响应，但 --resolve 指定 Cloudflare IP 后 0.9s 200 OK，纯 DNS 路径
+//	问题），codex 在 15s 后报错退出：
+//
+//	  Error: timed out waiting for cloud config bundle after 15s
+//
+//	且 -c cloud_config.enabled=false / -c cloud_config=false 均无法绕过
+//	（0.154 无此配置键）。config.toml 用的 custom provider（本地代理
+//	127.0.0.1:15721）根本不需要 ChatGPT 登录态 —— auth.json 是唯一触发点。
+//
+// 修复：magic-agent 为 codex 子进程注入独立的 CODEX_HOME（镜像目录），
+// 只同步 config.toml、AGENTS.md 及 config 引用的相对路径数据文件
+// （如 cc-switch 的 model_catalog_json），**绝不同步 auth.json**。
+// 无登录态 → 不拉 cloud config → exec 直连 custom provider 正常返回。
+//
+// 行为矩阵：
+//
+//	外部已设 CODEX_HOME                 → 尊重用户环境，不做隔离/同步
+//	外部已设 MAGIC_AGENT_CODEX_HOME     → 直接用该目录（跳过自动同步）
+//	~/.codex 不存在                     → 不启用隔离（保持原行为）
+//	默认                                → 镜像 ~/.magic-agent/codex-home/
+//
+// 同步策略：源 config.toml 的 size+mtime 与镜像不一致时全量重同步
+//（文件均为 KB 级，开销可忽略）。镜像内 sessions 由 codex 自行落盘，
+// 续接（resume）天然工作在同一镜像内，自洽。
+
+import (
+	"fmt"
+	"os"
+	"path/filepath"
+	"regexp"
+)
+
+// magicAgentHomeDir 引擎私有数据的根目录（~/.magic-agent）。
+func magicAgentHomeDir() string {
+	home, err := os.UserHomeDir()
+	if err != nil {
+		return ""
+	}
+	return filepath.Join(home, ".magic-agent")
+}
+
+// defaultCodexSourceHome 用户原始 codex 配置目录。
+func defaultCodexSourceHome() string {
+	home, err := os.UserHomeDir()
+	if err != nil {
+		return ""
+	}
+	return filepath.Join(home, ".codex")
+}
+
+// codexHomeEnvKey 引擎级 CODEX_HOME 覆盖开关。
+const codexHomeEnvKey = "MAGIC_AGENT_CODEX_HOME"
+
+// ensureCodexHome 决定 codex 子进程的 CODEX_HOME，必要时构建镜像目录。
+//
+// 返回 (home, injected, error)：injected=true 表示调用方须将该 home 以
+// CODEX_HOME 注入子进程环境。
+func ensureCodexHome() (string, bool, error) {
+	// 用户显式指定引擎 CODEX_HOME：直接用，不同步。
+	if v := os.Getenv(codexHomeEnvKey); v != "" {
+		return v, true, nil
+	}
+	// 用户已在环境中管理 CODEX_HOME：尊重，不覆盖。
+	if os.Getenv("CODEX_HOME") != "" {
+		return "", false, nil
+	}
+	src := defaultCodexSourceHome()
+	if src == "" {
+		return "", false, nil
+	}
+	srcConfig := filepath.Join(src, "config.toml")
+	if _, err := os.Stat(srcConfig); err != nil {
+		// 没有用户级 codex 配置：无需隔离（auth.json 若存在也无法
+		// 触发 cloud config —— 没有自定义 provider 时 codex 行为不变）。
+		return "", false, nil
+	}
+	root := magicAgentHomeDir()
+	if root == "" {
+		return "", false, nil
+	}
+	dst := filepath.Join(root, "codex-home")
+	if err := syncCodexHome(src, dst); err != nil {
+		// 同步失败不阻断调用：回退到无隔离（旧行为）。
+		return "", false, fmt.Errorf("codex: sync CODEX_HOME: %w", err)
+	}
+	return dst, true, nil
+}
+
+// syncCodexHome 把源 CODEX_HOME 的必要文件镜像到 dst。
+// 镜像文件写入后回写源的 mtime，使 size+mtime 比对成为有效的幂等判据。
+func syncCodexHome(src, dst string) error {
+	srcConfig := filepath.Join(src, "config.toml")
+	dstConfig := filepath.Join(dst, "config.toml")
+	if si, ei, err := statBoth(srcConfig, dstConfig); err == nil && sameStat(si, ei) {
+		return nil // 已同步
+	}
+	if err := os.MkdirAll(dst, 0o755); err != nil {
+		return err
+	}
+	// 1) config.toml 本体
+	if err := copyPreservingMtime(srcConfig, dstConfig); err != nil {
+		return err
+	}
+	// 2) config.toml 引用的相对路径数据文件（如 model_catalog_json）
+	//    + 全局 AGENTS.md（codex exec 每轮都会读取的全局指令）。
+	data, err := os.ReadFile(srcConfig)
+	if err != nil {
+		return err
+	}
+	names := relativeFileRefs(string(data))
+	if _, err := os.Stat(filepath.Join(src, "AGENTS.md")); err == nil {
+		names = append(names, "AGENTS.md")
+	}
+	for _, name := range names {
+		s := filepath.Join(src, name)
+		d := filepath.Join(dst, name)
+		if err := copyPreservingMtime(s, d); err != nil {
+			if os.IsNotExist(err) {
+				continue // 引用了但缺失：跳过，让 codex 自己报
+			}
+			return err
+		}
+	}
+	return nil
+}
+
+// copyPreservingMtime 拷贝单个文件并回写源 mtime（幂等同步的关键）。
+func copyPreservingMtime(src, dst string) error {
+	si, err := os.Stat(src)
+	if err != nil {
+		return err
+	}
+	b, err := os.ReadFile(src)
+	if err != nil {
+		return err
+	}
+	if err := os.WriteFile(dst, b, 0o600); err != nil {
+		return err
+	}
+	return os.Chtimes(dst, si.ModTime(), si.ModTime())
+}
+
+// relativeFileRefs 提取 config.toml 中「数据文件名」形态的字符串值。
+// 规则：basic string 值不含 '/' 与 '\\'（非路径）、带文件扩展名
+// （过滤 model 名 / token / 枚举值等纯 token）、非空；auth.json 永不
+// 同步（cloud config 触发点，隔离的意义所在）。引用了但源不存在的文件
+// 由 syncCodexHome 阶段自然跳过。
+var tomlStringValRe = regexp.MustCompile(`"([^"\n\\]+)"`)
+
+func relativeFileRefs(config string) []string {
+	seen := map[string]bool{}
+	var out []string
+	for _, m := range tomlStringValRe.FindAllStringSubmatch(config, -1) {
+		v := m[1]
+		switch {
+		case v == "" || v == "auth.json":
+			continue
+		case containsAny(v, '/', '\\'):
+			continue // 路径形态（多为绝对路径或跨目录引用），不处理
+		case filepath.Ext(v) == "" || v == ".":
+			continue // 无扩展名：model 名/枚举值/token，非文件名
+		case seen[v]:
+			continue
+		}
+		seen[v] = true
+		out = append(out, v)
+	}
+	return out
+}
+
+func containsAny(s string, chars ...byte) bool {
+	for i := 0; i < len(s); i++ {
+		for _, c := range chars {
+			if s[i] == c {
+				return true
+			}
+		}
+	}
+	return false
+}
+
+// statBoth / sameStat 供同步比对用。
+func statBoth(a, b string) (os.FileInfo, os.FileInfo, error) {
+	si, err := os.Stat(a)
+	if err != nil {
+		return nil, nil, err
+	}
+	ei, err := os.Stat(b)
+	if err != nil {
+		return nil, nil, err
+	}
+	return si, ei, nil
+}
+
+func sameStat(a, b os.FileInfo) bool {
+	return a.Size() == b.Size() && a.ModTime().Equal(b.ModTime())
+}

package/internal/agent/codex_home_test.go

@@ -0,0 +1,130 @@
+package agent
+
+// codex_home_test.go - CODEX_HOME 隔离逻辑测试。
+//
+// 硬约束：auth.json 永不进入镜像目录（cloud config 15s 超时根因的触发点）。
+
+import (
+	"os"
+	"path/filepath"
+	"strings"
+	"testing"
+)
+
+func TestRelativeFileRefs(t *testing.T) {
+	config := `
+model_provider = "custom"
+model_catalog_json = "cc-switch-model-catalog.json"
+web_search = "disabled"
+experimental_bearer_token = "PROXY_MANAGED"
+base_url = "http://127.0.0.1:15721/v1"
+source = "/abs/path/openai-bundled"
+`
+	got := relativeFileRefs(config)
+	joined := strings.Join(got, ",")
+	// 期望：纯文件名进入列表（去重后），路径形态/纯 token 不进入。
+	if !strings.Contains(joined, "cc-switch-model-catalog.json") {
+		t.Fatalf("model_catalog_json 未被识别: %v", got)
+	}
+	for _, banned := range []string{"custom", "PROXY_MANAGED", "disabled", "/abs/path/openai-bundled", "127.0.0.1"} {
+		if strings.Contains(joined, banned) {
+			t.Fatalf("非文件名值 %q 混入引用列表: %v", banned, got)
+		}
+	}
+}
+
+func TestRelativeFileRefsNeverAuthJSON(t *testing.T) {
+	config := "auth_json_note = \"auth.json\"\n"
+	got := relativeFileRefs(config)
+	for _, v := range got {
+		if v == "auth.json" {
+			t.Fatalf("auth.json 不允许进入同步列表: %v", got)
+		}
+	}
+}
+
+func TestSyncCodexHome(t *testing.T) {
+	src := t.TempDir()
+	dst := t.TempDir()
+	write := func(p, c string) {
+		if err := os.WriteFile(p, []byte(c), 0o600); err != nil {
+			t.Fatal(err)
+		}
+	}
+	write(filepath.Join(src, "config.toml"),
+		"model_catalog_json = \"catalog.json\"\n")
+	write(filepath.Join(src, "catalog.json"), "{}")
+	write(filepath.Join(src, "AGENTS.md"), "global rules")
+	write(filepath.Join(src, "auth.json"), `{"auth_mode":"chatgpt"}`)
+
+	if err := syncCodexHome(src, dst); err != nil {
+		t.Fatalf("sync: %v", err)
+	}
+	for _, name := range []string{"config.toml", "catalog.json", "AGENTS.md"} {
+		if _, err := os.Stat(filepath.Join(dst, name)); err != nil {
+			t.Fatalf("%s 未同步: %v", name, err)
+		}
+	}
+	if _, err := os.Stat(filepath.Join(dst, "auth.json")); err == nil {
+		t.Fatal("auth.json 被同步进镜像目录（硬约束违反）")
+	}
+
+	// 二次同步：mtime/size 未变 → 幂等（不重写）。
+	fi1, err := os.Stat(filepath.Join(dst, "config.toml"))
+	if err != nil {
+		t.Fatal(err)
+	}
+	if err := syncCodexHome(src, dst); err != nil {
+		t.Fatal(err)
+	}
+	fi2, err := os.Stat(filepath.Join(dst, "config.toml"))
+	if err != nil {
+		t.Fatal(err)
+	}
+	if !fi1.ModTime().Equal(fi2.ModTime()) {
+		t.Fatal("未变更时不应重写镜像文件")
+	}
+
+	// 源 config 变更 → 重新同步。
+	write(filepath.Join(src, "config.toml"),
+		"model_catalog_json = \"catalog2.json\"\n")
+	write(filepath.Join(src, "catalog2.json"), "[]")
+	if err := syncCodexHome(src, dst); err != nil {
+		t.Fatal(err)
+	}
+	if _, err := os.Stat(filepath.Join(dst, "catalog2.json")); err != nil {
+		t.Fatal("源变更后未重新同步")
+	}
+}
+
+func TestEnsureCodexHomeRespectsExternalEnv(t *testing.T) {
+	t.Setenv(codexHomeEnvKey, "/custom/codex-home")
+	home, injected, err := ensureCodexHome()
+	if err != nil || !injected || home != "/custom/codex-home" {
+		t.Fatalf("MAGIC_AGENT_CODEX_HOME 应直接生效: home=%s injected=%v err=%v", home, injected, err)
+	}
+
+	t.Setenv(codexHomeEnvKey, "")
+	t.Setenv("CODEX_HOME", "/user/managed")
+	home, injected, err = ensureCodexHome()
+	if err != nil || injected || home != "" {
+		t.Fatalf("外部 CODEX_HOME 应被尊重（不隔离）: home=%s injected=%v err=%v", home, injected, err)
+	}
+}
+
+func TestCodexWebSearchOverride(t *testing.T) {
+	for _, v := range []string{"live", "cached", "indexed", "disabled"} {
+		t.Setenv("MAGIC_AGENT_CODEX_WEBSEARCH", v)
+		if got := codexWebSearchOverride(); got != v {
+			t.Fatalf("websearch override = %q, want %q", got, v)
+		}
+	}
+	t.Setenv("MAGIC_AGENT_CODEX_WEBSEARCH", "enabled") // 非法值域
+	if got := codexWebSearchOverride(); got != "" {
+		t.Fatalf("非法值应被忽略, got %q", got)
+	}
+	t.Setenv("MAGIC_AGENT_CODEX_WEBSEARCH", "")
+	if got := codexWebSearchOverride(); got != "" {
+		t.Fatalf("未设置时应为空, got %q", got)
+	}
+}

package/internal/agent/codex_stream_test.go

@@ -0,0 +1,97 @@
+package agent
+
+// codex_stream_test.go - codex 引擎的流式单测（假 CLI 回放实测 NDJSON，不碰真网络/真 CLI）。
+//
+// 事件样本取自 2026-09-17 真机抓包（codex 0.133，`--json --dangerously-bypass-approvals-and-sandbox`）：
+// 这一版**没有逐字文本增量**，正文在 item.completed(agent_message) 里整段给出，
+// 工具调用以 item.started/item.completed(command_execution) 成对出现。
+// 覆盖：text/tool_use/tool_result 事件映射、会话 id、usage 计数、非 JSON 行不打断、空正文报错。
+
+import (
+	"context"
+	"os"
+	"path/filepath"
+	"strings"
+	"testing"
+)
+
+// codexStreamStub 造一个回放固定 NDJSON 的假 codex。
+func codexStreamStub(t *testing.T, dir string, lines []string) string {
+	t.Helper()
+	bin := filepath.Join(dir, "codex")
+	script := "#!/bin/sh\n"
+	for _, ln := range lines {
+		// 单引号包裹，内部单引号用 '\'' 转义
+		script += "printf '%s\\n' '" + strings.ReplaceAll(ln, "'", `'\''`) + "'\n"
+	}
+	if err := os.WriteFile(bin, []byte(script), 0o755); err != nil {
+		t.Fatal(err)
+	}
+	return bin
+}
+
+func TestCodexStreamMapsEvents(t *testing.T) {
+	dir := t.TempDir()
+	bin := codexStreamStub(t, dir, []string{
+		`{"type":"thread.started","thread_id":"th-123"}`,
+		`{"type":"turn.started"}`,
+		`{"type":"item.started","item":{"id":"item_0","type":"command_execution","command":"ls -a"}}`,
+		`{"type":"item.completed","item":{"id":"item_0","type":"command_execution","command":"ls -a","aggregated_output":"a.txt\nb.txt","exit_code":0}}`,
+		`garbage-not-json`, // CLI 偶尔混日志：不该打断整条流
+		`{"type":"item.completed","item":{"type":"agent_message","text":"目录里有两个文件"}}`,
+		`{"type":"turn.completed","usage":{"input_tokens":100,"cached_input_tokens":20,"output_tokens":7,"reasoning_output_tokens":3}}`,
+	})
+
+	var got []StreamEvent
+	res, err := (&CodexEngine{BinPath: bin}).Stream(context.Background(),
+		Request{Tools: ToolsOn, Messages: []Message{{Role: "user", Content: "看看目录"}}},
+		func(ev StreamEvent) { got = append(got, ev) })
+	if err != nil {
+		t.Fatalf("Stream: %v", err)
+	}
+
+	// ① 事件映射：tool_use → tool_result → text
+	if len(got) != 3 {
+		t.Fatalf("事件数 = %d，期望 3（tool_use/tool_result/text）：%+v", len(got), got)
+	}
+	if got[0].Kind != KindToolUse || got[0].ID != "item_0" || got[0].Text != "ls -a" {
+		t.Errorf("tool_use 事件不对: %+v", got[0])
+	}
+	if got[1].Kind != KindToolResult || got[1].ID != "item_0" || !strings.Contains(got[1].Text, "a.txt") {
+		t.Errorf("tool_result 事件不对: %+v", got[1])
+	}
+	if got[2].Kind != KindText || got[2].Text != "目录里有两个文件" {
+		t.Errorf("text 事件不对: %+v", got[2])
+	}
+
+	// ② 收尾：正文 / 会话 id / token 计数（input 含 cached，output 含 reasoning）
+	if res.Text != "目录里有两个文件" {
+		t.Errorf("Text = %q", res.Text)
+	}
+	if res.SessionID != "th-123" {
+		t.Errorf("SessionID = %q，期望 thread_id", res.SessionID)
+	}
+	if res.InputTokens != 120 || res.OutputTokens != 10 || res.TotalTokens != 130 {
+		t.Errorf("token 计数 = %d/%d/%d，期望 120/10/130", res.InputTokens, res.OutputTokens, res.TotalTokens)
+	}
+}
+
+func TestCodexStreamEmptyTextFails(t *testing.T) {
+	dir := t.TempDir()
+	bin := codexStreamStub(t, dir, []string{
+		`{"type":"thread.started","thread_id":"th-1"}`,
+		`{"type":"turn.completed","usage":{"input_tokens":1}}`,
+	})
+	_, err := (&CodexEngine{BinPath: bin}).Stream(context.Background(),
+		Request{Tools: ToolsOn, Messages: []Message{{Role: "user", Content: "hi"}}}, nil)
+	if err == nil || !strings.Contains(err.Error(), "empty result") {
+		t.Errorf("没有正文时应报错，得 %v", err)
+	}
+}
+
+// Streamer 能力表：codex 现在实现了 Stream（其余不支持的引擎由 --engines 的 streaming 字段暴露）。
+func TestCodexImplementsStreamer(t *testing.T) {
+	if AsStreamer(&CodexEngine{}) == nil {
+		t.Error("CodexEngine 应实现 Streamer（2026-09-17 补齐）")
+	}
+}