magic-agent 2.6.0 → 2.6.3

package/internal/client/apps_test.go

@@ -0,0 +1,516 @@
+package client
+
+import (
+	"bufio"
+	"bytes"
+	"encoding/json"
+	"net"
+	"net/http"
+	"net/http/httptest"
+	"os"
+	"os/exec"
+	"path/filepath"
+	"strconv"
+	"strings"
+	"testing"
+	"time"
+
+	"github.com/darren/magic-agent/internal/agent"
+)
+
+/* 「发现 → 应用」：magic-shorts / magic-video 工作台的启停与反代。
+ *
+ *  ① 清单只从服务端那张表来，状态以**端口探活**为准（外部起的也认）；
+ *  ② start 起假工作台 → running/managed；stop 杀掉整组 → stopped；
+ *  ③ 起不来必须把输出尾巴回给客户端（ok=false），不能静默当成功；
+ *  ④ 反代：/workbench/{id}/ 探活后跳 "/"；根路径请求带 Referer 时转给工作台，没有时不转。 */
+
+// fakeAppRepo 造一个「假工作台源码目录」：node 起一个只回一行 JSON 的 HTTP 服务。
+func fakeAppRepo(t *testing.T) (repo string) {
+	t.Helper()
+	if _, ok := nodeBin(); !ok {
+		t.Skip("这台机器没有 node，跳过工作台启停用例")
+	}
+	root := t.TempDir()
+	repo = filepath.Join(root, "magic-shorts")
+	if err := os.MkdirAll(repo, 0o755); err != nil {
+		t.Fatal(err)
+	}
+	server := `const http = require('http');
+const port = Number(process.env.PORT || 8899);
+const host = process.env.HOST || '127.0.0.1';
+http.createServer((req, res) => {
+  if (req.url.startsWith('/api/ping')) {
+    res.writeHead(200, {'Content-Type': 'application/json'});
+    return res.end(JSON.stringify({ok: true, via: 'workbench', referer: req.headers.referer || ''}));
+  }
+  res.writeHead(200, {'Content-Type': 'text/html; charset=utf-8'});
+  res.end('<!doctype html><title>fake-shorts</title><script>fetch("/api/ping")</script>');
+}).listen(port, host, () => console.log('fake workbench on ' + host + ':' + port));
+`
+	if err := os.WriteFile(filepath.Join(repo, "server.js"), []byte(server), 0o644); err != nil {
+		t.Fatal(err)
+	}
+	// magic-video 的源码目录刻意不存在 → 「未找到」那条分支也可断言。
+	t.Setenv("MAGIC_CLIENT_SHORTS_DIR", repo)
+	t.Setenv("MAGIC_CLIENT_VIDEO_DIR", filepath.Join(root, "magic-video"))
+	t.Setenv("MAGIC_CLIENT_APPS_DIR", filepath.Join(root, "apps"))
+	t.Setenv("MAGIC_CLIENT_APPS_HOME", filepath.Join(root, "home")) // 端口文件探测不碰真实 ~/
+	return repo
+}
+
+// freePort 挑一个当前空闲的端口（避免和本机真在跑的 8899 / 7789 撞上）。
+// 取到后立刻关掉，仍有一个很小的竞态窗口 —— 这段窗口里没有别人来抢，够用。
+func freePort(t *testing.T) int {
+	t.Helper()
+	ln, err := net.Listen("tcp", "127.0.0.1:0")
+	if err != nil {
+		t.Fatal(err)
+	}
+	port := ln.Addr().(*net.TCPAddr).Port
+	ln.Close()
+	return port
+}
+
+// probePort 端口上有没有人在应答（外部假工作台就绪用）。
+func probePort(port int) bool {
+	resp, err := http.Get("http://127.0.0.1:" + strconv.Itoa(port) + "/")
+	if err != nil {
+		return false
+	}
+	resp.Body.Close()
+	return true
+}
+
+// appsService 进程内服务；port>0 时管理器按「magic-shorts 用这个端口」探活。
+//
+// ⚠️ 管理器走 newAppManager（**不**直接 &appManager{}）：落盘目录 / 日志目录都在构造函数里
+//
+//	算好，手搓一个会让 start 的日志与运行态静默落到空目录里。
+func appsService(port int) *Service {
+	svc := &Service{opts: Options{}}
+	svc.apps = newAppManager(svc)
+	if port > 0 {
+		svc.apps.specOf = func(spec appSpec) appSpec {
+			if spec.ID == "magic-shorts" {
+				spec.Port = port
+				spec.Urls = func() []int { return []int{port} }
+			}
+			return spec
+		}
+	}
+	return svc
+}
+
+/* isolateShorts 造一个假工作台源码目录与一个临时端口，并让进程内的管理器认这个端口。
+ *
+ * 为什么需要：本机很可能**真的**开着 magic-shorts / magic-video 工作台（用户自己的），
+ * 直接用 8899 / 7789 的用例会被那个外部实例短路成「运行中（外部）」。测试要能重复，
+ * 就不能依赖本机状态 —— 端口文件探测也被指向了临时目录（MAGIC_CLIENT_APPS_HOME）。 */
+func isolateShorts(t *testing.T) (svc *Service, repo string, port int) {
+	t.Helper()
+	repo = fakeAppRepo(t)
+	port = freePort(t)
+	return appsService(port), repo, port
+}
+
+// appSpecWithPort 把注册表里某个应用的端口换成指定端口、源码目录换成假的。
+func appSpecWithPort(t *testing.T, id string, port int, repo string) appSpec {
+	t.Helper()
+	spec, ok := findApp(id)
+	if !ok {
+		t.Fatalf("注册表里没有 %s", id)
+	}
+	spec.Port = port
+	spec.Repo = repo
+	spec.Urls = func() []int { return []int{port} }
+	return spec
+}
+
+// 解析 SSE 响应体：事件名 → data 列表。
+func parseSSE(t *testing.T, body string) map[string][]string {
+	t.Helper()
+	out := map[string][]string{}
+	sc := bufio.NewScanner(strings.NewReader(body))
+	sc.Buffer(make([]byte, 0, 64<<10), 1<<20)
+	ev := ""
+	for sc.Scan() {
+		line := sc.Text()
+		switch {
+		case strings.HasPrefix(line, "event: "):
+			ev = strings.TrimSpace(strings.TrimPrefix(line, "event: "))
+		case strings.HasPrefix(line, "data: "):
+			out[ev] = append(out[ev], strings.TrimPrefix(line, "data: "))
+		}
+	}
+	return out
+}
+
+func TestAppsListReportsCatalogAndMissingSource(t *testing.T) {
+	repo := fakeAppRepo(t)
+	svc := appsService(0)
+	spec := appSpecWithPort(t, "magic-shorts", freePort(t), repo)
+
+	mgr := svc.appMgr()
+	item := mgr.info(spec, true)
+	if item.State.State != "stopped" || item.State.Running {
+		t.Fatalf("没起时状态应为 stopped，实际 %+v", item.State)
+	}
+	if item.State.URL != "/workbench/magic-shorts/" {
+		t.Fatalf("手机入口 = %q，期望 /workbench/magic-shorts/", item.State.URL)
+	}
+	if item.SourcePath != repo {
+		t.Fatalf("源码目录 = %q，期望 %q", item.SourcePath, repo)
+	}
+
+	// 另一项：源码目录不存在 → 状态说明里必须点出来，不能装作能起。
+	video := appSpecWithPort(t, "magic-video", freePort(t), filepath.Join(t.TempDir(), "nope"))
+	vinfo := mgr.info(video, true)
+	// 本机 PATH 上有没有 magic-video 决定是哪一句，但两句都必须点出「源码目录不在」。
+	if !strings.Contains(vinfo.Note, "未找到") && !strings.Contains(vinfo.Note, "源码目录不在") {
+		t.Fatalf("源码不存在时状态说明应点出来，实际 %q", vinfo.Note)
+	}
+
+	// GET /desk/apps：形状与客户端约定一致。
+	rec := httptest.NewRecorder()
+	svc.handleApps(rec, httptest.NewRequest(http.MethodGet, "/desk/apps", nil))
+	if rec.Code != http.StatusOK {
+		t.Fatalf("状态码 = %d", rec.Code)
+	}
+	var body struct {
+		Apps []AppItem `json:"apps"`
+	}
+	if err := json.Unmarshal(rec.Body.Bytes(), &body); err != nil {
+		t.Fatalf("响应不是合法 JSON：%v", err)
+	}
+	if len(body.Apps) != 2 {
+		t.Fatalf("应用数 = %d，期望 2", len(body.Apps))
+	}
+}
+
+func TestAppsStartStopAndProxy(t *testing.T) {
+	svc, repo, port := isolateShorts(t)
+	mgr := svc.appMgr()
+	spec := appSpecWithPort(t, "magic-shorts", port, repo)
+
+	// 起
+	item, err := mgr.start(spec)
+	if err != nil {
+		t.Fatalf("启动失败：%v", err)
+	}
+	if !item.State.Running || !item.State.Managed || item.State.Port != port {
+		t.Fatalf("起来后状态不对：%+v", item.State)
+	}
+	defer func() {
+		if _, err := mgr.stop(spec); err != nil {
+			t.Logf("收尾停止失败：%v", err)
+		}
+	}()
+
+	// 反代：入口 → 302 "/"
+	rec := httptest.NewRecorder()
+	svc.handleWorkbench(rec, httptest.NewRequest(http.MethodGet, "/workbench/magic-shorts/", nil))
+	if rec.Code != http.StatusFound || rec.Header().Get("Location") != "/?via=magic-shorts" {
+		t.Fatalf("入口应 302 到 /?via=<id>，实际 %d Location=%q", rec.Code, rec.Header().Get("Location"))
+	}
+
+	// 工作台页面在根路径下跑：带 Referer 的根路径请求要转给工作台。
+	req := httptest.NewRequest(http.MethodGet, "/", nil)
+	req.Host = "192.168.1.9:9100"
+	req.Header.Set("Referer", "http://192.168.1.9:9100/workbench/magic-shorts/")
+	rec = httptest.NewRecorder()
+	svc.serveWorkbench(rec, req, spec, port, "")
+	if rec.Code != http.StatusOK || !strings.Contains(rec.Body.String(), "fake-shorts") {
+		t.Fatalf("根路径应转给工作台，实际 %d %q", rec.Code, rec.Body.String())
+	}
+
+	// 页面里的 '/api/ping' 也带着同一个 Referer → 同样转给工作台。
+	req = httptest.NewRequest(http.MethodGet, "/api/ping", nil)
+	req.Host = "192.168.1.9:9100"
+	req.Header.Set("Referer", "http://192.168.1.9:9100/workbench/magic-shorts/")
+	rec = httptest.NewRecorder()
+	svc.serveWorkbench(rec, req, spec, port, "")
+	if !strings.Contains(rec.Body.String(), `"via":"workbench"`) {
+		t.Fatalf("/api/ping 没转到工作台：%d %q", rec.Code, rec.Body.String())
+	}
+
+	// 子路径反代：/workbench/{id}/api/ping → 工作台 /api/ping
+	rec = httptest.NewRecorder()
+	svc.handleWorkbench(rec, httptest.NewRequest(http.MethodGet, "/workbench/magic-shorts/api/ping", nil))
+	if !strings.Contains(rec.Body.String(), `"via":"workbench"`) {
+		t.Fatalf("子路径没转到工作台：%d %q", rec.Code, rec.Body.String())
+	}
+
+	// 别的站点的 Referer 不转（宿主必须与本次请求一致）。
+	if _, _, ok := svc.workbenchFor(func() *http.Request {
+		r := httptest.NewRequest(http.MethodGet, "/api/ping", nil)
+		r.Host = "192.168.1.9:9100"
+		r.Header.Set("Referer", "http://evil.example/workbench/magic-shorts/")
+		return r
+	}()); ok {
+		t.Fatal("跨宿主的 Referer 不该被当成工作台请求")
+	}
+
+	/* 内置浏览器可能一个 Referer 都不发（iframe 带 referrerpolicy="no-referrer"），
+	   所以只看地址上的 ?via= 也必须认得出是工作台 —— 否则页面起来了、数据全是客户端的。 */
+	viaReq := func(path string) *http.Request {
+		r := httptest.NewRequest(http.MethodGet, path, nil)
+		r.Host = "192.168.1.9:9100"
+		return r
+	}
+	if got, gotPort, ok := svc.workbenchFor(viaReq("/?via=magic-shorts")); !ok || got.ID != "magic-shorts" || gotPort != port {
+		t.Fatalf("?via=magic-shorts 应认成工作台，实际 %v %d %v", got.ID, gotPort, ok)
+	}
+	// 入口那一跳种 cookie：页面里的 '/api/…' 既没 Referer 也没 via 时认它。
+	entry := httptest.NewRecorder()
+	svc.handleWorkbench(entry, httptest.NewRequest(http.MethodGet, "/workbench/magic-shorts/", nil))
+	cookie := ""
+	for _, c := range entry.Result().Cookies() {
+		if c.Name == workbenchCookie {
+			cookie = c.Name + "=" + c.Value
+		}
+	}
+	if cookie == "" {
+		t.Fatal("入口应种工作台 cookie")
+	}
+	apiReq := viaReq("/api/ping")
+	apiReq.Header.Set("Cookie", cookie)
+	rec = httptest.NewRecorder()
+	svc.serveWorkbench(rec, apiReq, spec, port, "")
+	if !strings.Contains(rec.Body.String(), `"via":"workbench"`) {
+		t.Fatalf("只有 cookie 时 /api/ping 也要转到工作台：%d %q", rec.Code, rec.Body.String())
+	}
+
+	/* 真实入口是 /api/* 的总路由（routeAPI）—— 它和 handleStatic 不是同一条路，
+	   路径改写、鉴权顺序都可能不一样，所以单独打一次（曾经这里漏传路径导致 400）。 */
+	routeReq := viaReq("/api/ping")
+	routeReq.Header.Set("Cookie", cookie)
+	routeRec := httptest.NewRecorder()
+	svc.routeAPI(routeRec, routeReq)
+	if routeRec.Code != http.StatusOK || !strings.Contains(routeRec.Body.String(), `"via":"workbench"`) {
+		t.Fatalf("/api/* 应完整转给工作台（路径不改写），实际 %d %q", routeRec.Code, routeRec.Body.String())
+	}
+	// 没有工作台标记的 /api/* 仍走原路（未配 backend 时是 501，反正不该是工作台的 200）。
+	plain := viaReq("/api/ping")
+	plainRec := httptest.NewRecorder()
+	svc.routeAPI(plainRec, plain)
+	if plainRec.Code == http.StatusOK {
+		t.Fatalf("无标记的 /api/* 不该转给工作台，实际 %d %q", plainRec.Code, plainRec.Body.String())
+	}
+
+	// 用真没在跑的端口来验「没在跑就不转」：本机可能真的开着 magic-video（用户自己的）。
+	svc.apps.specOf = func(orig appSpec) appSpec {
+		orig.Port, orig.Urls = freePort(t), func() []int { return []int{orig.Port} }
+		return orig
+	}
+	if _, _, ok := svc.workbenchFor(viaReq("/?via=magic-video")); ok {
+		t.Fatal("via 指向没在跑的工作台时不该转发")
+	}
+	if _, _, ok := svc.workbenchFor(viaReq("/?via=../../etc/passwd")); ok {
+		t.Fatal("via 里的垃圾值不该被当成工作台")
+	}
+
+	// 停：整组带走，状态回到 stopped。
+	item, err = mgr.stop(spec)
+	if err != nil {
+		t.Fatalf("停止失败：%v", err)
+	}
+	if item.State.Running || item.State.State != "stopped" {
+		t.Fatalf("停止后状态不对：%+v", item.State)
+	}
+	if mgr.probeRunning(port, true) {
+		t.Fatal("停止后端口仍有应答")
+	}
+
+	// 没在跑时打开入口 → 一句人话（503），不是白屏。
+	rec = httptest.NewRecorder()
+	svc.handleWorkbench(rec, httptest.NewRequest(http.MethodGet, "/workbench/magic-shorts/", nil))
+	if rec.Code != http.StatusServiceUnavailable || !strings.Contains(rec.Body.String(), "没有在运行") {
+		t.Fatalf("未运行时入口应 503 + 说明，实际 %d %q", rec.Code, rec.Body.String())
+	}
+}
+
+// 起不来：end.ok=false 且带上输出尾巴（原因不能吞掉）。
+func TestAppsStartFailureReportsTail(t *testing.T) {
+	svc, repo, _ := isolateShorts(t)
+	// 换成一个立刻报错退出的入口。
+	if err := os.WriteFile(filepath.Join(repo, "server.js"),
+		[]byte("console.error('EADDRINUSE: listen failed'); process.exit(7);\n"), 0o644); err != nil {
+		t.Fatal(err)
+	}
+
+	rec := httptest.NewRecorder()
+	svc.handleAppAction(rec, httptest.NewRequest(http.MethodPost, "/desk/apps/magic-shorts/start", nil))
+	body := rec.Body.String()
+	events := parseSSE(t, body)
+	if len(events["end"]) != 1 {
+		t.Fatalf("必须恰好一条 end，实际 %v", events)
+	}
+	var end struct {
+		OK    bool     `json:"ok"`
+		Error string   `json:"error"`
+		App   *AppItem `json:"app"`
+	}
+	_ = json.Unmarshal([]byte(events["end"][0]), &end)
+	if end.OK || end.App == nil || end.App.State.Running {
+		t.Fatalf("起不来时应 ok=false 且状态不再是运行中，实际 %s", events["end"][0])
+	}
+	if !strings.Contains(end.Error, "进程已退出") {
+		t.Fatalf("错误里应说清是进程退出了，实际 %s", end.Error)
+	}
+	/* 输出尾巴是**异步**落盘的（node 写 stderr → 文件），end 帧返回时可能还差一拍；
+	   组件测试里单独断言它（t.Cleanup 在临时目录清理之前跑）。 */
+	t.Cleanup(func() {
+		mgr := svc.appMgr()
+		deadline := time.Now().Add(2 * time.Second)
+		variants := [][]string{end.App.State.LogTail}
+		for time.Now().Before(deadline) {
+			variants = append(variants, tailFile(mgr.logDir(), "magic-shorts", 12))
+			time.Sleep(50 * time.Millisecond)
+		}
+		for _, lines := range variants {
+			if strings.Contains(strings.Join(lines, "\n"), "EADDRINUSE") {
+				return
+			}
+		}
+		t.Errorf("起不来的原因（EADDRINUSE）没有落到日志尾巴里：%v", variants[len(variants)-1])
+	})
+}
+
+// 未知 id / 未知动作一律 404（这条接口不能变成任意命令执行器）。
+// waitPort 等端口真的能连上（起监听的是 goroutine，别抢跑）。
+func waitPort(t *testing.T, port int) {
+	t.Helper()
+	for i := 0; i < 100; i++ {
+		c, err := net.DialTimeout("tcp", "127.0.0.1:"+strconv.Itoa(port), 100*time.Millisecond)
+		if err == nil {
+			_ = c.Close()
+			return
+		}
+		time.Sleep(20 * time.Millisecond)
+	}
+	t.Fatalf("端口 %d 一直没起来", port)
+}
+
+/* 端口有人在听、但对方不是这套工作台（magic-video 的 7789 就撞见过：一个只服务 /api 的
+ * 旧实例占着端口，/ 返回 404）。旧探活只看「TCP 通了」，于是界面写「运行中」、手机点开一片白。
+ * 现在必须报 blocked，并把原因说出来。 */
+func TestAppsPortBusyButNotWorkbench(t *testing.T) {
+	svc, repo, port := isolateShorts(t)
+	ln, err := net.Listen("tcp", "127.0.0.1:"+strconv.Itoa(port))
+	if err != nil {
+		t.Skipf("端口 %d 被占，跳过：%v", port, err)
+	}
+	defer ln.Close()
+	go func() {
+		srv := &http.Server{Handler: http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
+			// 只服务接口、根路径 404 —— 正是那个旧实例的行为。
+			if strings.HasPrefix(r.URL.Path, "/api/") {
+				w.Header().Set("Content-Type", "application/json")
+				_, _ = w.Write([]byte(`{"ok":true}`))
+				return
+			}
+			http.NotFound(w, r)
+		})}
+		_ = srv.Serve(ln)
+	}()
+	waitPort(t, port)
+
+	spec := appSpecWithPort(t, "magic-shorts", port, repo)
+	item := svc.appMgr().info(spec, true)
+	if item.State.Running || item.State.State != "blocked" {
+		t.Fatalf("端口被占但不是工作台时应为 blocked，实际 %+v", item.State)
+	}
+	if !item.State.PortBusy || !strings.Contains(item.State.Error, "404") {
+		t.Fatalf("应带 portBusy 与 404 说明，实际 %+v", item.State)
+	}
+	if !strings.Contains(item.Note, "先到桌面端") {
+		t.Fatalf("说明里应给出出路，实际 %q", item.Note)
+	}
+	// 这时点启动要立刻拒绝，而不是等 node 报 EADDRINUSE。
+	if _, err := svc.appMgr().start(spec); err == nil || !strings.Contains(err.Error(), "桌面端") {
+		t.Fatalf("端口被占时启动应给出明确错误，实际 %v", err)
+	}
+}
+
+func TestAppsRejectUnknown(t *testing.T) {
+	fakeAppRepo(t)
+	svc := appsService(0)
+	for _, target := range []string{
+		"/desk/apps/rm-rf/start",
+		"/desk/apps/magic-shorts/run",
+		"/desk/apps/magic-shorts",
+	} {
+		rec := httptest.NewRecorder()
+		svc.handleAppAction(rec, httptest.NewRequest(http.MethodPost, target, nil))
+		if rec.Code != http.StatusNotFound {
+			t.Fatalf("%s 状态码 = %d，期望 404", target, rec.Code)
+		}
+	}
+	// 路径穿越也拦。
+	if _, _, ok := workbenchTarget("/workbench/magic-shorts/../../etc/passwd"); ok {
+		t.Fatal("带 .. 的子路径应被拒绝")
+	}
+}
+
+// 外部起的工作台（不是这里起的）：如实显示「运行中 / 不可托管」，停止要拒绝。
+func TestAppsExternalInstanceIsReadOnly(t *testing.T) {
+	svc, repo, port := isolateShorts(t)
+	spec := appSpecWithPort(t, "magic-shorts", port, repo)
+
+	// 直接起一个进程模拟「终端里起的」，不经过管理器。
+	startExternal(t, repo, port)
+	defer stopExternal(t)
+
+	mgr := svc.appMgr()
+	item := mgr.info(spec, true)
+	if !item.State.Running || item.State.Managed {
+		t.Fatalf("外部实例应显示 running 且 managed=false，实际 %+v", item.State)
+	}
+	if !strings.Contains(item.Note, "桌面端") {
+		t.Fatalf("外部实例应提示到桌面端停，实际 %q", item.Note)
+	}
+	if _, err := mgr.stop(spec); err == nil || !strings.Contains(err.Error(), "桌面端") {
+		t.Fatalf("外部实例不应被手机停止，实际 err=%v", err)
+	}
+	// 再点启动：已经在跑 → 幂等返回，不重复起。
+	got, err := mgr.start(spec)
+	if err != nil || !got.State.Running {
+		t.Fatalf("已在跑时应幂等成功，实际 %+v %v", got.State, err)
+	}
+}
+
+// externalProcs 模拟外部工作台进程（用完要停）。
+var externalProcs []int
+
+func startExternal(t *testing.T, repo string, port int) {
+	t.Helper()
+	node, _ := nodeBin()
+	cmd := exec.Command(node, filepath.Join(repo, "server.js"))
+	cmd.Dir = repo
+	cmd.Env = append(os.Environ(), "PORT="+strconv.Itoa(port), "HOST=127.0.0.1")
+	agent.ConfigureProcGroup(cmd)
+	var out bytes.Buffer
+	cmd.Stdout = &out
+	cmd.Stderr = &out
+	if err := cmd.Start(); err != nil {
+		t.Fatal(err)
+	}
+	externalProcs = append(externalProcs, cmd.Process.Pid)
+	go func() { _ = cmd.Wait() }()
+	deadline := time.Now().Add(10 * time.Second)
+	for time.Now().Before(deadline) {
+		if probePort(port) {
+			return
+		}
+		time.Sleep(100 * time.Millisecond)
+	}
+	t.Fatalf("外部假工作台没起来：%s", out.String())
+}
+
+func stopExternal(t *testing.T) {
+	for _, pid := range externalProcs {
+		_ = agent.KillPID(pid, true)
+	}
+	externalProcs = nil
+}