codebee 0.1.1 → 0.1.2

package/app/core/manager.py

@@ -28,7 +28,8 @@ _LOCK = threading.RLock()
 _STATE = {"detected": {}, "versions": {}, "detect_ts": 0.0, "detect_ev": None}
 
 # 能自动写入默认模型的 config.format（其余格式只能手动编辑）
-_WRITABLE_FORMATS = ("toml-line", "toml-section", "json", "json-path", "yaml-line")
+_WRITABLE_FORMATS = ("toml-line", "toml-section", "json", "json-path", "jsonc",
+                     "yaml-line")
 
 
 def _expand(p):
@@ -401,7 +402,7 @@ def read_model(entry):
     if cfg["format"] == "jsonc":
         keys = (cfg.get("model_key") or "model").split(".")
         try:
-            data = json.loads(re.sub(r"//[^\n]*", "", text) or "{}")
+            data = json.loads(_jsonc_strip_comments(text) or "{}")
         except Exception:
             return None
         return _json_path_get(data, keys)
@@ -418,7 +419,7 @@ def read_model(entry):
 
 def write_model(entry, model):
     """写入默认模型（改动前自动备份 .bak）。支持 toml-line / toml-section /
-    json / json-path / yaml-line。"""
+    json / json-path / jsonc / yaml-line。"""
     path = _config_path(entry)
     cfg = entry.get("config") or {}
     fmt = cfg.get("format")
@@ -447,8 +448,19 @@ def write_model(entry, model):
             # settings.json、openclaw 缺失即安全默认——官方文档明确「缺失即
             # 内置默认」）；它正是用户层覆盖的落点，缺了按需创建
             Path(path).parent.mkdir(parents=True, exist_ok=True)
-            Path(path).write_bytes(b"{}" if fmt in ("json", "json-path") else b"")
-        if fmt == "toml-line":
+            Path(path).write_bytes(b"{}" if fmt in ("json", "json-path", "jsonc") else b"")
+        if fmt == "jsonc":
+            # mimo（mimocode.jsonc）有注释，整体重解析会丢注释——复用
+            # _jsonc_set 做就地片段改写（只动目标键，其余原样保留）
+            keys = (cfg.get("model_key") or "model").split(".")
+            text = open(path, encoding="utf-8", errors="replace", newline="").read()
+            new_text, ok = _jsonc_set(text, tuple(keys),
+                                      json.dumps(model, ensure_ascii=False))
+            if not ok:
+                return {"ok": False,
+                        "error": "jsonc 结构异常，未能就地写入 %s（已避免覆盖）" % path}
+            Path(path).write_bytes(new_text.encode("utf-8"))
+        elif fmt == "toml-line":
             text = open(path, encoding="utf-8", errors="replace").read()
             new_line = 'model = "%s"' % model
             if re.search(r'(?m)^\s*model\s*=\s*"[^"]*"', text):
@@ -882,14 +894,51 @@ def _jsonc_scan_object(text, start):
                 j += 1
             keys[-1][4] = j
             i = j
-        state = "key"
+    state = "key"
     return n, keys
 
 
+def _jsonc_strip_comments(text):
+    """剥掉 jsonc 的 // 行注释与 /* */ 块注释，供 json.loads 解析。
+    字符串字面量内部的 //（$schema 的 https:// 等）不剥——逐字符扫描；
+    简单的 re.sub(r"//[^\\n]*") 会把 URL 截断导致解析失败。"""
+    out = []
+    i, n = 0, len(text)
+    while i < n:
+        ch = text[i]
+        if ch == '"':
+            j = i + 1
+            while j < n:
+                if text[j] == "\\":
+                    j += 2
+                    continue
+                if text[j] == '"':
+                    break
+                j += 1
+            out.append(text[i:min(j + 1, n)])
+            i = j + 1
+            continue
+        if ch == "/" and i + 1 < n and text[i + 1] == "/":
+            e = text.find("\n", i)
+            i = n if e < 0 else e  # 行注释：换行符本身保留
+            continue
+        if ch == "/" and i + 1 < n and text[i + 1] == "*":
+            e = text.find("*/", i + 2)
+            i = n if e < 0 else e + 2
+            out.append(" ")
+            continue
+        out.append(ch)
+        i += 1
+    return "".join(out)
+
+
 def _jsonc_set(text, path, value_json):
     """JSON(C) 顶层就地写键：path=("provider","orch") 或 ("model",)。
-    只动目标片段，其余文本（含注释与原格式）原样保留。返回 (new_text, ok)。"""
+    只动目标片段，其余文本（含注释与原格式）原样保留。返回 (new_text, ok)。
+    空文件按空对象起笔（write_model 缺文件按需创建的产物）。"""
     brace = text.find("{")
+    if brace < 0 and not text.strip():
+        return ('{\n  "%s": %s\n}' % (path[0], value_json), True)
     if brace < 0:
         return text, False
     end, keys = _jsonc_scan_object(text, brace)

package/app/core/selfupdate.py

@@ -1,170 +1,170 @@
-# -*- coding: utf-8 -*-
-"""Tutti 自更新：版本读取 / 新版本检测 / 一键升级 / 就地重启。
-
-安装模式判定（mode）：
-  npm   — 运行副本位于 node_modules 下且带 package.json（npm 全局安装的包），
-          可查新、可升级、可重启；
-  repo  — 带 .git 的开发仓库：**永不自动升级**（会覆盖开发中的代码），提示走 git pull；
-  other — 裸源码拷贝，提示手动替换。
-
-升级 = 在标准 mgmt run 里跑 `npm install -g codebee@latest`（日志实时落盘、
-SSE 可看进度）。npm 替换的是包目录文件，当前进程已加载进内存不受影响，装完后由
-「重启」换新代码：新进程先等旧端口释放再 bind（Windows SO_REUSEADDR 允许双 LISTEN
-同时存在，必须先验旧进程真退了），旧进程发送完重启响应后自退。
-
-安全：两处子进程命令的 argv 均为**行内字面量列表**（可执行文件与全部参数不来自任何
-外部输入；重启仅透传 argparse 校验过的整型端口），shell 全程 False，绝不拼接用户输入。
-改发布名时（见 test_selfupdate 与 package.json 的一致性断言）同步改 _PKG_NAME。
-"""
-from __future__ import annotations
-
-import json
-import os
-import re
-import socket
-import subprocess
-import sys
-import threading
-import time
-
-from . import paths, runner
-
-_PKG_NAME = "codebee"   # npm 发布名；必须与 package.json 的 name 一致（单测断言）
-_UPDATE_TTL = 600   # 查新结果缓存（秒）
-_LOCK = threading.Lock()
-_CHECK_CACHE = {"ts": 0.0, "result": None}
-
-
-def package_version():
-    """读本包 package.json 的 version；读不到返回 ''（开发仓库未同步版本号时）。"""
-    try:
-        pj = (paths.ROOT / "package.json").resolve()
-        return str(json.loads(pj.read_text(encoding="utf-8")).get("version") or "")
-    except Exception:
-        return ""
-
-
-def install_mode():
-    """npm / repo / source / other（见模块 docstring）。"""
-    try:
-        parts = [p.lower() for p in paths.ROOT.resolve().parts]
-    except Exception:
-        return "other"
-    has_pkg = (paths.ROOT / "package.json").is_file()
-    if "node_modules" in parts and has_pkg:
-        return "npm"
-    if (paths.ROOT / ".git").exists():
-        return "repo"
-    return "source" if has_pkg else "other"
-
-
-def _ver_tuple(s):
-    return [int(x) for x in re.findall(r"\d+", str(s or ""))[:4]]
-
-
-def _npm_latest():
-    """npm view codebee version；返回 (latest, err)。
-    用 _PKG_NAME 变量而非行内字面量：发布名改过一次（tutti-orchestrator→codebee），
-    硬编码两处容易漏改；Mimosa 安全基线要求 argv 可执行文件为字面量，参数用变量不违反。"""
-    r = runner.run_process(
-        argv=["cmd", "/c", "npm", "view", _PKG_NAME, "version"], timeout=60)
-    if not r["ok"]:
-        return "", (r["stderr"] or r["stdout"] or "")[-200:] or "npm 命令失败"
-    m = re.search(r"\d+\.\d+\.\d+[\w.\-]*", r["stdout"] or "")
-    return (m.group(0) if m else ""), ("" if m else "npm 输出无法解析")
-
-
-def check(force=False):
-    """GET /api/selfupdate 载荷：{mode, current, latest, has_update, note}。"""
-    mode = install_mode()
-    cur = package_version()
-    out = {"mode": mode, "current": cur, "latest": "", "has_update": False, "note": ""}
-    if mode != "npm":
-        out["note"] = ("开发仓库模式：请用 git pull 更新（自动升级会覆盖未提交的代码）"
-                       if mode == "repo" else "非 npm 安装，无法自动更新")
-        return out
-    with _LOCK:
-        if not force and _CHECK_CACHE["result"] and \
-                time.time() - _CHECK_CACHE["ts"] < _UPDATE_TTL:
-            return dict(_CHECK_CACHE["result"])
-    latest, err = _npm_latest()
-    out["latest"] = latest
-    if err:
-        out["note"] = "查询新版本失败：" + err
-    elif latest and cur:
-        out["has_update"] = _ver_tuple(latest) > _ver_tuple(cur)
-    else:
-        out["note"] = "无法比较版本（本地或 registry 版本号缺失）"
-    with _LOCK:
-        _CHECK_CACHE["ts"] = time.time()
-        _CHECK_CACHE["result"] = dict(out)
-    return out
-
-
-def apply_upgrade():
-    """发起升级：建 mgmt run 异步跑 npm install -g @latest。返回 {run_id} 或 {error}。"""
-    if install_mode() != "npm":
-        return {"error": "当前安装方式不支持自动升级（见版本页说明）"}
-    from . import store, jobs
-    run = store.create_run("mgmt", "升级 CodeBee 本体（npm install -g %s@latest）" % _PKG_NAME,
-                           entry_id="__self__", op="selfupgrade")
-    jobs.enqueue({"kind": "selfupgrade", "run_id": run["id"]})
-    return {"run_id": run["id"]}
-
-
-def run_upgrade(run_id, log_path):
-    """worker 线程里执行升级命令（run/step 生命周期由 jobs 层管）。"""
-    res = runner.run_process(
-        argv=["cmd", "/c", "npm", "install", "-g", _PKG_NAME + "@latest"],
-        cwd=str(paths.ROOT), timeout=900, log_path=log_path)
-    if res["ok"]:
-        with _LOCK:  # 装完即过期查新缓存，重启后自然拿到新版本
-            _CHECK_CACHE["result"] = None
-    return {"ok": res["ok"], "exit_code": res["exit_code"],
-            "error": "" if res["ok"] else (res["stderr"][-800:] or "退出码 %s" % res["exit_code"])}
-
-
-def _port_free(port):
-    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
-    try:
-        s.settimeout(0.3)
-        return s.connect_ex(("127.0.0.1", int(port))) != 0
-    except Exception:
-        return True
-    finally:
-        s.close()
-
-
-def wait_port_before_bind(port):
-    """新进程入口（--wait-port）：轮询直到旧实例释放端口（最多 ~30 秒）。
-    超时也放行——旧进程若没退，bind 失败自会报错，不会出现双实例串流。"""
-    for _ in range(60):
-        if _port_free(port):
-            return
-        time.sleep(0.5)
-
-
-def relaunch(port):
-    """就地重启：拉起新实例（--wait-port 等新端口可 bind 时旧实例已自退）。
-    调用方发送完重启响应后应 self_quit()。port 经 int() 强校验，argv 全字面量。"""
-    port = int(port)
-    if port < 1 or port > 65535:
-        return False
-    subprocess.Popen(
-        [sys.executable, "main.py", "--port", str(port),
-         "--wait-port", "--no-browser"],
-        cwd=str(paths.APP_DIR),
-        stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL,
-        close_fds=True,
-        creationflags=(0x00000008 | 0x00000200) if os.name == "nt" else 0)
-    return True
-
-
-def self_quit():
-    """旧进程体面自退（HTTP 响应已发出后调用）。"""
-    try:
-        from . import remote
-        remote.stop_quick_tunnel()
-    except Exception:
-        pass
-    os._exit(0)
+# -*- coding: utf-8 -*-
+"""Tutti 自更新：版本读取 / 新版本检测 / 一键升级 / 就地重启。
+
+安装模式判定（mode）：
+  npm   — 运行副本位于 node_modules 下且带 package.json（npm 全局安装的包），
+          可查新、可升级、可重启；
+  repo  — 带 .git 的开发仓库：**永不自动升级**（会覆盖开发中的代码），提示走 git pull；
+  other — 裸源码拷贝，提示手动替换。
+
+升级 = 在标准 mgmt run 里跑 `npm install -g codebee@latest`（日志实时落盘、
+SSE 可看进度）。npm 替换的是包目录文件，当前进程已加载进内存不受影响，装完后由
+「重启」换新代码：新进程先等旧端口释放再 bind（Windows SO_REUSEADDR 允许双 LISTEN
+同时存在，必须先验旧进程真退了），旧进程发送完重启响应后自退。
+
+安全：两处子进程命令的 argv 均为**行内字面量列表**（可执行文件与全部参数不来自任何
+外部输入；重启仅透传 argparse 校验过的整型端口），shell 全程 False，绝不拼接用户输入。
+改发布名时（见 test_selfupdate 与 package.json 的一致性断言）同步改 _PKG_NAME。
+"""
+from __future__ import annotations
+
+import json
+import os
+import re
+import socket
+import subprocess
+import sys
+import threading
+import time
+
+from . import paths, runner
+
+_PKG_NAME = "codebee"   # npm 发布名；必须与 package.json 的 name 一致（单测断言）
+_UPDATE_TTL = 600   # 查新结果缓存（秒）
+_LOCK = threading.Lock()
+_CHECK_CACHE = {"ts": 0.0, "result": None}
+
+
+def package_version():
+    """读本包 package.json 的 version；读不到返回 ''（开发仓库未同步版本号时）。"""
+    try:
+        pj = (paths.ROOT / "package.json").resolve()
+        return str(json.loads(pj.read_text(encoding="utf-8")).get("version") or "")
+    except Exception:
+        return ""
+
+
+def install_mode():
+    """npm / repo / source / other（见模块 docstring）。"""
+    try:
+        parts = [p.lower() for p in paths.ROOT.resolve().parts]
+    except Exception:
+        return "other"
+    has_pkg = (paths.ROOT / "package.json").is_file()
+    if "node_modules" in parts and has_pkg:
+        return "npm"
+    if (paths.ROOT / ".git").exists():
+        return "repo"
+    return "source" if has_pkg else "other"
+
+
+def _ver_tuple(s):
+    return [int(x) for x in re.findall(r"\d+", str(s or ""))[:4]]
+
+
+def _npm_latest():
+    """npm view codebee version；返回 (latest, err)。
+    用 _PKG_NAME 变量而非行内字面量：发布名改过一次（tutti-orchestrator→codebee），
+    硬编码两处容易漏改；Mimosa 安全基线要求 argv 可执行文件为字面量，参数用变量不违反。"""
+    r = runner.run_process(
+        argv=["cmd", "/c", "npm", "view", _PKG_NAME, "version"], timeout=60)
+    if not r["ok"]:
+        return "", (r["stderr"] or r["stdout"] or "")[-200:] or "npm 命令失败"
+    m = re.search(r"\d+\.\d+\.\d+[\w.\-]*", r["stdout"] or "")
+    return (m.group(0) if m else ""), ("" if m else "npm 输出无法解析")
+
+
+def check(force=False):
+    """GET /api/selfupdate 载荷：{mode, current, latest, has_update, note}。"""
+    mode = install_mode()
+    cur = package_version()
+    out = {"mode": mode, "current": cur, "latest": "", "has_update": False, "note": ""}
+    if mode != "npm":
+        out["note"] = ("开发仓库模式：请用 git pull 更新（自动升级会覆盖未提交的代码）"
+                       if mode == "repo" else "非 npm 安装，无法自动更新")
+        return out
+    with _LOCK:
+        if not force and _CHECK_CACHE["result"] and \
+                time.time() - _CHECK_CACHE["ts"] < _UPDATE_TTL:
+            return dict(_CHECK_CACHE["result"])
+    latest, err = _npm_latest()
+    out["latest"] = latest
+    if err:
+        out["note"] = "查询新版本失败：" + err
+    elif latest and cur:
+        out["has_update"] = _ver_tuple(latest) > _ver_tuple(cur)
+    else:
+        out["note"] = "无法比较版本（本地或 registry 版本号缺失）"
+    with _LOCK:
+        _CHECK_CACHE["ts"] = time.time()
+        _CHECK_CACHE["result"] = dict(out)
+    return out
+
+
+def apply_upgrade():
+    """发起升级：建 mgmt run 异步跑 npm install -g @latest。返回 {run_id} 或 {error}。"""
+    if install_mode() != "npm":
+        return {"error": "当前安装方式不支持自动升级（见版本页说明）"}
+    from . import store, jobs
+    run = store.create_run("mgmt", "升级 CodeBee 本体（npm install -g %s@latest）" % _PKG_NAME,
+                           entry_id="__self__", op="selfupgrade")
+    jobs.enqueue({"kind": "selfupgrade", "run_id": run["id"]})
+    return {"run_id": run["id"]}
+
+
+def run_upgrade(run_id, log_path):
+    """worker 线程里执行升级命令（run/step 生命周期由 jobs 层管）。"""
+    res = runner.run_process(
+        argv=["cmd", "/c", "npm", "install", "-g", _PKG_NAME + "@latest"],
+        cwd=str(paths.ROOT), timeout=900, log_path=log_path)
+    if res["ok"]:
+        with _LOCK:  # 装完即过期查新缓存，重启后自然拿到新版本
+            _CHECK_CACHE["result"] = None
+    return {"ok": res["ok"], "exit_code": res["exit_code"],
+            "error": "" if res["ok"] else (res["stderr"][-800:] or "退出码 %s" % res["exit_code"])}
+
+
+def _port_free(port):
+    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
+    try:
+        s.settimeout(0.3)
+        return s.connect_ex(("127.0.0.1", int(port))) != 0
+    except Exception:
+        return True
+    finally:
+        s.close()
+
+
+def wait_port_before_bind(port):
+    """新进程入口（--wait-port）：轮询直到旧实例释放端口（最多 ~30 秒）。
+    超时也放行——旧进程若没退，bind 失败自会报错，不会出现双实例串流。"""
+    for _ in range(60):
+        if _port_free(port):
+            return
+        time.sleep(0.5)
+
+
+def relaunch(port):
+    """就地重启：拉起新实例（--wait-port 等新端口可 bind 时旧实例已自退）。
+    调用方发送完重启响应后应 self_quit()。port 经 int() 强校验，argv 全字面量。"""
+    port = int(port)
+    if port < 1 or port > 65535:
+        return False
+    subprocess.Popen(
+        [sys.executable, "main.py", "--port", str(port),
+         "--wait-port", "--no-browser"],
+        cwd=str(paths.APP_DIR),
+        stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL,
+        close_fds=True,
+        creationflags=(0x00000008 | 0x00000200) if os.name == "nt" else 0)
+    return True
+
+
+def self_quit():
+    """旧进程体面自退（HTTP 响应已发出后调用）。"""
+    try:
+        from . import remote
+        remote.stop_quick_tunnel()
+    except Exception:
+        pass
+    os._exit(0)