codebee 0.1.68 → 0.1.70

package/app/core/redact.py

@@ -1,38 +1,38 @@
-# -*- coding: utf-8 -*-
-"""自由文本脱敏基础函数；不依赖业务模块，供各类本地台账复用。"""
-from __future__ import annotations
-
-import re
-
-
-_KEY_PATTERNS = (
-    (re.compile(r"\bsk-[A-Za-z0-9_-]{8,}"), "[key]"),
-    (re.compile(r"\b(?:Bearer|bearer)\s+\S+"), "Bearer [key]"),
-    (re.compile(r"(?i)\b((?:api[_-]?|access[_-]?|secret[_-]?|auth[_-]?)(?:key|token|secret))"
-                r"""["']?\s*[:=，,]\s*["']?[A-Za-z0-9._~+/=-]{8,}"""), r"\1[key]"),
-    (re.compile(r"\b[0-9a-fA-F]{40,}\b"), "[token]"),
-)
-
-_PATH_PATTERNS = (
-    (re.compile(r"(?i)\b[A-Z]:\\(?:[^\\/:*?\"<>|\r\n]+\\)*[^\\/:*?\"<>|\r\n]*"),
-     lambda m: "[path]" + m.group(0).split("\\")[-1]),
-    (re.compile(r"(?i)\b(?:\\\\[^\\\s]+\\[^\s]+)"), "[path]"),
-    (re.compile(r"(?:/Users/|/home/|~)[^\s\"':]+"),
-     lambda m: "[path]" + m.group(0).rsplit("/", 1)[-1]),
-)
-
-
-def scrub_text(text, limit=600):
-    """剥离常见密钥、令牌和绝对路径，再按字符上限截断。"""
-    if not isinstance(text, str):
-        text = "" if text is None else str(text)
-    out = text
-    for pattern, replacement in _KEY_PATTERNS:
-        out = pattern.sub(replacement, out)
-    for pattern, replacement in _PATH_PATTERNS:
-        try:
-            out = pattern.sub(replacement, out)
-        except Exception:
-            pass
-    out = out.strip()
-    return out[:limit] + "…" if len(out) > limit else out
+# -*- coding: utf-8 -*-
+"""自由文本脱敏基础函数；不依赖业务模块，供各类本地台账复用。"""
+from __future__ import annotations
+
+import re
+
+
+_KEY_PATTERNS = (
+    (re.compile(r"\bsk-[A-Za-z0-9_-]{8,}"), "[key]"),
+    (re.compile(r"\b(?:Bearer|bearer)\s+\S+"), "Bearer [key]"),
+    (re.compile(r"(?i)\b((?:api[_-]?|access[_-]?|secret[_-]?|auth[_-]?)(?:key|token|secret))"
+                r"""["']?\s*[:=，,]\s*["']?[A-Za-z0-9._~+/=-]{8,}"""), r"\1[key]"),
+    (re.compile(r"\b[0-9a-fA-F]{40,}\b"), "[token]"),
+)
+
+_PATH_PATTERNS = (
+    (re.compile(r"(?i)\b[A-Z]:\\(?:[^\\/:*?\"<>|\r\n]+\\)*[^\\/:*?\"<>|\r\n]*"),
+     lambda m: "[path]" + m.group(0).split("\\")[-1]),
+    (re.compile(r"(?i)\b(?:\\\\[^\\\s]+\\[^\s]+)"), "[path]"),
+    (re.compile(r"(?:/Users/|/home/|~)[^\s\"':]+"),
+     lambda m: "[path]" + m.group(0).rsplit("/", 1)[-1]),
+)
+
+
+def scrub_text(text, limit=600):
+    """剥离常见密钥、令牌和绝对路径，再按字符上限截断。"""
+    if not isinstance(text, str):
+        text = "" if text is None else str(text)
+    out = text
+    for pattern, replacement in _KEY_PATTERNS:
+        out = pattern.sub(replacement, out)
+    for pattern, replacement in _PATH_PATTERNS:
+        try:
+            out = pattern.sub(replacement, out)
+        except Exception:
+            pass
+    out = out.strip()
+    return out[:limit] + "…" if len(out) > limit else out

package/app/core/remotesync.py

@@ -0,0 +1,121 @@
+# -*- coding: utf-8 -*-
+"""备份包远程推送（WebDAV / S3 兼容 PUT 端点）：data/ 不在 git 里、磁盘一坏
+全没——本机产品额外给备份包一条出站活路。
+
+L0 自由层（读 settings + 依赖 runner 起进程都合法）。curl -T 流式上传：
+备份包可能 GB 级（含工作目录），绝不能整包读进内存。密钥只存本机
+settings.json，推送时才带 Basic auth 发给用户自己配的端点。
+"""
+from __future__ import annotations
+
+import json
+
+from . import runner   # L0→L2 合法方向（小层号依赖大层号）；模块级绑定便于测试打桩
+
+_MAX_TIMEOUT_S = 3600
+
+
+def _cfg():
+    try:
+        from . import settings
+        s = settings.load()
+        return {"enabled": bool(s.get("backup_remote_enabled")),
+                "url": str(s.get("backup_remote_url") or "").strip().rstrip("/"),
+                "user": str(s.get("backup_remote_user") or "").strip(),
+                "pass": str(s.get("backup_remote_pass") or "")}
+    except Exception:
+        return {"enabled": False, "url": "", "user": "", "pass": ""}
+
+
+def push_remote(zip_path, timeout_s=1800):
+    """把备份包 PUT 到远程端点。返回 {"ok","skipped","status","error"}。"""
+    cfg = _cfg()
+    if not cfg["enabled"] or not cfg["url"]:
+        return {"ok": False, "skipped": True, "status": 0, "error": "未启用远程备份"}
+    from pathlib import Path
+    p = Path(zip_path)
+    if not p.is_file():
+        return {"ok": False, "skipped": False, "status": 0, "error": "备份包不存在"}
+    argv = ["curl", "-sS", "-f", "-T", str(p), "--max-time", str(max(60, timeout_s)),
+            cfg["url"] + "/" + p.name]
+    if cfg["user"] or cfg["pass"]:
+        argv += ["--user", cfg["user"] + ":" + cfg["pass"]]
+    try:
+        r = runner.run_process(argv=argv, timeout=timeout_s + 100)
+    except Exception as e:
+        return {"ok": False, "skipped": False, "status": 0, "error": str(e)[:200]}
+    err = (r.get("stderr") or "").strip().splitlines()
+    return {"ok": bool(r.get("ok")), "skipped": False,
+            "status": 200 if r.get("ok") else 0,
+            "error": "" if r.get("ok") else (err[-1] if err else "上传失败")[:200]}
+
+
+def test_remote():
+    """连通性测试：PUT 一个小探针文件（同端点同凭据）。"""
+    import os
+    import tempfile
+    fd, p = tempfile.mkstemp(prefix="codebee-remote-", suffix=".txt")
+    try:
+        with os.fdopen(fd, "w", encoding="utf-8") as f:
+            f.write("CodeBee remote backup probe")
+        return push_remote(p, timeout_s=60)
+    finally:
+        try:
+            os.unlink(p)
+        except OSError:
+            pass
+
+
+def _curl_common_args():
+    cfg = _cfg()
+    argv = ["curl", "-sS", "-f", "--max-time", "120"]
+    if cfg["user"] or cfg["pass"]:
+        argv += ["--user", cfg["user"] + ":" + cfg["pass"]]
+    return cfg, argv
+
+
+def list_remote():
+    """列远程端点上的备份包（WebDAV PROPFIND，其他端点回落 GET 目录页）。
+    返回 (文件名列表, 错误)。仅支持 push 时同款 URL 前缀。"""
+    cfg, argv = _curl_common_args()
+    if not cfg["enabled"] or not cfg["url"]:
+        return None, "未启用远程备份"
+    r = runner.run_process(
+        argv=argv + ["-X", "PROPFIND", "-H",
+                     "Content-Type: application/xml", "-H", "Depth: 1",
+                     "--data-binary", "", cfg["url"] + "/"], timeout=150)
+    if not r.get("ok"):
+        err = (r.get("stderr") or "").strip().splitlines()
+        return None, (err[-1] if err else "列举失败（端点可能不支持 PROPFIND）")[:200]
+    import re as _re
+    text = str(r.get("stdout") or "")
+    names = sorted({m for m in _re.findall(
+        r"codebee-backup-\d{8}-\d{6}\.zip", text)}, reverse=True)
+    return names, None
+
+
+def pull_remote(name):
+    """从远程端点拉备份包到本机 imports 目录（走现有导入向导）。
+    name 必须精确匹配 codebee-backup-*.zip 形态（防路径注入）。
+    返回 (本地路径, 错误)。"""
+    import re as _re
+    name = str(name or "").strip()
+    if not _re.match(r"^codebee-backup-\d{8}-\d{6}\.zip$", name):
+        return None, "非法的备份包名"
+    cfg, argv = _curl_common_args()
+    if not cfg["enabled"] or not cfg["url"]:
+        return None, "未启用远程备份"
+    from . import paths
+    dest_dir = paths.DATA_DIR / "imports"
+    dest_dir.mkdir(parents=True, exist_ok=True)
+    dest = dest_dir / name
+    r = runner.run_process(
+        argv=argv + ["-o", str(dest), cfg["url"] + "/" + name], timeout=1900)
+    if not r.get("ok") or not dest.is_file() or dest.stat().st_size == 0:
+        try:
+            dest.unlink()
+        except OSError:
+            pass
+        err = (r.get("stderr") or "").strip().splitlines()
+        return None, (err[-1] if err else "拉取失败")[:200]
+    return str(dest), None

package/app/core/repeat_guard.py

@@ -1,129 +1,129 @@
-# -*- coding: utf-8 -*-
-"""重复 CLI 调用检测：防止编排者用同一份 prompt 反复调同一 CLI 死循环。
-
-设计稿：docs/migration/01-defense-patterns.md §5C。
-参考 dsh packages/guard/repeat-tool-reminder/src/index.ts：
-  监听 tools/post-execute，按 (tool, canonical_args) 跟踪，3/5/8 阈值注入 user-message 提醒。
-
-Tutti 的 "tool" 对应到 step role + 执行者身份，"canonical_args" 对应到 prompt
-模板指纹。不同 CLI 间的换将是有效的回退，不能共享同一个重复预算。步骤级调用
-代价远高于普通工具调用，因此第 3 次提醒、第 5 次强制停止。
-"""
-from __future__ import annotations
-
-import hashlib
-import logging
-import threading
-import time
-
-log = logging.getLogger(__name__)
-
-# 渐进阈值：第 N 次命中时给提醒；最后一次及以上时强制停止。
-DEFAULT_THRESHOLDS = (3, 5)
-
-REMINDER_TEMPLATE = (
-    "⚠️ 提醒：上一步使用了几乎相同的输入（已连续 {count} 次调用 {role}）。"
-    "请换一种方法：读不同的文件、用更具体的指令、或明确询问用户澄清。"
-)
-
-STOP_TEMPLATE = (
-    "已连续 {count} 次使用相同输入调用 {role}，超过 {last_thr} 次阈值，"
-    "强制停止本 step 以防止无限循环。请用户检查输入或调整 prompt 模板。"
-)
-
-
-def _prompt_fingerprint(prompt: str, identity: str = "") -> str:
-    """prompt 指纹：用前 200 字符 + 总长度（CLI prompt 头几行通常是模板部分）。
-
-    不做严格 canonical args 比对（CLI prompt 通常很长，且 dsh 也用 JSON.stringify）；
-    指纹命中说明是同一个模板路径走过多次，已经够分辨。
-
-    用 SHA-256 取前 12 字符（96 bit）：48 亿分之一碰撞概率对去重足够；不追求密码学强度。
-    """
-    head = (prompt or "")[:200]
-    return hashlib.sha256(
-        f"{identity}\0{head}|{len(prompt or '')}".encode("utf-8")).hexdigest()[:12]
-
-
-class RepeatGuard:
-    """每 (run_id, step_role) 的最近执行链独立计数；指纹包含执行者身份。
-
-    计数仅统计相同 key 连续出现；新 prompt 会重置。
-    """
-
-    def __init__(self, thresholds=DEFAULT_THRESHOLDS, *, max_history=50):
-        self.thresholds = tuple(sorted(set(thresholds)))
-        self.max_history = max_history
-        self._lock = threading.Lock()
-        # chain[(run_id, role)] = [(ts, fingerprint)]
-        self._chains: dict = {}
-
-    def check(self, run_id: str, role: str, prompt: str, *, identity: str = "") -> dict:
-        """检查并更新 (run_id, role) 的连续计数。
-
-        identity 标识实际执行 CLI/agent。相同 prompt 换到其他执行者属于回退，
-        会从新的连续链计数；同一执行者重复相同调用仍按阈值停止。
-
-        Returns:
-            {"count": int, "reminder": str | None, "should_stop": bool}
-        """
-        fp = _prompt_fingerprint(prompt, str(identity or ""))
-        chain_key = (run_id, role)
-        with self._lock:
-            chain = self._chains.setdefault(chain_key, [])
-            chain.append((time.time(), fp))
-            # 仅统计相同 fp 连续出现
-            count = 1
-            for _, prev_fp in reversed(chain[:-1]):
-                if prev_fp == fp:
-                    count += 1
-                else:
-                    break
-            # 截尾避免内存膨胀
-            if len(chain) > self.max_history:
-                self._chains[chain_key] = chain[-self.max_history:]
-
-        reminder = None
-        stop = False
-        last_thr = self.thresholds[-1]
-        if count >= last_thr:
-            stop = True
-            reminder = STOP_TEMPLATE.format(count=count, role=role, last_thr=last_thr)
-        elif count in self.thresholds:
-            reminder = REMINDER_TEMPLATE.format(count=count, role=role)
-
-        if reminder:
-            log.warning("repeat-guard %s/%s count=%d stop=%s reminder=%s",
-                        run_id, role, count, stop, reminder[:80])
-        return {"count": count, "reminder": reminder, "should_stop": stop}
-
-    def reset(self, run_id: str) -> int:
-        """重置某 run_id 的所有 (run_id, *) 链。返回清除的链条数。"""
-        with self._lock:
-            cleared = 0
-            for k in list(self._chains.keys()):
-                if k[0] == run_id:
-                    del self._chains[k]
-                    cleared += 1
-            return cleared
-
-    def stats(self, run_id: str, role: str) -> dict:
-        """读取 (run_id, role) 当前状态（不更新）。用于 UI 调试。"""
-        chain_key = (run_id, role)
-        with self._lock:
-            chain = self._chains.get(chain_key, [])
-            if not chain:
-                return {"chain_len": 0, "last_fp": ""}
-            # 当前连续计数
-            last_fp = chain[-1][1]
-            count = 1
-            for _, fp in reversed(chain[:-1]):
-                if fp == last_fp:
-                    count += 1
-                else:
-                    break
-            return {"chain_len": len(chain), "last_fp": last_fp, "count": count}
-
-
-# 模块级默认实例（pipeline 接线用；run_id 入键天然隔离多任务，测试无需替换）
-guard = RepeatGuard()
+# -*- coding: utf-8 -*-
+"""重复 CLI 调用检测：防止编排者用同一份 prompt 反复调同一 CLI 死循环。
+
+设计稿：docs/migration/01-defense-patterns.md §5C。
+参考 dsh packages/guard/repeat-tool-reminder/src/index.ts：
+  监听 tools/post-execute，按 (tool, canonical_args) 跟踪，3/5/8 阈值注入 user-message 提醒。
+
+Tutti 的 "tool" 对应到 step role + 执行者身份，"canonical_args" 对应到 prompt
+模板指纹。不同 CLI 间的换将是有效的回退，不能共享同一个重复预算。步骤级调用
+代价远高于普通工具调用，因此第 3 次提醒、第 5 次强制停止。
+"""
+from __future__ import annotations
+
+import hashlib
+import logging
+import threading
+import time
+
+log = logging.getLogger(__name__)
+
+# 渐进阈值：第 N 次命中时给提醒；最后一次及以上时强制停止。
+DEFAULT_THRESHOLDS = (3, 5)
+
+REMINDER_TEMPLATE = (
+    "⚠️ 提醒：上一步使用了几乎相同的输入（已连续 {count} 次调用 {role}）。"
+    "请换一种方法：读不同的文件、用更具体的指令、或明确询问用户澄清。"
+)
+
+STOP_TEMPLATE = (
+    "已连续 {count} 次使用相同输入调用 {role}，超过 {last_thr} 次阈值，"
+    "强制停止本 step 以防止无限循环。请用户检查输入或调整 prompt 模板。"
+)
+
+
+def _prompt_fingerprint(prompt: str, identity: str = "") -> str:
+    """prompt 指纹：用前 200 字符 + 总长度（CLI prompt 头几行通常是模板部分）。
+
+    不做严格 canonical args 比对（CLI prompt 通常很长，且 dsh 也用 JSON.stringify）；
+    指纹命中说明是同一个模板路径走过多次，已经够分辨。
+
+    用 SHA-256 取前 12 字符（96 bit）：48 亿分之一碰撞概率对去重足够；不追求密码学强度。
+    """
+    head = (prompt or "")[:200]
+    return hashlib.sha256(
+        f"{identity}\0{head}|{len(prompt or '')}".encode("utf-8")).hexdigest()[:12]
+
+
+class RepeatGuard:
+    """每 (run_id, step_role) 的最近执行链独立计数；指纹包含执行者身份。
+
+    计数仅统计相同 key 连续出现；新 prompt 会重置。
+    """
+
+    def __init__(self, thresholds=DEFAULT_THRESHOLDS, *, max_history=50):
+        self.thresholds = tuple(sorted(set(thresholds)))
+        self.max_history = max_history
+        self._lock = threading.Lock()
+        # chain[(run_id, role)] = [(ts, fingerprint)]
+        self._chains: dict = {}
+
+    def check(self, run_id: str, role: str, prompt: str, *, identity: str = "") -> dict:
+        """检查并更新 (run_id, role) 的连续计数。
+
+        identity 标识实际执行 CLI/agent。相同 prompt 换到其他执行者属于回退，
+        会从新的连续链计数；同一执行者重复相同调用仍按阈值停止。
+
+        Returns:
+            {"count": int, "reminder": str | None, "should_stop": bool}
+        """
+        fp = _prompt_fingerprint(prompt, str(identity or ""))
+        chain_key = (run_id, role)
+        with self._lock:
+            chain = self._chains.setdefault(chain_key, [])
+            chain.append((time.time(), fp))
+            # 仅统计相同 fp 连续出现
+            count = 1
+            for _, prev_fp in reversed(chain[:-1]):
+                if prev_fp == fp:
+                    count += 1
+                else:
+                    break
+            # 截尾避免内存膨胀
+            if len(chain) > self.max_history:
+                self._chains[chain_key] = chain[-self.max_history:]
+
+        reminder = None
+        stop = False
+        last_thr = self.thresholds[-1]
+        if count >= last_thr:
+            stop = True
+            reminder = STOP_TEMPLATE.format(count=count, role=role, last_thr=last_thr)
+        elif count in self.thresholds:
+            reminder = REMINDER_TEMPLATE.format(count=count, role=role)
+
+        if reminder:
+            log.warning("repeat-guard %s/%s count=%d stop=%s reminder=%s",
+                        run_id, role, count, stop, reminder[:80])
+        return {"count": count, "reminder": reminder, "should_stop": stop}
+
+    def reset(self, run_id: str) -> int:
+        """重置某 run_id 的所有 (run_id, *) 链。返回清除的链条数。"""
+        with self._lock:
+            cleared = 0
+            for k in list(self._chains.keys()):
+                if k[0] == run_id:
+                    del self._chains[k]
+                    cleared += 1
+            return cleared
+
+    def stats(self, run_id: str, role: str) -> dict:
+        """读取 (run_id, role) 当前状态（不更新）。用于 UI 调试。"""
+        chain_key = (run_id, role)
+        with self._lock:
+            chain = self._chains.get(chain_key, [])
+            if not chain:
+                return {"chain_len": 0, "last_fp": ""}
+            # 当前连续计数
+            last_fp = chain[-1][1]
+            count = 1
+            for _, fp in reversed(chain[:-1]):
+                if fp == last_fp:
+                    count += 1
+                else:
+                    break
+            return {"chain_len": len(chain), "last_fp": last_fp, "count": count}
+
+
+# 模块级默认实例（pipeline 接线用；run_id 入键天然隔离多任务，测试无需替换）
+guard = RepeatGuard()