@hupan56/wlkj 2.7.11 → 3.0.0

package/templates/qoder/scripts/{team_sync.py → task/team_sync.py}

@@ -1,5 +1,11 @@
 #!/usr/bin/env python3
 # -*- coding: utf-8 -*-
+# v3.0 路径自举: 引导到 common/bootstrap, 统一 sys.path 逻辑
+import os as _o, sys as _s
+_cp = _o.path.join(_o.path.dirname(_o.path.dirname(_o.path.abspath(__file__))), 'common')
+if _cp not in _s.path: _s.path.insert(0, _cp)
+from bootstrap import setup; setup()
+
 """
 QODER Team Sync - 无感 git 同步引擎
 
@@ -49,16 +55,31 @@ PUSH_LOCK = os.path.join(BASE, '.qoder', '.runtime', 'team-sync.lock')
 MAX_PUSH_RETRY = 3
 
 
-def git(*args, check=False):
-    """git 命令包装。git 未安装时返回 rc=127 的伪结果, 不崩溃。"""
+def git(*args, check=False, timeout=None):
+    """git 命令包装。git 未安装时返回 rc=127 的伪结果, 不崩溃。
+
+    timeout: 网络/远程操作 (fetch/pull/push/clone) 必须传, 防止认证提示或网络
+    挂起导致整个 sync 无限阻塞。本地操作 (add/commit/status/diff) 不需要。
+    用法: git('fetch', 'origin', timeout=60)
+    """
     try:
-        r = subprocess.run(['git'] + list(args), cwd=BASE, capture_output=True,
-                           text=True, encoding='utf-8', errors='replace')
+        kw = dict(cwd=BASE, capture_output=True, text=True, encoding='utf-8', errors='replace')
+        if timeout:
+            kw['timeout'] = timeout
+        r = subprocess.run(['git'] + list(args), **kw)
     except FileNotFoundError:
         # git 未安装 — 返回伪 CompletedProcess, 让上层把"无 git"当"无远端/无仓库"处理
         import types
         r = types.SimpleNamespace(returncode=127, stdout='', stderr='git not installed',
                                   encoding='utf-8')
+    except subprocess.TimeoutExpired:
+        # 网络操作超时 (常见: 远程要认证但凭证没缓存 / 网络不通)
+        # 返回 rc=124 (与 timeout 命令一致), 不让整个 sync 挂死
+        import types
+        cmd_hint = ' '.join(args[:3])
+        r = types.SimpleNamespace(returncode=124, stdout='',
+                                  stderr='git {} timed out after {}s (网络/认证问题)'.format(cmd_hint, timeout),
+                                  encoding='utf-8')
     if check and r.returncode != 0:
         print('git {} failed: {}'.format(' '.join(args), r.stderr.strip()[:300]))
     return r
@@ -204,7 +225,8 @@ def _auto_resolve_kg_conflict():
 
 
 def do_pull(quiet=False):
-    """拉取团队最新。安全: autostash 保护未提交改动。"""
+    """拉取团队最新。安全: autostash 保护未提交改动 + 文件锁防与 push 竞态。"""
+    # 前置检查(不需锁): 远程/rebase 状态快速失败, 避免占锁后才发现问题
     if rebase_in_progress():
         print('SYNC_CONFLICT: 仓库处于未完成的 rebase 状态, AI 请先处理 (git rebase --abort 或 --continue)。')
         return 3
@@ -219,8 +241,31 @@ def do_pull(quiet=False):
         print('ERROR: detached HEAD or no branch - AI please check.')
         return 1
 
-    r = git('pull', '--rebase', '--autostash', 'origin', branch)
+    # === 文件锁: 与 do_push 互斥。pull --rebase --autostash 会动工作区 + index,
+    # 若与锁内的 _stage_scopes_safely (git add) 交叉会产生半 staged 状态。 ===
+    os.makedirs(os.path.dirname(PUSH_LOCK), exist_ok=True)
+    try:
+        lock_ctx = FileLock(PUSH_LOCK, timeout=60, stale_seconds=300)
+        lock_ctx.acquire()
+    except LockTimeoutError as e:
+        print('SYNC_BUSY: 另一个同步正在进行, 等待超时。稍后重试。')
+        print('  ' + str(e))
+        return 2  # lock contention
+
+    try:
+        return _do_pull_locked(quiet, branch)
+    finally:
+        lock_ctx.release()
+
+
+def _do_pull_locked(quiet, branch):
+    """锁内的实际 pull 逻辑。"""
+    r = git('pull', '--rebase', '--autostash', 'origin', branch, timeout=90)
     if r.returncode != 0:
+        if r.returncode == 124:
+            print('Pull 超时 (网络/认证问题): ' + (r.stderr or '').strip()[:150])
+            print('检查 git 凭证或团队仓库连通性。继续离线工作, 下次同步自动补推。')
+            return 1
         if 'CONFLICT' in (r.stdout + r.stderr) or rebase_in_progress():
             return report_conflict(r.stderr or r.stdout)
         print('Pull failed (network/remote?): ' + (r.stderr or r.stdout).strip()[:200])
@@ -282,22 +327,25 @@ def _stage_scopes_safely(skip_secret=False):
     只 stage SYNC_SCOPES 下、扩展名在 SAFE_EXTENSIONS 里的文件。
     其他文件 (如误放的 .env/.zip/.docx) 被跳过并打印警告。
 
+    性能: 收集后批量 git add (每批 ~400 个), 避免 N 个文件 = N 次 git 进程 fork。
+    50 人团队大改动 (数百文件) 时, 逐文件 add 在 Windows CreateProcess 开销下
+    会很慢。批量后 push 阶段从 O(N 次 fork) 降到 O(N/400 次 fork)。
+
     Returns:
         (staged_count, skipped_files)
     """
-    staged = 0
+    to_add = []  # 待批量 add 的文件 (已收集, 一次性分批 add)
     skipped = []
     for scope in SYNC_SCOPES:
         scope_path = os.path.join(BASE, scope)
         if not os.path.isdir(scope_path):
             continue
         # 用 git ls-files 拿已跟踪的 + git status 拿未跟踪的, 逐个判断扩展名
-        # 已跟踪文件: 直接 add (它们已经在版本控制, 不可能是新秘密)
+        # 已跟踪文件: 收集 (它们已经在版本控制, 不可能是新秘密)
         r = git('ls-files', '--', scope)
-        tracked = [f for f in r.stdout.strip().splitlines() if f.strip()]
-        for f in tracked:
-            git('add', '--', f)
-            staged += 1
+        for f in r.stdout.strip().splitlines():
+            if f.strip():
+                to_add.append(f)
         # 未跟踪的新文件: 按扩展名过滤
         r = git('status', '--porcelain', '--', scope)
         for line in r.stdout.strip().splitlines():
@@ -313,17 +361,24 @@ def _stage_scopes_safely(skip_secret=False):
                 if 'brainstorm-agent' in basename:
                     skipped.append(fpath + ' (brainstorm 中间文件, 不提交)')
                 elif ext in SAFE_EXTENSIONS:
-                    git('add', '--', fpath)
-                    staged += 1
+                    to_add.append(fpath)
                 else:
                     skipped.append(fpath)
             elif 'D' not in status:
-                # 修改/重命名等 (非删除) —— 已跟踪, 直接 add
+                # 修改/重命名等 (非删除) —— 已跟踪, 收集
                 # 重命名格式 "R  old -> new", 取 new
                 if '->' in fpath:
                     fpath = fpath.split('->')[-1].strip().strip('"')
-                git('add', '--', fpath)
-                staged += 1
+                to_add.append(fpath)
+
+    # 批量 add: 每批最多 400 个文件 (防命令行长度溢出, Windows ~8191 字符限制留余量)
+    BATCH = 400
+    staged = 0
+    for i in range(0, len(to_add), BATCH):
+        batch = to_add[i:i + BATCH]
+        git('add', '--', *batch)
+        staged += len(batch)
+
     if skipped:
         print('[gate] 跳过 {} 个非白名单文件 (可能含二进制/秘密, 手动处理):'.format(len(skipped)))
         for s in skipped[:10]:
@@ -410,7 +465,7 @@ def _do_push_locked(message, dev, skip_eval, skip_secret):
         return 1
 
     # 5. 检查是否有待推送的提交
-    git('fetch', 'origin', branch)
+    git('fetch', 'origin', branch, timeout=60)
     r = git('rev-list', '--count', 'origin/{}..HEAD'.format(branch))
     ahead = int(r.stdout.strip() or 0) if r.returncode == 0 else 1
     if ahead == 0:
@@ -420,7 +475,7 @@ def _do_push_locked(message, dev, skip_eval, skip_secret):
 
     # 6. pull --rebase + push, 失败重试
     for attempt in range(1, MAX_PUSH_RETRY + 1):
-        r = git('pull', '--rebase', '--autostash', 'origin', branch)
+        r = git('pull', '--rebase', '--autostash', 'origin', branch, timeout=90)
         if r.returncode != 0:
             # kg.duckdb 二进制冲突: 自动解决 (用户无感)
             _auto_resolve_kg_conflict()
@@ -437,11 +492,22 @@ def _do_push_locked(message, dev, skip_eval, skip_secret):
                 return report_conflict(r.stderr or r.stdout)
             # 非冲突的 pull 失败
             print('Pull failed (attempt {}): {}'.format(attempt, (r.stderr or r.stdout).strip()[:150]))
+            if r.returncode == 124:
+                print('  (网络/认证超时 — 检查 git 凭证或团队仓库连通性)')
+                break  # 网络挂起重试无意义, 直接退出
+            # 连接性失败 (unable to connect / Could not resolve) 重试也是浪费时间,
+            # 直接退出让用户离线工作, 别让 50 人团队的弱网用户干等 3 倍时间
+            err_txt = (r.stderr or r.stdout or '').lower()
+            if any(k in err_txt for k in ('unable to connect', 'could not resolve',
+                                          'connection refused', 'no route to host',
+                                          'network is unreachable', 'timed out')):
+                print('  (网络不通 — 产出已本地提交, 下次同步自动补推)')
+                break
             if rebase_in_progress():
                 git('rebase', '--abort')
             continue
 
-        r = git('push', 'origin', branch)
+        r = git('push', 'origin', branch, timeout=90)
         if r.returncode == 0:
             touch_pull_marker()
             print('Synced to team. (attempt {})'.format(attempt))
@@ -465,6 +531,13 @@ def _do_push_locked(message, dev, skip_eval, skip_secret):
                 pass  # 埋点失败不阻塞同步
             return 0
         if attempt < MAX_PUSH_RETRY:
+            # 网络不通重试无意义, 别让弱网用户干等 (push 超时/连接失败直接退出)
+            err_txt = (r.stderr or r.stdout or '').lower()
+            if r.returncode == 124 or any(k in err_txt for k in (
+                    'unable to connect', 'could not resolve', 'connection refused',
+                    'no route to host', 'network is unreachable', 'timed out')):
+                print('Push failed (网络不通): 产出已本地提交, 下次同步自动补推。')
+                return 1
             print('Push rejected (someone pushed first?), retrying...')
 
     print('Push failed after {} attempts: 产出已本地提交不会丢失, 下次同步自动补推。'.format(MAX_PUSH_RETRY))

package/templates/qoder/scripts/test/__init__.py

@@ -0,0 +1,11 @@
+# 子包初始化: 注入 scripts/根 + 所有子包到 sys.path
+# 让跨包 import (旧式不带前缀) 仍可用, 兼容现有代码
+import os as _os, sys as _sys
+_root = _os.path.dirname(_os.path.dirname(_os.path.abspath(__file__)))
+if _root not in _sys.path:
+    _sys.path.insert(0, _root)
+# 注入所有子包目录 (兼容旧式 import xxx)
+for _sub in ('kg', 'build', 'test', 'setup', 'io'):
+    _subdir = _os.path.join(_root, _sub)
+    if _os.path.isdir(_subdir) and _subdir not in _sys.path:
+        _sys.path.insert(0, _subdir)