dsh-git-push 0.0.0-stage → 2.8.4
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/.auditignore +30 -0
- package/.gitignore +39 -0
- package/LICENSE +21 -0
- package/README.md +1482 -2
- package/cli.mjs +360 -0
- package/cordis.patch.yml +14 -0
- package/lib/ARCHITECTURE.md +34 -0
- package/lib/BUGFIX-NOTES-2026-09-14.md +278 -0
- package/lib/app/apply.js +275 -0
- package/lib/app/audit-api.js +158 -0
- package/lib/app/command-registry.js +262 -0
- package/lib/app/constants.js +16 -0
- package/lib/app/handlers/account.js +166 -0
- package/lib/app/handlers/clone.js +168 -0
- package/lib/app/handlers/http-constants.js +9 -0
- package/lib/app/handlers/identity-rewrite.js +94 -0
- package/lib/app/handlers/meta.js +175 -0
- package/lib/app/handlers/npm.js +169 -0
- package/lib/app/handlers/repo-actions.js +143 -0
- package/lib/app/handlers/repos.js +231 -0
- package/lib/app/handlers/settings.js +62 -0
- package/lib/app/host-doc-checks.js +25 -0
- package/lib/app/http-handlers.js +131 -0
- package/lib/app/index.js +30 -0
- package/lib/app/inject-text.js +191 -0
- package/lib/app/scan-root.js +23 -0
- package/lib/app/schema.js +150 -0
- package/lib/app/settings-bridge.js +167 -0
- package/lib/app/slash-commands.js +395 -0
- package/lib/app/slot-stats.js +35 -0
- package/lib/app/tool-call.js +662 -0
- package/lib/app/tools.js +40 -0
- package/lib/ast/brace.js +105 -0
- package/lib/ast/callgraph.js +135 -0
- package/lib/ast/code-lines.js +114 -0
- package/lib/ast/consts.js +12 -0
- package/lib/ast/control-flow.js +461 -0
- package/lib/ast/credential.js +199 -0
- package/lib/ast/dataflow.js +274 -0
- package/lib/ast/dup-code.js +165 -0
- package/lib/ast/index.js +36 -0
- package/lib/ast/io-risk-const.js +95 -0
- package/lib/ast/io-risk-fn.js +208 -0
- package/lib/ast/io-risk-loop.js +308 -0
- package/lib/ast/io-risk.js +314 -0
- package/lib/ast/lang.js +156 -0
- package/lib/ast/line-count.js +52 -0
- package/lib/ast/magic-number.js +272 -0
- package/lib/ast/naming.js +284 -0
- package/lib/ast/perf.js +472 -0
- package/lib/ast/scope.js +241 -0
- package/lib/ast/shell.js +131 -0
- package/lib/ast/size.js +378 -0
- package/lib/ast/symbol-index.js +399 -0
- package/lib/ast/tokenizer.js +341 -0
- package/lib/audit/analysis-coverage.js +98 -0
- package/lib/audit/audit-file.js +182 -0
- package/lib/audit/checks.js +17 -0
- package/lib/audit/client-entry.js +93 -0
- package/lib/audit/collector.js +477 -0
- package/lib/audit/ext-runner.js +80 -0
- package/lib/audit/file-context.js +138 -0
- package/lib/audit/finding.js +50 -0
- package/lib/audit/gitignore-match.js +113 -0
- package/lib/audit/glob.js +63 -0
- package/lib/audit/history-report.js +100 -0
- package/lib/audit/history.js +126 -0
- package/lib/audit/ignore-blind.js +101 -0
- package/lib/audit/index.js +33 -0
- package/lib/audit/orchestrate.js +476 -0
- package/lib/audit/public.js +24 -0
- package/lib/audit/repo-level.js +30 -0
- package/lib/audit/report-yaml.js +86 -0
- package/lib/audit/slot.js +65 -0
- package/lib/audit-defaults.js +18 -0
- package/lib/audit-rules/audit-rules-comment.yml +247 -0
- package/lib/audit-rules/audit-rules-cpp.yml +22 -0
- package/lib/audit-rules/audit-rules-docs.yml +32 -0
- package/lib/audit-rules/audit-rules-dsh.yml +162 -0
- package/lib/audit-rules/audit-rules-filehealth.yml +42 -0
- package/lib/audit-rules/audit-rules-folder.yml +99 -0
- package/lib/audit-rules/audit-rules-frontend.yml +335 -0
- package/lib/audit-rules/audit-rules-go.yml +22 -0
- package/lib/audit-rules/audit-rules-i18n.yml +45 -0
- package/lib/audit-rules/audit-rules-java.yml +105 -0
- package/lib/audit-rules/audit-rules-nodejs.yml +647 -0
- package/lib/audit-rules/audit-rules-npm.yml +187 -0
- package/lib/audit-rules/audit-rules-paths.yml +92 -0
- package/lib/audit-rules/audit-rules-performance.yml +207 -0
- package/lib/audit-rules/audit-rules-php.yml +22 -0
- package/lib/audit-rules/audit-rules-private.yml +24 -0
- package/lib/audit-rules/audit-rules-python.yml +106 -0
- package/lib/audit-rules/audit-rules-robustness.yml +27 -0
- package/lib/audit-rules/audit-rules-rust.yml +22 -0
- package/lib/audit-rules/audit-rules-structure.yml +159 -0
- package/lib/audit-rules/audit-rules-swift.yml +22 -0
- package/lib/audit-rules/audit-rules-template.yml +108 -0
- package/lib/checks/button-bind.js +276 -0
- package/lib/checks/common.js +170 -0
- package/lib/checks/credential-file.js +43 -0
- package/lib/checks/dataflow.js +40 -0
- package/lib/checks/dispatch.js +112 -0
- package/lib/checks/dup-code.js +69 -0
- package/lib/checks/dup-const.js +232 -0
- package/lib/checks/file-health.js +150 -0
- package/lib/checks/filter.js +131 -0
- package/lib/checks/folder.js +173 -0
- package/lib/checks/hardcoded-path.js +98 -0
- package/lib/checks/index.js +46 -0
- package/lib/checks/io.js +66 -0
- package/lib/checks/magic-number.js +42 -0
- package/lib/checks/npm-json.js +273 -0
- package/lib/checks/private.js +63 -0
- package/lib/checks/regex.js +256 -0
- package/lib/checks/semantic.js +134 -0
- package/lib/checks/structural.js +274 -0
- package/lib/cli/commands-account.mjs +107 -0
- package/lib/cli/commands-audit.mjs +144 -0
- package/lib/cli/commands-doc.mjs +127 -0
- package/lib/cli/commands-vcs.mjs +175 -0
- package/lib/client/index.js +162 -0
- package/lib/client-parts/00-loader.js +33 -0
- package/lib/client-parts/01-const.js +207 -0
- package/lib/client-parts/02-utils.js +62 -0
- package/lib/client-parts/03-icons.js +12 -0
- package/lib/client-parts/10-account.js +83 -0
- package/lib/client-parts/11-browser.js +95 -0
- package/lib/client-parts/20-repo.js +374 -0
- package/lib/client-parts/21-audit.js +301 -0
- package/lib/client-parts/22-settings.js +146 -0
- package/lib/client-parts/23-npm.js +383 -0
- package/lib/client-parts/30-page.js +56 -0
- package/lib/client-parts/40-controller.js +1092 -0
- package/lib/client-parts/41-actions.js +279 -0
- package/lib/client-parts/99-apply.js +72 -0
- package/lib/client.js +3195 -0
- package/lib/commit-push.js +144 -0
- package/lib/context/index.js +363 -0
- package/lib/core/atomic-json.js +98 -0
- package/lib/core/config.js +40 -0
- package/lib/core/credentials.js +274 -0
- package/lib/core/endpoints.js +109 -0
- package/lib/core/exec.js +162 -0
- package/lib/exempt/index.js +292 -0
- package/lib/fs/edit-after-read.js +103 -0
- package/lib/fsx.js +87 -0
- package/lib/git/account-status.js +140 -0
- package/lib/git/account.js +233 -0
- package/lib/git/api.js +136 -0
- package/lib/git/atomic-json.js +6 -0
- package/lib/git/browse.js +38 -0
- package/lib/git/clone-download.js +397 -0
- package/lib/git/clone-history-mode.js +143 -0
- package/lib/git/clone-history.js +175 -0
- package/lib/git/clone-jobs.js +250 -0
- package/lib/git/clone-replay-io.js +172 -0
- package/lib/git/clone-replay.js +275 -0
- package/lib/git/clone.js +445 -0
- package/lib/git/cloud.js +46 -0
- package/lib/git/commit-message.js +141 -0
- package/lib/git/config.js +6 -0
- package/lib/git/cred-env.js +88 -0
- package/lib/git/credentials.js +6 -0
- package/lib/git/endpoints.js +6 -0
- package/lib/git/exec.js +6 -0
- package/lib/git/identity-rewrite.js +297 -0
- package/lib/git/identity.js +150 -0
- package/lib/git/ignore.js +69 -0
- package/lib/git/index.js +41 -0
- package/lib/git/module-splitter.js +47 -0
- package/lib/git/post-push.js +101 -0
- package/lib/git/push-diagnose.js +142 -0
- package/lib/git/push.js +470 -0
- package/lib/git/remote-resolve.js +146 -0
- package/lib/git/remote.js +128 -0
- package/lib/git/repo-index.js +512 -0
- package/lib/git/repos.js +235 -0
- package/lib/git/scan-runner.js +159 -0
- package/lib/git/sensitive.js +134 -0
- package/lib/git/transport.js +430 -0
- package/lib/git/visibility.js +35 -0
- package/lib/git/wrapped-git.js +68 -0
- package/lib/http/index.js +170 -0
- package/lib/index.js +24 -0
- package/lib/link-check/index.js +187 -0
- package/lib/npm/account.js +64 -0
- package/lib/npm/install.js +211 -0
- package/lib/npm/npmrc.js +56 -0
- package/lib/npm/publish.js +167 -0
- package/lib/npm/registry.js +147 -0
- package/lib/plugin/auto-detect.js +92 -0
- package/lib/plugin/auto-push.js +154 -0
- package/lib/plugin/index.js +250 -0
- package/lib/readme-templates/readme.yml +38 -0
- package/lib/rule/compilers/credential.js +62 -0
- package/lib/rule/compilers/dataflow.js +38 -0
- package/lib/rule/compilers/file-health.js +75 -0
- package/lib/rule/compilers/frontend.js +86 -0
- package/lib/rule/compilers/func.js +35 -0
- package/lib/rule/compilers/helpers.js +71 -0
- package/lib/rule/compilers/index.js +29 -0
- package/lib/rule/compilers/link-semantic.js +45 -0
- package/lib/rule/compilers/list-kinds.js +12 -0
- package/lib/rule/compilers/numeric-kinds.js +66 -0
- package/lib/rule/compilers/regex.js +78 -0
- package/lib/rule/compilers/structure.js +80 -0
- package/lib/rule/compilers.js +17 -0
- package/lib/rule/homoglyph.js +45 -0
- package/lib/rule/loader.js +270 -0
- package/lib/rule/registry.js +115 -0
- package/lib/rule/scope.js +67 -0
- package/lib/score/docs-score.js +166 -0
- package/lib/score/index.js +140 -0
- package/lib/self/index.js +193 -0
- package/lib/skip-dirs.js +64 -0
- package/lib/tool-probes.json +50 -0
- package/lib/user-requirements.json +14 -0
- package/lib/vendor/js-yaml/LICENSE +21 -0
- package/lib/vendor/js-yaml/js-yaml.mjs +3073 -0
- package/package.json +95 -4
- package/scripts/__pycache__/module-splitter.cpython-38.pyc +0 -0
- package/scripts/audit-ext/_example-readme-present.mjs +34 -0
- package/scripts/audit-ext/variable-min-length.mjs +102 -0
- package/scripts/audit-runner.mjs +35 -0
- package/scripts/audit-runtime-check.mjs +129 -0
- package/scripts/browser-page-probe.mjs +271 -0
- package/scripts/build-client.mjs +119 -0
- package/scripts/check.mjs +88 -0
- package/scripts/clean-date-comments.py +102 -0
- package/scripts/doc-drift.mjs +200 -0
- package/scripts/doc-func.mjs +212 -0
- package/scripts/doc-tree.mjs +456 -0
- package/scripts/doc-version.mjs +220 -0
- package/scripts/frontend-preview-check.mjs +124 -0
- package/scripts/hot-path-probe-cjs.cjs +71 -0
- package/scripts/hot-path-probe-fs-shim.mjs +28 -0
- package/scripts/hot-path-probe-fsp-shim.mjs +31 -0
- package/scripts/hot-path-probe.mjs +153 -0
- package/scripts/module-splitter.py +800 -0
- package/scripts/platform-scan.mjs +168 -0
- package/scripts/preview-gen.mjs +489 -0
- package/scripts/preview-local-runner.mjs +55 -0
- package/scripts/preview-server-direct.mjs +116 -0
- package/scripts/preview-server.mjs +305 -0
- package/scripts/preview-slot-data.mjs +123 -0
- package/scripts/probe-recheck.mjs +47 -0
- package/scripts/readme-gen.mjs +268 -0
- package/scripts/rename-locator.mjs +97 -0
- package/scripts/rule-switch.mjs +97 -0
- package/scripts/rules-solo-audit.mjs +173 -0
- package/scripts/scan-file-io.mjs +713 -0
- package/scripts/scan-hardcoded-paths.mjs +125 -0
- package/scripts/scan-repos.mjs +167 -0
- package/scripts/scan-version.mjs +122 -0
- package/scripts/scrub-user-wording.mjs +420 -0
- package/scripts/symbol-index.mjs +85 -0
- package/scripts/sync-plugin-install.mjs +223 -0
- package/scripts/sync-plugin.mjs +279 -0
- package/scripts/verify-prestep.mjs +100 -0
- package/skills/dev/audit-rule-authoring.md +58 -0
- package/skills/dev/dsh-git-push.md +323 -0
- package/skills/dev/git-push-live-fix.md +45 -0
- package/skills/dsh-repo-index.md +35 -0
- package/skills/guide/guide-audit.md +167 -0
- package/skills/guide/guide-cli-scripts.md +104 -0
- package/skills/guide/guide-clone-repos.md +173 -0
- package/skills/guide/guide-commit-push.md +156 -0
- package/skills/guide/guide-inject-ui.md +166 -0
- package/skills/guide/guide-slash-completion.md +118 -0
- package/skills/workflow/README.md +21 -0
- package/skills/workflow/git-commit-discipline.md +68 -0
- package/skills/workflow/git-project-startup.md +85 -0
- package/skills/workflow/git-rebuild-process.md +57 -0
- package/skills/workflow/github-operations.md +91 -0
- package/skills/workflow/readme-sync-git-md.md +28 -0
- package/skills/workflow/task-completion-report.md +73 -0
- package/skills/workflow/tool-json-add-ask.md +35 -0
- package/skills/workflow/versioning-rule.md +211 -0
package/lib/git/clone.js
ADDED
|
@@ -0,0 +1,445 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* Git 执行层 · 克隆
|
|
3
|
+
*
|
|
4
|
+
* 职责:经 GitHub Git Data API 克隆(不依赖本地 git 凭据,SSH 不可用时的通道)。
|
|
5
|
+
*/
|
|
6
|
+
|
|
7
|
+
import { existsSync, mkdirSync, readdirSync, rmSync, statSync, cpSync, writeFileSync, unlinkSync } from 'node:fs';
|
|
8
|
+
import { cloneWithGitFetch } from './clone-history-mode.js';
|
|
9
|
+
import { supportsMetadata } from '../fsx.js';
|
|
10
|
+
import { dirname, join, resolve } from 'node:path';
|
|
11
|
+
import { GH_API, githubFetch, parseGithubOwnerRepo } from './api.js';
|
|
12
|
+
|
|
13
|
+
/* ───────── 克隆结果展示常量 ───────── */
|
|
14
|
+
const FAILED_LIST_MAX = 20; // 失败文件列表上限
|
|
15
|
+
const SKIPPED_LIST_MAX = 50; // 跳过文件列表上限
|
|
16
|
+
import { resolveToken } from './credentials.js';
|
|
17
|
+
// 下载细节(并发 / .part 续传 / 体积守卫 / 进度)全部封装在此,本文件只负责编排
|
|
18
|
+
import { downloadBlobs, partitionBySize, DEFAULT_MAX_FILE_MB, DEFAULT_CONCURRENCY, removeDirForce, PARTS_DIR } from './clone-download.js';
|
|
19
|
+
import { cloneAbortSignal, cloneLog } from './clone-jobs.js';
|
|
20
|
+
import { runGit } from './exec.js';
|
|
21
|
+
|
|
22
|
+
/* ───────────────────────── clone / 建仓 / 可见性 ───────────────────────── */
|
|
23
|
+
|
|
24
|
+
/**
|
|
25
|
+
* 进行中标记文件名(写在 clone 目标目录根部)。
|
|
26
|
+
*
|
|
27
|
+
* 作用:clone 是「先建目录 → 逐个 blob 下载 → git init」的多步过程,中途超时/中断
|
|
28
|
+
* 会留下半成品目录。下次重试时,仅凭「目录非空」无法区分「上次失败的残留」与
|
|
29
|
+
* 「用户自己的项目目录」——前者应自动清理重来,后者绝不能删。
|
|
30
|
+
* 标记文件即这一判据:存在标记 + 无有效提交(.git 无 HEAD)→ 判定为残留。
|
|
31
|
+
*
|
|
32
|
+
* 放在目录内(而非同级旁路)是刻意的:目录被用户整体拷走后标记随之带走,
|
|
33
|
+
* 不会出现「标记在、目录不在」的悬挂状态。
|
|
34
|
+
*/
|
|
35
|
+
const CLONE_MARKER = '.dsh-git-push-cloning';
|
|
36
|
+
|
|
37
|
+
/**
|
|
38
|
+
* 判定目录是否为「上次 clone 失败留下的半成品」。
|
|
39
|
+
*
|
|
40
|
+
* 判据(两者同时满足才算残留,保守优先,宁可让用户手动处理也不误删):
|
|
41
|
+
* 1. 有本次 clone 写入的进行中标记文件;
|
|
42
|
+
* 2. 没有有效提交——`git rev-parse HEAD` 失败,说明 git init/add/commit 未走完。
|
|
43
|
+
* 若已完成提交(clone 实际成功,只是调用方没拿到返回),即使标记残留也不当残留处理,
|
|
44
|
+
* 避免把一份完整克隆当垃圾删掉。
|
|
45
|
+
* @param {string} dir 目标目录
|
|
46
|
+
* @returns {boolean} 是否可按残留清理
|
|
47
|
+
*/
|
|
48
|
+
export function isPartialCloneDir(dir) {
|
|
49
|
+
try {
|
|
50
|
+
if (!existsSync(join(dir, CLONE_MARKER))) return false;
|
|
51
|
+
// 有有效提交 → 是完整仓库,不是残留
|
|
52
|
+
const rc = runGit(['rev-parse', '--verify', 'HEAD'], { cwd: dir });
|
|
53
|
+
return !rc.ok;
|
|
54
|
+
} catch { return false; }
|
|
55
|
+
}
|
|
56
|
+
|
|
57
|
+
/**
|
|
58
|
+
* 统一的「克隆单文件体积上限」解析(MB)——工具路径与 HTTP 路径必须共用同一个默认值。
|
|
59
|
+
*
|
|
60
|
+
* 为什么单独抽出:两条路径此前各自取默认——工具路径把 `undefined` 交给 previewClone
|
|
61
|
+
* (落到 50),HTTP 路径回落 10,于是**同一仓库用不同入口克隆会得到不同结果**:
|
|
62
|
+
* 实测同一仓库工具预览 753 文件 / HTTP 预览 707 文件,44 个 >10MB 的文件在 HTTP 路径
|
|
63
|
+
* 被静默跳过、用户以为克隆完成了。
|
|
64
|
+
* 默认值以配置 schema 为准(与 lib/client/index.js 的 maxCloneFileMB 默认一致)。
|
|
65
|
+
* @param {object} [cfg] 插件运行期配置
|
|
66
|
+
* @returns {number} 体积上限(MB);0 = 不限制
|
|
67
|
+
*/
|
|
68
|
+
export function resolveMaxCloneFileMB(cfg = {}) {
|
|
69
|
+
const n = Number(cfg?.maxCloneFileMB);
|
|
70
|
+
return Number.isFinite(n) && n >= 0 ? n : DEFAULT_MAX_FILE_MB;
|
|
71
|
+
}
|
|
72
|
+
|
|
73
|
+
/**
|
|
74
|
+
* 目标目录是否落在「既有 git 工作树」内部。
|
|
75
|
+
*
|
|
76
|
+
* 为什么必须拦:克隆末尾要 `git init` + `git add -A` + `git commit` 建初始提交。
|
|
77
|
+
* 若目标目录位于某个既有仓库的工作树内(哪怕目标目录本身还不存在),
|
|
78
|
+
* `git init` 在 CIFS 上会因 chmod 失败而**静默留下未初始化的目录**,
|
|
79
|
+
* 随后的 `git add/commit` 便会向上命中父仓库的 .git —— 把父仓库的
|
|
80
|
+
* 全部内容作为一次提交写进父仓库历史(实测发生过,已重置)。
|
|
81
|
+
* 故此处显式拒绝,而不是依赖 git init 是否成功。
|
|
82
|
+
*
|
|
83
|
+
* 判定用 `git rev-parse --show-toplevel`:在任意子目录(含尚不存在的路径)
|
|
84
|
+
* 执行时,只要父链上有 .git 就会返回该仓库根。
|
|
85
|
+
* @param {string} dir 待创建的目标目录(可以尚不存在)
|
|
86
|
+
* @returns {string} 命中的既有仓库根;无则返回空串
|
|
87
|
+
*/
|
|
88
|
+
export function enclosingGitRoot(dir) {
|
|
89
|
+
const target = resolve(dir);
|
|
90
|
+
// 目标目录自身已是独立仓库(有自己的 .git)→ 交给「非空目录拒绝覆盖」处理,
|
|
91
|
+
// 不属于「落在父仓库内」。注意必须在 resolve 后比较**目标自身**,
|
|
92
|
+
// 而不是上溯后的祖先目录(早期实现把祖先误当目标,导致防护被自身短路)。
|
|
93
|
+
if (existsSync(join(target, '.git'))) return '';
|
|
94
|
+
// 从最近的已存在祖先开始探测(目标目录可能还不存在)
|
|
95
|
+
let probe = target;
|
|
96
|
+
while (probe && !existsSync(probe)) {
|
|
97
|
+
const parent = dirname(probe);
|
|
98
|
+
if (parent === probe) return '';
|
|
99
|
+
probe = parent;
|
|
100
|
+
}
|
|
101
|
+
const rc = runGit(['rev-parse', '--show-toplevel'], { cwd: probe });
|
|
102
|
+
if (!rc.ok) return '';
|
|
103
|
+
const root = String(rc.stdout || '').trim();
|
|
104
|
+
// 上溯到的祖先位于某个仓库工作树内 → 该仓库就是会被误写的父仓库
|
|
105
|
+
return root ? root : '';
|
|
106
|
+
}
|
|
107
|
+
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
/**
|
|
111
|
+
* clone(只走 api.github.com Git Data API:git/trees + git/blobs,不直连 github.com)。
|
|
112
|
+
* /tmp 中转建仓后整拷目标(兼容 CIFS 卷)。origin 写成 api.github.com/repos/o/r。
|
|
113
|
+
* @returns {{ok, owner?, repo?, branch?, commitSha?, dest?, files?, error?}}
|
|
114
|
+
*/
|
|
115
|
+
export async function cloneViaApi({
|
|
116
|
+
target = '', dest = '', token = '', branch = '',
|
|
117
|
+
// 体积守卫:超过该值(MB)的文件不下载并如实告知;0 = 不限制
|
|
118
|
+
maxFileMB = DEFAULT_MAX_FILE_MB,
|
|
119
|
+
// 并发下载数:串行(1)最慢,过高会撞 GitHub 风控
|
|
120
|
+
concurrency = DEFAULT_CONCURRENCY,
|
|
121
|
+
// 进度回调(可选):{done,total,transferred,totalBytes,failed}
|
|
122
|
+
onProgress = null,
|
|
123
|
+
// 真实历史模式(默认关):开启后用 GitHub Git Data API 按 parent 链**重建真实提交历史**
|
|
124
|
+
// (可推回远端、可 git log 读演进);关闭时走下面的整树快照快路径,行为与本参数引入前完全一致。
|
|
125
|
+
history = false,
|
|
126
|
+
// 历史模式拉链深度上限(条);不传则用 clone-history 的默认值
|
|
127
|
+
historyDepth = undefined,
|
|
128
|
+
// 显式「重来」(前端「发现不完整克隆」弹窗里选「重来」时传 true):
|
|
129
|
+
// 在保留已下完整文件的前提下,额外清掉分片目录,使未下完的文件从零重下、不沿用上一轮断点。
|
|
130
|
+
restart = false,
|
|
131
|
+
} = {}) {
|
|
132
|
+
const pr = parseGithubOwnerRepo(target);
|
|
133
|
+
if (!pr) return { ok: false, error: `无法解析 target(${target}):需要 owner/repo 或 github URL` };
|
|
134
|
+
const { owner, repo } = pr;
|
|
135
|
+
// 拒绝克隆到既有仓库的工作树内——**必须放在任何网络/目录操作之前**。
|
|
136
|
+
// 此前它排在「查仓库 meta + 拉 tree」之后:匿名/限流场景下会先撞 HTTP 403 返回,
|
|
137
|
+
// 防护分支根本走不到(实测:test-self 的防护用例拿到「仓库查询失败: HTTP 403」而非本错误)。
|
|
138
|
+
// 前移后既保证「先判后动」,也让该防护完全不依赖网络。
|
|
139
|
+
const targetDir = dest || join(process.cwd(), repo);
|
|
140
|
+
const hostRoot = enclosingGitRoot(targetDir);
|
|
141
|
+
if (hostRoot) {
|
|
142
|
+
return {
|
|
143
|
+
ok: false,
|
|
144
|
+
error: `目标目录位于既有 git 仓库内(${hostRoot})——拒绝克隆:`
|
|
145
|
+
+ `后续 git init/add/commit 会写入该仓库历史。请改用仓库外的目录。`,
|
|
146
|
+
hostRepo: hostRoot,
|
|
147
|
+
};
|
|
148
|
+
}
|
|
149
|
+
const tok = token || resolveToken({ tokenPath: process.env.DSH_GIT_PUSH_TOKEN ? undefined : '', repoPath: '' }).token;
|
|
150
|
+
const api = (path, method = 'GET', body) => githubFetch(`/repos/${owner}/${repo}${path}`, { token: tok, method, body });
|
|
151
|
+
const meta = await api('');
|
|
152
|
+
if (meta.status !== 200) return { ok: false, error: meta.error || `仓库查询失败: HTTP ${meta.status}` };
|
|
153
|
+
const useBranch = branch || meta.json?.default_branch || 'master';
|
|
154
|
+
const treeRes = await api(`/git/trees/${useBranch}?recursive=1`);
|
|
155
|
+
if (treeRes.status !== 200) return { ok: false, error: treeRes.error || `tree 拉取失败: HTTP ${treeRes.status}` };
|
|
156
|
+
const commitSha = treeRes.json?.sha || '';
|
|
157
|
+
// 目标位于既有仓库工作树内的防护已**前移到函数开头**(联网之前判定,见上方注释)。
|
|
158
|
+
// 非空目录拒绝覆盖(防误覆盖已有内容)。
|
|
159
|
+
// 此前「目录已存在且非空」是**永久性**拒绝——clone 中途超时/中断会
|
|
160
|
+
// 在 dest 留下半成品目录,用户再点一次 clone 就撞上这句、且无法自愈(实测复现)。
|
|
161
|
+
// 现在只在「看起来是上次 clone 残留」时自动清理并重来;真正的用户目录仍拒绝。
|
|
162
|
+
const destExisted = existsSync(targetDir);
|
|
163
|
+
let isPartialClone = destExisted && isPartialCloneDir(targetDir);
|
|
164
|
+
// 追加:目录里只剩 .dsh-parts(上次下载阶段留下的分片目录)时,
|
|
165
|
+
// 标记文件可能已因中途被杀而缺失,isPartialCloneDir 会判 false 而把目录当成
|
|
166
|
+
// 「用户自有内容」永久拒绝——用户重试只能一直撞墙。故把「只有 .dsh-parts」
|
|
167
|
+
// 也认定为可自愈残留(.dsh-parts 是本插件专有目录名,用户不会自建)。
|
|
168
|
+
if (destExisted && !isPartialClone) {
|
|
169
|
+
try {
|
|
170
|
+
const top = readdirSync(targetDir);
|
|
171
|
+
if (top.length > 0 && top.every((n) => n === PARTS_DIR)) isPartialClone = true;
|
|
172
|
+
} catch { /* 读不到就按原判定处理 */ }
|
|
173
|
+
}
|
|
174
|
+
try {
|
|
175
|
+
if (destExisted && readdirSync(targetDir).length > 0) {
|
|
176
|
+
if (!isPartialClone) return { ok: false, error: `目标目录已存在且非空: ${targetDir}` };
|
|
177
|
+
// 残留清理:仅删「本插件上次失败留下的」目录(有标记文件且无有效提交)。
|
|
178
|
+
// 清理前**必须先中止**同目录正在跑的下载——否则 worker 会边删边写,
|
|
179
|
+
// rmdir 报 ENOTEMPTY(「创建目录失败」),且那个 worker 无人回收、
|
|
180
|
+
// 任务标记失败后仍继续下载(实测:字节数持续增长、句柄不释放)。
|
|
181
|
+
if (cloneAbortSignal()) {
|
|
182
|
+
cloneLog('cleanup-abort-first', { dest: targetDir });
|
|
183
|
+
const { abortCloneJob } = await import('./clone-jobs.js');
|
|
184
|
+
abortCloneJob('cleanup-partial-dir');
|
|
185
|
+
}
|
|
186
|
+
// 显式「重来」(restart):默认路径**保留** .dsh-parts 以便 Range 续传(见下方注释),
|
|
187
|
+
// 而「重来」的语义正相反——丢弃上一轮的断点、未下完的文件从零重下。
|
|
188
|
+
// 安全边界不变:只删 .dsh-parts(本插件专有目录),最终路径上的已下文件与用户内容一律不动
|
|
189
|
+
// (分片只在 rename 前存在且必过长度校验,删掉它们不会污染任何成品)。
|
|
190
|
+
if (restart) {
|
|
191
|
+
try {
|
|
192
|
+
rmSync(join(targetDir, PARTS_DIR), { recursive: true, force: true });
|
|
193
|
+
cloneLog('restart-cleared-parts', { dest: targetDir });
|
|
194
|
+
} catch { /* 删不掉则按续传继续,不阻断克隆 */ }
|
|
195
|
+
}
|
|
196
|
+
// 改:**只删分片目录,保留已下好的文件**以支持续传。
|
|
197
|
+
// 原实现 removeDirForce(targetDir) 会把整个目录删光——104MB 已下内容因
|
|
198
|
+
// 1 个文件失败全部丢弃,下次从零重下(CIFS 上代价极高)。
|
|
199
|
+
// 保留是安全的,因为最终路径上的文件必然是完整的:
|
|
200
|
+
// downloadBlobs 先写 .part → **长度校验通过** → rename 到最终路径(原子);
|
|
201
|
+
// 长度不符时直接 return 失败,根本不会 rename。
|
|
202
|
+
// 故这里**既不删目录也不删分片**,只移除旧标记。
|
|
203
|
+
//
|
|
204
|
+
// 再修:原先是 `removeDirForce(partsPath)`(清掉整个 .dsh-parts)。
|
|
205
|
+
// 实测证明这会**彻底废掉大文件的续传**:gallery 剩 4 个 7~15MB 的库,
|
|
206
|
+
// 每轮都在**下载前**把上一轮下到一半的 .part 分片删掉,于是永远从 0 开始,
|
|
207
|
+
// 网络一抖就超时、白下,连跑 3 轮都停在 95/99 不动。
|
|
208
|
+
// 现在保留 .dsh-parts:fetchToFile 会用 Range 从中断处续传(已有实现),
|
|
209
|
+
// 未下完的分片得以跨轮累积,大文件最终能下完。
|
|
210
|
+
// 安全性不变:分片只在 .dsh-parts 内,rename 到最终路径前必过长度校验,
|
|
211
|
+
// 故残留分片不会污染成品;目录内仍无 .git,不会被误判为完整仓库。
|
|
212
|
+
const markerPath = join(targetDir, CLONE_MARKER);
|
|
213
|
+
if (existsSync(markerPath)) {
|
|
214
|
+
try { unlinkSync(markerPath); } catch { /* 标记已不在则忽略 */ }
|
|
215
|
+
}
|
|
216
|
+
cloneLog('resume-kept-files', { dest: targetDir, by: 'partial-clone' });
|
|
217
|
+
}
|
|
218
|
+
mkdirSync(targetDir, { recursive: true });
|
|
219
|
+
// 写入进行中标记:中途超时/被杀可据此识别残留,供下次重试自愈
|
|
220
|
+
writeFileSync(join(targetDir, CLONE_MARKER), String(Date.now()));
|
|
221
|
+
} catch (e) {
|
|
222
|
+
cloneLog('mkdir-fail', { dest: targetDir, error: e?.message || String(e) });
|
|
223
|
+
return { ok: false, error: `创建目录失败: ${e?.message || e}` };
|
|
224
|
+
}
|
|
225
|
+
// CIFS 挂载(nounix)上 chmod 必然 EPERM:可执行位保真做不到。
|
|
226
|
+
// 探测一次写进结果,让调用方知道「克隆成功但可执行位未保真」,而非静默退化。
|
|
227
|
+
const metaOk = supportsMetadata(targetDir);
|
|
228
|
+
|
|
229
|
+
// ── 真实历史模式:**必须在此提前分流,不能复用上面的整树快照下载** ──
|
|
230
|
+
// 原因(正确性,不是优化):快路径会先把「HEAD 整棵树」铺进工作区;
|
|
231
|
+
// 而重放是**按父提交算差异**的——带着 HEAD 才有的文件去重放根提交,
|
|
232
|
+
// 会把该提交的 tree 污染成 HEAD 的样子,重建出的中间提交与远端不一致
|
|
233
|
+
// ⇒ sha 不同 ⇒ 祖先关系断裂 ⇒ 恰恰失去了本模式存在的意义(推不回远端)。
|
|
234
|
+
// 故 history 模式从**空工作区**开始,由重放逐条落盘;总量通常仍 ≤ HEAD 树文件数
|
|
235
|
+
// (同一文件只在首次变更时下载),故分流不会更慢。
|
|
236
|
+
// 快路径一行未动:不传 history 时的行为与本参数引入前完全一致。
|
|
237
|
+
if (history) {
|
|
238
|
+
// 真实历史模式:**必须在重放前删掉「进行中」标记**,否则它会被 git add -A -f 一起提交进树。
|
|
239
|
+
// 真仓库 e2e 实测:本地跟踪 28 个文件 vs 远端 27 个 blob,多出来的正是 .dsh-git-push-cloning;
|
|
240
|
+
// 而远端 27 个文件的内容逐字节全部相符 ⇒ 每条提交的 tree/sha 只差这一个文件。
|
|
241
|
+
// 失败时再补写回去,保留「残留目录可自愈」的语义(见下方失败分支)。
|
|
242
|
+
try { unlinkSync(join(targetDir, CLONE_MARKER)); } catch { /* 标记本就不在则忽略 */ }
|
|
243
|
+
const hist = await cloneWithGitFetch({
|
|
244
|
+
owner, repo, branch: useBranch, repoPath: targetDir, depth: historyDepth,
|
|
245
|
+
});
|
|
246
|
+
if (!hist.ok) {
|
|
247
|
+
// 重放失败:把「进行中」标记补写回去,使该目录仍被识别为可自愈的残留(下次可续跑)
|
|
248
|
+
try { writeFileSync(join(targetDir, CLONE_MARKER), String(Date.now())); } catch { /* 写不回也不阻断 */ }
|
|
249
|
+
return {
|
|
250
|
+
ok: false,
|
|
251
|
+
// 与快路径同形:给出可续传语义与进度(重放标记已落盘,再次调用会从断点继续)
|
|
252
|
+
error: `真实历史克隆未完成:${hist.error}`
|
|
253
|
+
+ `(已重放 ${hist.replayed}/${hist.count} 条提交,再次点击可从断点续传)`,
|
|
254
|
+
owner, repo, branch: useBranch, dest: targetDir,
|
|
255
|
+
history: true, replayed: hist.replayed, count: hist.count, truncated: hist.truncated,
|
|
256
|
+
cleaned: false, kept: true, resumable: true,
|
|
257
|
+
};
|
|
258
|
+
}
|
|
259
|
+
try { unlinkSync(join(targetDir, CLONE_MARKER)); } catch { /* 标记本就不在则忽略 */ }
|
|
260
|
+
return {
|
|
261
|
+
ok: true, owner, repo, branch: useBranch, dest: targetDir,
|
|
262
|
+
commitSha: hist.headSha, method: 'api-history', history: true,
|
|
263
|
+
commits: hist.count, replayed: hist.replayed, truncated: hist.truncated,
|
|
264
|
+
resumedFrom: hist.resumedFrom,
|
|
265
|
+
// 与快路径保持同一套元数据语义
|
|
266
|
+
modePreserved: metaOk, metadataSupported: metaOk,
|
|
267
|
+
};
|
|
268
|
+
}
|
|
269
|
+
|
|
270
|
+
// 体积守卫 + 并发下载 + 断点续传(实现见 clone-download.js)。
|
|
271
|
+
// 此前是「逐文件串行 + 一个 blob 一次请求」:154MB 的仓库要发 99 次串行请求,
|
|
272
|
+
// 单文件 30MB 的传输会把前端请求拖到超时(用户实测 signal timed out)。
|
|
273
|
+
const allBlobs = (treeRes.json?.tree || []).filter((t) => t.type === 'blob' && t.path);
|
|
274
|
+
const { download, skipped } = partitionBySize(allBlobs, maxFileMB);
|
|
275
|
+
const dl = await downloadBlobs({
|
|
276
|
+
// 必须传解析后的 tok,不能传入参 token:
|
|
277
|
+
// 入参未显式给 token 时是空串,而私有仓下载不带凭据一律 404
|
|
278
|
+
// (API 调用那几行走的是 tok 所以正常,下载这里曾漏改 → 私有仓 95/99 文件失败)。
|
|
279
|
+
blobs: download, targetDir, owner, repo, branch: useBranch, token: tok,
|
|
280
|
+
concurrency, onProgress: onProgress || null,
|
|
281
|
+
// 必须传 signal:清理同目录残留前会 abort,worker 据此退出。
|
|
282
|
+
// 前此处漏传,导致 abort 机制在真实路径上完全不生效——
|
|
283
|
+
// 任务已判失败、worker 仍在写盘(用户实测「报错停止了其实还在下载」)。
|
|
284
|
+
signal: cloneAbortSignal(),
|
|
285
|
+
});
|
|
286
|
+
const failed = dl.failed;
|
|
287
|
+
const files = dl.files;
|
|
288
|
+
|
|
289
|
+
const total = (treeRes.json?.tree || []).filter((t) => t.type === 'blob').length;
|
|
290
|
+
// 有文件没拉下来 → 不是一次完整克隆。
|
|
291
|
+
//
|
|
292
|
+
// 改:**不再删掉整个目录**,改为保留已下好的文件、只留标记。
|
|
293
|
+
// 原实现(cleanupPartial 删光 targetDir)的理由是「避免下次 clone 撞已存在且非空」,
|
|
294
|
+
// 但那个问题**已由 isPartialCloneDir + 标记文件解决**,不再需要靠删目录规避;
|
|
295
|
+
// 而删目录的代价极高且已造成实际损失:
|
|
296
|
+
// · 实测 104MB 已下内容因 1 个文件失败被全部丢弃,下次重试从零重下(CIFS 上百 MB 极慢);
|
|
297
|
+
// · 更严重的是它**静默删掉了目标目录的一切**——实测 gallery 目录即因此整个消失。
|
|
298
|
+
// 保留是安全的:下载失败发生在 git init/add/commit(见下方)**之前**,
|
|
299
|
+
// 故此目录内没有 .git、不会被误认为完整仓库;标记文件仍在,
|
|
300
|
+
// 下次 clone 会被 isPartialCloneDir 判为残留并**续传**(.part 断点续传已在 clone-download 中实现)。
|
|
301
|
+
if (failed.length > 0) {
|
|
302
|
+
const cause = classifyCloneFailure(failed);
|
|
303
|
+
cloneLog('clone-incomplete-kept', {
|
|
304
|
+
dest: targetDir, failed: failed.length, total, cause, files,
|
|
305
|
+
});
|
|
306
|
+
return {
|
|
307
|
+
ok: false,
|
|
308
|
+
// 文案按「真实成因」给:401/404 这类重试无用,必须说清要改什么,
|
|
309
|
+
// 否则用户会陷入无意义的重试循环(此前前端把一切归为「网络问题」)。
|
|
310
|
+
error: `克隆未完成:${failed.length}/${total} 个文件拉取失败${CAUSE_TEXT[cause] || ''}`
|
|
311
|
+
+ `(已下好的 ${files} 个文件已保留,再次点击可续传)`,
|
|
312
|
+
cause, retriable: CAUSE_RETRIABLE[cause] === true,
|
|
313
|
+
owner, repo, branch: useBranch, commitSha, dest: targetDir,
|
|
314
|
+
files, total, failed: failed.slice(0, FAILED_LIST_MAX), failedCount: failed.length,
|
|
315
|
+
skipped: skipped.slice(0, SKIPPED_LIST_MAX), skippedCount: skipped.length,
|
|
316
|
+
// 语义变更:不再是「已清理」,而是「已保留、可续传」
|
|
317
|
+
cleaned: false, kept: true, resumable: true,
|
|
318
|
+
};
|
|
319
|
+
}
|
|
320
|
+
|
|
321
|
+
// 转成 git 仓库并设 origin
|
|
322
|
+
// 先删「进行中」标记:与 history 模式同理,它若留在目录里会被 git add -A 一并提交,
|
|
323
|
+
// 使快照提交多出一个本不该存在的文件(此前实测残留在仓库里,需人工清理)。
|
|
324
|
+
try { unlinkSync(join(targetDir, CLONE_MARKER)); } catch { /* 标记本就不在则忽略 */ }
|
|
325
|
+
for (const args of [
|
|
326
|
+
['init', '-q'], ['add', '-A'], ['-c', 'user.email=v2-clone@local', '-c', 'user.name=v2-clone', 'commit', '-q', '-m', `clone from ${owner}/${repo}@${useBranch}`],
|
|
327
|
+
]) {
|
|
328
|
+
runGit(args, { cwd: targetDir });
|
|
329
|
+
}
|
|
330
|
+
runGit(['remote', 'add', 'origin', `${GH_API}/repos/${owner}/${repo}`], { cwd: targetDir });
|
|
331
|
+
|
|
332
|
+
// 成功:移除进行中标记,此后该目录不再被当作「可清理的残留」
|
|
333
|
+
try { unlinkSync(join(targetDir, CLONE_MARKER)); } catch { /* 标记本就不在则忽略 */ }
|
|
334
|
+
return {
|
|
335
|
+
ok: true, owner, repo, branch: useBranch, commitSha, dest: targetDir, files, method: 'api',
|
|
336
|
+
// 体积守卫跳过的文件必须如实回传:否则用户以为克隆完整,用到才发现缺东西
|
|
337
|
+
skipped: skipped.slice(0, SKIPPED_LIST_MAX), skippedCount: skipped.length,
|
|
338
|
+
total,
|
|
339
|
+
// 目标文件系统不支持元数据(CIFS)时,可执行位保真会降级;
|
|
340
|
+
// 显式回传实际状态,避免调用方以为权限已按 mode 100755 设好。
|
|
341
|
+
modePreserved: metaOk && dl.modePreserved,
|
|
342
|
+
metadataSupported: metaOk,
|
|
343
|
+
};
|
|
344
|
+
}
|
|
345
|
+
|
|
346
|
+
/**
|
|
347
|
+
* 清理 clone 失败留下的半成品目录。
|
|
348
|
+
*
|
|
349
|
+
* **当前无调用者**(起失败路径改为保留文件以支持续传,见上面失败分支的注释)。
|
|
350
|
+
* 保留而非删除的理由:它是失败收尾的兜底手段,若将来需要「彻底放弃某次克隆」的入口
|
|
351
|
+
* (例如用户显式要求丢弃半成品),应复用它而不是重新写一遍删除逻辑。
|
|
352
|
+
* 注意 removeDirForce 会**递归删除整个目录**——调用前必须确认目录确属本插件创建的残留
|
|
353
|
+
* (有 CLONE_MARKER 且无有效 HEAD),否则会删掉用户内容。实测已发生过一次:孤儿 clone
|
|
354
|
+
* 跑完失败路径后删掉了整个 gallery 目录,104MB 内容不可恢复。
|
|
355
|
+
* @param {string} dir 目标目录
|
|
356
|
+
*/
|
|
357
|
+
async function cleanupPartial(dir) {
|
|
358
|
+
// 用 removeDirForce 而非 rmSync:CIFS 上 rm 会因「边删边写」报 ENOTEMPTY,
|
|
359
|
+
// 而这里是失败路径的收尾,清理不彻底会留下残留让下次重试再次撞墙。
|
|
360
|
+
try { await removeDirForce(dir); } catch { /* 清理失败不掩盖真实错误 */ }
|
|
361
|
+
}
|
|
362
|
+
|
|
363
|
+
/**
|
|
364
|
+
* clone 失败成因分类(供前端显示可操作的处置建议,而非笼统「网络问题」)。
|
|
365
|
+
*
|
|
366
|
+
* 为什么需要:失败原因决定「要不要重试」——401/404 重试永远失败,必须换 token
|
|
367
|
+
* 或改 owner/repo;而超时/限流/5xx 等待后重试才是对的。若一律提示「可重试」,
|
|
368
|
+
* 用户会在无解的错误上反复点。
|
|
369
|
+
*
|
|
370
|
+
* 取所有失败里**最具决定性**的一条:只要有一个凭据/不存在类失败,整体就按它定性
|
|
371
|
+
* (即使同时还有超时——先解决必然失败的那个)。
|
|
372
|
+
* @param {Array<{path,status,reason}>} failed 失败明细
|
|
373
|
+
* @returns {string} auth | notfound | ratelimit | network | server | disk | unknown
|
|
374
|
+
*/
|
|
375
|
+
export function classifyCloneFailure(failed = []) {
|
|
376
|
+
const statuses = failed.map((f) => Number(f?.status));
|
|
377
|
+
const isDisk = failed.some((f) => Number(f?.status) === -1 && /写盘|symlink/.test(String(f?.reason || '')));
|
|
378
|
+
// 认证类(401/403):无权限或 token 失效——重试无用
|
|
379
|
+
if (statuses.includes(401)) return 'auth';
|
|
380
|
+
if (statuses.includes(403)) return 'ratelimit'; // 403 多为限流;错误文案会带出 GitHub 原文
|
|
381
|
+
if (statuses.includes(404)) return 'notfound';
|
|
382
|
+
if (statuses.includes(429)) return 'ratelimit';
|
|
383
|
+
// 只剩 status 0(超时/断网/DNS)与 5xx
|
|
384
|
+
if (statuses.some((st) => st >= 500)) return 'server';
|
|
385
|
+
if (isDisk) return 'disk';
|
|
386
|
+
if (statuses.includes(0)) return 'network';
|
|
387
|
+
return 'unknown';
|
|
388
|
+
}
|
|
389
|
+
|
|
390
|
+
/** 成因 → 补充说明(拼在错误信息尾部,直接告诉用户下一步做什么) */
|
|
391
|
+
const CAUSE_TEXT = {
|
|
392
|
+
auth: '——凭据无效或无权访问:请更新 token / 确认该仓库权限后重试',
|
|
393
|
+
notfound: '——仓库不存在或为私有:请确认 owner/repo 是否正确、token 是否可见该仓库',
|
|
394
|
+
ratelimit: '——触发限流(GitHub 限速或权限不足)',
|
|
395
|
+
server: '——GitHub 服务端错误',
|
|
396
|
+
network: '——网络超时/中断',
|
|
397
|
+
disk: '——本地写入失败:请检查目标目录权限与磁盘空间',
|
|
398
|
+
unknown: '',
|
|
399
|
+
};
|
|
400
|
+
|
|
401
|
+
/** 成因 → 是否值得直接重试(false 时前端不应提示「可直接重试」) */
|
|
402
|
+
const CAUSE_RETRIABLE = {
|
|
403
|
+
auth: false, notfound: false, ratelimit: true, server: true, network: true, disk: true, unknown: true,
|
|
404
|
+
};
|
|
405
|
+
|
|
406
|
+
/**
|
|
407
|
+
* 预览一次 clone:先取 tree 并按体积阈值分组,**不下载任何文件**。
|
|
408
|
+
*
|
|
409
|
+
* 为什么需要:用户点 clone 前应知道「会拿到什么、会跳过什么」。直接开下再报告
|
|
410
|
+
* 等于把「悄悄少文件」推迟到用户使用时才发现。预览也让前端能提前显示总量、
|
|
411
|
+
* 算出进度百分比。
|
|
412
|
+
* @param {{target:string, token?:string, branch?:string, maxFileMB?:number}} o
|
|
413
|
+
* @returns {Promise<object>} { ok, owner, repo, branch, totalFiles, downloadCount,
|
|
414
|
+
* downloadBytes, skipped, skippedCount, skippedBytes, empty }
|
|
415
|
+
*/
|
|
416
|
+
export async function previewClone({ target = '', token = '', branch = '', maxFileMB = DEFAULT_MAX_FILE_MB } = {}) {
|
|
417
|
+
const pr = parseGithubOwnerRepo(target);
|
|
418
|
+
if (!pr) return { ok: false, error: `无法解析 target(${target}):需要 owner/repo 或 github URL` };
|
|
419
|
+
const { owner, repo } = pr;
|
|
420
|
+
const api = (path, method = 'GET') => githubFetch(`/repos/${owner}/${repo}${path}`, { token, method });
|
|
421
|
+
const meta = await api('');
|
|
422
|
+
if (meta.status !== 200) {
|
|
423
|
+
return { ok: false, status: meta.status, error: `读取仓库信息失败(HTTP ${meta.status})${meta.error ? ': ' + meta.error : ''}` };
|
|
424
|
+
}
|
|
425
|
+
const useBranch = branch || meta.json?.default_branch || 'main';
|
|
426
|
+
const treeRes = await api(`/git/trees/${encodeURIComponent(useBranch)}?recursive=1`);
|
|
427
|
+
if (treeRes.status !== 200) {
|
|
428
|
+
return { ok: false, status: treeRes.status, error: `读取文件列表失败(HTTP ${treeRes.status})${treeRes.error ? ': ' + treeRes.error : ''}` };
|
|
429
|
+
}
|
|
430
|
+
const allBlobs = (treeRes.json?.tree || []).filter((t) => t.type === 'blob' && t.path);
|
|
431
|
+
const { download, skipped } = partitionBySize(allBlobs, maxFileMB);
|
|
432
|
+
return {
|
|
433
|
+
ok: true,
|
|
434
|
+
owner, repo, branch: useBranch,
|
|
435
|
+
totalFiles: allBlobs.length,
|
|
436
|
+
downloadCount: download.length,
|
|
437
|
+
downloadBytes: download.reduce((s, b) => s + (Number(b.size) || 0), 0),
|
|
438
|
+
skipped: skipped.slice(0, SKIPPED_LIST_MAX),
|
|
439
|
+
skippedCount: skipped.length,
|
|
440
|
+
skippedBytes: skipped.reduce((s, b) => s + (Number(b.size) || 0), 0),
|
|
441
|
+
maxFileMB,
|
|
442
|
+
// 全被跳过时前端应强提示:否则会得到一个空目录
|
|
443
|
+
empty: allBlobs.length > 0 && download.length === 0,
|
|
444
|
+
};
|
|
445
|
+
}
|
package/lib/git/cloud.js
ADDED
|
@@ -0,0 +1,46 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* Git 执行层 · 云端仓库列表(账号卡片「云端」面板)
|
|
3
|
+
*
|
|
4
|
+
* 用 GitHub token 列账号名下仓库(GET /user/repos),供手动 clone。
|
|
5
|
+
* 网络出口仅 api.github.com(githubFetch 硬闸)。
|
|
6
|
+
*/
|
|
7
|
+
|
|
8
|
+
import { githubFetch } from './api.js';
|
|
9
|
+
import { resolveToken } from './credentials.js';
|
|
10
|
+
|
|
11
|
+
/* ───────── 云端仓库列表常量 ───────── */
|
|
12
|
+
const CLOUD_LIST_TIMEOUT_MS = 20_000; // 列表拉取超时
|
|
13
|
+
const DESC_MAX_LEN = 120; // 仓库描述截断长度
|
|
14
|
+
|
|
15
|
+
/**
|
|
16
|
+
* 列账号名下 GitHub 仓库(按最近更新排序,含协作仓库)。
|
|
17
|
+
* @param {object} [opts] { token, perPage=100 }
|
|
18
|
+
* @returns {Promise<{ok:boolean, loggedIn?:boolean, count?:number, repos?:Array, error?}>}
|
|
19
|
+
* repos[i] = { fullName, name, private, defaultBranch, pushedAt, description, cloneUrl }
|
|
20
|
+
*/
|
|
21
|
+
export async function listCloudRepos({ token = '', perPage = 100 } = {}) {
|
|
22
|
+
const tok = token || resolveToken({}).token;
|
|
23
|
+
if (!tok) return { ok: false, loggedIn: false, error: '未配置 GitHub Token(请到「设置」选项卡填写后重试)' };
|
|
24
|
+
const resp = await githubFetch(
|
|
25
|
+
`/user/repos?per_page=${Number(perPage) || 100}&sort=updated&affiliation=owner,collaborator`,
|
|
26
|
+
{ token: tok, timeout: CLOUD_LIST_TIMEOUT_MS },
|
|
27
|
+
);
|
|
28
|
+
if (resp.status !== 200 || !Array.isArray(resp.json)) {
|
|
29
|
+
const msg = resp.json?.message || resp.error || `HTTP ${resp.status}`;
|
|
30
|
+
return {
|
|
31
|
+
ok: false,
|
|
32
|
+
loggedIn: true,
|
|
33
|
+
error: /Bad credentials|401/.test(String(msg)) ? 'Token 无效(Bad credentials)' : `拉取仓库列表失败: ${msg}`,
|
|
34
|
+
};
|
|
35
|
+
}
|
|
36
|
+
const repos = resp.json.map((r) => ({
|
|
37
|
+
fullName: r.full_name || '',
|
|
38
|
+
name: r.name || '',
|
|
39
|
+
private: !!r.private,
|
|
40
|
+
defaultBranch: r.default_branch || '',
|
|
41
|
+
pushedAt: r.pushed_at || '',
|
|
42
|
+
description: String(r.description || '').slice(0, DESC_MAX_LEN),
|
|
43
|
+
cloneUrl: r.clone_url || '',
|
|
44
|
+
}));
|
|
45
|
+
return { ok: true, loggedIn: true, count: repos.length, repos };
|
|
46
|
+
}
|
|
@@ -0,0 +1,141 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* Git 执行层 · 提交信息组装(message 参数支持「数组 / 结构化条目」)。
|
|
3
|
+
*
|
|
4
|
+
* 背景:`message` 原先只接受一个字符串,多项变更只能手写成一坨自由文本,
|
|
5
|
+
* 于是「改了什么 / 为什么改 / 怎么验证的」只能靠人自觉,格式也难统一。
|
|
6
|
+
* 现在改为:**传数组**,由插件统一组装成规范提交信息(标题 + 正文 + 脚注)。
|
|
7
|
+
*
|
|
8
|
+
* 支持的入参形态(向后兼容,字符串原样透传):
|
|
9
|
+
* ① string —— 原样使用(不改一个字符,保证既有调用/CLI/auto-push 行为不变)
|
|
10
|
+
* ② Array<string | object> —— 混用:字符串即「一条变更」,对象见下
|
|
11
|
+
* ③ { subject?: string, items: Array<string | object> }
|
|
12
|
+
* —— 显式指定标题;此时**所有** items 都落正文
|
|
13
|
+
*
|
|
14
|
+
* 条目对象的字段(仅 what 必填,其余可空):
|
|
15
|
+
* · what (必填)这一条改了什么,一句话
|
|
16
|
+
* · type (可空)feat / fix / docs / chore …(不写则不加前缀,不臆造类型)
|
|
17
|
+
* · scope (可空)影响范围,如 push / npm
|
|
18
|
+
* · why (可空)为什么改(问题/背景)——汇总到「为什么改」段
|
|
19
|
+
* · verify (可空)怎么验证的(测试/门禁/实测)——汇总到「验证」段
|
|
20
|
+
* · refs (可空)关联项,如 `Closes #45` —— 作为末尾脚注
|
|
21
|
+
*
|
|
22
|
+
* 组装规则(可预测,不猜):
|
|
23
|
+
* · 标题:显式 subject 优先;否则取首条(`type(scope): what`,无 type 时就是 what)
|
|
24
|
+
* · 正文要点:未被用作标题的条目,逐条 `- what`(显式 subject 时全部进要点)
|
|
25
|
+
* · 「为什么改」「验证」段:收集所有条目的 why / verify(去重,保留顺序)
|
|
26
|
+
* · 脚注:收集所有条目的 refs
|
|
27
|
+
*
|
|
28
|
+
* 设计约束:纯函数、零 IO;不联网、不读配置;不做格式校验(校验是另一件事,本模块只管组装)。
|
|
29
|
+
*/
|
|
30
|
+
|
|
31
|
+
/** 允许的 type(用于组装标题前缀;未在表内的 type 不推断、原样透传)。 */
|
|
32
|
+
export const COMMIT_TYPES = ['feat', 'fix', 'docs', 'test', 'refactor', 'perf', 'chore', 'release', 'build', 'ci', 'style', 'revert'];
|
|
33
|
+
|
|
34
|
+
/** 取字符串字段(trim;非字符串返回空串)。 */
|
|
35
|
+
function str(v) {
|
|
36
|
+
return typeof v === 'string' ? v.trim() : (v === undefined || v === null ? '' : String(v).trim());
|
|
37
|
+
}
|
|
38
|
+
|
|
39
|
+
/** 去重且保留首次出现顺序。 */
|
|
40
|
+
function uniq(list) {
|
|
41
|
+
const seen = new Set();
|
|
42
|
+
const out = [];
|
|
43
|
+
for (const x of list) {
|
|
44
|
+
const k = String(x);
|
|
45
|
+
if (seen.has(k)) continue;
|
|
46
|
+
seen.add(k);
|
|
47
|
+
out.push(x);
|
|
48
|
+
}
|
|
49
|
+
return out;
|
|
50
|
+
}
|
|
51
|
+
|
|
52
|
+
/**
|
|
53
|
+
* 归一化单个条目。字符串 → { what };对象 → 取 what/title/desc 中第一个非空的作为 what。
|
|
54
|
+
* 无效条目(缺 what)返回 null,由调用方过滤——**不报错、不臆造内容**。
|
|
55
|
+
*/
|
|
56
|
+
function normalizeItem(el) {
|
|
57
|
+
if (typeof el === 'string') {
|
|
58
|
+
const what = el.trim();
|
|
59
|
+
return what ? { what } : null;
|
|
60
|
+
}
|
|
61
|
+
if (el && typeof el === 'object' && !Array.isArray(el)) {
|
|
62
|
+
// 容错接受 title / desc 作为 what 的别名(调用方习惯不同,但语义只有一个:改了什么)
|
|
63
|
+
const what = str(el.what) || str(el.title) || str(el.desc);
|
|
64
|
+
if (!what) return null;
|
|
65
|
+
return {
|
|
66
|
+
type: str(el.type),
|
|
67
|
+
scope: str(el.scope),
|
|
68
|
+
what,
|
|
69
|
+
why: str(el.why),
|
|
70
|
+
verify: str(el.verify),
|
|
71
|
+
refs: str(el.refs),
|
|
72
|
+
};
|
|
73
|
+
}
|
|
74
|
+
return null;
|
|
75
|
+
}
|
|
76
|
+
|
|
77
|
+
/** 生成标题:有 type 且合法时用 `type(scope): what`,否则只给 what(不臆造类型)。 */
|
|
78
|
+
export function titleOf(item) {
|
|
79
|
+
const t = str(item && item.type);
|
|
80
|
+
const scope = str(item && item.scope);
|
|
81
|
+
const what = str(item && item.what);
|
|
82
|
+
if (!t) return what;
|
|
83
|
+
const known = COMMIT_TYPES.includes(t);
|
|
84
|
+
const prefix = `${t}${scope ? `(${scope})` : ''}: `;
|
|
85
|
+
// 未知 type 也保留(调用方可能用团队自定义前缀),只在标题里原样带上
|
|
86
|
+
return `${prefix}${what}${known ? '' : ''}`;
|
|
87
|
+
}
|
|
88
|
+
|
|
89
|
+
/**
|
|
90
|
+
* 组装提交信息。
|
|
91
|
+
* @param {string|Array|{subject?:string,items?:Array}} input
|
|
92
|
+
* @returns {{ok:boolean, message?:string, subject?:string, itemCount?:number, error?:string}}
|
|
93
|
+
*/
|
|
94
|
+
export function buildCommitMessage(input) {
|
|
95
|
+
// ① 字符串:**原样透传**(保证既有调用方行为逐字节不变)
|
|
96
|
+
if (typeof input === 'string') {
|
|
97
|
+
const s = input.trim();
|
|
98
|
+
if (!s) return { ok: false, error: 'commit message 必填(字符串为空)' };
|
|
99
|
+
return { ok: true, message: s, subject: s.split('\n')[0], itemCount: 1 };
|
|
100
|
+
}
|
|
101
|
+
// ② 数组 / ③ 带 subject 的对象
|
|
102
|
+
let subject = '';
|
|
103
|
+
let raw = [];
|
|
104
|
+
if (Array.isArray(input)) {
|
|
105
|
+
raw = input;
|
|
106
|
+
} else if (input && typeof input === 'object') {
|
|
107
|
+
subject = str(input.subject);
|
|
108
|
+
if (Array.isArray(input.items)) raw = input.items;
|
|
109
|
+
else if (input.items !== undefined && input.items !== null) raw = [input.items];
|
|
110
|
+
else if (!subject && str(input.what)) raw = [input]; // 容错:直接传单个条目对象
|
|
111
|
+
} else {
|
|
112
|
+
return { ok: false, error: 'commit message 必填(应为字符串、数组,或 { subject, items })' };
|
|
113
|
+
}
|
|
114
|
+
const norm = raw.map(normalizeItem).filter(Boolean);
|
|
115
|
+
if (!subject && norm.length === 0) {
|
|
116
|
+
return { ok: false, error: 'commit message 必填(数组内没有有效条目:每个对象至少要有 what)' };
|
|
117
|
+
}
|
|
118
|
+
// 标题与要点:显式 subject 时全部条目进要点;否则首条当标题
|
|
119
|
+
let head = subject;
|
|
120
|
+
let bodyItems = norm;
|
|
121
|
+
if (!head) {
|
|
122
|
+
head = titleOf(norm[0]);
|
|
123
|
+
bodyItems = norm.slice(1);
|
|
124
|
+
}
|
|
125
|
+
const parts = [];
|
|
126
|
+
const bullets = bodyItems.map((it) => `- ${it.what}`);
|
|
127
|
+
if (bullets.length) parts.push(bullets.join('\n'));
|
|
128
|
+
const whys = uniq(norm.map((i) => i.why).filter(Boolean));
|
|
129
|
+
if (whys.length) parts.push(`为什么改:\n${whys.map((w) => `- ${w}`).join('\n')}`);
|
|
130
|
+
const verifies = uniq(norm.map((i) => i.verify).filter(Boolean));
|
|
131
|
+
if (verifies.length) parts.push(`验证:\n${verifies.map((v) => `- ${v}`).join('\n')}`);
|
|
132
|
+
const refs = uniq(norm.map((i) => i.refs).filter(Boolean));
|
|
133
|
+
if (refs.length) parts.push(refs.join('\n'));
|
|
134
|
+
const message = [head, ...(parts.length ? ['', ...parts.flatMap((p, i) => (i ? ['', p] : [p]))] : [])].join('\n').trim();
|
|
135
|
+
return { ok: true, message, subject: head, itemCount: norm.length };
|
|
136
|
+
}
|
|
137
|
+
|
|
138
|
+
/** 给工具/CLI 展示用的形态说明(一句)。 */
|
|
139
|
+
export function describeMessageForms() {
|
|
140
|
+
return 'message 可传:① 字符串 ② 数组(元素为字符串或 {what,type?,scope?,why?,verify?,refs?})③ {subject?, items:[...]};仅 what 必填';
|
|
141
|
+
}
|