deep-read-summarize 0.3.19 → 0.4.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -13,7 +13,7 @@ whenToUse: 用户提供一本书、论文(arXiv/PDF)、视频链接(YouTub
13
13
  ## 能力
14
14
 
15
15
  - 书籍(PDF/EPUB/MOBI)、论文(arXiv/PDF/HTML)、视频(字幕优先,无字幕自动转写)、网页
16
- - 长内容分块后由并行子代理精读(MapReduce),不溢出上下文
16
+ - 长内容分块后由并行子代理精读(MapReduce),降低单个代理的上下文压力;超长资料仍受宿主上下文和工具读取上限约束
17
17
  - 获取/分块与质量校验的输出受 JSON Schema 约束,结构稳定、下游可解析
18
18
  - 分块计划与子代理数量受 `maxChunks` 强制约束(计划失控会顶穿单次调用时限)
19
19
  - 关键引用标注页码/章节/段落,降低编造风险
@@ -25,6 +25,8 @@ whenToUse: 用户提供一本书、论文(arXiv/PDF)、视频链接(YouTub
25
25
  用户提供:内容链接或本地文件路径。
26
26
  可选参数:`type`(auto/book/paper/video/web)、`options`(minWords / fastMode / maxChunks / maxRetries / requireCitations / includeTimestamps / transcribe / whisperModel / language / device / outputDir / tempDir / frontmatter)。
27
27
 
28
+ 优先调用插件提供的 `deep_read_summarize` 工具,参数为 `{ input, type, options }`。如果当前宿主没有这个工具,按技能末尾提供的 meta / script / args 调用 `workflow` 工具。两种入口执行相同的获取、精读与质量核验。
29
+
28
30
  `options.frontmatter` 决定 frontmatter 用哪套键(默认 `obsidian`,与历史行为一致):
29
31
  - `obsidian`:title / aliases / author / year / type / url / tags / created / status —— 配 Dataview 用这套
30
32
  - `generic`:把 Hugo 的保留键换掉(`type` → `docType`、`url` → `sourceUrl`、`created` → `date`),可直接放进 Hugo / Jekyll
@@ -37,16 +39,16 @@ whenToUse: 用户提供一本书、论文(arXiv/PDF)、视频链接(YouTub
37
39
  1. **配置校验**:缺 input 或 type 非法 → 报 FATAL 终止
38
40
  2. **幂等检查(由你执行,脚本不做)**:脚本在沙箱内没有文件系统,写不了指纹记录。落盘前先看目标 `filePath` 是否已有同名笔记——已存在就问用户是覆盖还是跳过,别默默重跑一遍烧 token。(要在程序里做去重,可用插件导出的 `lib/cache.js`:fingerprint / hasProcessed / markProcessed。)
39
41
  3. **解析器选择**:按类型从 parsers 注册表选解析器(book/paper/video/web)。`auto` 对明确视频链接、arXiv 论文链接、电子书扩展名直接分流;同站的图文/频道/帮助页、PDF/未知网页/文本等模糊输入先轻量识别,不能固定当作网页。识别失败返回 `stage: "detect"`,再请用户显式指定类型
40
- 4. **波次1 获取+分块**:解析器获取全文 → 写入本次独立的临时子目录 → 生成分块计划(JSON Schema 校验)。`tempDir` 是根目录,不要复用其他 `run-*` 任务的 input/audio/transcript;分块超过上限时合并相邻区间,保持从第 1 行到 totalLines 的完整覆盖
41
- 5. **波次2 并行精读**:每个分块一个子代理深度精读(Map)
42
+ 4. **波次1 获取+分块**:解析器获取全文 → 写入本次独立的临时子目录 → 生成分块计划(JSON Schema 校验)。`tempDir` 是根目录,不要复用其他 `run-*` 任务的 input/audio/transcript;规范化全部区间并按行数均衡工作量,保持从第 1 行到 totalLines 的完整覆盖,不得截断原文
43
+ 5. **波次2 并行精读**:每个分块一个子代理深度精读(Map),最多三个槽位同时工作,空闲即领取下一块,输出保持分块顺序
42
44
  6. **波次3 合并成稿**:整合为完整笔记(Reduce),内嵌质量自检
43
- 7. **质量校验**:程序检查 frontmatter 模板、必要章节和篇幅;核验代理必须读取本次原文,逐块提供摘录、对第 4 节逐字引用提供原句与行号。不得只看笔记或仅返回 pass。`qualityEvidence` 可供回查;核验失败必须如实报告。`maxRetries` 为 0–3,修订失败、空结果或结构退化时保留上一份有效成稿
44
- 8. **落盘(必须,别跳过)**:workflow 工具只返回 `note`(笔记正文)与 `filePath`(建议路径)——**脚本本身没有文件系统权限**。拿到结果后要用 `write` 工具把 `note` 原样写入 `filePath`(目录不存在就先创建);不写就等于笔记丢了,用户只会看到一段返回文本
45
+ 7. **质量校验**:程序检查 frontmatter 模板、必要章节和篇幅;核验代理必须读取本次原文,逐块提供摘录、对第 4 节逐字引用提供原句与行号。不得只看笔记或仅返回 pass。`qualityEvidence` 可供回查;核验失败必须如实报告。`maxRetries` 为 0–3,修订失败、空结果或结构退化时保留上一份有效成稿。缺总行数、精读失败、仅简介或未知视频来源等问题不能靠改写笔记消除,不进行徒劳全文修订
46
+ 8. **落盘(必须,别跳过)**:精读工具只返回 `note`(笔记正文)与 `filePath`(建议路径)——**脚本本身没有文件系统权限**。拿到结果后要用 `write` 工具把 `note` 原样写入 `filePath`(目录不存在就先创建);不写就等于笔记丢了,用户只会看到一段返回文本
45
47
  9. **如实交代结果**:`ok: false` 要说明卡在哪一步(`stage`)和原因,别拿半成品冒充成品;`qualityPassed: false`、`qualityIssues` 非空、或 `failedChunks > 0`(有块精读失败、笔记存在缺口)时,必须在回复里点出来
46
48
 
47
49
  ## 输出
48
50
 
49
- workflow 返回 `{ ok, filePath, note, qualityPassed, qualityIssues, qualityChecks, qualityEvidence, failedChunks, coverageComplete, textSource }`。`coverageComplete: false` 表示获取结果缺少有效总行数,无法确认尾部覆盖;此时质量状态也会降级,必须向用户说明。
51
+ 精读工具返回 `{ ok, filePath, note, qualityPassed, qualityIssues, qualityChecks, qualityEvidence, failedChunks, coverageComplete, sourceComplete, textSource, timings }`。`coverageComplete: false` 表示缺少有效总行数,无法确认尾部覆盖;`sourceComplete: false` 表示视频仅有简介或来源未确认,笔记会保留来源限制且质量降级。来源完整性仍依据获取代理声明,不能当作视频真实内容已全部证明。`timings` 提供 detect/fetch/read/draft/quality/total 毫秒耗时,不能由此推测未提供的 token 用量。
50
52
 
51
53
  > ⚠️ **`note` 就是完整笔记正文,`filePath` 只是建议路径**:脚本运行在无文件系统的沙箱里(DSH 的 workflow 契约:脚本只负责协调子代理),**它不会替你写文件**。必须由你(主代理)在拿到结果后用 `write` 工具把它写到 `filePath`——默认 `./output/`,可用 `options.outputDir` 指向 Obsidian 仓库或静态站点的内容目录。
52
54
 
package/workflow.js CHANGED
@@ -48,7 +48,6 @@ const schemas = require("./schemas");
48
48
  const { buildParserBundle } = require("./lib/parser-bundle");
49
49
  const { normalizeWorkflowOptions } = require("./lib/options");
50
50
  const quality = require("./lib/quality");
51
- const parserRegistry = parsers.registry;
52
51
 
53
52
  /**
54
53
  * 把注册表里的解析器(buildPrompt)连同其依赖的 buildFetchPrompt 内联进
@@ -61,7 +60,7 @@ const parserRegistry = parsers.registry;
61
60
  * 和这里两道关都被丢掉)。fetchSchema 同样从 schemas/index.js 注入,
62
61
  * 保持单一真相,不再和脚本里的副本各自漂移。
63
62
  */
64
- function buildSelfContainedScript() {
63
+ function buildSelfContainedScript(parserRegistry = parsers.registry) {
65
64
  const parserNames = Object.keys(parserRegistry.parsers);
66
65
  // kind 的合法取值跟着解析器表走(含自定义类型),不再写死四个内置类型。
67
66
  const fetchSchema = JSON.parse(JSON.stringify(schemas.fetchResultSchema));
@@ -78,12 +77,12 @@ function buildSelfContainedScript() {
78
77
  if (!RAW_SCRIPT.includes(marker)) {
79
78
  throw new Error("workflow script marker not found: " + marker);
80
79
  }
81
- return 'const normalizeWorkflowOptions = ' + normalizeWorkflowOptions.toString() + ';\n' +
80
+ const runtimePaths = { transcribeScript: fs.realpathSync(path.join(__dirname, 'scripts', 'transcribe.js')) };
81
+ return 'const __runtimePaths = ' + JSON.stringify(runtimePaths) + ';\n' +
82
+ 'const normalizeWorkflowOptions = ' + normalizeWorkflowOptions.toString() + ';\n' +
82
83
  'const __quality = { checkNoteStructure: ' + quality.checkNoteStructure.toString() +
83
84
  ', validateSourceCheck: ' + quality.validateSourceCheck.toString() + ' };\n' +
84
85
  RAW_SCRIPT.replace(marker, impl + "\nconst parsers = args._parsers || __parsers;");
85
86
  }
86
87
 
87
- const script = buildSelfContainedScript();
88
-
89
- module.exports = { meta, script, parsers, buildSelfContainedScript };
88
+ module.exports = { meta, get script() { return buildSelfContainedScript(); }, parsers, buildSelfContainedScript };