@ggboy123/dsh-paper-reader 0.1.0

package/dist/transcribe.js

@@ -0,0 +1,185 @@
+// transcribe.ts — PDF 转录（纯函数，不依赖 Cordis）。
+//
+// 移植 pdfqa 的三级策略（视觉兜底后置）：
+//  1. 缓存：.txt 已存在直接复用
+//  2. 快路径：python3 + PyMuPDF 本地提取文本层（文本型 PDF 毫秒级）
+//  3. 慢路径：视觉转录（扫描件兜底）— 暂不支持，返回明确错误
+//
+// 与 pdfqa 的差异：输出附带 pages.json 页码偏移表（每页文本在全文中的 [start,end) 区间），
+// 让 search_paper 能把片段映射回页码。清洗（连字/断词/段落重排）全部在 Python 侧、
+// 偏移计算之前完成，保证偏移与最终文本严格一致。
+import { execFile } from 'node:child_process';
+import { readFile, writeFile } from 'node:fs/promises';
+import { promisify } from 'node:util';
+import { transcriptCached } from "./library.js";
+const execFileP = promisify(execFile);
+// Python 脚本：提取文本层 → 剔页眉页脚 → 清洗 → 带偏移拼页。
+// 退出码 3 = 文本过少（扫描件），交给上层决定兜底策略。
+const EXTRACT_SCRIPT = String.raw `
+import fitz, sys, re, json
+from collections import Counter
+
+LIG = {'fi':'fi','fl':'fl','ff':'ff','ffi':'ffi','ffl':'ffl','ſt':'st'}
+def ligature(s):
+    for k, v in LIG.items():
+        s = s.replace(k, v)
+    return s
+
+doc = fitz.open(sys.argv[1])
+raw_pages = []
+for page in doc:
+    lines = [l.strip() for l in page.get_text().splitlines()]
+    raw_pages.append([l for l in lines if l])
+
+# 页眉页脚识别：页首 2 行/页尾 3 行归一化（去数字标点，页码归一为空串），
+# 在 >=1/5 页面边缘反复出现即剔除；只剔边缘行，正文相同行不受影响。
+thresh = max(3, len(raw_pages) // 5)
+def norm(l): return re.sub(r'[\d\W]+', '', l).lower()
+edge = Counter()
+for p in raw_pages:
+    for l in p[:2] + p[-3:]:
+        edge[norm(l)] += 1
+bad = {l for l, n in edge.items() if n >= thresh}
+
+page_texts = []
+for p in raw_pages:
+    while p and norm(p[0]) in bad:
+        p.pop(0)
+    while p and norm(p[-1]) in bad:
+        p.pop()
+    t = '\n'.join(p)
+    t = ligature(t)
+    t = re.sub(r'(\w)-\n(\w)', r'\1\2', t)  # 页内断词愈合
+    page_texts.append(t.strip())
+
+total = sum(len(t) for t in page_texts)
+if total < 100 * max(1, len(doc)):
+    sys.exit(3)  # 扫描件
+
+# 段落重排拼页：PDF 分页会把一个句子拆到相邻两页（页眉页脚剔除后就挨在一起）。
+# 上一页不以句末标点结束、且下一页以小写字母开头 → 同句延续，用空格衔接；
+# 该页的偏移区间只覆盖它自己的文字（跨页句引用起始页）。
+SENT_END = re.compile(r'[.!?:;]["\'”’)\]]*$')
+buf = ''
+spans = []
+for i, t in enumerate(page_texts):
+    if not t:
+        continue
+    if not buf:
+        spans.append((i + 1, 0, len(t)))
+        buf = t
+        continue
+    if not SENT_END.search(buf) and t[0].islower():
+        buf = buf.rstrip(' \n')
+        start = len(buf) + 1
+        buf = buf + ' ' + t
+    else:
+        start = len(buf) + 2
+        buf = buf + '\n\n' + t
+    spans.append((i + 1, start, len(buf)))
+
+print(json.dumps({
+    'pageCount': len(doc),
+    'chars': len(buf),
+    'text': buf,
+    'pages': [{'page': p, 'start': s, 'end': e} for p, s, e in spans],
+}, ensure_ascii=False))
+`;
+/** 逐个尝试 python 候选（多个 python 里不一定都装了 fitz）。 */
+async function runPyMuPDF(script, pdfPath) {
+    const candidates = ['python3', '/opt/homebrew/Caskroom/miniconda/base/bin/python3', '/usr/bin/python3'];
+    let sawScanned = false;
+    for (const py of candidates) {
+        try {
+            const { stdout } = await execFileP(py, ['-c', script, pdfPath], {
+                maxBuffer: 64 * 1024 * 1024,
+                timeout: 120_000,
+            });
+            return { ok: true, stdout, scanned: false };
+        }
+        catch (err) {
+            // 退出码 3 = 扫描件信号，换一个 python 也没用，但记住这个结论
+            if (err && typeof err === 'object' && err.code === 3)
+                sawScanned = true;
+        }
+    }
+    return { ok: false, stdout: '', scanned: sawScanned };
+}
+/**
+ * 转录一篇文献：缓存优先，否则本地 PyMuPDF 提取并落盘（.txt + .pages.json）。
+ * 扫描件（文本层过少）抛错并说明视觉兜底尚未实现。
+ */
+export async function transcribePaper(ref, opts = {}) {
+    if (!opts.force && transcriptCached(ref)) {
+        const text = await readFile(ref.txtPath, 'utf8');
+        let pages = await readPages(ref);
+        if (!pages) {
+            // 兼容升级：pdfqa 时代的缓存只有 .txt 没有页码索引。
+            // 重新提取生成页码索引；新旧文本长度接近才覆盖（视觉转录的扫描件缓存不容侵犯）。
+            const upgraded = await tryUpgradePageIndex(ref, text.length);
+            if (upgraded) {
+                pages = upgraded.pages;
+                return { text: upgraded.text, pages, pageCount: pages.length, chars: upgraded.text.length, source: 'cache' };
+            }
+        }
+        return { text, pages: pages ?? [], pageCount: pages?.length ?? 0, chars: text.length, source: 'cache' };
+    }
+    const extracted = await extractAndStore(ref);
+    return extracted;
+}
+/** 本地提取（不落盘）。 */
+async function extractLocal(pdfPath) {
+    const { ok, stdout, scanned } = await runPyMuPDF(EXTRACT_SCRIPT, pdfPath);
+    if (!ok) {
+        throw new Error(scanned
+            ? '本地提取的文本过少，该 PDF 可能是扫描件。视觉转录兜底尚未实现（Phase 1 后置项），请换文本型 PDF 或手动放置同名 .txt 缓存。'
+            : '未找到可用的 python3 + PyMuPDF 环境。请安装：python3 -m pip install PyMuPDF');
+    }
+    const data = JSON.parse(stdout);
+    if (data.text.length < 1000) {
+        throw new Error(`转录结果过短(${data.text.length} 字符)，疑似失败，请重试`);
+    }
+    return { text: data.text, pages: data.pages, pageCount: data.pageCount, chars: data.chars, source: 'local' };
+}
+/** 本地提取并落盘。 */
+async function extractAndStore(ref) {
+    const t = await extractLocal(ref.pdfPath);
+    await writeFile(ref.txtPath, t.text, 'utf8');
+    await writeFile(ref.pagesPath, JSON.stringify({ pageCount: t.pageCount, pages: t.pages }, null, 2), 'utf8');
+    return t;
+}
+/** 为旧缓存补建页码索引：成功且长度相近才覆盖 .txt，返回新内容；否则返回 null。 */
+async function tryUpgradePageIndex(ref, cachedLen) {
+    try {
+        const t = await extractLocal(ref.pdfPath);
+        const ratio = t.text.length / Math.max(1, cachedLen);
+        if (ratio < 0.5 || ratio > 2)
+            return null; // 差异过大：旧文本可能来自视觉转录，不回写
+        await writeFile(ref.txtPath, t.text, 'utf8');
+        await writeFile(ref.pagesPath, JSON.stringify({ pageCount: t.pageCount, pages: t.pages }, null, 2), 'utf8');
+        return { text: t.text, pages: t.pages };
+    }
+    catch {
+        return null; // 无 python 环境或扫描件：保持旧缓存，页码索引缺席
+    }
+}
+/** 读页码偏移表；旧缓存（pdfqa 时代）没有 pages.json 时返回 null。 */
+export async function readPages(ref) {
+    try {
+        const raw = JSON.parse(await readFile(ref.pagesPath, 'utf8'));
+        return raw.pages;
+    }
+    catch {
+        return null;
+    }
+}
+/** 读转录文本（不触发转录）；无缓存返回 null。 */
+export async function readTranscript(ref) {
+    try {
+        const text = await readFile(ref.txtPath, 'utf8');
+        return { text, pages: await readPages(ref) };
+    }
+    catch {
+        return null;
+    }
+}

package/dist/translate-config.js

@@ -0,0 +1,104 @@
+// translate-config.ts — 翻译端点配置的落盘与解析（纯函数，不依赖 Cordis）。
+//
+// 存 $DSH_HOME/.dsh-paper-reader/translate.json（0600）——刻意不放 dataDir：
+// dataDir 是文献库目录，可能被 git / 云盘同步出去，密钥不该跟着走。
+// 优先级：文件 > profile 的 cordis.patch.yml config.translate（后者退为部署方默认值）。
+// 密钥只落盘、只回显掩码：任何读接口都不返回明文（apiKeyHint 是掩码后的展示串）。
+import { chmod, mkdir, readFile, rm, writeFile } from 'node:fs/promises';
+import { dirname, join } from 'node:path';
+import { dshHome } from "./library.js";
+export function translateConfigPath(home = dshHome()) {
+    return join(home, '.dsh-paper-reader', 'translate.json');
+}
+/** 三项齐全才算配好——babeldoc 的 --openai/--openai-model/--openai-base-url 缺一不可。 */
+function isComplete(e) {
+    return Boolean(e?.baseUrl && e?.apiKey && e?.model);
+}
+/** 按字段合并多个来源，靠后的覆盖靠前的；空字段不参与（避免 undefined 冲掉已有值）。 */
+function pick(...sources) {
+    const out = {};
+    for (const s of sources) {
+        if (!s)
+            continue;
+        if (s.baseUrl)
+            out.baseUrl = s.baseUrl;
+        if (s.apiKey)
+            out.apiKey = s.apiKey;
+        if (s.model)
+            out.model = s.model;
+    }
+    return out;
+}
+/** 读配置；文件缺失/损坏/形状不对一律返回 null（与 study.ts 的读策略一致）。 */
+export async function readTranslateConfig(home = dshHome()) {
+    try {
+        const data = JSON.parse(await readFile(translateConfigPath(home), 'utf8'));
+        if (typeof data !== 'object' || data === null)
+            return null;
+        const rec = data;
+        const out = {};
+        if (typeof rec['baseUrl'] === 'string')
+            out.baseUrl = rec['baseUrl'];
+        if (typeof rec['apiKey'] === 'string')
+            out.apiKey = rec['apiKey'];
+        if (typeof rec['model'] === 'string')
+            out.model = rec['model'];
+        return out;
+    }
+    catch {
+        return null;
+    }
+}
+/** 写配置。0600：文件含明文密钥，不靠 umask。 */
+export async function writeTranslateConfig(cfg, home = dshHome()) {
+    const file = translateConfigPath(home);
+    await mkdir(dirname(file), { recursive: true });
+    await writeFile(file, JSON.stringify(cfg, null, 2) + '\n', { encoding: 'utf8', mode: 0o600 });
+    await chmod(file, 0o600); // mode 只在新建时生效；已存在的文件要显式收紧
+}
+/** 删除配置（回落到 profile 的 translate）。文件不存在也算成功。 */
+export async function clearTranslateConfig(home = dshHome()) {
+    await rm(translateConfigPath(home), { force: true });
+}
+/** 解析生效端点：文件配全则用文件，否则用 profile，都配不全则返回能凑到的部分供报错。 */
+export async function resolveTranslateEndpoint(profile, home = dshHome()) {
+    const file = await readTranslateConfig(home);
+    if (isComplete(file))
+        return { endpoint: file, source: 'file' };
+    if (isComplete(profile))
+        return { endpoint: profile, source: 'profile' };
+    return { endpoint: pick(profile, file), source: 'none' };
+}
+/** 掩码展示：只露头 3 尾 4，够用户认出是哪把 key，又不足以还原。 */
+export function maskApiKey(key) {
+    return key.length <= 8 ? '••••' : `${key.slice(0, 3)}…${key.slice(-4)}`;
+}
+/**
+ * 连接预检：打一发极小的 chat/completions，确认 url/key/model 三者匹配。
+ * 必要性：babeldoc 一次要跑几分钟且**异步失败**（错误只落进 translate.ts 的 busy map），
+ * key 填错要等很久才知道，所以在落盘前先拦。
+ */
+export async function testTranslateEndpoint(ep) {
+    const { baseUrl, apiKey, model } = ep;
+    if (!baseUrl || !apiKey || !model)
+        return { ok: false, detail: '端点配置不完整（需要 url + key + 模型）' };
+    try {
+        const r = await fetch(baseUrl.replace(/\/+$/, '') + '/chat/completions', {
+            method: 'POST',
+            headers: { 'content-type': 'application/json', authorization: `Bearer ${apiKey}` },
+            // max_tokens:1 —— 只要能证明鉴权与模型名有效，不产生实际费用
+            body: JSON.stringify({ model, messages: [{ role: 'user', content: 'ping' }], max_tokens: 1 }),
+            signal: AbortSignal.timeout(15_000),
+        });
+        if (r.ok)
+            return { ok: true };
+        const text = (await r.text().catch(() => '')).slice(0, 200);
+        return { ok: false, detail: `HTTP ${r.status}${text ? ' ' + text : ''}` };
+    }
+    catch (err) {
+        // Node 的 fetch 把真实原因（ECONNREFUSED / 证书错误 / 超时）塞在 cause 里，
+        // 只报 "fetch failed" 对用户毫无帮助
+        const cause = err instanceof Error && err.cause instanceof Error ? `: ${err.cause.message}` : '';
+        return { ok: false, detail: (err instanceof Error ? err.message : String(err)) + cause };
+    }
+}

package/dist/translate.js

@@ -0,0 +1,125 @@
+// translate.ts — 中文对照 PDF 生成（纯函数，不依赖 Cordis）。
+// 移植 pdfqa 的 runPdf2zh：shell 调 babeldoc（pdf2zh 2.x），版式/图/公式原地保留，
+// 产出 <文献>-zh.pdf（纯中文）与 <文献>-dual.pdf（中英对照）。
+// babeldoc 只支持 OpenAI 兼容端点 → 端点/key/模型由插件配置提供。
+import { execFile } from 'node:child_process';
+import { existsSync } from 'node:fs';
+import { mkdir, rename } from 'node:fs/promises';
+import { glob } from 'node:fs/promises';
+import { join, dirname, basename, extname } from 'node:path';
+export function zhPdfPath(ref) {
+    return ref.pdfPath.slice(0, -extname(ref.pdfPath).length) + '-zh.pdf';
+}
+export function dualPdfPath(ref) {
+    return ref.pdfPath.slice(0, -extname(ref.pdfPath).length) + '-dual.pdf';
+}
+/** 进程内每篇文献一个翻译任务（幂等：进行中/已生成直接返回）。 */
+const busy = new Map(); // key=pdfPath, value=error|null(进行中)
+export function zhStatus(ref) {
+    const zh = existsSync(zhPdfPath(ref));
+    const dual = existsSync(dualPdfPath(ref));
+    const b = busy.get(ref.pdfPath);
+    return {
+        zh,
+        dual,
+        busy: b === null,
+        ...(typeof b === 'string' ? { error: b } : {}),
+    };
+}
+/** 找 babeldoc 可执行文件：pdfqa venv（文献库同级 .venv-pdf2zh）→ PATH → miniconda。 */
+async function findBabeldoc(dataDir) {
+    const candidates = [
+        join(dirname(dataDir), '.venv-pdf2zh', 'bin', 'babeldoc'),
+        'babeldoc',
+        '/opt/homebrew/Caskroom/miniconda/base/bin/babeldoc',
+    ];
+    for (const c of candidates) {
+        if (c.includes('/')) {
+            if (existsSync(c))
+                return c;
+            continue;
+        }
+        // PATH 查找
+        const found = await new Promise((res) => {
+            execFile('which', [c], (err, stdout) => res(!err && stdout.trim() !== ''));
+        });
+        if (found)
+            return c;
+    }
+    return null;
+}
+/**
+ * 启动 babeldoc 后台翻译。幂等：已生成或进行中直接返回 false 表示未新启动。
+ * 完成/失败结果写进 busy map，由 zhStatus 暴露。
+ */
+export async function startTranslation(ref, dataDir, endpoint) {
+    const st = zhStatus(ref);
+    if (st.zh || st.dual)
+        return { started: false, reason: 'already-exists' };
+    if (st.busy)
+        return { started: false, reason: 'busy' };
+    const bin = await findBabeldoc(dataDir);
+    if (!bin)
+        return { started: false, reason: '未找到 babeldoc（pip install babeldoc，或复用 pdfqa 的 .venv-pdf2zh）' };
+    if (!endpoint.baseUrl || !endpoint.apiKey || !endpoint.model) {
+        // code 供前端判定「该弹配置表单了」，别让它去匹配中文文案
+        return {
+            started: false,
+            code: 'no-endpoint',
+            reason: '未配置翻译端点：在阅读器里点「中」按钮填写（OpenAI 兼容端点即可），或改 profile 的 translate 配置',
+        };
+    }
+    const tmpDir = join(dataDir, '.pdf2zh-tmp');
+    await mkdir(tmpDir, { recursive: true });
+    busy.set(ref.pdfPath, null);
+    const stem = basename(ref.pdfPath, extname(ref.pdfPath));
+    const dstStem = ref.pdfPath.slice(0, -extname(ref.pdfPath).length);
+    const child = execFile(bin, [
+        '--files', ref.pdfPath,
+        '--lang-in', 'en', '--lang-out', 'zh-CN',
+        '--openai', '--openai-model', endpoint.model,
+        '--openai-base-url', endpoint.baseUrl, '--openai-api-key', endpoint.apiKey,
+        '--qps', '8', '--no-watermark', '--output', tmpDir,
+        '--skip-figure-text', // 图/图片区域内的文字保持原文（架构图术语不翻）
+    ], {
+        env: { ...process.env, HF_ENDPOINT: 'https://hf-mirror.com' }, // 版面模型走国内镜像
+        timeout: 45 * 60 * 1000,
+    }, (err, stdout, stderr) => {
+        void (async () => {
+            if (err) {
+                const tail = (stdout + '\n' + stderr).slice(-400);
+                console.error('[dsh-paper-reader] babeldoc failed:', tail);
+                busy.set(ref.pdfPath, `babeldoc 执行失败: ${err.message}`);
+                return;
+            }
+            // 产出从 scratch 挪回文献目录：<名>.zh-CN.mono.pdf → -zh.pdf，.dual.pdf → -dual.pdf
+            try {
+                for await (const f of glob(join(tmpDir, `${stem}*.zh-CN.mono.pdf`))) {
+                    await rename(f, dstStem + '-zh.pdf');
+                }
+                for await (const f of glob(join(tmpDir, `${stem}*.zh-CN.dual.pdf`))) {
+                    await rename(f, dstStem + '-dual.pdf');
+                }
+                if (!existsSync(zhPdfPath(ref)) && !existsSync(dualPdfPath(ref))) {
+                    busy.set(ref.pdfPath, 'babeldoc 未产出译文 PDF');
+                    return;
+                }
+                busy.delete(ref.pdfPath);
+                console.log(`[dsh-paper-reader] babeldoc done: ${ref.name}`);
+            }
+            catch (e) {
+                busy.set(ref.pdfPath, `移动译文产物失败: ${e instanceof Error ? e.message : String(e)}`);
+            }
+        })();
+    });
+    child.unref?.();
+    return { started: true };
+}
+/** 解析 PDF 变体路径（原文/zh/dual）。 */
+export function pdfVariantPath(ref, variant) {
+    if (variant === 'zh')
+        return zhPdfPath(ref);
+    if (variant === 'dual')
+        return dualPdfPath(ref);
+    return ref.pdfPath;
+}