paperdepot 0.1.2 → 0.1.3

package/README.en.md

@@ -40,6 +40,8 @@ It handles ingestion and organization; Obsidian only stores and reads.
    Hand the [one-prompt installer](https://github.com/HUAWEIYYLS/paperdepot/blob/main/docs/install-prompt.md) to DSH.
 3. Get a MinerU token at <https://mineru.net>.
 4. Open the **论文库** panel in DSH, paste the token, verify it, and choose your vault.
+   The token is stored in `~/.dsh/paperdepot/config/` and passed to the Python pipeline
+   (`MINERU_API_KEY` / `PAPERDEPOT_*`), so the panel and the pipeline read the same file.
 5. Drop a PDF into the panel and open the generated entry in Obsidian.
 
 Full instructions (in Chinese): [README.md](README.md).

package/README.md

@@ -111,6 +111,8 @@ pnpm add "link:D:\path\to\paperdepot"
 
 1. **MinerU Token**：粘贴 → 「保存并验证」。插件会真的调一次 MinerU 接口验 key。
    Token 只写到本机配置文件，不会上传；也可以用环境变量 `MINERU_API_KEY`。
+   安装态文件在 `~/.dsh/paperdepot/config/secrets.local.json`，插件启动 Python 流水线时
+   会把同一份 key 与配置目录传进去（面板会显示「Python 流水线能读到同一个 key」）。
 2. **Obsidian 库路径**：选择一个已存在的文件夹；空库也可以，第一次导入会创建 `1-Papers/`。
 3. **Python 依赖**：需要 Python 3.10+ 和以下依赖：
 
@@ -171,6 +173,8 @@ pnpm add "link:D:\path\to\paperdepot"
 
 - `MINERU_API_KEY`：MinerU Token（优先于本地文件）。
 - `PAPERDEPOT_HOME`：安装态数据根。
+- `PAPERDEPOT_CONFIG_DIR`：配置目录覆盖（默认 `<PAPERDEPOT_HOME>/config`）。安装态由插件在启动 Python 时自动注入；
+  手动跑 `pipeline/tools/` 下的脚本时才需要自己设置。
 - `PAPERDEPOT_VAULT`：默认库路径。
 - `PAPERDEPOT_PYTHON`：Python 解释器。
 - `ZOTERO_STORAGE`：Zotero storage 目录（仅 `--from-storage` 用）。
@@ -187,6 +191,12 @@ pnpm add "link:D:\path\to\paperdepot"
 - 401/403：Token 无效或过期，重新申请并保存。
 - 429：免费额度或频率限制，等一会儿或换自己的额度。
 
+**面板显示「MinerU 已配置」，导入却报「未配置 MinerU key」**
+- 0.1.2 及更早的安装态已知问题：面板（Node）把 key 写到 `~/.dsh/paperdepot/config/`，
+  Python 流水线却去插件包的 `pipeline/config/` 找，两边路径不一致。
+- 升级到含本修复的版本即可；临时绕过：给 DSH 进程设置环境变量 `MINERU_API_KEY` 后重启。
+- 新版本配置卡会显示「Python 流水线能读到同一个 key」；如果显示读不到，按上面两条处理。
+
 **导入成功但没有摘要**
 - 没有配置可用模型，或模型调用失败。入库不受影响；之后在论文页补摘要即可。
 - 开源前的旧条目不会自动补：顶栏「批量补摘要（N）」可一次排队跑完，跑长任务时可随时停止，下次再点跳过已完成的。

package/lib/client.js

@@ -701,6 +701,18 @@ window.__ModuleLoader__.load({
           `Python：${setup.python && setup.python.ok ? '✅ ' + (setup.python.version || '可用') : '❌ 未找到（' + ((setup.python && setup.python.exe) || 'python') + '）'}`,
           h('br'),
           `MinerU key：${setup.keySource === 'env' ? '来自环境变量 MINERU_API_KEY' : setup.hasKey ? '已保存（…' + setup.keyTail + '）' : '未配置'}`,
+          setup.hasKey && setup.pythonKey
+            ? h(
+                'div',
+                { style: { marginTop: 6, color: setup.pythonKey.ok === false ? ERROR_TEXT : muted, fontWeight: setup.pythonKey.ok === false ? 600 : 400 } },
+                setup.pythonKey.ok === true
+                  ? '✓ Python 流水线能读到同一个 key'
+                  : setup.pythonKey.ok === false
+                    ? '⚠ Python 流水线读不到这个 key，导入会失败：' + (setup.pythonKey.detail || '未知原因') +
+                      '。请把插件升级到含修复的版本，或给 DSH 进程设置环境变量 MINERU_API_KEY 后重启。'
+                    : '（Python key 自检已跳过：' + (setup.pythonKey.detail || '流水线/解释器不可用') + '）',
+              )
+            : null,
           h('br'),
           `密钥文件：${setup.secretsPath}`,
         ),

package/lib/impl.js

@@ -308,11 +308,11 @@ function trimLog(job) {
   if (job.lines.length > 400) job.lines.splice(0, job.lines.length - 400)
 }
 
-function runCommand(job, cmd, args, cwd) {
+function runCommand(job, cfg, cmd, args) {
   return new Promise((resolve) => {
     let child
     try {
-      child = spawn(cmd, args, { cwd, env: { ...process.env, PYTHONIOENCODING: 'utf-8' } })
+      child = spawn(cmd, args, { cwd: cfg.workspaceRoot, env: buildChildEnv(cfg) })
     } catch (err) {
       job.lines.push(`❌ 无法启动：${err.message}`)
       return resolve(-1)
@@ -359,6 +359,28 @@ function currentKey(cfg) {
   return { key: k, source: k ? 'file' : 'none' }
 }
 
+/**
+ * Python 子进程环境：把宿主解析到的 home / config / key 原样传下去。
+ *
+ * 面板写 key 走 Node（<homeRoot>/config/secrets.local.json），真正解析 PDF 的是
+ * Python 子进程。如果只靠两边各自找文件，安装态下会一个读用户目录、一个读
+ * 插件包里的 pipeline/config，出现「面板说已配置、导入说未配置」。
+ */
+export function buildChildEnv(cfg) {
+  const homeRoot = cfg.homeRoot || defaultHomeRoot()
+  const configDir = cfg.configDir || path.join(homeRoot, 'config')
+  const env = {
+    ...process.env,
+    PYTHONIOENCODING: 'utf-8',
+    PAPERDEPOT_HOME: homeRoot,
+    PAPERDEPOT_CONFIG_DIR: configDir,
+  }
+  if (cfg.vault) env.PAPERDEPOT_VAULT = cfg.vault
+  const { key, source } = currentKey({ ...cfg, homeRoot, configDir })
+  if (key && source === 'file') env.MINERU_API_KEY = key
+  return env
+}
+
 async function probeMineru(key) {
   try {
     const r = await fetch('https://mineru.net/api/v4/extract-results/batch/00000000-0000-0000-0000-000000000000', {
@@ -388,6 +410,36 @@ function pythonInfo(cfg) {
   return res
 }
 
+// Python 侧能不能读到同一份 key（面板自检用，不联网、不打印 key）
+let pyKeyCache = { at: 0, stamp: '', res: null }
+function pythonKeyStatus(cfg) {
+  const { key } = currentKey(cfg)
+  if (!key) return { ok: false, detail: '未配置 key' }
+  if (!pythonInfo(cfg).ok) return { ok: null, detail: 'Python 不可用' }
+  const script = path.join(cfg.toolsDir, 'mineru_parse.py')
+  if (!fs.existsSync(script)) return { ok: null, detail: '流水线缺少 mineru_parse.py' }
+  const stamp = [key, cfg.configDir, cfg.toolsDir].join('|')
+  const now = Date.now()
+  if (pyKeyCache.res && pyKeyCache.stamp === stamp && now - pyKeyCache.at < 60_000) return pyKeyCache.res
+  let res
+  try {
+    const r = spawnSync(cfg.python, [script, '--selftest-key'], {
+      encoding: 'utf8',
+      timeout: 20_000,
+      cwd: cfg.toolsDir,
+      env: buildChildEnv(cfg),
+    })
+    const out = String(r.stdout || '') + String(r.stderr || '')
+    const ok = r.status === 0 && /key ok = True/.test(out)
+    const first = out.trim().split(/\r?\n/).filter(Boolean)[0] || ''
+    res = { ok, detail: ok ? '' : first.slice(0, 200) }
+  } catch (err) {
+    res = { ok: false, detail: String((err && err.message) || err).slice(0, 200) }
+  }
+  pyKeyCache = { at: now, stamp, res }
+  return res
+}
+
 function setupStatus(cfg) {
   const { key, source } = currentKey(cfg)
   const vaultExists = fs.existsSync(cfg.vault)
@@ -404,6 +456,7 @@ function setupStatus(cfg) {
     keySource: source,
     keyTail: key ? key.slice(-4) : '',
     secretsPath: secretsPathOf(cfg),
+    pythonKey: pythonKeyStatus(cfg),
     vault: cfg.vault,
     vaultExists,
     vaultReady: fs.existsSync(path.join(cfg.vault, '1-Papers')),
@@ -547,9 +600,9 @@ async function summarizeOne(job, cfg, host, dir) {
   const startedAt = Date.now()
   const code = await runCommand(
     job,
+    cfg,
     cfg.python,
     [path.join(cfg.toolsDir, 'make_digest.py'), '--vault', cfg.vault, '--only', dir, '--out', cfg.digestDir],
-    cfg.workspaceRoot,
   )
   if (code !== 0) throw new Error('make_digest 失败')
   const files = fs
@@ -617,26 +670,26 @@ async function summarizeOne(job, cfg, host, dir) {
   job.lines.push('  ⏳ 合并进 index.md…')
   const code2 = await runCommand(
     job,
+    cfg,
     cfg.python,
     [path.join(cfg.toolsDir, 'apply_summary.py'), '--vault', cfg.vault, '--entry', dir],
-    cfg.workspaceRoot,
   )
   if (code2 !== 0) throw new Error('apply_summary 失败')
   job.lines.push('  ✅ 摘要 / 标签已写入 index.md')
   // 标签再走一次受控词表归一（幂等；把模型偶尔写出的别名映射回规范词）
   const code3 = await runCommand(
     job,
+    cfg,
     cfg.python,
     [path.join(cfg.toolsDir, 'apply_tagmap.py'), '--vault', cfg.vault],
-    cfg.workspaceRoot,
   )
   if (code3 !== 0) job.lines.push('  ⚠ apply_tagmap 未成功（不影响条目可用）')
   // 按 SKILL 契约校验（缺小节/标签不合规会报错；数字追溯只告警）
   const code4 = await runCommand(
     job,
+    cfg,
     cfg.python,
     [path.join(cfg.toolsDir, 'validate_summary.py'), '--vault', cfg.vault, '--entry', dir],
-    cfg.workspaceRoot,
   )
   if (code4 !== 0) job.lines.push('  ⚠ 摘要校验有不符合项（见上，条目仍可用；可手动重跑）')
   await runMakeNav(job, cfg)
@@ -691,7 +744,7 @@ async function runMakeNav(job, cfg) {
   const script = path.join(cfg.toolsDir, 'make_nav.py')
   if (!fs.existsSync(script)) return
   job.lines.push('  ⏳ 更新导航块 / 分类页…')
-  const code = await runCommand(job, cfg.python, [script, '--vault', cfg.vault], cfg.workspaceRoot)
+  const code = await runCommand(job, cfg, cfg.python, [script, '--vault', cfg.vault])
   if (code !== 0) job.lines.push('  ⚠ make_nav 未成功（导航/分类页可能未更新）')
 }
 
@@ -709,7 +762,7 @@ async function runImport(pdfPath, cfg, host) {
   const papersDir = path.join(cfg.vault, '1-Papers')
   const beforeDirs = new Set(listDirs(papersDir))
   const ingest = path.join(cfg.toolsDir, 'ingest.py')
-  const code = await runCommand(job, cfg.python, [ingest, pdfPath, '--vault', cfg.vault, '--cache', cfg.mineruCache], cfg.workspaceRoot)
+  const code = await runCommand(job, cfg, cfg.python, [ingest, pdfPath, '--vault', cfg.vault, '--cache', cfg.mineruCache])
   job.exitCode = code
   if (code === 0 || code === 2) {
     // 用目录差集找新条目，比从日志里解析 slug 稳（日志格式/编码都可能变）
@@ -728,7 +781,7 @@ async function runImport(pdfPath, cfg, host) {
     }
     job.lines.push('— 重建索引 —')
     const mk = path.join(cfg.toolsDir, 'make_index.py')
-    const code2 = await runCommand(job, cfg.python, [mk, '--vault', cfg.vault], cfg.workspaceRoot)
+    const code2 = await runCommand(job, cfg, cfg.python, [mk, '--vault', cfg.vault])
     if (code2 !== 0) job.lines.push(`⚠ make_index 退出码 ${code2}`)
     // 新条目也要有导航块（概念/分类）；make_nav 幂等，已处理过的条目只会被确认
     await runMakeNav(job, cfg)
@@ -748,7 +801,7 @@ async function runReindex(cfg) {
   const job = { id: Date.now().toString(36), kind: 'reindex', state: 'running', lines: ['▶ 重建索引'], startedAt: new Date().toISOString() }
   st.job = job
   const mk = path.join(cfg.toolsDir, 'make_index.py')
-  const code = await runCommand(job, cfg.python, [mk, '--vault', cfg.vault], cfg.workspaceRoot)
+  const code = await runCommand(job, cfg, cfg.python, [mk, '--vault', cfg.vault])
   job.exitCode = code
   job.state = code === 0 ? 'done' : 'error'
   job.finishedAt = new Date().toISOString()
@@ -782,6 +835,13 @@ function safeName(name) {
 
 export function createHandler(cfg, host) {
   const homeRoot = cfg.homeRoot || defaultHomeRoot()
+  // 首次安装时 homeRoot 可能还没建（例如 key 来自环境变量，没人写过配置文件）；
+  // Python 子进程以它为 cwd，缺目录会报成误导性的 "spawn python ENOENT"。
+  try {
+    fs.mkdirSync(homeRoot, { recursive: true })
+  } catch {
+    /* 无权限时保持原状，具体错误由子进程日志给出 */
+  }
   const statePath = cfg.statePath || path.join(homeRoot, 'config', 'paperdepot.local.json')
   // 首次配置时写下的偏好优先（库路径 / 数据目录 / 流水线目录，都可以在面板里改）
   const localState = readJson(statePath)
@@ -1026,7 +1086,7 @@ export function createHandler(cfg, host) {
             const gscript = path.join(config.toolsDir, 'make_obsidian_graph.py')
             if (fs.existsSync(gscript)) {
               job.lines.push('  ⏳ 刷新图颜色分组…')
-              const c = await runCommand(job, config.python, [gscript, '--vault', config.vault], config.workspaceRoot)
+              const c = await runCommand(job, config, config.python, [gscript, '--vault', config.vault])
               if (c !== 0) job.lines.push('  ⚠ 图颜色分组未更新（不影响导航）')
             }
             job.state = 'done'

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "paperdepot",
-  "version": "0.1.2",
+  "version": "0.1.3",
   "description": "论文库（PaperDepot）— 把 PDF 论文变成可检索、可读、可连接的 Obsidian 知识库。DeepSeek Harness 插件。",
   "type": "module",
   "main": "lib/index.js",

package/pipeline/tools/_paths.py

@@ -3,7 +3,15 @@
 """跨平台路径与本地配置解析（论文库流水线共用）。
 
 lp(): Windows 长路径前缀只在 Windows 添加；POSIX 原样返回。
+home_dir(): PAPERDEPOT_HOME → 开发态仓库根 / 安装态 ~/.dsh/paperdepot。
+config_dir(): PAPERDEPOT_CONFIG_DIR → <home_dir>/config（与 DSH 宿主 lib/impl.js 同一处）。
 default_vault(): 环境变量 → config/paperdepot.local.json → ~/Documents/ObsidianVault。
+
+为什么要有安装态判定：
+  npm / 市场安装时，流水线在 <插件包>/pipeline/tools/，而用户配置在
+  ~/.dsh/paperdepot/config/（宿主 lib/impl.js 写在这里）。旧版把父目录的
+  config/ 当成用户配置，安装态会指向插件包内只读的 pipeline/config/，
+  与宿主各读各的路径 —— MinerU key 就是这样「面板说已配置、Python 说没配」。
 """
 import json
 import os
@@ -16,15 +24,48 @@ def lp(p: str) -> str:
     return '\\\\?\\' + os.path.abspath(p)
 
 
-def config_dir() -> str:
-    home = os.environ.get('PAPERDEPOT_HOME')
+def _tools_dir() -> str:
+    return os.path.dirname(os.path.abspath(__file__))
+
+
+# 只有源码仓库（含 link 安装）才有的标记；npm 包按 package.json files 发布，不带这些。
+_REPO_MARKERS = (
+    os.path.join('tools', 'ingest.py'),
+    os.path.join('scripts', 'pack-pipeline.mjs'),
+)
+
+
+def is_installed_layout() -> bool:
+    """流水线是否在插件包的 pipeline/tools 下（npm / 市场 / tarball 安装）。"""
+    tools = _tools_dir()
+    pipeline_root = os.path.dirname(tools)
+    if os.path.basename(pipeline_root) != 'pipeline':
+        return False
+    pkg_root = os.path.dirname(pipeline_root)
+    return not any(os.path.exists(os.path.join(pkg_root, m)) for m in _REPO_MARKERS)
+
+
+def home_dir() -> str:
+    """配置与缓存根：环境变量 → 安装态 ~/.dsh/paperdepot → 开发态仓库根。"""
+    home = (os.environ.get('PAPERDEPOT_HOME') or '').strip()
     if home:
-        return os.path.join(home, 'config')
-    here = os.path.dirname(os.path.abspath(__file__))
-    repo = os.path.join(os.path.dirname(here), 'config')
-    if os.path.isdir(repo):
-        return repo
-    return os.path.join(os.path.expanduser('~'), '.dsh', 'paperdepot', 'config')
+        return home
+    if is_installed_layout():
+        return os.path.join(os.path.expanduser('~'), '.dsh', 'paperdepot')
+    return os.path.dirname(_tools_dir())
+
+
+def config_dir() -> str:
+    """用户配置目录：显式覆盖 → <home_dir>/config。"""
+    explicit = (os.environ.get('PAPERDEPOT_CONFIG_DIR') or '').strip()
+    if explicit:
+        return explicit
+    return os.path.join(home_dir(), 'config')
+
+
+def secrets_path() -> str:
+    """MinerU key 等本机密钥文件（不进 git）。"""
+    return os.path.join(config_dir(), 'secrets.local.json')
 
 
 def default_vault() -> str:

package/pipeline/tools/mineru_parse.py

@@ -41,22 +41,81 @@ if hasattr(sys.stdout, 'reconfigure'):
     sys.stdout.reconfigure(encoding='utf-8', errors='replace')
 
 # ── 配置 ──────────────────────────────────────────────────────────────
-def _load_api_key() -> str:
-    """按优先级取 MinerU key：环境变量 → config/secrets.local.json（不进 git）。"""
-    key = (os.environ.get('MINERU_API_KEY') or '').strip()
-    if key:
-        return key
-    import json as _json
-    p = os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))),
-                     'config', 'secrets.local.json')
+def _candidate_key_files() -> list:
+    """按优先级列出 secrets.local.json 候选路径（去重、保持顺序）。
+
+    宿主 lib/impl.js 把 key 写在 <homeRoot>/config/（安装态是
+    ~/.dsh/paperdepot/config/），并在启动流水线时通过 PAPERDEPOT_HOME /
+    PAPERDEPOT_CONFIG_DIR / MINERU_API_KEY 传给子进程。这里再做一层兜底，
+    让直接跑脚本（未经过宿主）时也能找到同一份 key；插件包内旧路径仅为兼容。
+    """
+    seen = set()
+    cands = []
+
+    def add(p):
+        if not p:
+            return
+        p = os.path.abspath(os.path.expanduser(p))
+        mark = os.path.normcase(p)
+        if mark not in seen:
+            seen.add(mark)
+            cands.append(p)
+
+    cfg = (os.environ.get('PAPERDEPOT_CONFIG_DIR') or '').strip()
+    if cfg:
+        add(os.path.join(cfg, 'secrets.local.json'))
+    home = (os.environ.get('PAPERDEPOT_HOME') or '').strip()
+    if home:
+        add(os.path.join(home, 'config', 'secrets.local.json'))
     try:
-        with io.open(p, encoding='utf-8') as f:
-            return (_json.load(f).get('mineru_api_key') or '').strip()
+        import _paths
+        add(_paths.secrets_path())
+    except Exception:
+        pass
+    # 旧版路径：<仓库或插件包的上一级>/config（安装态即 <插件包>/pipeline/config）
+    add(os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))),
+                     'config', 'secrets.local.json'))
+    # 不依赖 _paths 导入成功的最终兜底（与宿主安装态默认值一致）
+    add(os.path.join('~', '.dsh', 'paperdepot', 'config', 'secrets.local.json'))
+    return cands
+
+
+def _read_key_file(path: str) -> str:
+    try:
+        with io.open(path, encoding='utf-8') as f:
+            return (json.load(f).get('mineru_api_key') or '').strip()
     except Exception:
         return ''
 
 
-API_KEY = _load_api_key()
+def _resolve_api_key():
+    """返回 (key, 来源)：环境变量 → 用户配置 → 旧插件包路径。"""
+    key = (os.environ.get('MINERU_API_KEY') or '').strip()
+    if key:
+        return key, 'env:MINERU_API_KEY'
+    for p in _candidate_key_files():
+        k = _read_key_file(p)
+        if k:
+            return k, p
+    return '', ''
+
+
+API_KEY, KEY_SOURCE = _resolve_api_key()
+
+
+def _load_api_key() -> str:
+    """兼容旧调用：只返回当前解析到的 key。"""
+    return API_KEY
+
+
+def _key_hint() -> str:
+    """没配 key 时把查过的路径列出来，方便用户/支持定位（不含 key 本身）。"""
+    return ('未配置 MinerU key。已检查环境变量 MINERU_API_KEY 和：\n  '
+            + '\n  '.join(_candidate_key_files())
+            + '\n请在「论文库」面板里填 Token（保存后宿主会把它传给流水线），'
+              '或设置环境变量 MINERU_API_KEY。')
+
+
 BASE = 'https://mineru.net/api/v4'
 
 # 已知 CDN 证书过期，只替换这一个 host
@@ -113,7 +172,7 @@ def pdf_fingerprint(path: str) -> str:
 
 def api_call(path: str, method: str = 'GET', payload=None, timeout: int = 120) -> dict:
     if not API_KEY:
-        raise MineruError('未配置 MinerU key：请设置环境变量 MINERU_API_KEY，或写 config/secrets.local.json（模板见 config/secrets.example.json）')
+        raise MineruError(_key_hint())
     url = f'{BASE}{path}'
     headers = {'Authorization': f'Bearer {API_KEY}', 'Accept': '*/*'}
     body = None
@@ -237,6 +296,19 @@ def cache_compatible(cached: dict) -> bool:
     return cached.get('cache_version', 1) == CACHE_VERSION
 
 
+def _selftest_key() -> int:
+    """离线自检：只确认 key 能否解析到、来源在哪，不联网、不打印 key。"""
+    if API_KEY:
+        print(f'MinerU key: 已找到（来源：{KEY_SOURCE}）')
+        print('key ok = True')
+        return 0
+    print('MinerU key: 未找到，已检查：')
+    for p in _candidate_key_files():
+        print('  - ' + p)
+    print('key ok = False')
+    return 1
+
+
 def _cache_selftest() -> int:
     """离线自检：陈旧 out_dir 的缓存应命中、路径应改写，版本判定应正确。不消耗 API。"""
     import tempfile
@@ -425,10 +497,13 @@ def main():
     ap.add_argument('--keep-zip', action='store_true', help='保留原始 ZIP')
     ap.add_argument('--json', action='store_true', help='只输出 JSON 摘要')
     ap.add_argument('--selftest-cache', action='store_true', help='离线自检缓存迁移逻辑（不耗 API）')
+    ap.add_argument('--selftest-key', action='store_true', help='离线自检 MinerU key 解析位置（不耗 API）')
     args = ap.parse_args()
 
     if args.selftest_cache:
         return _cache_selftest()
+    if args.selftest_key:
+        return _selftest_key()
     if not args.pdf:
         ap.error('缺少 PDF 路径')