dsh-tingdong 0.4.0 → 0.5.0

package/README.md

@@ -7,10 +7,14 @@
 
 首页有两个入口：**导入音频**（有声书、讲座、引导音频）和**导入文档**（文章、手册、书）。
 
-**导入文档**：把整理好的英文纯文本粘贴进来，或选 .txt / .md 文件。格式很简单——每章一行 `# 章节标题`（每章做成一课），`## 小标题` 也会读出来，段落之间空一行。
-PDF、电子书、网页先交给别的 AI（ChatGPT、DeepSeek、Kimi……）整理：界面上有现成的「整理要求」可以一键复制，连同材料一起发过去。
-在 DSH 对话里更省事：把 PDF 发给 AI，说「按听懂的格式整理后导入听懂」，它会整理好直接导入（AI 工具 `tingdong_import_text`）。
-导入后用 **微软 Edge** 的英文语音朗读（默认 Andrew，14 种美式 / 英式男女声，可调语速；也可选离线的 Kokoro），句与句之间停 0.6 秒、换段 1.2 秒，再逐句翻译讲解。之后和音频课一样学：精听、复习、磨耳朵、连续听、导出中文配音和字幕。
+**导入文档**：直接选文件（或拖进来）——PDF、Word（.docx）、EPUB 电子书、网页（.html）、TXT、Markdown；没有文件也可以粘贴英文。
+
+1. 插件先取出文字，给你一张**确认卡片**：读到了多少词，预计分几课、朗读多长、处理要多久、大约用多少模型 token，并说明「会用 AI 整理文字」。
+2. 你点确定后，在后台：**AI 整理**（去掉页眉页码目录、修好断行、分好章节，原文一个字都不改、不翻译；长文分段、几段同时整理，逐段核对单词数，模型删多了就重来或改用原文）→ **存档**（原文件、取出的原始文字、整理后的文字都留在 `~/.dsh/dsh-tingdong/docs/`，课程概览里能下载）→ **分课**（每个大标题一课，太长的按段落拆开）→ **朗读**（默认微软 Edge，14 种美式 / 英式男女声，可选离线 Kokoro）→ **逐句翻译讲解**。
+3. 做好一课就能先学一课，之后和音频课一样：精听、复习、磨耳朵、连续听、导出。
+
+**大小和耗时**：文件最大 100 MB；文字最多约 6 万个英文单词（40 万字符，相当于 7 小时左右的朗读），再长请拆开导入。真正花时间和 token 的是 AI 整理和翻译：1 万词大约整理 4 万字符、朗读 1 小时多，处理约十几分钟（看模型速度）。扫描版 PDF（每页是图片）读不出文字，要先用 OCR 或 AI 转成文字。
+在 DSH 对话里也可以把 PDF 发给 AI，说「整理后导入听懂」（AI 工具 `tingdong_import_text`）。
 
 **导入音频**：
 

package/bin/dsh-tingdong.js

@@ -4,7 +4,7 @@
 //   dsh-tingdong import <文件或文件夹> [--title 标题]   识别 + 翻译，做成课
 //   dsh-tingdong serve [--port 4810]                    在浏览器里打开学习面板
 //   dsh-tingdong list                                   看有哪些课
-//   dsh-tingdong import-doc <整理好的 .txt / .md>        导入英文文档（# 章节 分课），Edge 朗读 + 翻译
+//   dsh-tingdong import-doc <文档>                       导入英文文档：AI 整理 → 分课 → Edge 朗读 + 翻译
 //   dsh-tingdong voices <课程id|all> [--track clean,cleannr,say,kokoro] [--voice 名字] [--speed 0.9]
 //                                                       生成声音轨（去空白原声 / 压背景 / 系统朗读 / Kokoro）
 //
@@ -52,9 +52,7 @@ async function main() {
   }
 
   if (cmd === 'import-doc') {
-    if (!rest[0]) throw new Error('用法：dsh-tingdong import-doc <整理好的 .txt / .md> [--title 标题] [--voice en-US-AndrewNeural] [--engine edge|kokoro]')
-    const { readFile } = await import('node:fs/promises')
-    const text = await readFile(rest[0], 'utf8')
+    if (!rest[0]) throw new Error('用法：dsh-tingdong import-doc <PDF / Word / EPUB / 网页 / TXT / MD> [--title 标题] [--voice en-US-AndrewNeural] [--engine edge|kokoro]')
     const llm = await cliLlm(flags)
     console.log(llm ? `翻译模型：${llm.label()}（${llm.via}）` : '没有可用的大模型：只朗读英文')
     const importer = new Importer({ llm: () => llm, options, log: m => console.error(m) })
@@ -66,8 +64,12 @@ async function main() {
         if (key !== last) { last = key; console.log(`${j.title}：${j.stage}${j.total ? ` ${j.done}/${j.total}` : ''}`) }
       }
     })
-    const r = await importer.importDoc(text, { title: typeof flags.title === 'string' ? flags.title : '', engine: flags.engine === 'kokoro' ? 'kokoro' : 'edge', voice: typeof flags.voice === 'string' ? flags.voice : undefined })
-    console.log(`《${r.title}》分成 ${r.items.length} 课：${r.items.map(x => `${x.title}（${x.sentences || '已有'} 句）`).join('、')}`)
+    // 和界面一样：取出文字、预估 → 确认 → AI 整理、存档 → 分课 → 朗读、翻译
+    const { basename } = await import('node:path')
+    const doc = await importer.prepareDoc(rest[0], { name: basename(rest[0]) })
+    const e = doc.estimate
+    console.log(`${doc.name}：${doc.type}${doc.pages ? ` ${doc.pages} 页` : ''}，约 ${e.words} 词 → 约 ${e.lessons} 课，朗读约 ${e.audioMinutes} 分钟，处理约 ${e.minutes} 分钟，约 ${e.tokens} token；${doc.needsCleanup ? 'AI 整理' : '已是整理好的格式'}`)
+    await importer.confirmDoc(doc.docId, { title: typeof flags.title === 'string' ? flags.title : doc.title, engine: flags.engine === 'kokoro' ? 'kokoro' : 'edge', voice: typeof flags.voice === 'string' ? flags.voice : undefined })
     await new Promise(resolve => {
       const check = () => { if (!importer.running && !importer.jobs.some(j => j.state === 'queued')) resolve() }
       importer.onChange(() => setImmediate(check))
@@ -159,7 +161,7 @@ async function main() {
   dsh-tingdong import <文件或文件夹> [--title 标题]
   dsh-tingdong serve [--port 4810]
   dsh-tingdong list
-  dsh-tingdong import-doc <整理好的 .txt / .md> [--title 标题] [--voice en-US-AndrewNeural]
+  dsh-tingdong import-doc <PDF / Word / EPUB / 网页 / TXT / MD> [--title 标题] [--voice en-US-AndrewNeural]
   dsh-tingdong voices <课程id|all> [--track clean,cleannr,say,kokoro] [--voice 名字] [--speed 0.9]
 
   模型：--base-url URL --api-key KEY --model ID（或 TINGDONG_BASE_URL / TINGDONG_API_KEY / TINGDONG_MODEL）

package/lib/docprep.js

@@ -0,0 +1,178 @@
+// lib/docprep.js — 用 AI 把从文档里取出的原始文字整理成能导入的格式（# 章节、段落、只留正文）
+//
+// 原始文字按约 1 万字符分段，几段同时整理；每段都告诉模型上一段的结尾和当前章节，接缝处才连得上。
+// 整理完逐段核对英文单词数：模型删掉太多（少于 60%）就重来一次，还不行就用原文简单接好断行——宁可难看，不能丢内容。
+
+import { normalize } from './doc.js'
+
+export const CHUNK_CHARS = 10000
+
+const SYSTEM = `你是文字整理员。给你的是从 PDF / Word / 电子书 / 网页里取出的英文原始文字（其中一段），要整理成英语听力软件能导入的纯文本。规则：
+1. 只保留正文英文：删掉页眉、页脚、页码、目录、版权声明、联系方式、网址和邮箱、图片说明、脚注编号，以及 ® ™ 这类符号。
+2. 修好断行：行尾被拆开的单词接回去；同一段落的多行接成一行；段落之间空一行。
+3. 章节：原文的大标题（一章的开头）单独一行写成「# 标题」，小标题写成「## 小标题」。原文没有章节的长文，大约每 800–1500 个英文单词加一个「# 」标题，用几个英文单词概括。
+4. 原文的句子一个字都不要改：不要翻译、改写、总结、补充，也不要加任何解释或前后说明。
+5. 这一段可能从段落中间开始、在段落中间结束，照原样整理，不要补写缺的部分。
+6. 格式必须严格：标题前后各空一行，段落和段落之间空一行。原文里单独成行、很短、没有句号的行（如 "Cautions and Warnings"、"Chapter 3—Free Flow"）就是标题，一定要加「# 」或「## 」。
+输出示例：
+# The First Chapter
+
+First paragraph. Its second sentence.
+
+## A Section Title
+
+Another paragraph.
+
+只输出整理后的文字。`
+
+const words = t => (String(t).match(/[A-Za-z][A-Za-z'’-]*/g) || []).length
+
+/** 按行切成约 CHUNK_CHARS 的几段，尽量在空行处切 */
+export function chunkText(raw, size = CHUNK_CHARS) {
+  const lines = normalize(raw).split('\n')
+  const chunks = []
+  let cur = []
+  let len = 0
+  for (const line of lines) {
+    cur.push(line)
+    len += line.length + 1
+    const blank = line.trim() === ''
+    if (len >= size && (blank || len >= size * 1.3)) { chunks.push(cur.join('\n').trim()); cur = []; len = 0 }
+  }
+  if (cur.join('').trim()) chunks.push(cur.join('\n').trim())
+  return chunks.filter(Boolean)
+}
+
+/** 原文简单整理（模型靠不住时的退路）：接断行、段落空一行 */
+export function plainTidy(raw) {
+  return normalize(raw)
+    .split(/\n\s*\n/)
+    .map(p => p.replace(/\s*\n\s*/g, ' ').trim())
+    .filter(Boolean)
+    .join('\n\n')
+}
+
+/** 像标题的行：不长、没有句末标点、多数词首字母大写（"Cautions and Warnings: Please Read"） */
+function looksLikeHeading(line, next) {
+  if (line.length > 90 || /[.!?,;]$/.test(line) || !/^[A-Z0-9"“‘'(]/.test(line)) return false
+  const ws = line.split(/\s+/).filter(Boolean)
+  if (ws.length > 12) return false
+  // 只看以字母开头的实词（「#4—NVC」「12」这种不算）
+  const big = ws.filter(w => w.length > 3 && /^["“‘'(]?[A-Za-z]/.test(w))
+  if (big.length && big.filter(w => /^["“‘'(]?[A-Z0-9]/.test(w)).length / big.length < 0.6) return false
+  // 下一行以小写开头：这是被断开的句子，不是标题
+  return !next || !/^[a-z]/.test(next)
+}
+
+/**
+ * 把模型的输出（或原文）规整成导入格式，不管它守没守规矩：
+ * 认出标题加「## 」，句子中途断开的行接回去，每段之间空一行。已经合格的文字过一遍不变。
+ */
+export function ensureStructure(text) {
+  const lines = String(text).split('\n').map(l => l.trim())
+  const blocks = []
+  let para = ''
+  const flush = () => { if (para) { blocks.push(para); para = '' } }
+  for (let k = 0; k < lines.length; k++) {
+    const line = lines[k]
+    if (!line) { flush(); continue }
+    if (/^#{1,6}\s/.test(line)) { flush(); blocks.push(line); continue }
+    const next = lines.slice(k + 1).find(Boolean) || ''
+    if (!para && looksLikeHeading(line, next)) { blocks.push(`## ${line}`); continue }
+    para = para ? `${para} ${line}` : line
+    // 这一行说完了（句末标点）、下一行另起：就是一段的结尾
+    if (/[.!?…"”’)]$/.test(line) && !/^[a-z]/.test(next)) flush()
+  }
+  flush()
+  return blocks.join('\n\n')
+}
+
+/** 去掉模型偶尔加上的代码块围栏和开场白 */
+function stripWrapper(t) {
+  return String(t || '').replace(/^```[a-z]*\n?|```\s*$/gi, '').trim()
+}
+
+/**
+ * 预估：词数、朗读时长、大约几课、要多久、多少 token
+ * 粗算：朗读每分钟 150 词；一课最多 160 句（约 2000 词）；
+ * 模型输出 token：整理 ≈ 字符数 / 4，翻译讲解 ≈ 每句 120
+ */
+export function estimate(text, { needsCleanup = true } = {}) {
+  const w = words(text)
+  const chars = text.length
+  const sentences = Math.max(1, Math.round(w / 16))
+  const chunks = needsCleanup ? Math.max(1, Math.ceil(chars / CHUNK_CHARS)) : 0
+  const tokens = Math.round((needsCleanup ? chars / 4 : 0) + sentences * 120)
+  // 整理：每段约 40 秒、3 段并行；朗读（Edge）约为时长的 1/4；翻译：每 20 句一批约 15 秒、3 批并行
+  const seconds = Math.ceil(chunks / 3) * 40 + (w / 150) * 60 / 4 + Math.ceil(sentences / 20 / 3) * 15
+  return {
+    words: w, chars, sentences,
+    audioMinutes: Math.max(1, Math.round(w / 150)),
+    lessons: Math.max(1, Math.ceil(sentences / 130)),
+    chunks, tokens,
+    minutes: Math.max(1, Math.round(seconds / 60)),
+  }
+}
+
+/**
+ * @param {object} llm complete() 接口
+ * @param {string} raw 原始文字
+ * @param {{title?:string, signal?:AbortSignal, concurrency?:number, chunkChars?:number, onProgress?(done,total):void}} o
+ * @returns {Promise<{text:string, warnings:string[]}>}
+ */
+export async function cleanupText(llm, raw, o = {}) {
+  const chunks = chunkText(raw, o.chunkChars || CHUNK_CHARS)
+  const out = new Array(chunks.length)
+  const warnings = []
+  let done = 0
+  let next = 0
+  const one = async (k) => {
+    const chunk = chunks[k]
+    const prev = k > 0 ? chunks[k - 1].slice(-300).replace(/\s+/g, ' ') : ''
+    const user = [
+      o.title ? `材料：${o.title}` : '',
+      `这是第 ${k + 1} / ${chunks.length} 段。`,
+      prev ? `上一段原文的结尾是：「…${prev}」（只用来接上下文，不要输出）` : '这是开头。',
+      '',
+      '原始文字：',
+      chunk,
+    ].filter(x => x !== null).join('\n')
+    const want = words(chunk)
+    for (let attempt = 0; attempt < 2; attempt++) {
+      if (o.signal && o.signal.aborted) throw new Error('已取消')
+      try {
+        const text = stripWrapper(await llm.complete({ system: SYSTEM, user, maxTokens: 16000, signal: o.signal }))
+        const got = words(text)
+        if (want < 30 || got >= want * 0.6) { out[k] = ensureStructure(text); return }
+      } catch (e) {
+        if (o.signal && o.signal.aborted) throw e
+        if (attempt === 1) warnings.push(`第 ${k + 1} 段整理失败（${e.message}），用了原文`)
+      }
+    }
+    if (!out[k]) {
+      out[k] = ensureStructure(plainTidy(chunk))
+      if (!warnings.some(w => w.startsWith(`第 ${k + 1} 段`))) warnings.push(`第 ${k + 1} 段 AI 整理后少了很多内容，改用原文（可能留有页眉页码）`)
+    }
+  }
+  const workers = Array.from({ length: Math.min(o.concurrency || 3, chunks.length) }, async () => {
+    while (next < chunks.length) {
+      const k = next++
+      await one(k)
+      done++
+      if (o.onProgress) o.onProgress(done, chunks.length)
+    }
+  })
+  await Promise.all(workers)
+  // 接缝：下一段开头重复了上一段最后的章节标题就去掉
+  const parts = []
+  let lastHeading = ''
+  for (const t of out) {
+    let s = t
+    const first = /^#\s+(.+)$/m.exec(s)
+    if (first && s.trimStart().startsWith('#') && first[1].trim() === lastHeading) s = s.replace(/^\s*#\s+.+\n?/, '')
+    const hs = [...s.matchAll(/^#\s+(.+)$/gm)]
+    if (hs.length) lastHeading = hs[hs.length - 1][1].trim()
+    parts.push(s.trim())
+  }
+  return { text: parts.filter(Boolean).join('\n\n'), warnings }
+}

package/lib/extract.js

@@ -0,0 +1,139 @@
+// lib/extract.js — 从文档里取出文字：PDF、Word（.docx）、EPUB 电子书、网页（.html）、TXT / Markdown
+//
+// 只取文字，不管排版：页眉页码、断行这些交给后面的 AI 整理（lib/docprep.js）。
+// docx / epub 本质是 zip：这里用 Node 自带的 zlib 读，不另加依赖；PDF 用 unpdf（纯 JS）。
+
+import { readFile } from 'node:fs/promises'
+import { extname } from 'node:path'
+import { inflateRawSync } from 'node:zlib'
+
+export const DOC_EXT = ['.pdf', '.docx', '.epub', '.html', '.htm', '.txt', '.md', '.markdown']
+
+// ———————— zip ————————
+
+/** 读 zip 的目录，返回 name → 取内容的函数 */
+export function readZip(buf) {
+  let eocd = -1
+  for (let i = buf.length - 22; i >= Math.max(0, buf.length - 65557); i--) {
+    if (buf.readUInt32LE(i) === 0x06054b50) { eocd = i; break }
+  }
+  if (eocd < 0) throw new Error('不是有效的 zip 文件')
+  const count = buf.readUInt16LE(eocd + 10)
+  let p = buf.readUInt32LE(eocd + 16)
+  const files = new Map()
+  for (let k = 0; k < count; k++) {
+    if (buf.readUInt32LE(p) !== 0x02014b50) break
+    const method = buf.readUInt16LE(p + 10)
+    const size = buf.readUInt32LE(p + 20)
+    const nameLen = buf.readUInt16LE(p + 28)
+    const extraLen = buf.readUInt16LE(p + 30)
+    const commentLen = buf.readUInt16LE(p + 32)
+    const local = buf.readUInt32LE(p + 42)
+    const name = buf.toString('utf8', p + 46, p + 46 + nameLen)
+    files.set(name, () => {
+      const start = local + 30 + buf.readUInt16LE(local + 26) + buf.readUInt16LE(local + 28)
+      const data = buf.subarray(start, start + size)
+      if (method === 0) return data
+      if (method === 8) return inflateRawSync(data)
+      throw new Error(`zip 里用了不支持的压缩方式（${method}）`)
+    })
+    p += 46 + nameLen + extraLen + commentLen
+  }
+  return files
+}
+
+// ———————— HTML / XML → 文字 ————————
+
+const ENTITIES = { amp: '&', lt: '<', gt: '>', quot: '"', apos: "'", nbsp: ' ', mdash: '—', ndash: '–', hellip: '…', lsquo: '‘', rsquo: '’', ldquo: '“', rdquo: '”' }
+export function decodeEntities(s) {
+  return s.replace(/&(#x[0-9a-f]+|#\d+|[a-z]+);/gi, (m, e) => {
+    if (e[0] === '#') return String.fromCodePoint(e[1].toLowerCase() === 'x' ? parseInt(e.slice(2), 16) : parseInt(e.slice(1), 10))
+    return ENTITIES[e.toLowerCase()] ?? m
+  })
+}
+
+/** 网页 / EPUB 章节 → 文字：标题变成「# 」「## 」，段落之间空一行 */
+export function htmlToText(html) {
+  return decodeEntities(String(html)
+    .replace(/<(script|style|head|nav|footer|aside)[\s\S]*?<\/\1>/gi, '')
+    .replace(/<h1[^>]*>([\s\S]*?)<\/h1>/gi, (_, t) => `\n\n# ${t.replace(/<[^>]+>/g, '').trim()}\n\n`)
+    .replace(/<h[2-6][^>]*>([\s\S]*?)<\/h[2-6]>/gi, (_, t) => `\n\n## ${t.replace(/<[^>]+>/g, '').trim()}\n\n`)
+    .replace(/<br\s*\/?>/gi, '\n')
+    .replace(/<\/(p|div|li|blockquote|section|article|tr)>/gi, '\n\n')
+    .replace(/<[^>]+>/g, ''))
+    .replace(/[ \t]+/g, ' ')
+    .replace(/\n[ \t]+/g, '\n')
+    .replace(/\n{3,}/g, '\n\n')
+    .trim()
+}
+
+/** Word：word/document.xml 里一个 <w:p> 是一段，标题样式变成「# / ## 」 */
+export function docxToText(buf) {
+  const zip = readZip(buf)
+  const doc = zip.get('word/document.xml')
+  if (!doc) throw new Error('这个 Word 文件里没有正文')
+  const xml = doc().toString('utf8')
+  const paras = []
+  for (const m of xml.matchAll(/<w:p[ >][\s\S]*?<\/w:p>/g)) {
+    const p = m[0]
+    const style = (/<w:pStyle w:val="([^"]+)"/.exec(p) || [])[1] || ''
+    const text = decodeEntities([...p.matchAll(/<w:t(?: [^>]*)?>([\s\S]*?)<\/w:t>|<w:tab\/>|<w:br\/>/g)].map(t => (t[1] !== undefined ? t[1] : ' ')).join('')).trim()
+    if (!text) continue
+    const h = /^(Heading|标题)\s*(\d)/i.exec(style) || (/^Title$/i.test(style) ? [0, 0, '1'] : null)
+    paras.push(h ? `${h[2] === '1' ? '#' : '##'} ${text}` : text)
+  }
+  return paras.join('\n\n')
+}
+
+/** EPUB：按目录（spine）的顺序把各章 XHTML 接起来 */
+export function epubToText(buf) {
+  const zip = readZip(buf)
+  const container = zip.get('META-INF/container.xml')
+  const opfPath = container && (/full-path="([^"]+)"/.exec(container().toString('utf8')) || [])[1]
+  if (!opfPath || !zip.get(opfPath)) throw new Error('这个 EPUB 文件不完整')
+  const opf = zip.get(opfPath)().toString('utf8')
+  const base = opfPath.includes('/') ? opfPath.slice(0, opfPath.lastIndexOf('/') + 1) : ''
+  const items = new Map([...opf.matchAll(/<item\b[^>]*>/g)].map(m => [(/id="([^"]+)"/.exec(m[0]) || [])[1], (/href="([^"]+)"/.exec(m[0]) || [])[1]]))
+  const parts = []
+  for (const m of opf.matchAll(/<itemref\b[^>]*idref="([^"]+)"/g)) {
+    const href = items.get(m[1])
+    if (!href) continue
+    const name = decodeURIComponent(base + href.split('#')[0])
+    const f = zip.get(name)
+    if (f) parts.push(htmlToText(f().toString('utf8')))
+  }
+  return parts.filter(Boolean).join('\n\n')
+}
+
+/** TXT：UTF-8 / UTF-16（带 BOM）都认 */
+function decodeText(buf) {
+  if (buf[0] === 0xff && buf[1] === 0xfe) return buf.subarray(2).toString('utf16le')
+  if (buf[0] === 0xfe && buf[1] === 0xff) return Buffer.from(buf.subarray(2)).swap16().toString('utf16le')
+  return buf.toString('utf8').replace(/^/, '')
+}
+
+async function pdfToText(buf) {
+  const { extractText, getDocumentProxy } = await import('unpdf')
+  const pdf = await getDocumentProxy(new Uint8Array(buf))
+  const { totalPages, text } = await extractText(pdf, { mergePages: false })
+  return { text: text.join('\n\n'), pages: totalPages, perPage: text.map(t => t.trim().length) }
+}
+
+/**
+ * @returns {Promise<{type:string, text:string, pages?:number, scanned?:boolean}>}
+ */
+export async function extractText(file, name = file) {
+  const ext = extname(name).toLowerCase()
+  if (!DOC_EXT.includes(ext)) throw Object.assign(new Error('不支持这种文件：可以导入 PDF、Word（.docx）、EPUB、网页（.html）、TXT、Markdown'), { status: 400 })
+  const buf = await readFile(file)
+  if (ext === '.pdf') {
+    const r = await pdfToText(buf)
+    // 每页平均不到 80 个字：多半是扫描版（整页是图片），读不出文字
+    const scanned = r.pages > 0 && r.text.replace(/\s/g, '').length / r.pages < 80
+    return { type: 'PDF', text: r.text, pages: r.pages, scanned }
+  }
+  if (ext === '.docx') return { type: 'Word', text: docxToText(buf) }
+  if (ext === '.epub') return { type: 'EPUB', text: epubToText(buf) }
+  if (ext === '.html' || ext === '.htm') return { type: '网页', text: htmlToText(decodeText(buf)) }
+  return { type: ext === '.txt' ? 'TXT' : 'Markdown', text: decodeText(buf) }
+}

package/lib/importer.js

@@ -4,14 +4,17 @@
 // 模型不可用时也能出课（只有英文），之后再「补全翻译」。
 
 import { existsSync } from 'node:fs'
-import { readdir, rename, rm, stat } from 'node:fs/promises'
+import { copyFile, mkdir, readdir, readFile, rename, rm, stat, writeFile } from 'node:fs/promises'
 import { basename, dirname, extname, join, resolve } from 'node:path'
 import { compactAudio, mergeSegments, transcribe } from './asr.js'
 import { ensureModels } from './models.js'
 import { audioPath, getLesson, makeId, saveLesson, titleFromFile } from './store.js'
 import { summarizeLesson, translateSentences } from './translate.js'
 import { buildDocAudio, buildTrack, TRACKS } from './tracks.js'
-import { parseDoc } from './doc.js'
+import { MAX_CHARS, parseDoc } from './doc.js'
+import { cleanupText, estimate, plainTidy } from './docprep.js'
+import { extractText } from './extract.js'
+import { dataRoot } from './paths.js'
 import { createHash } from 'node:crypto'
 import { getVpsConfig, sendLesson } from './vps.js'
 
@@ -108,6 +111,55 @@ export class Importer {
     return out
   }
 
+  /**
+   * 导入文档第一步：取出文字、存档、预估，等用户确认（不调用 AI）
+   * @param {string} file 上传或本机的文件；text 模式时为 null
+   * @param {{name:string, text?:string, removeSource?:boolean}} o
+   */
+  async prepareDoc(file, o) {
+    const ext = (/\.[a-z0-9]+$/i.exec(o.name || '') || ['.txt'])[0].toLowerCase()
+    const r = file ? await extractText(file, o.name) : { type: '粘贴的文字', text: String(o.text || '') }
+    if (r.scanned) throw Object.assign(new Error('这是扫描版 PDF（每页都是图片），读不出文字。先用手机或电脑的文字识别（OCR）、或让 AI 把它转成文字（.txt），再导入。'), { status: 400 })
+    const text = r.text.trim()
+    if ((text.match(/[A-Za-z]+/g) || []).length < 20) throw Object.assign(new Error('文档里几乎没有英文'), { status: 400 })
+    if (text.length > MAX_CHARS) {
+      throw Object.assign(new Error(`太长了：约 ${Math.round(text.length / 6 / 1000)} 千词。一次最多约 6 万词（${MAX_CHARS / 1000} 千字符，相当于 7 小时左右的朗读），拆成几份导入。`), { status: 400 })
+    }
+    // 已经是「# 章节」格式的 Markdown 不用 AI 再整理
+    const formatted = (ext === '.md' || ext === '.markdown' || !file) && /^#\s+\S/m.test(text)
+    const llm = this.deps.llm()
+    const docId = createHash('sha1').update(text).digest('hex').slice(0, 12)
+    const dir = join(dataRoot(), 'docs', docId)
+    await mkdir(dir, { recursive: true })
+    if (file) await copyFile(file, join(dir, `original${ext}`))
+    if (o.removeSource && file) await rm(file, { force: true })
+    await writeFile(join(dir, 'raw.txt'), text)
+    // 粘贴的文字没有文件名：标题留空，整理后用第一章的标题
+    const title = file ? (o.name || '').replace(/\.[a-z0-9]+$/i, '').replace(/[_]+/g, ' ').trim() : (o.title || '')
+    const meta = {
+      docId, name: o.name || '粘贴的文字', title, type: r.type, ext, pages: r.pages || null,
+      needsCleanup: !formatted, model: llm && llm.label ? llm.label() : '', hasModel: Boolean(llm),
+      estimate: estimate(text, { needsCleanup: !formatted }), createdAt: Date.now(),
+      preview: text.slice(0, 600),
+    }
+    await writeFile(join(dir, 'meta.json'), JSON.stringify(meta, null, 1))
+    return meta
+  }
+
+  /** 导入文档第二步：用户确定后排队——AI 整理 → 存档 → 分课（每课再朗读、翻译） */
+  async confirmDoc(docId, o = {}) {
+    if (!/^[a-f0-9]{12}$/.test(String(docId))) throw Object.assign(new Error('文档编号不对'), { status: 400 })
+    const dir = join(dataRoot(), 'docs', docId)
+    let meta
+    try { meta = JSON.parse(await readFile(join(dir, 'meta.json'), 'utf8')) } catch { throw Object.assign(new Error('找不到这份文档，重新选一次文件'), { status: 404 }) }
+    meta.title = (o.title || meta.title || '').trim()
+    meta.voice = { engine: o.engine, voice: o.voice, speed: o.speed }
+    meta.confirmedAt = Date.now()
+    await writeFile(join(dir, 'meta.json'), JSON.stringify(meta, null, 1))
+    this.enqueue({ kind: 'docprep', docId, title: `整理文档：${meta.title || meta.name}` })
+    return meta
+  }
+
   /**
    * 导入英文文档：一章一课；每课排一个任务：朗读 → 翻译讲解 → 概述
    * @param {string} text 整理好的纯文本（# 章节标题 分章）
@@ -124,8 +176,8 @@ export class Importer {
       if (existing && existing.status === 'ready') { out.push({ lessonId: id, existed: true, title: existing.title }); continue }
       const lesson = existing || {
         id, version: 1, kind: 'doc',
-        title: c.title, group: doc.chapters.length > 1 ? doc.title : (o.group || '文档'), order: k,
-        source: { type: 'doc', name: doc.title, chars: text.length },
+        title: c.title, group: doc.title || o.group || '文档', order: k,
+        source: { type: 'doc', name: o.docName || doc.title, chars: text.length, ...(o.docId ? { docId: o.docId } : {}) },
         status: 'queued', createdAt: Date.now(),
         sentences: c.sentences.map((s, i) => ({ i, start: 0, end: 0, text: s.text, en: s.text, zh: '', words: [], sound: '', skip: false, para: s.para, ...(s.heading ? { heading: true } : {}) })),
       }
@@ -239,6 +291,32 @@ export class Importer {
   async run(job) {
     const signal = job.abort.signal
     const opt = this.opts()
+    if (job.kind === 'docprep') {
+      const dir = join(dataRoot(), 'docs', job.docId)
+      const meta = JSON.parse(await readFile(join(dir, 'meta.json'), 'utf8'))
+      const raw = await readFile(join(dir, 'raw.txt'), 'utf8')
+      let text = raw
+      let warnings = []
+      if (meta.needsCleanup) {
+        const llm = this.deps.llm()
+        if (llm) {
+          this.stage(job, 'AI 整理文档', 0, Math.max(1, meta.estimate.chunks), '段')
+          const r = await cleanupText(llm, raw, { title: meta.title, signal, concurrency: opt.concurrency || 3, onProgress: (d, t) => this.stage(job, 'AI 整理文档', d, t, '段') })
+          text = r.text
+          warnings = r.warnings
+        } else {
+          text = plainTidy(raw)
+          warnings = ['没有可用的大模型：只简单接了断行，页眉页码可能还在']
+        }
+      }
+      await writeFile(join(dir, 'clean.md'), text)
+      const r = await this.importDoc(text, { title: meta.title, ...meta.voice, docId: job.docId, docName: meta.name })
+      Object.assign(meta, { cleanedAt: Date.now(), warnings, lessons: r.items.map(x => x.lessonId) })
+      await writeFile(join(dir, 'meta.json'), JSON.stringify(meta, null, 1))
+      if (warnings.length) job.message = warnings[0]
+      return
+    }
+
     if (job.kind === 'doc') {
       if (!existsSync(audioPath(job.lessonId))) {
         const l = await getLesson(job.lessonId)

package/lib/server.js

@@ -10,6 +10,10 @@
 //   POST <prefix>/import   {path, title?}        导入本机的文件或文件夹
 //   POST <prefix>/import-doc {text, title?, engine?, voice?, speed?}   导入整理好的英文文档（# 章节 分课），AI 朗读
 //   GET  <prefix>/doc-help                       导入文档的格式要求、给别的 AI 的整理指令
+//   POST <prefix>/doc/upload?name=               上传文档（PDF / Word / EPUB / 网页 / TXT / MD）→ 取出文字、存档、预估，等确认
+//   POST <prefix>/doc/text {text, title?}        粘贴的文字，同上
+//   POST <prefix>/doc/confirm {docId, title?, engine?, voice?, speed?}   确定：AI 整理 → 分课朗读翻译
+//   POST <prefix>/doc/cancel {docId} · GET /doc/file?id=&which=clean|raw|original   存档
 //   POST <prefix>/upload?name=                   上传音频（请求体就是文件）
 //   POST <prefix>/grade    {id, i, g}            给一句评分（0 没懂 / 1 半懂 / 2 懂了）
 //   POST <prefix>/resume | retranslate | reset | delete  {id}
@@ -34,7 +38,7 @@ import { mkdir, readFile, rm, stat } from 'node:fs/promises'
 import { extname, join } from 'node:path'
 import { pipeline } from 'node:stream/promises'
 import { findModels } from './models.js'
-import { findFfmpeg, uploadsDir } from './paths.js'
+import { dataRoot, findFfmpeg, uploadsDir } from './paths.js'
 import { AUDIO_EXT } from './importer.js'
 import { listTracks, trackAudio, trackFlac, TRACKS, zhSample } from './tracks.js'
 import { buildDrill, DRILL_RE } from './drill.js'
@@ -43,6 +47,7 @@ import { today } from './today.js'
 import { exportText, FORMATS } from './export.js'
 import { EDGE_EN_VOICES, EDGE_ZH_VOICES, edgeStatus, installEdge } from './edge.js'
 import { MAX_CHARS, PREP_PROMPT } from './doc.js'
+import { DOC_EXT } from './extract.js'
 import { detect, getVpsConfig, panelUrl, saveVpsConfig, sshHosts } from './vps.js'
 import { KOKORO_VOICES, kokoroReady, kokoroZhReady, SAY_HINT, sayVoices, ZH_VOICES } from './voices.js'
 import { checkId, deleteLesson, editSentence, getLesson, getProgress, gradeSentence, listLessons, mergeWithNext, resetProgress, setProgressFields, setStar, splitSentence, summary } from './store.js'
@@ -56,6 +61,8 @@ const STATIC = {
 for (const name of ['panel', 'core', 'study', 'listen', 'edit', 'dict']) STATIC[`/${name}.js`] = [`web/${name}.js`, 'text/javascript; charset=utf-8']
 
 const MAX_UPLOAD = 2 * 1024 * 1024 * 1024
+const MAX_DOC_UPLOAD = 100 * 1024 * 1024
+const DOC_ID = /^[a-f0-9]{12}$/
 
 function send(res, status, body) {
   res.writeHead(status, { 'content-type': 'application/json; charset=utf-8', 'cache-control': 'no-store' })
@@ -183,7 +190,26 @@ export function createHandler(o) {
           return res.end(out.text)
         }
         if (path === '/formats') return send(res, 200, { formats: FORMATS })
-        if (path === '/doc-help') return send(res, 200, { prompt: PREP_PROMPT, maxChars: MAX_CHARS })
+        if (path === '/doc-help') return send(res, 200, { prompt: PREP_PROMPT, maxChars: MAX_CHARS, maxUpload: MAX_DOC_UPLOAD, ext: DOC_EXT })
+        if (path === '/doc/file') {
+          const id = q.get('id')
+          if (!DOC_ID.test(String(id))) return send(res, 400, { error: '文档编号不对' })
+          const dir = join(dataRoot(), 'docs', id)
+          let meta
+          try { meta = JSON.parse(await readFile(join(dir, 'meta.json'), 'utf8')) } catch { return send(res, 404, { error: '没有这份文档' }) }
+          const which = q.get('which') === 'original' ? 'original' : q.get('which') === 'raw' ? 'raw' : 'clean'
+          const file = which === 'original' ? join(dir, `original${meta.ext}`) : join(dir, which === 'raw' ? 'raw.txt' : 'clean.md')
+          const base = (meta.title || meta.name || 'document').replace(/\.[a-z0-9]+$/i, '')
+          const filename = which === 'original' ? meta.name : `${base}${which === 'raw' ? '（原始文字）.txt' : '（整理后）.md'}`
+          let buf
+          try { buf = await readFile(file) } catch { return send(res, 404, { error: which === 'clean' ? '还没整理好' : '没有这个文件' }) }
+          res.writeHead(200, {
+            'content-type': which === 'original' ? 'application/octet-stream' : 'text/plain; charset=utf-8',
+            'content-disposition': `attachment; filename="document${extname(filename)}"; filename*=UTF-8''${encodeURIComponent(filename.replace(/[\\/:*?"<>|]/g, '_'))}`,
+            'cache-control': 'no-store',
+          })
+          return res.end(buf)
+        }
         if (path === '/update') {
           if (!o.manage) return send(res, 200, { managed: false })
           return send(res, 200, { managed: true, ...(await o.manage.info(q.get('force') === '1')) })
@@ -200,6 +226,19 @@ export function createHandler(o) {
 
       if (!safePost(req)) return send(res, 403, { error: '只接受本页面发出的请求' })
 
+      if (path === '/doc/upload') {
+        const name = String(q.get('name') || 'document.txt').replace(/[\\/]/g, '_').slice(0, 200)
+        const ext = extname(name).toLowerCase()
+        if (!DOC_EXT.includes(ext)) return send(res, 400, { error: '不支持这种文件：可以导入 PDF、Word（.docx）、EPUB、网页（.html）、TXT、Markdown' })
+        if (Number(req.headers['content-length'] || 0) > MAX_DOC_UPLOAD) return send(res, 413, { error: '文件太大（最多 100 MB）' })
+        await mkdir(uploadsDir(), { recursive: true })
+        const tmp = join(uploadsDir(), `${Date.now()}-${Math.random().toString(36).slice(2, 8)}${ext}`)
+        try { await pipeline(req, createWriteStream(tmp)) } catch (e) { await rm(tmp, { force: true }); throw e }
+        try {
+          return send(res, 200, { ok: true, doc: await o.importer.prepareDoc(tmp, { name, removeSource: true }) })
+        } finally { await rm(tmp, { force: true }) }
+      }
+
       if (path === '/upload') {
         const name = String(q.get('name') || 'audio.mp3').replace(/[\\/]/g, '_').slice(0, 200)
         const ext = extname(name).toLowerCase()
@@ -219,6 +258,31 @@ export function createHandler(o) {
 
       // 导入文档的请求体是整篇文字，放宽到 2 MB；其余都是小参数
       const body = await readJson(req, path === '/import-doc' ? 2 * 1024 * 1024 : 64 * 1024)
+      if (path === '/doc/text') {
+        if (typeof body.text !== 'string' || !body.text.trim()) return send(res, 400, { error: '没有文字' })
+        const title = typeof body.title === 'string' && body.title.trim() ? body.title.trim().slice(0, 120) : ''
+        return send(res, 200, { ok: true, doc: await o.importer.prepareDoc(null, { name: title || '粘贴的文字', title, text: body.text }) })
+      }
+      if (path === '/doc/confirm') {
+        const speed = Number(body.speed)
+        const meta = await o.importer.confirmDoc(String(body.docId || ''), {
+          title: typeof body.title === 'string' ? body.title.slice(0, 120) : '',
+          engine: body.engine === 'kokoro' ? 'kokoro' : 'edge',
+          voice: typeof body.voice === 'string' ? body.voice.slice(0, 60) : undefined,
+          speed: Number.isFinite(speed) && speed >= 0.6 && speed <= 1.4 ? speed : 1,
+        })
+        return send(res, 200, { ok: true, doc: meta })
+      }
+      if (path === '/doc/cancel') {
+        const id = String(body.docId || '')
+        if (!DOC_ID.test(id)) return send(res, 400, { error: '文档编号不对' })
+        const dir = join(dataRoot(), 'docs', id)
+        try {
+          const meta = JSON.parse(await readFile(join(dir, 'meta.json'), 'utf8'))
+          if (!meta.confirmedAt) await rm(dir, { recursive: true, force: true }) // 确认过的是存档，不删
+        } catch { /* 本来就没有 */ }
+        return send(res, 200, { ok: true })
+      }
       if (path === '/import-doc') {
         if (typeof body.text !== 'string' || !body.text.trim()) return send(res, 400, { error: '没有文字：粘贴进来，或选一个 .txt / .md 文件' })
         const speed = Number(body.speed)

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-tingdong",
-  "version": "0.4.0",
+  "version": "0.5.0",
   "description": "听懂：把英文有声读物（MP3）或英文文档变成听力课。本地识别 / AI 朗读每一句英文、AI 翻译讲解，再用盲听、精听、间隔复习把它练到「一听就懂」。DeepSeek Harness (dsh) 插件。",
   "keywords": [
     "dsh-plugin",
@@ -54,7 +54,8 @@
     "node": ">=20"
   },
   "dependencies": {
-    "sherpa-onnx-node": "1.13.8"
+    "sherpa-onnx-node": "1.13.8",
+    "unpdf": "1.9.1"
   },
   "dsh": {
     "bundle": {

package/web/panel.css

@@ -333,3 +333,13 @@ code.cmd { font: 12px ui-monospace, SFMono-Regular, Menlo, monospace; padding: 6
 .kind { font-size: 11px; font-weight: 600; padding: 0 6px; border-radius: 4px; margin-right: 6px; vertical-align: 1px; background: var(--accent-soft); color: var(--accent); }
 .kind.doc { background: rgba(201, 138, 18, .14); color: var(--mid); }
 @media (max-width: 640px) { .new-grid { grid-template-columns: 1fr; } }
+
+/* —— 导入文档：确认 —— */
+#docDrop { padding: 22px 14px; }
+#docDrop .new-ico { font-size: 28px; }
+.doc-confirm .ai-note { margin: 10px 0; padding: 10px 12px; border-radius: 10px; background: var(--accent-soft); line-height: 1.6; font-size: 13px; }
+.doc-confirm .est { display: grid; grid-template-columns: repeat(4, 1fr); gap: 8px; text-align: center; margin: 6px 0 8px; }
+.doc-confirm .est b { display: block; font-size: 20px; font-variant-numeric: tabular-nums; }
+.doc-confirm .est span { font-size: 11px; color: var(--sub); }
+.doc-confirm .form input[type=text] { margin: 0; }
+@media (max-width: 380px) { .doc-confirm .est { grid-template-columns: repeat(2, 1fr); } }

package/web/panel.js

@@ -233,72 +233,111 @@ function newAudioPanel(box) {
   drop.ondrop = e => { e.preventDefault(); drop.classList.remove('over'); uploadFiles([...e.dataTransfer.files]) }
 }
 
-let docHelp = null
-async function newDocPanel(box) {
-  box.innerHTML = '<div class="card"><div class="faint">…</div></div>'
-  try {
-    if (!docHelp) docHelp = await api('doc-help')
-    if (!S.voices) S.voices = await api('voices')
-  } catch (e) { box.innerHTML = `<div class="card small" style="color:var(--bad)">${esc(e.message)}</div>`; return }
-  const V = S.voices
+// —— 导入文档：选文件 → 取出文字、预估 → 确认（提示会用 AI 整理）→ 后台整理、存档、分课、朗读、翻译 ——
+let pendingDoc = null // 已经读出文字、等确认的文档
+function newDocPanel(box) {
+  if (pendingDoc) return docConfirm(box, pendingDoc)
+  box.innerHTML = `<div class="card">
+    <h3>导入英文文档</h3>
+    <div class="drop" id="docDrop">
+      <div class="new-ico">📄</div>
+      <div><b>把文档拖到这里</b>，或 <a href="#" class="link" id="docPick">选择文件</a></div>
+      <div class="faint" style="margin-top:4px">PDF、Word（.docx）、EPUB 电子书、网页（.html）、TXT、Markdown · 最大 100 MB · 约 6 万词以内</div>
+      <input type="file" id="docFile" accept=".pdf,.docx,.epub,.html,.htm,.txt,.md,.markdown" hidden>
+    </div>
+    <div class="faint" style="margin-top:8px">导入后先让你确认：AI 会把文字整理好（去掉页眉页码、修好断行、分好章节，原文不改），再朗读成音频、逐句翻译讲解。</div>
+    <details style="margin-top:8px"><summary class="link">没有文件？直接粘贴英文</summary>
+      <textarea id="docText" rows="6" placeholder="把英文文章粘贴到这里"></textarea>
+      <button class="btn" id="docPaste" style="margin-top:6px">下一步</button>
+    </details>
+    <div id="docBusy"></div>
+  </div>`
+  const busy = msg => { $('#docBusy').innerHTML = msg ? `<div class="faint" style="margin-top:8px">${msg}</div>` : '' }
+  const got = doc => { pendingDoc = doc; docConfirm(box, doc) }
+  const upload = f => {
+    if (!f) return
+    if (!/\.(pdf|docx|epub|html?|txt|md|markdown)$/i.test(f.name)) return toast('不支持这种文件：可以导入 PDF、Word、EPUB、网页、TXT、Markdown')
+    if (f.size > 100 * 1024 * 1024) return toast('文件太大（最多 100 MB）')
+    const xhr = new XMLHttpRequest()
+    xhr.open('POST', `doc/upload?name=${encodeURIComponent(f.name)}`)
+    xhr.setRequestHeader('content-type', 'application/octet-stream')
+    xhr.setRequestHeader('x-tingdong', '1')
+    xhr.upload.onprogress = e => { if (e.lengthComputable) busy(`正在上传 ${esc(f.name)}… ${Math.round(e.loaded / e.total * 100)}%`) }
+    xhr.upload.onload = () => busy(`正在读取 ${esc(f.name)} 里的文字…`)
+    xhr.onload = () => {
+      let j = {}
+      try { j = JSON.parse(xhr.responseText) } catch { /* 忽略 */ }
+      busy('')
+      if (xhr.status >= 400 || !j.doc) return toast(j.error || '读取失败')
+      got(j.doc)
+    }
+    xhr.onerror = () => { busy(''); toast('上传失败') }
+    busy(`正在上传 ${esc(f.name)}…`)
+    xhr.send(f)
+  }
+  $('#docPick').onclick = e => { e.preventDefault(); $('#docFile').click() }
+  $('#docFile').onchange = e => upload(e.target.files[0])
+  const drop = $('#docDrop')
+  drop.ondragover = e => { e.preventDefault(); drop.classList.add('over') }
+  drop.ondragleave = () => drop.classList.remove('over')
+  drop.ondrop = e => { e.preventDefault(); drop.classList.remove('over'); upload(e.dataTransfer.files[0]) }
+  $('#docPaste').onclick = async () => {
+    const text = $('#docText').value
+    if (!text.trim()) return toast('先粘贴英文')
+    busy('正在读取…')
+    try { got((await api('doc/text', { text })).doc) } catch (e) { toast(e.message) }
+    busy('')
+  }
+}
+
+/** 确认卡片：读到了什么、AI 会做什么、预计多久，选朗读的声音，确定后开始 */
+async function docConfirm(box, doc) {
+  try { if (!S.voices) S.voices = await api('voices') } catch { /* 下面按没装 Edge 处理 */ }
+  const V = S.voices || {}
   const edgeReady = V.edge && V.edge.ready
   const engine = store.get('docEngine', 'edge')
   const list = engine === 'edge' ? ((V.edge && V.edge.en) || []) : ((V.kokoro && V.kokoro.voices) || []).map(v => ({ ...v, gender: v.id[1] === 'm' ? 'm' : 'f' }))
   const voice = store.get(engine === 'edge' ? 'docVoiceEdge' : 'docVoiceKokoro', engine === 'edge' ? 'en-US-AndrewNeural' : 'am_michael')
   const speed = store.get('docSpeed', 1)
   const group = (g, name) => `<optgroup label="${name}">${list.filter(x => x.gender === g).map(x => `<option value="${esc(x.id)}" ${x.id === voice ? 'selected' : ''}>${esc(x.label)}</option>`).join('')}</optgroup>`
-  box.innerHTML = `<div class="card doc-new">
-    <h3>导入英文文档</h3>
-    <div class="step"><span class="num">1</span><div class="grow">
-      <b>先让 AI 把材料整理好</b>
-      <div class="faint">PDF、电子书、网页都行：把下面这段话连同材料一起发给 ChatGPT、DeepSeek、Kimi 等，它会整理成能直接导入的英文文字（只留正文、修好断行、按章节分好）。扫描版 PDF 也可以，让它先识别文字。</div>
-      ${S.status && S.status.host === 'dsh' ? '<div class="faint" style="margin-top:4px">💡 更省事：在 DSH 的对话里把 PDF 发给 AI，说「按听懂的格式整理后导入听懂」，它会整理好直接导入，不用复制粘贴。</div>' : ''}
-      <details style="margin-top:6px"><summary class="link">查看整理要求</summary><pre class="prompt">${esc(docHelp.prompt)}</pre></details>
-      <button class="btn" id="copyPrompt" style="margin-top:6px">复制整理要求</button>
-    </div></div>
-    <div class="step"><span class="num">2</span><div class="grow">
-      <b>把整理好的文字粘贴进来</b>
-      <textarea id="docText" rows="8" placeholder="# 第一章标题&#10;&#10;First paragraph of the chapter...&#10;&#10;Second paragraph...&#10;&#10;# 第二章标题&#10;&#10;..."></textarea>
-      <div class="row" style="margin-top:4px">
-        <span class="faint grow" id="docCount">每个「# 标题」开始一课；没有标题就整篇一课</span>
-        <a href="#" class="link" id="docPick">或选择 .txt / .md 文件</a>
-        <input type="file" id="docFile" accept=".txt,.md,.markdown,text/plain,text/markdown" hidden>
-      </div>
-      <input type="text" id="docTitle" placeholder="文档标题（可不填，用第一章的标题）" style="margin-top:6px">
-    </div></div>
-    <div class="step"><span class="num">3</span><div class="grow">
-      <b>选朗读的声音</b>
-      <div class="chips" style="margin-top:4px">
+  const e = doc.estimate
+  const blocked = engine === 'edge' && !edgeReady
+  box.innerHTML = `<div class="card doc-confirm">
+    <h3>确认导入</h3>
+    <div class="row"><span class="new-ico">📄</span><div class="grow"><b>${esc(doc.name)}</b>
+      <div class="faint">${esc(doc.type)}${doc.pages ? ` · ${doc.pages} 页` : ''} · 约 ${e.words.toLocaleString()} 个英文单词</div></div></div>
+    <details style="margin-top:6px"><summary class="link">看看读到的文字</summary><pre class="prompt">${esc(doc.preview)}${doc.preview.length >= 600 ? '…' : ''}</pre></details>
+    <div class="ai-note">
+      ${doc.needsCleanup
+        ? (doc.hasModel
+          ? `🤖 <b>会用 AI 整理文字</b>（${esc(doc.model)}）：去掉页眉页码和目录、修好断行、分好章节。只整理格式，原文一个字都不改，不翻译。整理好的文字会存档，随时能下载。`
+          : '⚠ 没有可用的大模型：只能简单接好断行，页眉页码可能留下。配好 DSH 的默认模型再导入效果更好。')
+        : '✓ 已经是整理好的格式（有「# 章节」），不用 AI 整理。'}
+    </div>
+    <div class="est">
+      <div><b>${e.lessons}</b><span>约几课</span></div>
+      <div><b>${e.audioMinutes}</b><span>朗读分钟</span></div>
+      <div><b>${e.minutes}</b><span>处理分钟</span></div>
+      <div><b>${e.tokens >= 10000 ? (e.tokens / 10000).toFixed(1) + '万' : e.tokens.toLocaleString()}</b><span>模型 token</span></div>
+    </div>
+    <div class="faint">处理时间取决于模型速度，都在后台进行；分好的课做好一课就能先学一课。${e.words > 20000 ? '这份比较长，可以先导入其中一部分试试。' : ''}</div>
+    <div class="form">
+      <label>标题</label><input type="text" id="docTitle" value="${esc(doc.title || '')}" placeholder="文档标题">
+      <label>朗读</label><div class="chips">
         <button class="chip ${engine === 'edge' ? 'on' : ''}" data-docengine="edge">微软 Edge（最自然，要联网）</button>
         <button class="chip ${engine === 'kokoro' ? 'on' : ''}" data-docengine="kokoro">Kokoro（离线）</button>
       </div>
-      ${engine === 'edge' && !edgeReady ? `<div class="faint">Edge 语音要先装一个小组件（edge-tts，约 15 MB，装在插件自己的目录里，需要电脑上有 Python 3）。文字会发到微软的服务器朗读。</div>
-        <button class="btn" id="docEdgeInstall" style="margin-top:6px">安装 Edge 语音组件</button>` : `
-        <div class="row" style="margin-top:4px"><select id="docVoice">${group('m', '男声')}${group('f', '女声')}</select></div>
-        <div class="chips" style="margin-top:6px">${[0.85, 1, 1.15].map(x => `<button class="chip ${x === speed ? 'on' : ''}" data-docspeed="${x}">${x === 1 ? '正常语速' : x < 1 ? '慢一点' : '快一点'}</button>`).join('')}</div>`}
-    </div></div>
-    <button class="btn primary big" id="docGo" ${engine === 'edge' && !edgeReady ? 'disabled' : ''}>开始导入</button>
+      ${blocked ? `<label></label><div><div class="faint">Edge 语音要先装一个小组件（edge-tts，约 15 MB，装在插件自己的目录里，需要电脑上有 Python 3）。朗读时文字会发到微软的服务器。</div>
+        <button class="btn" id="docEdgeInstall" style="margin-top:6px">安装 Edge 语音组件</button></div>` : `
+      <label>声音</label><select id="docVoice">${group('m', '男声')}${group('f', '女声')}</select>
+      <label>语速</label><div class="chips">${[0.85, 1, 1.15].map(x => `<button class="chip ${x === speed ? 'on' : ''}" data-docspeed="${x}">${x === 1 ? '正常' : x < 1 ? '慢一点' : '快一点'}</button>`).join('')}</div>`}
+    </div>
+    <div class="row" style="margin-top:12px">
+      <button class="btn primary big" id="docGo" ${blocked ? 'disabled' : ''}>确定，开始导入</button>
+      <button class="btn ghost" id="docCancel">取消</button>
+    </div>
   </div>`
-  const ta = $('#docText')
-  ta.value = store.get('docDraft', '')
-  const count = () => {
-    const t = ta.value
-    const chapters = (t.match(/^#\s+\S/gm) || []).length
-    const words = (t.match(/[A-Za-z']+/g) || []).length
-    $('#docCount').textContent = t.trim() ? `${words.toLocaleString()} 个英文单词 · ${chapters ? `${chapters} 章（每章一课）` : '没有「# 标题」：整篇一课'}` : '每个「# 标题」开始一课；没有标题就整篇一课'
-  }
-  ta.oninput = () => { count(); try { store.set('docDraft', ta.value.slice(0, 200000)) } catch { /* 太大就不存草稿 */ } }
-  count()
-  $('#copyPrompt').onclick = () => copy(docHelp.prompt)
-  $('#docPick').onclick = e => { e.preventDefault(); $('#docFile').click() }
-  $('#docFile').onchange = async e => {
-    const f = e.target.files[0]
-    if (!f) return
-    ta.value = await f.text()
-    if (!$('#docTitle').value) $('#docTitle').value = f.name.replace(/\.(txt|md|markdown)$/i, '')
-    ta.oninput()
-  }
-  box.querySelectorAll('[data-docengine]').forEach(b => { b.onclick = () => { store.set('docEngine', b.dataset.docengine); newDocPanel(box) } })
+  box.querySelectorAll('[data-docengine]').forEach(b => { b.onclick = () => { store.set('docEngine', b.dataset.docengine); docConfirm(box, doc) } })
   box.querySelectorAll('[data-docspeed]').forEach(b => {
     b.onclick = () => { store.set('docSpeed', Number(b.dataset.docspeed)); box.querySelectorAll('[data-docspeed]').forEach(x => x.classList.toggle('on', x === b)) }
   })
@@ -312,22 +351,24 @@ async function newDocPanel(box) {
       const r = await api('edge/install', {})
       toast(r.ready ? `Edge 语音组件已装好（${r.version}）` : '安装没成功')
       S.voices = null
-      newDocPanel(box)
-    } catch (e) { toast(e.message); inst.disabled = false; inst.textContent = '安装 Edge 语音组件' }
+      docConfirm(box, doc)
+    } catch (err) { toast(err.message); inst.disabled = false; inst.textContent = '安装 Edge 语音组件' }
+  }
+  $('#docCancel').onclick = async () => {
+    pendingDoc = null
+    api('doc/cancel', { docId: doc.docId }).catch(() => {})
+    newDocPanel(box)
   }
   $('#docGo').onclick = async () => {
     const btn = $('#docGo')
     btn.disabled = true
     try {
-      const r = await api('import-doc', { text: ta.value, title: $('#docTitle').value.trim(), engine, voice: vs ? vs.value : undefined, speed: store.get('docSpeed', 1) })
-      const fresh = r.items.filter(x => !x.existed)
-      toast(fresh.length ? `《${r.title}》分成 ${r.items.length} 课，正在朗读和翻译` : '这份文档导入过了')
-      store.set('docDraft', '')
-      ta.value = ''
-      count()
+      await api('doc/confirm', { docId: doc.docId, title: $('#docTitle').value.trim(), engine, voice: vs ? vs.value : undefined, speed: store.get('docSpeed', 1) })
+      toast(doc.needsCleanup && doc.hasModel ? '开始了：AI 整理 → 分课 → 朗读 → 翻译，进度在下面' : '开始了：分课 → 朗读 → 翻译，进度在下面')
+      pendingDoc = null
+      newDocPanel(box)
       pollJobsNow()
-    } catch (e) { toast(e.message) }
-    btn.disabled = false
+    } catch (err) { toast(err.message); btn.disabled = false }
   }
 }
 
@@ -572,6 +613,7 @@ function paneOverview(pane, l, st) {
     <div class="card">
       ${l.titleZh ? `<div style="font-weight:600">${esc(l.titleZh)}</div><div class="faint">${esc(l.title)}</div>` : `<div style="font-weight:600">${esc(l.title)}</div>`}
       <div class="faint" style="margin-top:2px">${l.kind === 'doc' ? `文档 · 朗读：${esc(l.voiceLabel || 'AI')} · ` : ''}${fmtDur(l.duration)} · ${l.sentences.length} 句${l.model ? ` · 翻译：${esc(l.model)}` : ''}</div>
+      ${l.source && l.source.docId ? `<div class="faint" style="margin-top:2px">原文档：${esc(l.source.name)} · <a class="link" href="doc/file?id=${l.source.docId}&which=original" download>下载原文件</a> · <a class="link" href="doc/file?id=${l.source.docId}&which=clean" download>整理后的文字</a></div>` : ''}
       ${l.summaryZh ? `<p class="summary">${esc(l.summaryZh)}</p>` : ''}
       ${l.note ? `<div class="small" style="color:var(--mid)">${esc(l.note)}</div>` : ''}
       ${l.status === 'error' ? `<div class="small" style="color:var(--bad)">${esc(l.error)}</div>` : ''}