dsh-cait 1.0.4 → 1.0.5

package/CHANGELOG.md

@@ -4,6 +4,48 @@ All notable changes to CAIT are documented here. The project follows
 [Semantic Versioning](https://semver.org/) and the format is based on
 [Keep a Changelog](https://keepachangelog.com/).
 
+## [1.0.5] - 2026-11-06
+
+EPUB support, an import preprocessing stage, and format hardening.
+
+### Added
+
+- EPUB 3 import and export. Import walks the OPF spine, turns XHTML text blocks
+  into segments, and keeps inline tags as placeholder tokens; export patches the
+  translations back into the retained source package, preserving chapters,
+  styles, images, and navigation. Documents created from plain text export as a
+  fresh EPUB 3 package. DRM, fixed-layout, and scripted EPUBs are out of scope.
+- Import preprocessing: whitespace normalization, invisible/control character
+  stripping, and blank-line collapsing before segmentation. Each step has a
+  settings toggle, applies to file imports and `createDocument`, and is stored
+  with the other settings.
+- A shared HTML/XHTML run scanner (`lib/html.js`) used by both HTML and EPUB, so
+  headings and inline markup survive import and are patched back on export.
+- CSV delimiter detection (comma, semicolon, tab, pipe) and richer RTF escapes
+  (`\cell`, `\row`, `\page`, `\sect`, symbol characters).
+
+### Changed
+
+- PDF import is explicitly out of scope. All three READMEs explain why PDF is a
+  poor fit for AI-assisted translation and recommend converting it with pandoc,
+  Acrobat, or LibreOffice first.
+- The supported-formats table, project layout, roadmap, and “Known limits”
+  sections now describe EPUB, preprocessing, and the PDF policy.
+
+### Fixed
+
+- Settings persistence now stores `uiLang` and the preprocessing flags instead of
+  falling back to defaults on reload.
+- The EPUB `mimetype` entry is written uncompressed, as the OCF specification
+  requires, and every other entry stays deflated.
+- HTML import no longer flattens headings and inline markup into blank-line
+  paragraphs.
+
+### Development
+
+- New `_dev/test-epub.mjs` and `_dev/test-preprocess.mjs` suites; the full suite
+  count is 15.
+
 ## [1.0.4] - 2026-11-05
 
 Provenance publishing.
@@ -365,3 +407,4 @@ directory (`$DSH_HOME/cait`), and API route (`/cait/api`) keep the CAIT name.
 | 2026-11-04 | First-tier exchange formats: CSV mapping, SRT, WebVTT, PO, XLIFF 1.2, metadata persistence, timeline fixes. |
 | 2026-11-04 | Second-tier formats: HTML, JSON, XLSX, PPTX, RTF; binary upload/export; source-preserving PPTX. |
 | 2026-11-04 | Responsive UI density 1×–1.8×; button contrast fix; v1.0.0 release. |
+| 2026-11-06 | EPUB 3 import/export with source-package patching, shared HTML/XHTML scanner, import preprocessing stage, CSV/RTF hardening, PDF out of scope; v1.0.5 release. |

package/README.ja.md

@@ -17,7 +17,7 @@
 <p align="center">
   <a href="https://www.npmjs.com/package/dsh-cait"><img alt="npm バージョン" src="https://img.shields.io/npm/v/dsh-cait.svg" /></a>
   <img alt="DSH 0.2.x" src="https://img.shields.io/badge/DSH-0.2.x-4d6bfe.svg" />
-  <img alt="テスト 13 スイート" src="https://img.shields.io/badge/tests-13%20suites-brightgreen.svg" />
+  <img alt="テスト 15 スイート" src="https://img.shields.io/badge/tests-15%20suites-brightgreen.svg" />
   <img alt="API キー不要" src="https://img.shields.io/badge/API%20key-not%20required-6b7280.svg" />
 </p>
 
@@ -37,7 +37,7 @@ CAIT は DSH Web UI と DSH デスクトップに CAT ワークベンチを追
 | **説明できる翻訳メモリ** | 複数の TM ライブラリ、マウント済みライブラリのみの検索、完全一致 / ほぼ完全一致 / 高・中・低ファジーの段階、確定時の自動書き戻し。 |
 | **用語を意識した編集** | 複数の用語集、ソース言語による絞り込み、インライン強調、用語のクリック挿入、用語ごとの大文字小文字の区別。 |
 | **文書ワークフロー** | タブ、閉じる / 開き直し、最近の文書の整理、同一内容の再インポート再利用、文書ごとの進捗。 |
-| **実用的な形式対応** | TXT、Markdown、DOCX、TMX、CSV、SRT/VTT、PO、XLIFF 1.2/2.0/SDLXLIFF、HTML、JSON、XLSX、PPTX、RTF。 |
+| **実用的な形式対応** | TXT、Markdown、DOCX、EPUB、TMX、CSV、SRT/VTT、PO、XLIFF 1.2/2.0/SDLXLIFF、HTML、JSON、XLSX、PPTX、RTF。 |
 | **エージェント対応** | 7 つのツールが開いている文書とストアを共有するので、エージェントと並行して翻訳できます。 |
 
 ## クイックスタート
@@ -100,6 +100,17 @@ Host のリビジョンをポーリングするため、エージェントによ
   1×–1.8× で適用します。1600×900 のパネルは約 1.32×、2560×1440 は 1.8×。
   高さの低いウィンドウでは縮小せず 1× のままです。
 
+### 前処理
+
+インポートした原文は、分割の前に前処理ステージを通ります:
+
+- 連続する空白とタブを畳み、行頭のインデントを除き、連続する空行をまとめます。
+- ゼロ幅文字と余分な制御文字を除去します。
+- プレースホルダートークン（`{1}`、`{2}`…）、句読点、大文字小文字、段落順は
+  変更しません。XLIFF/HTML/EPUB のインラインマークアップはそのまま往復できます。
+- 3 つの手順は **設定 → 前処理** で個別に切り替えられ、他の設定と一緒に保存されます。
+  新しいインポートと `createDocument` 呼び出しに適用され、既存の文書は書き換えません。
+
 ### MT 支援
 
 CAIT はエンドポイントもキーも持ちません。セレクタは DSH から組み立てます:
@@ -120,15 +131,16 @@ CAIT はエンドポイントもキーも持ちません。セレクタは DSH
 | 形式 | インポート | エクスポート | 備考 |
 | --- | :---: | :---: | --- |
 | TXT / Markdown | ✅ | ✅ | 段落と文のセグメンテーション |
-| CSV | ✅ | ✅ | ヘッダー名または 1 始まりの番号でソース / ターゲット列を指定可能。既存の対訳エクスポートにも対応 |
+| CSV | ✅ | ✅ | カンマ、セミコロン、タブ、パイプの区切りを自動判定。ヘッダー名または 1 始まりの番号でソース / ターゲット列を指定可能。既存の対訳エクスポートにも対応 |
 | DOCX | ✅ | ✅ | 本文段落。表ブロックはインポート対象外。エクスポートは元のパッケージにパッチを当て、スタイル、番号付け、画像、ヘッダー、表、レイアウトを保つ |
+| EPUB | ✅ | ✅ | EPUB 3 の spine 順に XHTML テキストブロックを読み、インライン要素をトークンとして保持し、保持したソースパッケージに書き戻す。DRM、固定レイアウト、スクリプト化された EPUB は非対応 |
 | TMX 1.4 | ✅ | ✅ | 一般的な `<tu>/<tuv>/<seg>` サブセット。インライン要素は警告付きで平坦化 |
 | SRT / WebVTT | ✅ | ✅ | 1 キュー = 1 セグメント。タイミング / 設定 / 識別子を保持し、セマンティックタグも維持。不正な範囲は拒否 |
 | PO | ✅ | ✅ | コンテキスト、複数形、翻訳者コメント、廃止された `#~` エントリ |
 | XLIFF 1.2 | ✅ | ✅ | インラインタグは `{n}` トークンになり、欠落していると確定できない |
 | XLIFF 2.0 | ✅ | ✅ | `<unit><segment><source>/<target>` の基本サブセット |
 | SDLXLIFF | ✅ | ✅ | XLIFF 1.2 の基本パス。SDL 固有の拡張はラウンドトリップしない |
-| HTML | ✅ | ✅ | テキストブロックのみ。元のマークアップ / CSS は保持しない |
+| HTML | ✅ | ✅ | テキストブロックとインラインタグを保持。文書全体の CSS / レイアウトは再構築しない |
 | JSON | ✅ | ✅ | 文字列パスのサブセット。オブジェクト / 配列構造はテンプレートで保持。キーと数値は翻訳しない |
 | XLSX | ✅ | ✅ | 最初のワークシート。`Source`/`Target` ヘッダーまたは A/B 列。エクスポートは 2 列の新しいワークブック |
 | PPTX | ✅ | ✅* | ソース保持エクスポート。インポートした `.pptx` パッケージが必要。本文テキストのみで、ノート / グラフ / SmartArt はインポートしない |
@@ -139,7 +151,26 @@ CAIT はエンドポイントもキーも持ちません。セレクタは DSH
 
 交換メタデータ（字幕のタイミング、PO のコンテキスト / 複数形 / コメント、XLIFF の id と
 インライントークンマップ、JSON のパス / テンプレート、XLSX の行、PPTX のスライド /
-段落位置）は文書とセグメントに保持され、スナップショットに永続化されます。
+段落位置、EPUB の spine href とブロック番号）は文書とセグメントに保持され、
+スナップショットに永続化されます。
+
+### PDF はサポートされません
+
+CAIT は PDF をインポートせず、今後のリリースでも PDF 対応を追加しません。PDF は
+固定レイアウトの印刷形式で、論理的な段落、読み順、インラインマークアップを持ちません。
+抽出したテキストは描画命令の間に断片化し、見出し、表、インライン強調が失われるため、
+翻訳メモリや MT にとって質の低い入力になります。つまり PDF は AI 関連の作業に
+極めて不向きです。
+
+PDF の内容を翻訳する場合は、先にサポート形式へ変換してください。例えば:
+
+```sh
+pandoc input.pdf -t docx -o output.docx   # または -t html、-t markdown
+```
+
+Adobe Acrobat の **Word/HTML へエクスポート**、LibreOffice、その他 DOCX、HTML、
+EPUB、プレーンテキストを生成できるツールでも構いません。スキャン PDF は変換前に
+OCR が必要です。CAIT に画像 OCR ステージはありません。
 
 ## インストール
 
@@ -156,7 +187,7 @@ DSH デスクトップ（または `plugin_manager` ツールがある任意の
 plugin_manager install_bundle target: dsh-cait
 ```
 
-バージョンを固定するときは `dsh-cait@1.0.4`、最新版は `dsh-cait@latest` を指定します。
+バージョンを固定するときは `dsh-cait@1.0.5`、最新版は `dsh-cait@latest` を指定します。
 マネージャが registry のパッケージを解決し、bundle patch を適用してプラグインを有効化します。
 
 CLI 管理のプロファイル:
@@ -222,7 +253,7 @@ dsh web --patch C:\absolute\path\to\dsh-CAIT\_dev\cait.patch.yml
 ```
 
 スナップショットには文書、開いているタブ、TM、用語集、ライブラリ、マウント、そして
-秘密でない設定が保存されます。インポートした DOCX/PPTX のソースパッケージは `sources/`
+秘密でない設定が保存されます。インポートした DOCX/PPTX/EPUB のソースパッケージは `sources/`
 に置かれます。
 
 アプリ内設定（**設定**）は上記の YAML ではなくスナップショットに保存されます: ソース /
@@ -300,6 +331,9 @@ cait/
 │  ├─ persistence.js
 │  ├─ import-export.js
 │  ├─ formats.js            # CSV/SRT/VTT/PO/XLIFF/HTML/JSON/RTF
+│  ├─ html.js               # HTML/XHTML テキストラン走査と書き戻し
+│  ├─ epub.js               # EPUB パッケージ読み込み / spine インポート / パッチ書き出し
+│  ├─ preprocess.js         # インポート時の原文前処理ステージ
 │  ├─ xlsx.js
 │  ├─ pptx.js
 │  ├─ segmenter.js
@@ -327,6 +361,8 @@ node --check client.js
 node _dev/test-core.mjs
 node _dev/test-imports.mjs
 node _dev/test-formats.mjs
+node _dev/test-epub.mjs
+node _dev/test-preprocess.mjs
 node _dev/test-second-tier.mjs
 node _dev/test-docx-export.mjs
 node _dev/test-api.mjs
@@ -341,7 +377,7 @@ node _dev/test-mt.mjs
 
 インポート / エクスポートのフィクスチャは `_dev/sample.docx`、`_dev/sample-table.docx`、
 `_dev/sample-format.docx` です。対応する `python _dev/make-*.py` スクリプトで再生成
-できます。13 スイートすべてが通るはずです。
+できます。15 スイートすべてが通るはずです。
 
 ### リリース
 
@@ -383,7 +419,10 @@ npm publish
 
 ## 既知の制限とロードマップ
 
-- PDF、EPUB、画像 OCR のインポートはまだありません。
+- PDF のインポートは非対応で、今後も対象外です（[PDF はサポートされません](#pdf-はサポートされません)）。
+  画像 OCR も未対応です。
+- EPUB インポートは spine 内の本文 XHTML テキストブロックのみを対象とします。
+  DRM、固定レイアウト、スクリプト化、MathML を多用する書籍は非対応です。
 - DOCX インポートは表、ヘッダー、脚注、フィールド、代替テキスト、変更履歴の削除を
   スキップします。DOCX エクスポートではそれらの領域はソース言語のまま残ります。
 - 複数の run が混在する DOCX/PPTX の段落は、先頭 run の書式を継承します。
@@ -393,12 +432,12 @@ npm publish
 - HTML/RTF のエクスポートは元のスタイルをラウンドトリップしません。JSON は文字列値だけを
   翻訳します。
 - TM のマッチングは意味ではなく字句に基づきます。ステミング、同義語、埋め込みはありません。
-- ライブラリの名前変更 / 削除と、タブごとのマウント状態は v1.0.0 の対象外です。
+- ライブラリの名前変更 / 削除と、タブごとのマウント状態は未実装です。
 - ワークベンチ UI は中国語・英語・日本語の 3 言語で、設定から切り替えられます。
   README も英語・簡体字中国語・日本語の 3 版があり、英語版が正本です。
 
-次に予定しているのは、PDF と EPUB のアダプタ、マルチモーダルな DSH ルート経由の画像 /
-ビジョン入力、より充実したライブラリ管理、スタイルを保つ XLSX 出力、XLIFF の
+次に予定しているのは、マルチモーダルな DSH ルート経由の画像 / ビジョン入力、
+より充実したライブラリ管理、スタイルを保つ XLSX 出力、XLIFF の
 `<alt-trans>` / ノート対応です。
 
 ## 変更履歴とバージョン
@@ -406,7 +445,8 @@ npm publish
 [CHANGELOG.md](CHANGELOG.md) を参照してください。`v1.0.0` が最初の公開リリースで、
 `v1.0.1` が日本語 UI とアプリ内の UI 言語切り替えを追加し、`v1.0.2` で
 *DSH の言語に従う* が DSH のロケールに従うようになり、`v1.0.3` で npm に公開、
-`v1.0.4` から以降のリリースは provenance 付きの公開ワークフローで行われます。
+`v1.0.4` から以降のリリースは provenance 付きの公開ワークフローで行われ、
+`v1.0.5` で EPUB、インポート前処理、PDF ポリシーを追加しました。
 プロジェクトは `0.1.0` として開発され、GitHub リリースに向けて採番し直されました。
 
 > **ライセンス:** Apache License 2.0 — [LICENSE](LICENSE) を参照してください。

package/README.md

@@ -16,7 +16,7 @@
 <p align="center">
   <a href="https://www.npmjs.com/package/dsh-cait"><img alt="npm version" src="https://img.shields.io/npm/v/dsh-cait.svg" /></a>
   <img alt="DSH 0.2.x" src="https://img.shields.io/badge/DSH-0.2.x-4d6bfe.svg" />
-  <img alt="Tests: 13 suites" src="https://img.shields.io/badge/tests-13%20suites-brightgreen.svg" />
+  <img alt="Tests: 15 suites" src="https://img.shields.io/badge/tests-15%20suites-brightgreen.svg" />
   <img alt="No API key required" src="https://img.shields.io/badge/API%20key-not%20required-6b7280.svg" />
 </p>
 
@@ -37,7 +37,7 @@ translated document.
 | **TM that explains itself** | Multiple TM libraries, mounted-only lookup, exact / near-exact / high / medium / low fuzzy grades, and automatic write-back on confirm. |
 | **Glossary-aware editing** | Multiple term bases, source-language filtering, inline highlighting, click-to-insert terms, and per-term case sensitivity. |
 | **A document workflow** | Tabs, close/reopen, recent-document cleanup, duplicate-import reuse, and progress per document. |
-| **Real format coverage** | TXT, Markdown, DOCX, TMX, CSV, SRT/VTT, PO, XLIFF 1.2/2.0/SDLXLIFF, HTML, JSON, XLSX, PPTX, and RTF. |
+| **Real format coverage** | TXT, Markdown, DOCX, EPUB, TMX, CSV, SRT/VTT, PO, XLIFF 1.2/2.0/SDLXLIFF, HTML, JSON, XLSX, PPTX, and RTF. |
 | **Agent-ready** | Seven tools share the open document and store, so an agent can translate alongside you. |
 
 ## Quick start
@@ -104,6 +104,19 @@ manual reload.
   `--cait-u` multiplier of 1×–1.8×. A 1600×900 panel renders at ~1.32× and a
   2560×1440 panel at 1.8×; short windows stay at 1× rather than shrinking.
 
+### Preprocessing
+
+Imported source text passes through a preprocessing stage before segmentation:
+
+- Collapse repeated spaces and tabs, trim indentation, and merge consecutive
+  blank lines.
+- Remove zero-width characters and stray control characters.
+- Placeholder tokens (`{1}`, `{2}`, …), punctuation, casing, and paragraph order
+  are left untouched, so XLIFF/HTML/EPUB inline markup still round-trips.
+- The three steps are independently switchable in **Settings → Preprocessing** and
+  are persisted with the other settings. They apply to new imports and
+  `createDocument` calls; existing documents are not rewritten.
+
 ### MT assistance
 
 CAIT does not own an endpoint or key. The selector is built from DSH:
@@ -125,15 +138,16 @@ provider/model/code/status; the client receives only `MT_PROVIDER_FAILED`.
 | Format | Import | Export | Notes |
 | --- | :---: | :---: | --- |
 | TXT / Markdown | ✅ | ✅ | Paragraph and sentence segmentation |
-| CSV | ✅ | ✅ | Optional source/target column by header name or 1-based number; existing bilingual export |
+| CSV | ✅ | ✅ | Comma, semicolon, tab, or pipe delimiter auto-detected; source/target column by header name or 1-based number; existing bilingual export |
 | DOCX | ✅ | ✅ | Body paragraphs; table blocks are excluded from import. Export patches the original package, keeping styles, numbering, images, headers, tables, and layout. |
+| EPUB | ✅ | ✅ | EPUB 3 spine order; XHTML text blocks with inline markup kept as tokens and patched back into the retained package. DRM-protected, fixed-layout, and scripted EPUBs are not supported. |
 | TMX 1.4 | ✅ | ✅ | Common `<tu>/<tuv>/<seg>` subset; inline markup flattened with warning |
 | SRT / WebVTT | ✅ | ✅ | One cue per segment, timings/settings/identifier retained; semantic tags kept; invalid ranges rejected |
 | PO | ✅ | ✅ | Contexts, plural forms, translator comments, obsolete `#~` entries |
 | XLIFF 1.2 | ✅ | ✅ | Inline tags become `{n}` tokens; missing tokens block confirmation |
 | XLIFF 2.0 | ✅ | ✅ | Basic `<unit><segment><source>/<target>` subset |
 | SDLXLIFF | ✅ | ✅ | Basic XLIFF 1.2 path; SDL-specific extensions are not round-tripped |
-| HTML | ✅ | ✅ | Text blocks only; original markup/CSS not preserved |
+| HTML | ✅ | ✅ | Text blocks and inline tags preserved; document CSS/layout is not rebuilt |
 | JSON | ✅ | ✅ | String-path subset; object/array structure preserved via a template; keys and numbers are not translated |
 | XLSX | ✅ | ✅ | First worksheet; `Source`/`Target` headers or columns A/B; export is a new two-column workbook |
 | PPTX | ✅ | ✅* | Source-preserving export; requires the imported `.pptx` package. Body text only; notes/charts/SmartArt not imported. |
@@ -143,8 +157,28 @@ provider/model/code/status; the client receives only `MT_PROVIDER_FAILED`.
 is missing rather than silently producing an unformatted deck.
 
 Exchange metadata (subtitle timings, PO contexts/plurals/comments, XLIFF ids and
-inline token maps, JSON paths/templates, XLSX rows, PPTX slide/paragraph positions)
-is stored on the document/segments and persists in the snapshot.
+inline token maps, JSON paths/templates, XLSX rows, PPTX slide/paragraph positions,
+EPUB spine hrefs and block indexes) is stored on the document/segments and persists
+in the snapshot.
+
+### PDF is not supported
+
+CAIT does not import PDF, and future releases will not add PDF support. PDF is a
+fixed-layout print format: it has no logical paragraphs, reading order, or inline
+markup. Text extracted from it is fragmented across drawing operations, loses
+headings, tables, and inline emphasis, and produces segments that are poor input
+for translation memory and MT — in other words, PDF is extremely unsuitable for
+AI-related work.
+
+To translate PDF content, convert it to a supported format first, for example:
+
+```sh
+pandoc input.pdf -t docx -o output.docx   # or -t html, -t markdown
+```
+
+Adobe Acrobat's **Export to Word/HTML**, LibreOffice, or any other converter that
+produces DOCX, HTML, EPUB, or plain text works too. Scanned PDFs need OCR before
+conversion; CAIT has no image OCR stage.
 
 ## Install
 
@@ -161,7 +195,7 @@ In DSH Desktop (or any profile with the `plugin_manager` tool):
 plugin_manager install_bundle target: dsh-cait
 ```
 
-Pin a release with `dsh-cait@1.0.4`, or ask for the newest one with
+Pin a release with `dsh-cait@1.0.5`, or ask for the newest one with
 `dsh-cait@latest`. The manager resolves the registry package, applies the bundle
 patch, and activates the plugin — no hand-written profile rows.
 
@@ -229,7 +263,7 @@ not both.
 ```
 
 The snapshot stores documents, open tabs, TM, glossary, libraries, mounts, and
-non-secret settings. Imported DOCX/PPTX source packages live in `sources/`.
+non-secret settings. Imported DOCX/PPTX/EPUB source packages live in `sources/`.
 
 In-app settings (**Settings**) live in the snapshot rather than in the YAML
 above: source/target language, fuzzy threshold, TM result limit, MT
@@ -306,6 +340,9 @@ cait/
 │  ├─ persistence.js
 │  ├─ import-export.js
 │  ├─ formats.js            # CSV/SRT/VTT/PO/XLIFF/HTML/JSON/RTF
+│  ├─ html.js               # Shared HTML/XHTML run scanner + patcher
+│  ├─ epub.js               # EPUB package read / spine import / patch export
+│  ├─ preprocess.js         # Import-time source cleaning stage
 │  ├─ xlsx.js
 │  ├─ pptx.js
 │  ├─ segmenter.js
@@ -334,6 +371,8 @@ node --check client.js
 node _dev/test-core.mjs
 node _dev/test-imports.mjs
 node _dev/test-formats.mjs
+node _dev/test-epub.mjs
+node _dev/test-preprocess.mjs
 node _dev/test-second-tier.mjs
 node _dev/test-docx-export.mjs
 node _dev/test-api.mjs
@@ -348,7 +387,7 @@ node _dev/test-mt.mjs
 
 The import/export fixtures are `_dev/sample.docx`, `_dev/sample-table.docx`, and
 `_dev/sample-format.docx`; regenerate them with the matching
-`python _dev/make-*.py` scripts. All 13 suites should pass.
+`python _dev/make-*.py` scripts. All 15 suites should pass.
 
 ### Releasing
 
@@ -392,7 +431,10 @@ GitHub with a release.
 
 ## Known limits and roadmap
 
-- No PDF, EPUB, or image OCR import yet.
+- No PDF import; PDF is intentionally out of scope (see
+  [PDF is not supported](#pdf-is-not-supported)). No image OCR yet.
+- EPUB import follows the spine and body XHTML text blocks; DRM-protected,
+  fixed-layout, scripted, and MathML-heavy books are not supported.
 - DOCX import skips tables, headers, footnotes, fields, alt text, and tracked
   deletions. DOCX export leaves those regions in the source language.
 - Mixed-run DOCX/PPTX paragraphs inherit the first run's formatting.
@@ -402,22 +444,22 @@ GitHub with a release.
 - HTML/RTF export does not round-trip original styling; JSON translates string
   values only.
 - TM matching is lexical, not semantic; no stemming, synonyms, or embeddings.
-- Library rename/delete and per-tab mount state are not part of v1.0.0.
+- Library rename/delete and per-tab mount state are not implemented yet.
 - The workbench UI ships in Chinese, English, and Japanese, switchable in
   Settings; this README ships in English, Simplified Chinese, and Japanese, and
   the English version is the source of truth.
 
-Planned next: PDF and EPUB adapters, image/vision input through a multimodal DSH
-route, richer library management, style-preserving XLSX output, and XLIFF
-`<alt-trans>` / notes support.
+Planned next: image/vision input through a multimodal DSH route, richer library
+management, style-preserving XLSX output, and XLIFF `<alt-trans>` / notes support.
 
 ## Changelog and versioning
 
 See [CHANGELOG.md](CHANGELOG.md). `v1.0.0` was the first public release;
 `v1.0.1` adds the Japanese UI and the in-app interface language switch,
 `v1.0.2` makes *Follow DSH language* honour the DSH locale, `v1.0.3`
-publishes the package to npm, and `v1.0.4` moves later releases to the
-provenance-publishing workflow. The project was developed as `0.1.0` and
+publishes the package to npm, `v1.0.4` moves later releases to the
+provenance-publishing workflow, and `v1.0.5` adds EPUB, import preprocessing,
+and the PDF policy. The project was developed as `0.1.0` and
 renumbered for the GitHub release.
 
 > **License:** Apache License 2.0 — see [LICENSE](LICENSE). Redistributions must

package/README.zh-CN.md

@@ -16,7 +16,7 @@
 <p align="center">
   <a href="https://www.npmjs.com/package/dsh-cait"><img alt="npm 版本" src="https://img.shields.io/npm/v/dsh-cait.svg" /></a>
   <img alt="DSH 0.2.x" src="https://img.shields.io/badge/DSH-0.2.x-4d6bfe.svg" />
-  <img alt="13 套测试" src="https://img.shields.io/badge/tests-13%20suites-brightgreen.svg" />
+  <img alt="15 套测试" src="https://img.shields.io/badge/tests-15%20suites-brightgreen.svg" />
   <img alt="无需 API Key" src="https://img.shields.io/badge/API%20key-not%20required-6b7280.svg" />
 </p>
 
@@ -35,7 +35,7 @@ CAIT 为 DSH Web UI 和 DSH 桌面端增加一个 CAT 翻译工作台。它从
 | **可解释的翻译记忆** | 支持多个 TM 库、仅检索已挂载库、精确/近似精确/高/中/低模糊等级，确认句段时自动写回。 |
 | **术语感知编辑** | 支持多个术语库、按源语言过滤、行内高亮、点击插入术语，以及按术语设置是否区分大小写。 |
 | **完整文档流程** | 文档标签页、关闭/重新打开、最近文档清理、重复导入复用、逐文档进度。 |
-| **真实格式覆盖** | TXT、Markdown、DOCX、TMX、CSV、SRT/VTT、PO、XLIFF 1.2/2.0/SDLXLIFF、HTML、JSON、XLSX、PPTX、RTF。 |
+| **真实格式覆盖** | TXT、Markdown、DOCX、EPUB、TMX、CSV、SRT/VTT、PO、XLIFF 1.2/2.0/SDLXLIFF、HTML、JSON、XLSX、PPTX、RTF。 |
 | **面向 Agent** | 七个工具共享当前文档和存储，Agent 可以与用户同时翻译。 |
 
 ## 快速开始
@@ -95,6 +95,17 @@ CAIT 为 DSH Web UI 和 DSH 桌面端增加一个 CAT 翻译工作台。它从
   缩放系数。1600×900 面板约为 1.32×，2560×1440 面板为 1.8×；
   窗口较矮时保持 1×，不会继续缩小。
 
+### 预处理
+
+导入的源文在切句之前会经过预处理阶段：
+
+- 折叠重复空格与制表符、去掉行首缩进、合并连续空行。
+- 移除零宽字符和多余的控制字符。
+- 占位符 token（`{1}`、`{2}`…）、标点、大小写和段落顺序保持不变，
+  因此 XLIFF/HTML/EPUB 的内联标记仍可正确往返。
+- 三个步骤可在 **设置 → 预处理** 中分别开关，并随其他设置一起持久化。
+  它们作用于新导入和 `createDocument` 调用，不会改写已有文档。
+
 ### MT 辅助
 
 CAIT 不持有 endpoint 或 key，选择器完全来自 DSH：
@@ -114,15 +125,16 @@ provider/model/code/status，客户端只会收到 `MT_PROVIDER_FAILED`。
 | 格式 | 导入 | 导出 | 说明 |
 | --- | :---: | :---: | --- |
 | TXT / Markdown | ✅ | ✅ | 按段落和句子切分 |
-| CSV | ✅ | ✅ | 可通过表头名称或从 1 开始的列号指定源/目标列；现有双语导出 |
+| CSV | ✅ | ✅ | 自动识别逗号、分号、制表符或竖线分隔；可通过表头名称或从 1 开始的列号指定源/目标列；现有双语导出 |
 | DOCX | ✅ | ✅ | 正文段落；导入时排除表格块。导出会修改原包，保留样式、编号、图片、页眉、表格和版式。 |
+| EPUB | ✅ | ✅ | 按 EPUB 3 spine 顺序读取 XHTML 文本块，内联标记保留为 token 并回写到保留的源包。不支持 DRM、固定版式和脚本化 EPUB。 |
 | TMX 1.4 | ✅ | ✅ | 常见 `<tu>/<tuv>/<seg>` 子集；内联标记扁平化并警告 |
 | SRT / WebVTT | ✅ | ✅ | 一个字幕 cue 对应一个句段；保留时间轴/设置/标识；保留语义标签；非法时间范围会拒绝 |
 | PO | ✅ | ✅ | 支持上下文、复数形式、译者注释和废弃 `#~` 条目 |
 | XLIFF 1.2 | ✅ | ✅ | 内联标签转换为 `{n}` token；缺少 token 时阻止确认 |
 | XLIFF 2.0 | ✅ | ✅ | 基础 `<unit><segment><source>/<target>` 子集 |
 | SDLXLIFF | ✅ | ✅ | 走基础 XLIFF 1.2 路径；SDL 专有扩展不会完整往返 |
-| HTML | ✅ | ✅ | 仅文本块；不保留原始标记/CSS |
+| HTML | ✅ | ✅ | 保留文本块与内联标签；不重建文档级 CSS/版式 |
 | JSON | ✅ | ✅ | 字符串路径子集；通过模板保留对象/数组结构；key 和数字不翻译 |
 | XLSX | ✅ | ✅ | 第一个工作表；识别 `Source`/`Target` 表头或 A/B 列；导出为新的两列表格 |
 | PPTX | ✅ | ✅* | 保留源格式导出；需要导入时保留的 `.pptx` 包。仅正文；备注/图表/SmartArt 不导入。 |
@@ -132,8 +144,25 @@ provider/model/code/status，客户端只会收到 `MT_PROVIDER_FAILED`。
 而不是静默生成一个没有格式的演示文稿。
 
 交换元数据（字幕时间轴、PO 上下文/复数/注释、XLIFF id 和内联 token 映射、
-JSON 路径/模板、XLSX 行号、PPTX 幻灯片/段落位置）会保存在文档/句段上，
-并随快照持久化。
+JSON 路径/模板、XLSX 行号、PPTX 幻灯片/段落位置、EPUB spine href 和块序号）
+会保存在文档/句段上，并随快照持久化。
+
+### 不支持 PDF
+
+CAIT 不导入 PDF，后续版本也不会加入 PDF 支持。PDF 是固定版式的打印格式，
+没有逻辑段落、阅读顺序或内联标记；从中提取的文本会散落在绘图指令之间，
+丢失标题、表格和内联强调，切出的句段对翻译记忆和 MT 都是很差的输入——
+也就是说，PDF 极其不适合 AI 相关工作。
+
+如果需要翻译 PDF 内容，请先转换成支持的格式，例如：
+
+```sh
+pandoc input.pdf -t docx -o output.docx   # 或 -t html、-t markdown
+```
+
+也可以使用 Adobe Acrobat 的 **导出为 Word/HTML**、LibreOffice，或其他能生成
+DOCX、HTML、EPUB 或纯文本的工具。扫描版 PDF 在转换前还需要 OCR；
+CAIT 没有图片 OCR 阶段。
 
 ## 安装
 
@@ -149,7 +178,7 @@ CAIT 以 DSH bundle 的形式安装；发布的 npm 包名为 `dsh-cait`，插
 plugin_manager install_bundle target: dsh-cait
 ```
 
-需要固定版本时写 `dsh-cait@1.0.4`，需要最新版时写 `dsh-cait@latest`。管理器会解析 registry
+需要固定版本时写 `dsh-cait@1.0.5`，需要最新版时写 `dsh-cait@latest`。管理器会解析 registry
 上的包、应用 bundle patch 并激活插件，不需要手工在配置档里加行。
 
 使用 CLI 管理的配置档：
@@ -214,7 +243,7 @@ dsh web --patch C:\absolute\path\to\dsh-CAIT\_dev\cait.patch.yml
 ```
 
 快照保存文档、打开的标签页、TM、术语库、库、挂载关系和非敏感设置。
-导入的 DOCX/PPTX 源包放在 `sources/` 下。
+导入的 DOCX/PPTX/EPUB 源包放在 `sources/` 下。
 
 界面内的**设置**保存在快照里，而不是上面的 YAML：源语言/目标语言、模糊阈值、
 TM 返回条数、MT 路由/模型/温度，以及界面语言（`uiLang`：`auto` | `zh` | `en` |
@@ -286,6 +315,9 @@ cait/
 │  ├─ persistence.js
 │  ├─ import-export.js
 │  ├─ formats.js            # CSV/SRT/VTT/PO/XLIFF/HTML/JSON/RTF
+│  ├─ html.js               # 共享 HTML/XHTML 文本块扫描与回写
+│  ├─ epub.js               # EPUB 包读取 / spine 导入 / 回写导出
+│  ├─ preprocess.js         # 导入期源文预处理阶段
 │  ├─ xlsx.js
 │  ├─ pptx.js
 │  ├─ segmenter.js
@@ -314,6 +346,8 @@ node --check client.js
 node _dev/test-core.mjs
 node _dev/test-imports.mjs
 node _dev/test-formats.mjs
+node _dev/test-epub.mjs
+node _dev/test-preprocess.mjs
 node _dev/test-second-tier.mjs
 node _dev/test-docx-export.mjs
 node _dev/test-api.mjs
@@ -328,7 +362,7 @@ node _dev/test-mt.mjs
 
 导入/导出 fixture 为 `_dev/sample.docx`、`_dev/sample-table.docx` 和
 `_dev/sample-format.docx`；可用对应的 `python _dev/make-*.py` 脚本重新生成。
-13 套测试应全部通过。
+15 套测试应全部通过。
 
 ### 发布
 
@@ -366,7 +400,10 @@ GitHub release 发布。
 
 ## 已知限制与路线图
 
-- 暂不支持 PDF、EPUB 或图片 OCR 导入。
+- 不支持 PDF 导入；PDF 已被明确排除在范围外（见
+  [不支持 PDF](#不支持-pdf)）。暂不支持图片 OCR。
+- EPUB 导入只覆盖 spine 中的正文 XHTML 文本块；不支持 DRM、固定版式、
+  脚本化以及大量使用 MathML 的电子书。
 - DOCX 导入会跳过表格、页眉、脚注、域、替代文本和修订删除内容。
   DOCX 导出时这些区域保持源语言。
 - DOCX/PPTX 中混合 run 的段落会继承第一个 run 的格式。
@@ -374,18 +411,19 @@ GitHub release 发布。
 - XLSX 导入/导出是两列表格；不保留单元格样式、公式、合并单元格、图片和额外工作表。
 - HTML/RTF 导出不往返原始样式；JSON 只翻译字符串值。
 - TM 匹配是词法级的，不是语义级；没有词干、同义词或向量。
-- 库重命名/删除和逐标签页挂载状态不属于 v1.0.0。
+- 库重命名/删除和逐标签页挂载状态尚未实现。
 - 工作台界面提供中文、English、日本語三种语言，可在设置中切换；README 提供英文、简体中文和日文三个版本，以英文版为准。
 
-后续计划：PDF 与 EPUB 适配器、通过多模态 DSH 路由支持图片/视觉输入、
-更完整的库管理、保留样式的 XLSX 输出，以及 XLIFF `<alt-trans>` / 注释支持。
+后续计划：通过多模态 DSH 路由支持图片/视觉输入、更完整的库管理、
+保留样式的 XLSX 输出，以及 XLIFF `<alt-trans>` / 注释支持。
 
 ## 变更日志与版本
 
 见 [CHANGELOG.md](CHANGELOG.md)。`v1.0.0` 是首个公开发布版本，`v1.0.1` 增加了
 日语界面和界面内语言切换，`v1.0.2` 让「跟随 DSH 语言」真正跟随 DSH 的语言设置，
-`v1.0.3` 把包发布到 npm，`v1.0.4` 起后续版本改由带 provenance 的发布流水线产出；
-项目在开发阶段使用 `0.1.0`，发布到 GitHub 前统一改为 `1.0.0`。
+`v1.0.3` 把包发布到 npm，`v1.0.4` 起后续版本改由带 provenance 的发布流水线产出，
+`v1.0.5` 增加 EPUB、导入预处理和 PDF 政策；项目在开发阶段使用 `0.1.0`，
+发布到 GitHub 前统一改为 `1.0.0`。
 
 > **License：** Apache License 2.0，见 [LICENSE](LICENSE)。再分发时需保留
 > [NOTICE](NOTICE) 中的署名信息。

package/client/components.js

@@ -1064,7 +1064,7 @@
               h('input', {
                 ref: inputRef,
                 type: 'file',
-                accept: '.txt,.md,.markdown,.tmx,.docx,.csv,.srt,.vtt,.po,.pot,.xliff,.xlf,.sdlxliff,.html,.htm,.json,.rtf,.xlsx,.pptx',
+                accept: '.txt,.md,.markdown,.tmx,.docx,.epub,.csv,.srt,.vtt,.po,.pot,.xliff,.xlf,.sdlxliff,.html,.htm,.json,.rtf,.xlsx,.pptx',
                 hidden: true,
                 onChange: (event) => pickFile(event.target.files?.[0]),
               }),
@@ -1108,6 +1108,7 @@
         ['target-txt', t('modal.export.targetTxt'), t('modal.export.target'), 'download'],
         ['target-md', t('modal.export.targetMd'), t('modal.export.target'), 'download'],
         ['docx', t('modal.export.docx'), t('modal.export.docxGroup'), 'file'],
+        ['epub', t('modal.export.epub'), t('modal.export.epubGroup'), 'file'],
         ['srt', t('modal.export.srt'), t('modal.export.subtitleGroup'), 'file'],
         ['vtt', t('modal.export.vtt'), t('modal.export.subtitleGroup'), 'file'],
         ['po', t('modal.export.po'), t('modal.export.localizationGroup'), 'file'],
@@ -1147,6 +1148,11 @@
         fuzzyThreshold: settings.fuzzyThreshold,
         tmLimit: settings.tmLimit,
         uiLang: settings.uiLang || 'auto',
+        preprocess: {
+          normalizeWhitespace: settings.preprocess?.normalizeWhitespace !== false,
+          stripInvisible: settings.preprocess?.stripInvisible !== false,
+          collapseBlankLines: settings.preprocess?.collapseBlankLines !== false,
+        },
         mt: {
           provider: settings.mt.provider,
           model: settings.mt.model,
@@ -1159,6 +1165,8 @@
       const routeMissing = form.mt.provider !== 'mock' && !route
 
       const setMt = (patch) => setForm((current) => ({ ...current, mt: { ...current.mt, ...patch } }))
+      const setPre = (patch) =>
+        setForm((current) => ({ ...current, preprocess: { ...current.preprocess, ...patch } }))
       const selectProvider = (provider) => {
         const nextRoute = routes.find((item) => item.id === provider)
         setForm((current) => ({
@@ -1182,6 +1190,11 @@
           fuzzyThreshold: Number(form.fuzzyThreshold),
           tmLimit: Number(form.tmLimit),
           uiLang: form.uiLang,
+          preprocess: {
+            normalizeWhitespace: Boolean(form.preprocess.normalizeWhitespace),
+            stripInvisible: Boolean(form.preprocess.stripInvisible),
+            collapseBlankLines: Boolean(form.preprocess.collapseBlankLines),
+          },
           mt: {
             provider: form.mt.provider,
             model: form.mt.model,
@@ -1248,6 +1261,24 @@
               ),
             ),
           ),
+          h(
+            'div',
+            { className: 'cait-settings-section' },
+            h('h4', { className: 'cait-settings-title' }, t('modal.settings.preprocess')),
+            h('p', { className: 'cait-mt-hint', style: { marginTop: 0 } }, t('modal.settings.preprocessHint')),
+            ['normalizeWhitespace', 'stripInvisible', 'collapseBlankLines'].map((key) =>
+              h(
+                'label',
+                { key, className: 'cait-checkline' },
+                h('input', {
+                  type: 'checkbox',
+                  checked: Boolean(form.preprocess[key]),
+                  onChange: (event) => setPre({ [key]: event.target.checked }),
+                }),
+                t(`modal.settings.pre.${key}`),
+              ),
+            ),
+          ),
           h(
             'div',
             { className: 'cait-settings-section' },