kordoc 4.15.5 → 4.15.7

package/README.md

@@ -11,6 +11,8 @@ HWP 3.x/5.x, HWPX, HWPML, PDF, XLS, XLSX, DOCX, 이미지(PNG/JPG/WebP) — 관
 
 [English](./README-EN.md)
 
+> 📊 **PDF 공개 벤치(opendataloader-bench, 200문서) 종합 0.937(OCR 0.960·OCR+plain 0.967) — 공개된 12개 PDF 파서(상용 포함) 모두보다 높고, 쪽당 0.03초.** 한국 공문서는 원본 HWPX를 정답으로 채점해 HWPX 표 13,041개 전부 칸까지 일치합니다. → [성능 한눈에 보기](#-성능-한눈에-보기)
+
 [![Kordoc 활용하기 — 영상 보기](./docs/video-demo.jpg)](https://youtu.be/Q13GmgDcIw0)
 
 <sub>▶ 클릭하면 유튜브에서 재생됩니다.</sub>
@@ -73,7 +75,7 @@ MCP 등록 대신 스킬(SKILL.md) 형태로 쓰려면:
 단순한 텍스트 추출을 넘어, **공문서 처리를 위한 모든 과정**을 자동화합니다.
 
 *   **📄 어떤 문서든 마크다운으로**: `HWP3` (구버전), `HWP`(5.x), `HWPX`, `HWPML`, `PDF`, `XLS`, `XLSX`, `DOCX` 파일은 물론 `PNG`/`JPG`/`WebP` 이미지(자동 OCR)까지 즉시 `Markdown`으로 변환합니다. AI(LLM)가 문서를 읽고 분석하기 가장 좋은 상태로 만들어줍니다.
-*   **📊 복잡한 표(Table) 복원 — 숫자로 잠금**: 병합·중첩 표를 구조 그대로 살립니다. HWPX 코퍼스 291문서 **표 1,673/1,673·셀 27,714/27,714 무손실**(독립 추출기 대조 게이트 1.0), 동일문서 hwpx↔pdf 대조(6쌍 69표)는 **매칭 98.6%·완전일치 65.2%**. 선 없는 PDF 표도 감지해 복원하고, 법령 개정안 PDF의 신구조문대비표도 통째로 살립니다 (v3.16.2).
+*   **📊 복잡한 표(Table) 복원 — 숫자로 잠금**: 병합·중첩 표를 구조 그대로 살립니다. HWPX 코퍼스 2,286문서 **표 13,041/13,041 칸까지 무손실**(독립 추출기 대조 게이트 1.0), 같은 문서를 PDF로 내보내 원본 HWPX와 대조하면(716쌍 2,692표) **표 찾기 98.9%·칸까지 완전 일치 94.2%**. 선 없는 PDF 표도 감지해 복원하고, 법령 개정안 PDF의 신구조문대비표도 통째로 살립니다 (v3.16.2).
 *   **🔍 신구대조표 자동 생성**: 두 문서의 차이점을 분석하여 무엇이 바뀌었는지 한눈에 보여줍니다. (HWP와 HWPX 간의 비교도 가능!)
 *   **📝 마크다운을 다시 HWPX로**: AI가 작성한 내용을 다시 보고서 양식(`HWPX`)으로 되돌려줍니다. 이제 복사-붙여넣기 노가다에서 해방되세요.
 *   **🏛️ 정부 표준 공문서 생성 (v4.0)**: 실제 정부 양식 16종 + 실결재 기안문 60건을 전수 디코드·대조해 만든 공문서 엔진. 개조식 보고서(표지·목차 배너·로마숫자 장헤더·쪽번호·결재란), 기안문(별지 제1호서식 두문·결문, "끝." 자동), 공고문·보도자료 프리셋, 항목부호 8단계(1. 가. 1) 가)…) 자동, 공문서 표기법 검수 19룰(`kordoc lint`)까지 — 한글 COM 실렌더로 조판까지 실측 검증했습니다.
@@ -89,6 +91,82 @@ MCP 등록 대신 스킬(SKILL.md) 형태로 쓰려면:
 
 ---
 
+## 📊 성능 한눈에 보기
+
+### PDF → Markdown: 공개 벤치 12개 엔진보다 높습니다
+
+[opendataloader-bench](https://github.com/opendataloader-project/opendataloader-bench)는 PDF 200쪽(논문·보고서·슬라이드·포스터·스캔)을 사람이 만든 정답과 비교해 **읽기 순서(NID)·표 구조(TEDS)·제목 위계(MHS)** 를 점수로 내는 공개 벤치입니다. 1.0이 정답과 똑같다는 뜻입니다.
+
+| 순위 | 엔진 | 종합 | 읽기 순서 | 표 | 제목 | 쪽당 시간 |
+| ---: | --- | ---: | ---: | ---: | ---: | ---: |
+| **1** | **kordoc 기본값** | **0.937** | **0.938** | **0.936** | **0.933** | **0.03초** |
+| 참고 | kordoc `plain: true` (그림 자리 표시·링크 URL 없이) | 0.946 | 0.947 | 0.937 | 0.940 | 0.03초 |
+| 참고 | kordoc `ocr: true` (그림 속 글까지) | 0.960 | 0.960 | 0.979 | 0.949 | 0.46초 |
+| 참고 | kordoc `ocr: true, plain: true` | 0.967 | 0.968 | 0.981 | 0.956 | 0.46초 |
+| 참고 | kordoc `plain: true, htmlTables: true` | 0.949 | 0.954 | 0.940 | 0.943 | 0.03초 |
+| 참고 | kordoc `ocr: true, plain: true, htmlTables: true` | 0.971 | 0.975 | 0.983 | 0.958 | 0.46초 |
+| 2 | opendataloader-hybrid | 0.907 | 0.934 | 0.928 | 0.821 | 0.46초 |
+| 3 | nutrient (상용) | 0.885 | 0.925 | 0.708 | 0.819 | 0.01초 |
+| 4 | docling | 0.882 | 0.898 | 0.887 | 0.824 | 0.76초 |
+| 5 | marker | 0.861 | 0.890 | 0.808 | 0.796 | 53.9초 |
+| 6 | unstructured-hires | 0.841 | 0.904 | 0.588 | 0.749 | 3.01초 |
+| 7 | edgeparse | 0.837 | 0.894 | 0.717 | 0.706 | 0.04초 |
+| 8 | mineru | 0.831 | 0.857 | 0.873 | 0.743 | 5.96초 |
+| 9 | opendataloader | 0.831 | 0.902 | 0.489 | 0.739 | 0.02초 |
+| 10 | pymupdf4llm | 0.732 | 0.885 | 0.401 | 0.412 | 0.09초 |
+| 11 | unstructured | 0.686 | 0.882 | 0.000 | 0.388 | 0.08초 |
+| 12 | markitdown | 0.589 | 0.844 | 0.273 | 0.000 | 0.11초 |
+| 13 | liteparse | 0.576 | 0.866 | 0.000 | 0.000 | 1.06초 |
+
+- 기본값만으로 **종합·읽기 순서·표·제목 네 항목 모두 1위**입니다. GPU·클라우드 API·LLM 없이 Node.js 하나로, 쪽당 0.04초에 돕니다.
+- `ocr: true`를 켜면 차트·로고·스캔처럼 **그림 속 글자까지** 로컬에서 읽어 0.960이 됩니다. `plain: true`는 그림 자리 표시·링크 URL·밑줄/굵게 표기를 빼 색인·RAG 용 글만 냅니다(정답지가 이런 표기를 담지 않아 점수도 오릅니다). 기본값은 OCR을 돌리지 않고, 그림·스캔 쪽이 있으면 `NEEDS_OCR`·`SKIPPED_IMAGE` 경고로 알려 `ocr: true`로 다시 파싱할 수 있게 합니다.
+- 다른 엔진 점수는 벤치 저장소가 공개한 결과(Apple M4 32GB)이고, kordoc은 같은 PDF·같은 정답·**수정하지 않은 원본 채점기**로 재었습니다(Apple M4 24GB, 200문서 한 프로세스 순차 8초). 벤치 저장소의 opendataloader-hybrid 예측을 같은 채점기로 다시 채점하면 0.9066으로 공개 점수와 같습니다. 재현: `node bench/odl-bench.mjs <벤치 클론>` → 벤치의 `src/evaluator.py`.
+- 벤치 저장소에 결과만 PR 로 올라온 상용 LM-Kit One(미병합 #34)은 OCR 없이 0.948·OCR 0.963입니다. 표 칸을 정답지와 같은 HTML 모양(`<td> 글 </td>`, 머리행도 `<td>`)으로 내는 차이가 OCR 없는 쪽 격차의 대부분이고, 같은 서식으로 맞춰 비교하면 kordoc `plain` 0.951·LM-Kit 0.948이고, 표를 들여쓴 HTML 로 내는 `htmlTables` 를 켜면 kordoc 이 OCR 없이 0.949·OCR 0.971 로 두 줄 모두 앞섭니다.
+
+### 한국 공문서: 원본 HWPX를 정답으로 채점합니다
+
+한글(HWPX)로 쓴 원본과 그 문서를 PDF로 내보낸 파일이 짝으로 있는 공문서를 모아, **원본 HWPX를 정답**으로 삼아 PDF에서 뽑은 글과 표를 잽니다. 보도자료·결재문서·법령 서식·예산서 등 실제 정부 문서입니다.
+
+| 분야 | 규모 | 결과 |
+| --- | --- | --- |
+| HWPX 본문·표 | 2,286문서, 표 13,041개 | 글 누락 0 · 표 13,041개 전부 칸까지 일치 · 읽기 순서 100% |
+| HWP 5.x | HWPX와 짝 1,120쌍 | HWPX 결과와 전부 일치 |
+| PDF 글 | 751쌍 (HWPX 정답) | 글자 재현율 99.5% · 정확도 97.0% · 읽기 순서 98.3% |
+| PDF 표 | 716쌍, 표 2,692개 (HWPX 정답) | 표 찾기 98.9% · 칸까지 완전 일치 94.2% · 칸 F1 0.966 |
+| PDF 전체 | 1,911문서 (텍스트층 채점 1,724) | 글 커버리지 99.8% |
+| 스캔 OCR (내장, 로컬 CPU) | 54문서 104쪽 (216dpi 렌더) | 글자 재현율 98.1% · 한글 재현율 99.3% · 정확도 97.5% · 쪽당 0.9초 |
+| DOCX·XLSX·XLS·HML | 88문서 | 글·숫자 누락 0 |
+| Markdown → HWPX → Markdown 왕복 | 83건 | 글·표·제목·수식 손실 0 |
+
+모든 수치는 `npm run bench:gate`로 재현되며, 배포(`npm publish`) 때마다 이 게이트를 통과해야만 올라갑니다.
+
+### HWP·HWPX → Markdown: HwpForge와 같은 채점기로
+
+같은 코퍼스를 [HwpForge](https://github.com/ai-screams/HwpForge) 0.16.6(`to_md`, lossy)과 kordoc으로 각각 Markdown으로 바꾸고, **원본 HWPX XML을 정답**으로 같은 채점기에 넣었습니다(표는 두 출력 모두 같은 Markdown 표 파서로 격자화, 1열 표는 양쪽 모두 표 채점에서 제외).
+
+| | kordoc | HwpForge 0.16.6 |
+| --- | ---: | ---: |
+| HWPX 2,305문서 — 변환 실패 | **0** | 123 |
+| HWPX — 글 재현율 (변환 성공 문서만) | **100.00%** (100.00%) | 59.23% (98.64%) |
+| HWPX — 표 완전 일치 (9,123표) | **100.0%** (9,122) | 32.2% |
+| HWPX — 칸 F1 | **1.000** | 0.428 |
+| HWP 5.x 1,108문서 — 변환 실패 | **0** | 19 |
+| HWP — 글 재현율 | **100.00%** | 86.41% |
+| HWP — 표 완전 일치 (3,111표) | **100%** | 27.0% |
+| HWP — 칸 F1 | **1.000** | 0.349 |
+
+HwpForge는 생성·편집 중심 라이브러리이고, Markdown 표가 파이프 표뿐이라 병합 칸을 표현하지 못하는 점이 표 점수 차이의 대부분입니다. 1열 표(코퍼스 1,288개)는 제목·본문 상자 43%, 빈 여백 행 틀 28%, 목록형 3%인 꾸밈 틀이라 표로 낼지 줄 글로 낼지는 표현 선택이고, 그 글은 글 재현율이 채점합니다. 1열 표를 넣으면 HWPX 10,392표 kordoc 90.6%·HwpForge 36.0%, HWP 3,500표 92.8%·32.1%입니다. HWP 문서 수는 짝 HWPX가 배포용 암호라 정답이 없는 1건을 뺀 값입니다. 재현: `bench/hwpforge-bench.py` → `node bench/compare-md-parsers.mjs <출력 폴더>` (1열 표 포함은 `--include-single-col`).
+
+---
+
+## v4.15.7 변경사항
+
+표 안의 표와 PDF 글 복원을 넓혔습니다. HWP5 표는 같은 문서의 HWPX 와 같은 모양으로 나오고(여러 쪽 본문 상자만 문단으로 풂), 3~8단 중첩표가 HWPX·HWP5·PDF 모두 단 수 그대로 남습니다. HWP·HWPX → Markdown 표는 1열 표를 뺀 채점에서 HWP 3,111/3,111·HWPX 9,122/9,123 이 일치합니다. PDF 는 배경에 가려진 글 제외, 세로쓰기 글상자, 자간 벌린 영문, TeX 수식 글꼴 기호, 장 번호 제목, 칸에 줄마다 적은 숫자 목록을 바로잡아 ODL 200 기본 0.937·`ocr: true` 0.960 이 됐습니다. 새 옵션 `plain`(그림 자리 표시·링크 URL·강조 표기 없이 글 위주)과 `htmlTables`(모든 표를 들여쓴 HTML 로)를 켜면 OCR 없이 0.949·OCR 0.971 입니다. 이슈 #91~#95(희소 XLSX·누름틀 안내문·암호 HWPX Windows 멈춤·`-o` 그림 링크·`generate --image-dir` 한글 이름)를 고쳤습니다.
+
+## v4.15.6 변경사항
+
+PDF 구조 복원을 한 단계 더 올려 ODL 공개 PDF 200문서 종합이 0.905513(4.15.5)에서 **0.934509**로 올랐습니다(읽기 순서 0.938·표 0.931·제목 0.926, 공개 12개 엔진 중 최고). 워드·슬라이드 표(음영 칸·투명 글상자·위아래 괘선만 있는 여러 줄 머리), 작은 대문자·옛 숫자 글리프, 여백의 세로 도장, 사이드바 소제목, 칸 안 영문 줄바꿈과 줄마다 쪼개진 링크를 바로잡았습니다. `ocr: true`는 차트·로고 같은 그림 속 글까지 영역마다 읽어 0.952이고, 기본값에서 OCR이 필요한 쪽은 경고에 다시 파싱하는 방법(`ocr: true` / `--ocr`)을 알려줍니다. 한국 공문서 게이트(표 exact 2,536/2,692·글 recall 99.49%)는 그대로 유지했습니다.
+
 ## v4.15.5 변경사항
 
 PDF 표 경계와 두 단 지면 읽기 순서를 복원했습니다. 세로선만 내려 그은 머리·합계 행, 머리행만 음영 상자로 두른 표, 가로 괘선만 있는 학술지 표를 한 표로 읽고, 두 단 지면에서는 그림 옆 캡션을 먼저, 각주를 두 단 본문 뒤에 읽습니다. ODL 공개 PDF 200문서 종합은 0.775354(4.15.4)에서 0.905513으로 올랐습니다. PDF 제목 오탐 두 유형(#89)과 없는 입력 파일의 실패 코드(`FILE_NOT_FOUND`, #88)도 바로잡았습니다. 세부 지표와 OCR 게이트 기준 재산정 사유는 [CHANGELOG](CHANGELOG.md)를 참고하세요.
@@ -150,6 +228,8 @@ PDF 표 복원과 대형 입력의 안정성을 보완했습니다.
 - **💲 본문의 `$` 가 수식이 되지 않습니다**: 한글 문서(HWPX·HWP·HWP3)의 리터럴 `$` 는 `\$` 로 내고 `$…$` 는 수식에만 씁니다. "echo $HOME $PATH" 같은 글이 마크다운 렌더러에서 수식으로 바뀌던 것. 역슬래시 뒤 구두점("C:\.Pls")에서 역슬래시가 사라지던 것도 고쳤습니다.
 - **📝 미기입 누름틀 안내문을 빼고 읽습니다**: 한컴이 화면에만 흐리게 보이고 인쇄하지 않는 HWPX 안내문을 마크다운에서 뺍니다(블록 글에는 남김). 누름틀을 채우면 수정 표시를 켭니다.
 - **🖼️ 이미지 끄기** (`images: false` / `--no-images`): 결과에 이미지 바이트를 싣지 않습니다. 그림 자리 표시(`![image](…)`)와 본문 글자는 그대로라 그림 위치는 알 수 있습니다. PDF 는 PNG 인코딩을 건너뜁니다. 그림 많은 PDF 실측: JSON 출력 200MB → 9.5MB, CPU 시간 30% 감소.
+- **🧹 글 위주 출력** (`plain: true` / `--plain`): 그림 자리 표시·링크 URL·밑줄(`<u>`)·굵게(`**`) 표기를 빼고 제목·목록·표 구조와 글만 냅니다. 이미지 파일을 저장하지 않는 색인·RAG 용.
+- **🧾 HTML 표** (`htmlTables: true` / `--html-tables`): 파이프 표까지 모든 표를 HTML 로, 태그마다 한 줄씩 들여써 냅니다(첫 행 `<th>`). HTML 표만 다루는 소비자용.
 - **🚀 상주 파싱 워커** (`kordoc parse-worker`): 프로세스를 띄워 둔 채 stdin 요청 한 줄마다 한 줄 JSON 을 돌려줍니다. 파일마다 node 를 새로 띄우지 않아 대량 색인에 알맞습니다. 응답에 메모리 사용량(`rss`)을 실어 호스트가 워커 교체 시점을 정할 수 있습니다.
 
 ## v4.14.2 변경사항
@@ -965,6 +1045,7 @@ reflow 조판되며 `--no-reflow`로 끌 수 있습니다 (`--highlight 예산,
 
 ```typescript
 const result = await parse(buffer, { images: false }) // 이미지 바이트 없이 (그림 자리 표시는 남김)
+const plain = await parse(buffer, { plain: true, htmlTables: true }) // 글 위주 + 모든 표를 들여쓴 HTML 로
 ```
 
 CLI 는 `kordoc 문서.pdf --format json --no-images`. 대량 변환은 `kordoc parse-worker` 를 띄워 두고

package/dist/{-PQUI4OJT.js → -H6WNRHK6.js}

@@ -50,17 +50,17 @@ import {
   unknownFontWarnings,
   usesGaejosikMunche,
   validateHwpx
-} from "./chunk-LUXORVFU.js";
+} from "./chunk-S7PEBTU3.js";
 import {
   blocksToPages
-} from "./chunk-VUO5LNN4.js";
+} from "./chunk-AWXXLLIG.js";
 import {
   applySplices,
   buildParagraphSplices,
   buildRangeSplices,
   placeSealHwpx,
   scanSectionXml
-} from "./chunk-JWT457FN.js";
+} from "./chunk-UGSRP7E2.js";
 import {
   DEFAULT_REDACT_RULES,
   redactMarkdown,
@@ -68,7 +68,7 @@ import {
 } from "./chunk-3WSNLH4B.js";
 import {
   blocksToChunks
-} from "./chunk-LHDPC4B2.js";
+} from "./chunk-L5MDTA6T.js";
 import {
   SPACE_EM_FIXED,
   SPACE_EM_FONT,
@@ -93,20 +93,20 @@ import {
   renderSceneToHtml,
   simulateWrap,
   simulateWrapKeepWord
-} from "./chunk-FWOCNMXB.js";
+} from "./chunk-C572DIHX.js";
 import "./chunk-7FCNOKOR.js";
-import "./chunk-3PDCVDSO.js";
+import "./chunk-NVG2GQNA.js";
 import "./chunk-VQFA55IC.js";
-import "./chunk-4G5RVBH4.js";
+import "./chunk-O5SDUPB2.js";
 import {
   blocksToMarkdown,
   flattenLayoutTables,
   hasStructuredCellContent
-} from "./chunk-76VZXCH4.js";
-import "./chunk-TUNTHZWR.js";
+} from "./chunk-WHZUJH2O.js";
+import "./chunk-YFHV4QP3.js";
 import {
   VERSION
-} from "./chunk-JPIHOEAS.js";
+} from "./chunk-F5FHYJKJ.js";
 export {
   BUILTIN_TEMPLATES,
   DEFAULT_REDACT_RULES,
@@ -196,4 +196,4 @@ export {
   usesGaejosikMunche,
   validateHwpx
 };
-//# sourceMappingURL=-PQUI4OJT.js.map
+//# sourceMappingURL=-H6WNRHK6.js.map