@comtext/ocr-fix 1.0.2 → 1.1.1

package/README.md

@@ -4,9 +4,13 @@
 
 Post-OCR коррекция текста — набор утилит для исправления артефактов, которые возникают при OCR-распознавании и мешают дальнейшей обработке текста.
 
-## Что делает функция `correct`
+## API
 
-Применяет набор исправлений, которые полезны после любого OCR:
+Пакет экспортирует две функции.
+
+### `correct(str)`
+
+Корректирует произвольный текст после OCR. Применяет набор исправлений:
 
 | # | Исправление | Пример |
 |---|---|---|
@@ -14,7 +18,7 @@ Post-OCR коррекция текста — набор утилит для ис
 | 2 | Перенос слова через дефис в конце строки: дефис и `\n` удаляются, части слова склеиваются | `"школь-\nного"` → `"школьного"` |
 | 3 | Остальные одиночные `\n` внутри абзаца → пробел (двойные `\n` сохраняются) | `"строка\nпродолжение"` → `"строка продолжение"` |
 | 4 | Дефис в роли тире → `—`: `--`, ` - `, а также дефис после `,` `.` `!` `?` `»` `)` | `"это - пример"` → `"это — пример"`, `"да,- нет"` → `"да, — нет"` |
-| 5 | Кириллические буквы-двойники в отдельно стоящих римских цифрах → латинские | `"ХХ век"` → `"XX век"`, `"ХIХ"` → `"XIX"` |
+| 5 | Кириллические буквы-двойники в отдельно стоящих римских цифрах (2+ символа) → латинские | `"ХХ век"` → `"XX век"`, `"ХIХ"` → `"XIX"` |
 | 6 | Пробел после точки в аббревиатурах и инициалах (буква + точка + буква/цифра) | `"В.И.Ленин"` → `"В. И. Ленин"`, `"т.1"` → `"т. 1"` |
 | 7 | Несколько пробелов подряд → один пробел | `"слово  слово"` → `"слово слово"` |
 
@@ -32,6 +36,32 @@ Post-OCR коррекция текста — набор утилит для ис
 Воспитание творческой активности учащихся в процессе изучения ими математики является одной из актуальных целей нашего школьного преподавания.
 ```
 
+### `correctComtext(str)`
+
+Корректирует файл в формате comtext — Markdown с YAML frontmatter.
+
+Если файл начинается с блока `---`, frontmatter сохраняется без изменений.
+К остальной части текста применяется `correct`.
+
+```
+---
+format: article
+title: Название
+---
+Текст первой строки
+продолжение текста.
+```
+
+↓
+
+```
+---
+format: article
+title: Название
+---
+Текст первой строки продолжение текста.
+```
+
 ## Установка
 
 ```bash
@@ -41,11 +71,17 @@ yarn add @comtext/ocr-fix
 ## Использование
 
 ```js
-import { correct } from '@comtext/ocr-fix'
+import { correct, correctComtext } from '@comtext/ocr-fix'
 
+// Для произвольного текста
 const rawOcrText = `Первый абзац\nиз двух строк\n\nВторой абзац`
 console.log(correct(rawOcrText))
 // "Первый абзац из двух строк\n\nВторой абзац"
+
+// Для comtext-файла с frontmatter
+const comtextFile = `---\nformat: article\n---\nТекст\nпродолжение`
+console.log(correctComtext(comtextFile))
+// "---\nformat: article\n---\nТекст продолжение"
 ```
 
 ## Тесты
@@ -71,7 +107,7 @@ yarn test:coverage
 ```
 ocr-fix/
 ├── src/
-│   └── correct.js       # основная функция
+│   └── correct.js       # correct и correctComtext
 ├── tests/
 │   └── correct.test.js  # Jest-тесты
 ├── package.json

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@comtext/ocr-fix",
-  "version": "1.0.2",
+  "version": "1.1.1",
   "description": "Post-OCR text correction utilities",
   "type": "module",
   "main": "src/correct.js",

package/src/correct.js

@@ -36,7 +36,9 @@ function correct(str) {
   str = str.replace(/(?<!\n)\n(?!($|\n))/g, ' ')
 
   // 4a. Двойной дефис → em dash
-  str = str.replace(/--/g, '—')
+  //     Только когда вокруг пробелы («слово -- слово») или в начале строки («-- слово»).
+  //     Таблицы md (|---|, |--:|) и разделители (---) не затрагиваются.
+  str = str.replace(/(^|[ \t])--(?=[ \t])/gm, '$1—')
 
   // 4b. Дефис после знака препинания (с опциональным пробелом перед ним) → «знак — »
   //     Охватывает: «,- », «.- », «!- », «?- », «»- », «)- » и варианты с пробелом до дефиса
@@ -46,10 +48,11 @@ function correct(str) {
   str = str.replace(/ - /g, ' — ')
 
   // 5. Кириллические двойники в римских цифрах → латинские
-  //    Токен: только символы римских цифр (Latin или Cyrillic-lookalike),
+  //    Токен: 2+ символов римских цифр (Latin или Cyrillic-lookalike),
   //    не окружён кириллическими/латинскими буквами, цифрами или точкой.
+  //    Минимум 2 символа: одиночные буквы (М, С, Х) могут быть аббревиатурами.
   str = str.replace(
-    /(?<![а-яёА-ЯЁa-zA-Z0-9.])[IVXLCDMivxlcdmХхСсМмІі]+(?![а-яёА-ЯЁa-zA-Z0-9])/g,
+    /(?<![а-яёА-ЯЁa-zA-Z0-9.])[IVXLCDMivxlcdmХхСсМмІі]{2,}(?![а-яёА-ЯЁa-zA-Z0-9])/g,
     (match) => {
       if (!CYR_ROMAN_RE.test(match)) return match
       return match.replace(/[ХхСсМмІі]/g, ch => CYR_TO_LAT[ch])
@@ -65,4 +68,30 @@ function correct(str) {
   return str
 }
 
-export { correct }
+/**
+ * Регулярное выражение для определения frontmatter в начале файла.
+ * Совпадает с блоком «---\n...\n---» строго в начале строки.
+ * \n* в конце захватывает все переводы строк после закрывающего ---,
+ * чтобы они не попали в тело и не были изменены функцией correct.
+ */
+const FRONTMATTER_RE = /^---\n[\s\S]*?\n---\n*/
+
+/**
+ * Корректирует файл в формате comtext (Markdown с YAML frontmatter).
+ *
+ * Frontmatter — блок между «---» в самом начале файла — сохраняется без изменений.
+ * К остальной части текста применяется функция {@link correct}.
+ *
+ * @param {string} str - Содержимое comtext-файла
+ * @returns {string} Скорректированный текст с нетронутым frontmatter
+ */
+function correctComtext(str) {
+  const fmMatch = str.match(FRONTMATTER_RE)
+  if (!fmMatch) return correct(str)
+
+  const frontmatter = fmMatch[0]
+  const body = str.slice(frontmatter.length)
+  return frontmatter + correct(body)
+}
+
+export { correct, correctComtext }