@comtext/ocr-fix 1.0.1

package/README.md

@@ -0,0 +1,77 @@
+# ocr-fix
+
+Post-OCR коррекция текста — набор утилит для исправления артефактов, которые возникают при OCR-распознавании и мешают дальнейшей обработке текста.
+
+## Что делает функция `correct`
+
+Применяет набор исправлений, которые полезны после любого OCR:
+
+| # | Исправление | Пример |
+|---|---|---|
+| 1 | Все пробельные символы кроме `\n` (табы, `\u00A0`, `\u202F` и др.) → обычный пробел | `"10 кг"` → `"10 кг"` |
+| 2 | Перенос слова через дефис в конце строки: дефис и `\n` удаляются, части слова склеиваются | `"школь-\nного"` → `"школьного"` |
+| 3 | Остальные одиночные `\n` внутри абзаца → пробел (двойные `\n` сохраняются) | `"строка\nпродолжение"` → `"строка продолжение"` |
+| 4 | Дефис в роли тире → `—`: `--`, ` - `, а также дефис после `,` `.` `!` `?` `»` `)` | `"это - пример"` → `"это — пример"`, `"да,- нет"` → `"да, — нет"` |
+| 5 | Кириллические буквы-двойники в отдельно стоящих римских цифрах → латинские | `"ХХ век"` → `"XX век"`, `"ХIХ"` → `"XIX"` |
+| 6 | Пробел после точки в аббревиатурах и инициалах (буква + точка + буква/цифра) | `"В.И.Ленин"` → `"В. И. Ленин"`, `"т.1"` → `"т. 1"` |
+| 7 | Несколько пробелов подряд → один пробел | `"слово  слово"` → `"слово слово"` |
+
+**Пример:**
+
+```
+Воспитание творческой активности учащихся в процессе изучения
+ими математики является одной из актуальных целей нашего школь-
+ного преподавания.
+```
+
+↓
+
+```
+Воспитание творческой активности учащихся в процессе изучения ими математики является одной из актуальных целей нашего школьного преподавания.
+```
+
+## Установка
+
+```bash
+yarn add @comtext/ocr-fix
+```
+
+## Использование
+
+```js
+import { correct } from '@comtext/ocr-fix'
+
+const rawOcrText = `Первый абзац\nиз двух строк\n\nВторой абзац`
+console.log(correct(rawOcrText))
+// "Первый абзац из двух строк\n\nВторой абзац"
+```
+
+## Тесты
+
+```bash
+yarn test
+```
+
+Для режима наблюдения (перезапуск при изменениях):
+
+```bash
+yarn test:watch
+```
+
+Для отчёта о покрытии:
+
+```bash
+yarn test:coverage
+```
+
+## Структура проекта
+
+```
+ocr-fix/
+├── src/
+│   └── correct.js       # основная функция
+├── tests/
+│   └── correct.test.js  # Jest-тесты
+├── package.json
+└── README.md
+```

package/package.json

@@ -0,0 +1,28 @@
+{
+  "name": "@comtext/ocr-fix",
+  "version": "1.0.1",
+  "description": "Post-OCR text correction utilities",
+  "type": "module",
+  "main": "src/correct.js",
+  "exports": "./src/correct.js",
+  "files": [
+    "src/"
+  ],
+  "scripts": {
+    "test": "node --experimental-vm-modules node_modules/.bin/jest",
+    "test:watch": "node --experimental-vm-modules node_modules/.bin/jest --watch",
+    "test:coverage": "node --experimental-vm-modules node_modules/.bin/jest --coverage"
+  },
+  "keywords": [
+    "ocr",
+    "text",
+    "correction"
+  ],
+  "license": "MIT",
+  "publishConfig": {
+    "access": "public"
+  },
+  "devDependencies": {
+    "jest": "^29.7.0"
+  }
+}

package/src/correct.js

@@ -0,0 +1,68 @@
+/**
+ * Корректирует текст после OCR-распознавания.
+ *
+ * Применяемые исправления:
+ *  1. Все пробельные символы кроме \n (табы, неразрывные пробелы и др.) → обычный пробел.
+ *  2. Перенос слова в конце строки (строка заканчивается на «-»): дефис и \n
+ *     удаляются, части слова склеиваются («школь-\nного» → «школьного»).
+ *  3. Остальные одиночные \n внутри абзаца → пробел (двойные \n сохраняются).
+ *  4. Дефис в роли тире → em dash «—»:
+ *     a. «--» (двойной дефис) → «—»
+ *     b. Дефис после знака препинания: «,- », «.- », «? - » и т.п. → «знак — »
+ *     c. Дефис между пробелами: « - » → « — »
+ *  5. Кириллические буквы-двойники в римских цифрах заменяются на латинские
+ *     («ХХ» → «XX», «ХIХ» → «XIX»). Срабатывает только на отдельно стоящих токенах,
+ *     не являющихся частью кириллического слова.
+ *  6. Пробел после точки в аббревиатурах и инициалах: буква + точка + (буква или цифра)
+ *     без пробела → добавить пробел («В.И.Ленин» → «В. И. Ленин», «т.1» → «т. 1»).
+ *  7. Несколько пробелов подряд → один пробел.
+ *
+ * @param {string} str - Входной текст после OCR
+ * @returns {string} Скорректированный текст
+ */
+
+// Кириллические символы, визуально совпадающие с символами римских цифр
+const CYR_TO_LAT = { 'Х': 'X', 'х': 'x', 'С': 'C', 'с': 'c', 'М': 'M', 'м': 'm', 'І': 'I', 'і': 'i' }
+const CYR_ROMAN_RE = /[ХхСсМмІі]/
+
+function correct(str) {
+  // 1. Все пробельные символы кроме \n → обычный пробел
+  str = str.replace(/[^\S\n]/g, ' ')
+
+  // 2. Перенос слова: «-\n» (не перед концом строки/файла и не перед пустой строкой) → «»
+  str = str.replace(/-\n(?!($|\n))/g, '')
+
+  // 3. Остальные одиночные \n → пробел (двойные \n сохраняются)
+  str = str.replace(/(?<!\n)\n(?!($|\n))/g, ' ')
+
+  // 4a. Двойной дефис → em dash
+  str = str.replace(/--/g, '—')
+
+  // 4b. Дефис после знака препинания (с опциональным пробелом перед ним) → «знак — »
+  //     Охватывает: «,- », «.- », «!- », «?- », «»- », «)- » и варианты с пробелом до дефиса
+  str = str.replace(/([,.:;!?»\)]) ?- /g, '$1 — ')
+
+  // 4c. Одиночный дефис между пробелами → em dash
+  str = str.replace(/ - /g, ' — ')
+
+  // 5. Кириллические двойники в римских цифрах → латинские
+  //    Токен: только символы римских цифр (Latin или Cyrillic-lookalike),
+  //    не окружён кириллическими/латинскими буквами, цифрами или точкой.
+  str = str.replace(
+    /(?<![а-яёА-ЯЁa-zA-Z0-9.])[IVXLCDMivxlcdmХхСсМмІі]+(?![а-яёА-ЯЁa-zA-Z0-9])/g,
+    (match) => {
+      if (!CYR_ROMAN_RE.test(match)) return match
+      return match.replace(/[ХхСсМмІі]/g, ch => CYR_TO_LAT[ch])
+    }
+  )
+
+  // 6. Аббревиатуры и инициалы: буква + точка + (буква или цифра) без пробела → добавить пробел
+  str = str.replace(/([а-яёА-ЯЁa-zA-Z])\.(?=[а-яёА-ЯЁa-zA-Z0-9])/g, '$1. ')
+
+  // 7. Несколько пробелов подряд → один пробел
+  str = str.replace(/ {2,}/g, ' ')
+
+  return str
+}
+
+export { correct }