kotoshu 1.0.2-aarch64-linux

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (458) hide show
  1. checksums.yaml +7 -0
  2. data/.kotoshu-baseline.json +1 -0
  3. data/.pre-commit-hooks.yaml +18 -0
  4. data/.rspec +3 -0
  5. data/.rubocop.yml +351 -0
  6. data/.yardopts +8 -0
  7. data/CHANGELOG.md +813 -0
  8. data/CLAUDE.md +176 -0
  9. data/CODE_OF_CONDUCT.md +132 -0
  10. data/Cargo.lock +359 -0
  11. data/Cargo.toml +15 -0
  12. data/LICENSE +31 -0
  13. data/README.adoc +1292 -0
  14. data/Rakefile +150 -0
  15. data/SECURITY.md +93 -0
  16. data/TODO.impl/00-cut-0.1.md +121 -0
  17. data/TODO.impl/00-cut-0.2.md +175 -0
  18. data/TODO.impl/00-vision.md +281 -0
  19. data/TODO.impl/01-hunspell-correctness.md +111 -0
  20. data/TODO.impl/02-cli-unification.md +74 -0
  21. data/TODO.impl/03-dynamic-download.md +107 -0
  22. data/TODO.impl/04-language-modules.md +89 -0
  23. data/TODO.impl/05-semantic-path.md +83 -0
  24. data/TODO.impl/06-cjk-support.md +105 -0
  25. data/TODO.impl/07-rtl-support.md +71 -0
  26. data/TODO.impl/08-grammar-engine.md +106 -0
  27. data/TODO.impl/09-integrity-security.md +90 -0
  28. data/TODO.impl/10-testing-ci.md +98 -0
  29. data/TODO.impl/100-full-feature-batch3.md +28 -0
  30. data/TODO.impl/101-int4-tier-experiment.md +32 -0
  31. data/TODO.impl/102-lid-chain.md +28 -0
  32. data/TODO.impl/103-oov-bucket-tables.md +27 -0
  33. data/TODO.impl/104-vscode-marketplace-readiness.md +32 -0
  34. data/TODO.impl/105-personal-dictionary-in-check.md +34 -0
  35. data/TODO.impl/106-native-lid-detection.md +36 -0
  36. data/TODO.impl/107-basic-support-every-staged-language.md +42 -0
  37. data/TODO.impl/108-ko-ne-full-feature.md +37 -0
  38. data/TODO.impl/109-ten-audit.md +26 -0
  39. data/TODO.impl/11-release-v1.md +95 -0
  40. data/TODO.impl/110-sr-latn-and-polish.md +33 -0
  41. data/TODO.impl/111-embedding-bakeoff.md +33 -0
  42. data/TODO.impl/112-deployability-and-gating.md +26 -0
  43. data/TODO.impl/113-language-packs.md +26 -0
  44. data/TODO.impl/114-typo-biencoder-thread.md +33 -0
  45. data/TODO.impl/115-hybrid-retrieval-pricing.md +22 -0
  46. data/TODO.impl/116-baseline-suggestion-skip.md +81 -0
  47. data/TODO.impl/117-deterministic-frequency-tiers.md +110 -0
  48. data/TODO.impl/118-server-gem-floor.md +33 -0
  49. data/TODO.impl/119-embedded-kelly-tiers.md +56 -0
  50. data/TODO.impl/120-setup-metadata-refresh.md +35 -0
  51. data/TODO.impl/121-jekyll-baseline-skip.md +33 -0
  52. data/TODO.impl/122-pack-compression-kpk2.md +66 -0
  53. data/TODO.impl/123-typo-corpus-synthesis.md +55 -0
  54. data/TODO.impl/124-owner-residue.md +19 -0
  55. data/TODO.impl/125-consumer-floor-guards.md +43 -0
  56. data/TODO.impl/126-tier-error-budgets.md +33 -0
  57. data/TODO.impl/127-suggestion-feedback-loop.md +34 -0
  58. data/TODO.impl/128-hybrid-pricing-verdict.md +47 -0
  59. data/TODO.impl/129-pt-fr-corpora.md +23 -0
  60. data/TODO.impl/130-news-truth-0912.md +23 -0
  61. data/TODO.impl/131-hybrid-productization.md +42 -0
  62. data/TODO.impl/132-techniques-page-and-prose.md +27 -0
  63. data/TODO.impl/133-rust-first-distribution.md +68 -0
  64. data/TODO.impl/20-encapsulation-cleanup.md +47 -0
  65. data/TODO.impl/21-autoload-migration.md +64 -0
  66. data/TODO.impl/22-url-pin-single-source-of-truth.md +120 -0
  67. data/TODO.impl/23-fix-url-defaults.md +57 -0
  68. data/TODO.impl/24-cli-auto-setup-prompt.md +76 -0
  69. data/TODO.impl/25-soft-onnxruntime-require.md +75 -0
  70. data/TODO.impl/26-onnx-vocab-json-generation.md +96 -0
  71. data/TODO.impl/27-end-to-end-smoke-spec.md +113 -0
  72. data/TODO.impl/28-readme-quickstart-verification.md +68 -0
  73. data/TODO.impl/29-status-command.md +84 -0
  74. data/TODO.impl/30-language-auto-detection.md +74 -0
  75. data/TODO.impl/31-download-progress.md +58 -0
  76. data/TODO.impl/32-sarif-output-verification.md +72 -0
  77. data/TODO.impl/33-audit-log-rotation.md +54 -0
  78. data/TODO.impl/34-cache-eviction.md +59 -0
  79. data/TODO.impl/35-shell-completion.md +61 -0
  80. data/TODO.impl/36-cleanup-regressions-0.3.1.md +134 -0
  81. data/TODO.impl/37-hunspell-correctness-tier2.md +203 -0
  82. data/TODO.impl/38-onnx-semantic-gating.md +218 -0
  83. data/TODO.impl/39-tier3-and-beyond.md +232 -0
  84. data/TODO.impl/40-spec-drift-cleanup.md +134 -0
  85. data/TODO.impl/50-structure-aware-document-api.md +194 -0
  86. data/TODO.impl/51-grammar-engine-expansion.md +75 -0
  87. data/TODO.impl/52-multi-language-documents.md +95 -0
  88. data/TODO.impl/53-document-plugin-architecture.md +94 -0
  89. data/TODO.impl/54-cjk-support.md +117 -0
  90. data/TODO.impl/55-rtl-support.md +109 -0
  91. data/TODO.impl/56-t4-t5-t6-quality-architecture-ecosystem.md +126 -0
  92. data/TODO.impl/57-t5.1-step3-pure-function-strategies.md +138 -0
  93. data/TODO.impl/58-t5.2-configuration-as-data.md +113 -0
  94. data/TODO.impl/59-yard-api-documentation.md +75 -0
  95. data/TODO.impl/60-lsp-server.md +174 -0
  96. data/TODO.impl/61-editor-ecosystem.md +167 -0
  97. data/TODO.impl/62-framework-integrations.md +159 -0
  98. data/TODO.impl/63-web-playground-wasm.md +186 -0
  99. data/TODO.impl/64-http-api-and-sdks.md +191 -0
  100. data/TODO.impl/65-universal-kotoshu.md +251 -0
  101. data/TODO.impl/66-kotoshu-core.md +169 -0
  102. data/TODO.impl/67-kotoshu-rs-and-access-libraries.md +137 -0
  103. data/TODO.impl/68-sota-adoption.md +152 -0
  104. data/TODO.impl/69-sota-typo-eval.md +74 -0
  105. data/TODO.impl/70-sota-confidence-cascade.md +59 -0
  106. data/TODO.impl/71-sota-nested-model.md +63 -0
  107. data/TODO.impl/72-model2vec-evaluation.md +49 -0
  108. data/TODO.impl/73-rl-reranker.md +42 -0
  109. data/TODO.impl/74-distilled-reranker.md +36 -0
  110. data/TODO.impl/75-llm-evaluator.md +35 -0
  111. data/TODO.impl/76-optional-llm-backend.md +37 -0
  112. data/TODO.impl/77-model-coverage-expansion.md +96 -0
  113. data/TODO.impl/78-in-browser-playground.md +69 -0
  114. data/TODO.impl/79-news-and-releases.md +60 -0
  115. data/TODO.impl/80-ecosystem-docs.md +56 -0
  116. data/TODO.impl/81-editor-reach.md +68 -0
  117. data/TODO.impl/82-doc-formats-and-ignores.md +81 -0
  118. data/TODO.impl/83-models-batch-2.md +56 -0
  119. data/TODO.impl/84-language-modules-wave2.md +75 -0
  120. data/TODO.impl/85-wasm-model-api.md +48 -0
  121. data/TODO.impl/86-site-truth-wave2.md +45 -0
  122. data/TODO.impl/87-lsp-personal-dictionary.md +36 -0
  123. data/TODO.impl/88-cli-directory-mode.md +54 -0
  124. data/TODO.impl/89-framework-integrations-exec.md +59 -0
  125. data/TODO.impl/90-gem-correctness-residues.md +44 -0
  126. data/TODO.impl/91-unicode-and-sv-aff.md +47 -0
  127. data/TODO.impl/92-tier-mirror-cors.md +88 -0
  128. data/TODO.impl/93-python-wheels.md +32 -0
  129. data/TODO.impl/94-site-integrations-docs.md +35 -0
  130. data/TODO.impl/95-editor-action-polish.md +27 -0
  131. data/TODO.impl/96-server-semantic-models.md +50 -0
  132. data/TODO.impl/97-yard-execution.md +73 -0
  133. data/TODO.impl/98-campaign-cleanup.md +78 -0
  134. data/TODO.impl/99-site-truth-performance-docs.md +31 -0
  135. data/conformance/vectors.jsonl +2630 -0
  136. data/data/en/grammar/rules.yaml +851 -0
  137. data/docs/STABILITY-1.0-AUDIT.md +251 -0
  138. data/docs/STABILITY-1.0.md +137 -0
  139. data/docs/cache-architecture.md +502 -0
  140. data/docs/verification-evidence/correct3/pr_body.md +37 -0
  141. data/docs/verification-evidence/correct3/rspec_final.log +5588 -0
  142. data/docs/verification-evidence/correct3/rspec_full.log +4504 -0
  143. data/docs/verification-evidence/correct3/sv.aff +856 -0
  144. data/docs/verification-evidence/correct3/sv.dic +153717 -0
  145. data/examples/01_basic_word_checking.rb +38 -0
  146. data/examples/02_text_document_checking.rb +77 -0
  147. data/examples/03_dictionary_backends.rb +137 -0
  148. data/examples/04_trie_data_structure.rb +146 -0
  149. data/examples/05_suggestion_algorithms.rb +239 -0
  150. data/examples/06_configuration_advanced.rb +287 -0
  151. data/examples/07_multi_language_dictionaries.rb +278 -0
  152. data/exe/kotoshu +6 -0
  153. data/lib/kotoshu/algorithms/capitalization.rb +276 -0
  154. data/lib/kotoshu/algorithms/edit_distance.rb +128 -0
  155. data/lib/kotoshu/algorithms/lookup/affix_form.rb +132 -0
  156. data/lib/kotoshu/algorithms/lookup/compound_checks.rb +209 -0
  157. data/lib/kotoshu/algorithms/lookup/compound_form.rb +50 -0
  158. data/lib/kotoshu/algorithms/lookup.rb +841 -0
  159. data/lib/kotoshu/algorithms/ngram_suggest.rb +367 -0
  160. data/lib/kotoshu/algorithms/permutations.rb +283 -0
  161. data/lib/kotoshu/algorithms/phonet_suggest.rb +162 -0
  162. data/lib/kotoshu/algorithms/soundex.rb +92 -0
  163. data/lib/kotoshu/algorithms/suggest.rb +794 -0
  164. data/lib/kotoshu/algorithms.rb +23 -0
  165. data/lib/kotoshu/analyzers/semantic_analyzer.rb +405 -0
  166. data/lib/kotoshu/analyzers.rb +8 -0
  167. data/lib/kotoshu/baseline/application.rb +18 -0
  168. data/lib/kotoshu/baseline/entry.rb +33 -0
  169. data/lib/kotoshu/baseline/store.rb +175 -0
  170. data/lib/kotoshu/baseline.rb +20 -0
  171. data/lib/kotoshu/cache/base_cache.rb +778 -0
  172. data/lib/kotoshu/cache/cache.rb +91 -0
  173. data/lib/kotoshu/cache/eviction_policy.rb +66 -0
  174. data/lib/kotoshu/cache/frequency_cache.rb +283 -0
  175. data/lib/kotoshu/cache/language_cache.rb +511 -0
  176. data/lib/kotoshu/cache/lookup_cache.rb +166 -0
  177. data/lib/kotoshu/cache/model_cache.rb +1147 -0
  178. data/lib/kotoshu/cache/model_registry.rb +109 -0
  179. data/lib/kotoshu/cache/staged_languages.rb +45 -0
  180. data/lib/kotoshu/cache/suggestion_cache.rb +113 -0
  181. data/lib/kotoshu/cache.rb +49 -0
  182. data/lib/kotoshu/cli/auto_setup.rb +71 -0
  183. data/lib/kotoshu/cli/baseline_command.rb +119 -0
  184. data/lib/kotoshu/cli/batch_reporter.rb +321 -0
  185. data/lib/kotoshu/cli/cache_command.rb +282 -0
  186. data/lib/kotoshu/cli/completions_command.rb +210 -0
  187. data/lib/kotoshu/cli/dict_command.rb +64 -0
  188. data/lib/kotoshu/cli/directory_check.rb +146 -0
  189. data/lib/kotoshu/cli/directory_walker.rb +132 -0
  190. data/lib/kotoshu/cli/display_formatter.rb +429 -0
  191. data/lib/kotoshu/cli/errors.rb +36 -0
  192. data/lib/kotoshu/cli/ignore_matcher.rb +205 -0
  193. data/lib/kotoshu/cli/interactive_reviewer.rb +314 -0
  194. data/lib/kotoshu/cli/language_resolver.rb +91 -0
  195. data/lib/kotoshu/cli/navigation_manager.rb +273 -0
  196. data/lib/kotoshu/cli/personal_command.rb +113 -0
  197. data/lib/kotoshu/cli/progress_reporter.rb +114 -0
  198. data/lib/kotoshu/cli/status_report.rb +130 -0
  199. data/lib/kotoshu/cli.rb +880 -0
  200. data/lib/kotoshu/components/passthrough_spell_checker.rb +70 -0
  201. data/lib/kotoshu/components/pos_tagger.rb +98 -0
  202. data/lib/kotoshu/components/spell_checker.rb +73 -0
  203. data/lib/kotoshu/components/synthesizer.rb +60 -0
  204. data/lib/kotoshu/components/tokenizer.rb +58 -0
  205. data/lib/kotoshu/components/whitespace_tokenizer.rb +94 -0
  206. data/lib/kotoshu/components.rb +13 -0
  207. data/lib/kotoshu/configuration/builder.rb +207 -0
  208. data/lib/kotoshu/configuration/resolver.rb +124 -0
  209. data/lib/kotoshu/configuration.rb +829 -0
  210. data/lib/kotoshu/conformance_exporter.rb +256 -0
  211. data/lib/kotoshu/conformance_runner.rb +176 -0
  212. data/lib/kotoshu/core/exceptions.rb +186 -0
  213. data/lib/kotoshu/core/indexed_dictionary.rb +293 -0
  214. data/lib/kotoshu/core/models/affix_rule.rb +262 -0
  215. data/lib/kotoshu/core/models/result/document_result.rb +132 -0
  216. data/lib/kotoshu/core/models/result/word_result.rb +131 -0
  217. data/lib/kotoshu/core/models/word.rb +131 -0
  218. data/lib/kotoshu/core/trie/builder.rb +119 -0
  219. data/lib/kotoshu/core/trie/node.rb +94 -0
  220. data/lib/kotoshu/core/trie/trie.rb +249 -0
  221. data/lib/kotoshu/core.rb +28 -0
  222. data/lib/kotoshu/data/common_words/de.yml +1800 -0
  223. data/lib/kotoshu/data/common_words/en.yml +1215 -0
  224. data/lib/kotoshu/data/common_words/es.yml +750 -0
  225. data/lib/kotoshu/data/common_words/fr.yml +1015 -0
  226. data/lib/kotoshu/data/common_words/pt.yml +870 -0
  227. data/lib/kotoshu/data/common_words/ru.yml +484 -0
  228. data/lib/kotoshu/data/common_words_loader.rb +141 -0
  229. data/lib/kotoshu/data/frozen_kelly/en.json +1154 -0
  230. data/lib/kotoshu/data/frozen_kelly.rb +38 -0
  231. data/lib/kotoshu/data.rb +8 -0
  232. data/lib/kotoshu/data_structures/bloom_filter.rb +188 -0
  233. data/lib/kotoshu/data_structures.rb +8 -0
  234. data/lib/kotoshu/debug_logger.rb +146 -0
  235. data/lib/kotoshu/debug_mode.rb +136 -0
  236. data/lib/kotoshu/defaults.rb +84 -0
  237. data/lib/kotoshu/dictionaries/catalog.rb +814 -0
  238. data/lib/kotoshu/dictionaries.rb +8 -0
  239. data/lib/kotoshu/dictionary/base.rb +324 -0
  240. data/lib/kotoshu/dictionary/cspell.rb +243 -0
  241. data/lib/kotoshu/dictionary/custom.rb +225 -0
  242. data/lib/kotoshu/dictionary/hunspell.rb +520 -0
  243. data/lib/kotoshu/dictionary/plain_text.rb +302 -0
  244. data/lib/kotoshu/dictionary/repository.rb +246 -0
  245. data/lib/kotoshu/dictionary/unified.rb +236 -0
  246. data/lib/kotoshu/dictionary/unix_words.rb +218 -0
  247. data/lib/kotoshu/dictionary.rb +15 -0
  248. data/lib/kotoshu/documents/document.rb +120 -0
  249. data/lib/kotoshu/documents/plain_text_document.rb +73 -0
  250. data/lib/kotoshu/documents/source_position.rb +45 -0
  251. data/lib/kotoshu/documents/source_range.rb +76 -0
  252. data/lib/kotoshu/documents/suppressions/scanner.rb +149 -0
  253. data/lib/kotoshu/documents/suppressions/suppression.rb +75 -0
  254. data/lib/kotoshu/documents/suppressions.rb +44 -0
  255. data/lib/kotoshu/documents/text_node.rb +49 -0
  256. data/lib/kotoshu/documents.rb +178 -0
  257. data/lib/kotoshu/embeddings/embedding_pipeline.rb +238 -0
  258. data/lib/kotoshu/embeddings/lru_cache.rb +244 -0
  259. data/lib/kotoshu/embeddings/onnx_runtime_model.rb +411 -0
  260. data/lib/kotoshu/embeddings/protocol.rb +96 -0
  261. data/lib/kotoshu/embeddings/protocols.rb +23 -0
  262. data/lib/kotoshu/embeddings/registry.rb +184 -0
  263. data/lib/kotoshu/embeddings/search.rb +204 -0
  264. data/lib/kotoshu/embeddings/similarity_engine.rb +278 -0
  265. data/lib/kotoshu/embeddings/similarity_search.rb +328 -0
  266. data/lib/kotoshu/embeddings/vocabulary.rb +306 -0
  267. data/lib/kotoshu/embeddings.rb +87 -0
  268. data/lib/kotoshu/fluent_checker.rb +94 -0
  269. data/lib/kotoshu/grammar/pattern_matchers/base_matcher.rb +48 -0
  270. data/lib/kotoshu/grammar/pattern_matchers/double_negative_matcher.rb +179 -0
  271. data/lib/kotoshu/grammar/pattern_matchers/phrase_matcher.rb +86 -0
  272. data/lib/kotoshu/grammar/pattern_matchers/possessive_context_matcher.rb +75 -0
  273. data/lib/kotoshu/grammar/pattern_matchers/possessive_contraction_matcher.rb +87 -0
  274. data/lib/kotoshu/grammar/pattern_matchers/sentence_start_matcher.rb +84 -0
  275. data/lib/kotoshu/grammar/pattern_matchers/vowel_sound_matcher.rb +81 -0
  276. data/lib/kotoshu/grammar/pattern_matchers/word_list_matcher.rb +66 -0
  277. data/lib/kotoshu/grammar/rule.rb +99 -0
  278. data/lib/kotoshu/grammar/rule_engine.rb +96 -0
  279. data/lib/kotoshu/grammar/rule_loader.rb +30 -0
  280. data/lib/kotoshu/grammar.rb +24 -0
  281. data/lib/kotoshu/integrity/audit_log.rb +167 -0
  282. data/lib/kotoshu/integrity/manifest.rb +116 -0
  283. data/lib/kotoshu/integrity/net_http.rb +51 -0
  284. data/lib/kotoshu/integrity/rotation_policy.rb +88 -0
  285. data/lib/kotoshu/integrity.rb +26 -0
  286. data/lib/kotoshu/jekyll.rb +101 -0
  287. data/lib/kotoshu/keyboard/layout.rb +116 -0
  288. data/lib/kotoshu/keyboard/layouts/arabic.rb +59 -0
  289. data/lib/kotoshu/keyboard/layouts/azerty.rb +55 -0
  290. data/lib/kotoshu/keyboard/layouts/bulgarian.rb +57 -0
  291. data/lib/kotoshu/keyboard/layouts/devanagari_inscript.rb +52 -0
  292. data/lib/kotoshu/keyboard/layouts/dubeolsik.rb +56 -0
  293. data/lib/kotoshu/keyboard/layouts/dvorak.rb +54 -0
  294. data/lib/kotoshu/keyboard/layouts/greek.rb +52 -0
  295. data/lib/kotoshu/keyboard/layouts/hebrew.rb +57 -0
  296. data/lib/kotoshu/keyboard/layouts/hrsl.rb +94 -0
  297. data/lib/kotoshu/keyboard/layouts/jcuken.rb +57 -0
  298. data/lib/kotoshu/keyboard/layouts/latin.rb +266 -0
  299. data/lib/kotoshu/keyboard/layouts/persian.rb +58 -0
  300. data/lib/kotoshu/keyboard/layouts/qwerty.rb +52 -0
  301. data/lib/kotoshu/keyboard/layouts/qwertz.rb +55 -0
  302. data/lib/kotoshu/keyboard/layouts/serbian.rb +59 -0
  303. data/lib/kotoshu/keyboard/layouts/turkish_q.rb +52 -0
  304. data/lib/kotoshu/keyboard/layouts/ukrainian.rb +51 -0
  305. data/lib/kotoshu/keyboard/registry.rb +201 -0
  306. data/lib/kotoshu/keyboard.rb +96 -0
  307. data/lib/kotoshu/kotoshu_native.so +0 -0
  308. data/lib/kotoshu/language/detector.rb +242 -0
  309. data/lib/kotoshu/language/identifier.rb +376 -0
  310. data/lib/kotoshu/language/languages/base.rb +271 -0
  311. data/lib/kotoshu/language/lid_detector.rb +188 -0
  312. data/lib/kotoshu/language/normalizer/arabic.rb +113 -0
  313. data/lib/kotoshu/language/normalizer/base.rb +133 -0
  314. data/lib/kotoshu/language/normalizer/greek.rb +63 -0
  315. data/lib/kotoshu/language/normalizer/hebrew.rb +72 -0
  316. data/lib/kotoshu/language/normalizer/persian.rb +36 -0
  317. data/lib/kotoshu/language/normalizer/turkish.rb +38 -0
  318. data/lib/kotoshu/language/registry.rb +209 -0
  319. data/lib/kotoshu/language/resources/ar/common_words.txt +6753 -0
  320. data/lib/kotoshu/language/resources/ar/confusion_sets.txt +11 -0
  321. data/lib/kotoshu/language/resources/de/common_words.txt +10003 -0
  322. data/lib/kotoshu/language/resources/de/confusion_sets.txt +246 -0
  323. data/lib/kotoshu/language/resources/en/common_words.txt +9979 -0
  324. data/lib/kotoshu/language/resources/en/confusion_sets.txt +871 -0
  325. data/lib/kotoshu/language/resources/es/common_words.txt +9992 -0
  326. data/lib/kotoshu/language/resources/es/confusion_sets.txt +17 -0
  327. data/lib/kotoshu/language/resources/fr/common_words.txt +9993 -0
  328. data/lib/kotoshu/language/resources/fr/confusion_sets.txt +76 -0
  329. data/lib/kotoshu/language/resources/pt/common_words.txt +9977 -0
  330. data/lib/kotoshu/language/resources/pt/confusion_sets.txt +18 -0
  331. data/lib/kotoshu/language/resources/ru/common_words.txt +9951 -0
  332. data/lib/kotoshu/language/resources/ru/confusion_sets.txt +5 -0
  333. data/lib/kotoshu/language/script.rb +128 -0
  334. data/lib/kotoshu/language/segmenter.rb +122 -0
  335. data/lib/kotoshu/language/suika.rb +38 -0
  336. data/lib/kotoshu/language/tokenizer/base.rb +187 -0
  337. data/lib/kotoshu/language/tokenizer/cyrillic_tokenizer.rb +76 -0
  338. data/lib/kotoshu/language/tokenizer/devanagari_tokenizer.rb +70 -0
  339. data/lib/kotoshu/language/tokenizer/french_tokenizer.rb +172 -0
  340. data/lib/kotoshu/language/tokenizer/german_tokenizer.rb +41 -0
  341. data/lib/kotoshu/language/tokenizer/greek_tokenizer.rb +72 -0
  342. data/lib/kotoshu/language/tokenizer/hangul_tokenizer.rb +70 -0
  343. data/lib/kotoshu/language/tokenizer/japanese_tokenizer.rb +55 -0
  344. data/lib/kotoshu/language/tokenizer/latin_tokenizer.rb +153 -0
  345. data/lib/kotoshu/language/tokenizer/portuguese_tokenizer.rb +160 -0
  346. data/lib/kotoshu/language/tokenizer/russian_tokenizer.rb +93 -0
  347. data/lib/kotoshu/language/tokenizer/script_tokenizer.rb +62 -0
  348. data/lib/kotoshu/language/tokenizer/spanish_tokenizer.rb +122 -0
  349. data/lib/kotoshu/language.rb +127 -0
  350. data/lib/kotoshu/languages/ar/language.rb +98 -0
  351. data/lib/kotoshu/languages/bg/language.rb +37 -0
  352. data/lib/kotoshu/languages/ca/language.rb +22 -0
  353. data/lib/kotoshu/languages/cs/language.rb +22 -0
  354. data/lib/kotoshu/languages/da/language.rb +22 -0
  355. data/lib/kotoshu/languages/de/language.rb +554 -0
  356. data/lib/kotoshu/languages/el/language.rb +50 -0
  357. data/lib/kotoshu/languages/en/language.rb +470 -0
  358. data/lib/kotoshu/languages/es/language.rb +476 -0
  359. data/lib/kotoshu/languages/et/language.rb +24 -0
  360. data/lib/kotoshu/languages/fa/language.rb +91 -0
  361. data/lib/kotoshu/languages/fr/language.rb +505 -0
  362. data/lib/kotoshu/languages/he/language.rb +98 -0
  363. data/lib/kotoshu/languages/hr/language.rb +24 -0
  364. data/lib/kotoshu/languages/hu/language.rb +22 -0
  365. data/lib/kotoshu/languages/id/language.rb +25 -0
  366. data/lib/kotoshu/languages/it/language.rb +22 -0
  367. data/lib/kotoshu/languages/ja/language.rb +476 -0
  368. data/lib/kotoshu/languages/ko/language.rb +56 -0
  369. data/lib/kotoshu/languages/latin_base.rb +53 -0
  370. data/lib/kotoshu/languages/lt/language.rb +24 -0
  371. data/lib/kotoshu/languages/lv/language.rb +24 -0
  372. data/lib/kotoshu/languages/nb/language.rb +25 -0
  373. data/lib/kotoshu/languages/ne/language.rb +60 -0
  374. data/lib/kotoshu/languages/nl/language.rb +22 -0
  375. data/lib/kotoshu/languages/nn/language.rb +26 -0
  376. data/lib/kotoshu/languages/pl/language.rb +22 -0
  377. data/lib/kotoshu/languages/pt/language.rb +439 -0
  378. data/lib/kotoshu/languages/ro/language.rb +22 -0
  379. data/lib/kotoshu/languages/ru/language.rb +420 -0
  380. data/lib/kotoshu/languages/sk/language.rb +25 -0
  381. data/lib/kotoshu/languages/sl/language.rb +25 -0
  382. data/lib/kotoshu/languages/sr/language.rb +39 -0
  383. data/lib/kotoshu/languages/sr-Latn/language.rb +35 -0
  384. data/lib/kotoshu/languages/sv/language.rb +22 -0
  385. data/lib/kotoshu/languages/tr/language.rb +36 -0
  386. data/lib/kotoshu/languages/uk/language.rb +38 -0
  387. data/lib/kotoshu/languages/vi/language.rb +22 -0
  388. data/lib/kotoshu/languages.rb +64 -0
  389. data/lib/kotoshu/metrics_collector.rb +238 -0
  390. data/lib/kotoshu/metrics_module.rb +121 -0
  391. data/lib/kotoshu/models/context.rb +119 -0
  392. data/lib/kotoshu/models/embedding_model.rb +181 -0
  393. data/lib/kotoshu/models/fasttext_model.rb +212 -0
  394. data/lib/kotoshu/models/nearest_neighbor.rb +96 -0
  395. data/lib/kotoshu/models/onnx_model.rb +330 -0
  396. data/lib/kotoshu/models/semantic_error.rb +204 -0
  397. data/lib/kotoshu/models/suggestion.rb +106 -0
  398. data/lib/kotoshu/models/word_embedding.rb +97 -0
  399. data/lib/kotoshu/models.rb +27 -0
  400. data/lib/kotoshu/multi_language_checker.rb +127 -0
  401. data/lib/kotoshu/native.rb +83 -0
  402. data/lib/kotoshu/native_backend.rb +131 -0
  403. data/lib/kotoshu/paths.rb +79 -0
  404. data/lib/kotoshu/personal_dictionary.rb +105 -0
  405. data/lib/kotoshu/plugins/plugin.rb +61 -0
  406. data/lib/kotoshu/plugins/registry.rb +118 -0
  407. data/lib/kotoshu/plugins.rb +9 -0
  408. data/lib/kotoshu/project_config.rb +76 -0
  409. data/lib/kotoshu/readers/aff_data.rb +530 -0
  410. data/lib/kotoshu/readers/aff_reader.rb +393 -0
  411. data/lib/kotoshu/readers/condition_checker.rb +125 -0
  412. data/lib/kotoshu/readers/dic_reader.rb +208 -0
  413. data/lib/kotoshu/readers/file_reader.rb +377 -0
  414. data/lib/kotoshu/readers/lookup_builder.rb +584 -0
  415. data/lib/kotoshu/readers/readers.rb +17 -0
  416. data/lib/kotoshu/readers.rb +25 -0
  417. data/lib/kotoshu/resource_bundle.rb +55 -0
  418. data/lib/kotoshu/resource_manager.rb +600 -0
  419. data/lib/kotoshu/results/result.rb +165 -0
  420. data/lib/kotoshu/results.rb +8 -0
  421. data/lib/kotoshu/rspec.rb +163 -0
  422. data/lib/kotoshu/scripts/fasttext_to_onnx.py +275 -0
  423. data/lib/kotoshu/source_registry.rb +104 -0
  424. data/lib/kotoshu/spellchecker/parallel_checker.rb +90 -0
  425. data/lib/kotoshu/spellchecker.rb +406 -0
  426. data/lib/kotoshu/string_metrics.rb +153 -0
  427. data/lib/kotoshu/suggestions/context.rb +43 -0
  428. data/lib/kotoshu/suggestions/frequency_provider.rb +80 -0
  429. data/lib/kotoshu/suggestions/generator.rb +169 -0
  430. data/lib/kotoshu/suggestions/pipeline.rb +135 -0
  431. data/lib/kotoshu/suggestions/semantic_cascade.rb +73 -0
  432. data/lib/kotoshu/suggestions/strategies/base_strategy.rb +315 -0
  433. data/lib/kotoshu/suggestions/strategies/composite_strategy.rb +197 -0
  434. data/lib/kotoshu/suggestions/strategies/edit_distance_strategy.rb +631 -0
  435. data/lib/kotoshu/suggestions/strategies/keyboard_proximity_strategy.rb +207 -0
  436. data/lib/kotoshu/suggestions/strategies/ngram_strategy.rb +165 -0
  437. data/lib/kotoshu/suggestions/strategies/phonetic_strategy.rb +284 -0
  438. data/lib/kotoshu/suggestions/strategies/semantic_strategy.rb +317 -0
  439. data/lib/kotoshu/suggestions/strategies/symspell_strategy.rb +270 -0
  440. data/lib/kotoshu/suggestions/strategies/word_index.rb +78 -0
  441. data/lib/kotoshu/suggestions/suggestion.rb +154 -0
  442. data/lib/kotoshu/suggestions/suggestion_set.rb +270 -0
  443. data/lib/kotoshu/suggestions/sweep_index.rb +137 -0
  444. data/lib/kotoshu/suggestions.rb +29 -0
  445. data/lib/kotoshu/tasks/check_task.rb +104 -0
  446. data/lib/kotoshu/tasks.rb +11 -0
  447. data/lib/kotoshu/validators/spelling_validator.rb +101 -0
  448. data/lib/kotoshu/validators.rb +9 -0
  449. data/lib/kotoshu/version.rb +5 -0
  450. data/lib/kotoshu.rb +538 -0
  451. data/rakelib/compile.rake +10 -0
  452. data/script/validate_all_dictionaries.rb +444 -0
  453. data/scripts/build_native_gem.rb +45 -0
  454. data/scripts/extract_eval_grids.rb +37 -0
  455. data/scripts/generate_frozen_tiers.rb +44 -0
  456. data/sig/kotoshu.rbs +435 -0
  457. data/test_oop.rb +79 -0
  458. metadata +546 -0
@@ -0,0 +1,484 @@
1
+ # Russian common words by frequency
2
+ # Source: Russian Wikipedia Corpus, Russian National Corpus
3
+ # Last updated: 2025-01-15
4
+
5
+ metadata:
6
+ language: ru
7
+ source: Russian Wikipedia Corpus, Russian National Corpus
8
+ source_url: https://en.wiktionary.org/wiki/Wiktionary:Frequency_lists/Russian
9
+ total_words: 146269
10
+ last_updated: 2025-01-15
11
+ license: CC-BY-SA 4.0
12
+
13
+ tiers:
14
+ top_50:
15
+ - и
16
+ - в
17
+ - не
18
+ - на
19
+ - я
20
+ - быть
21
+ - это
22
+ - он
23
+ - с
24
+ - как
25
+ - что
26
+ - а
27
+ - то
28
+ - они
29
+ - мы
30
+ - вы
31
+ - который
32
+ - для
33
+ - к
34
+ - по
35
+ - от
36
+ - все
37
+ - этот
38
+ - но
39
+ - его
40
+ - она
41
+ - или
42
+ - такой
43
+ - еще
44
+ - сказать
45
+ - их
46
+ - о
47
+ - только
48
+ - себя
49
+ - есть
50
+ - у
51
+ - кто
52
+ - мой
53
+ - год
54
+ - когда
55
+ - время
56
+ - свой
57
+ - так
58
+ - более
59
+ - тот
60
+ - через
61
+ - более
62
+ - более
63
+ - более
64
+
65
+ top_200:
66
+ - также
67
+ - из
68
+ - за
69
+ - что
70
+ - чтобы
71
+ - другие
72
+ - самый
73
+ - наш
74
+ - эти
75
+ - весь
76
+ - это
77
+ - если
78
+ - можно
79
+ - нет
80
+ - так
81
+ - новый
82
+ - работа
83
+ - люди
84
+ - без
85
+ - человек
86
+ - мир
87
+ - свой
88
+ - раз
89
+ - даже
90
+ - нам
91
+ - она
92
+ - под
93
+ - из
94
+ - один
95
+ - два
96
+ - три
97
+ - четыре
98
+ - пять
99
+ - шесть
100
+ - семь
101
+ - восемь
102
+ - девять
103
+ - десять
104
+ - первый
105
+ - второй
106
+ - третий
107
+ - четвертый
108
+ - пятый
109
+ - шестой
110
+ - седьмой
111
+ - восьмой
112
+ - девятый
113
+ - десятый
114
+ - последний
115
+ - новый
116
+ - старый
117
+ - молодой
118
+ - большой
119
+ - маленький
120
+ - хороший
121
+ - плохой
122
+ - лучший
123
+ - худший
124
+ - самый
125
+ - очень
126
+ - слишком
127
+ - достаточно
128
+ - много
129
+ - мало
130
+ - несколько
131
+ - немного
132
+ - весьма
133
+ - крайне
134
+ - абсолютно
135
+ - полностью
136
+ - целиком
137
+ - совсем
138
+ - почти
139
+ - приблизительно
140
+ - около
141
+ - примерно
142
+ - точно
143
+ - именно
144
+ - как раз
145
+ - именно
146
+ - прямо
147
+ - тут
148
+ - здесь
149
+ - там
150
+ - туда
151
+ - сюда
152
+ - отсюда
153
+ - оттуда
154
+ - везде
155
+ - нигде
156
+ - всюду
157
+ - негде
158
+ - где-то
159
+ - куда-то
160
+ - когда-то
161
+ - когда-нибудь
162
+ - иногда
163
+ - иногда
164
+ - иногда
165
+ - всегда
166
+ - никогда
167
+ - часто
168
+ - редко
169
+ - обычно
170
+ - вообще
171
+ - частности
172
+ - особенно
173
+ - главным образом
174
+ - прежде всего
175
+ - в основном
176
+ - по-прежнему
177
+ - по-прежнему
178
+ - до сих пор
179
+ - пока
180
+ - пока
181
+ - пока не
182
+ - в то время как
183
+ - в то время
184
+ - между тем
185
+ - тем временем
186
+ - тем не менее
187
+ - однако
188
+ - но
189
+ - зато
190
+ - же
191
+ - то есть
192
+ - а именно
193
+ - например
194
+ - скажем
195
+ - допустим
196
+ - предположим
197
+ - видимо
198
+ - по-видимому
199
+ - оказывается
200
+ - следовательно
201
+ - таким образом
202
+ - итак
203
+ - кстати
204
+ - между прочим
205
+ - во-первых
206
+ - во-вторых
207
+ - в-третьих
208
+ - с одной стороны
209
+ - с другой стороны
210
+ - кстати сказать
211
+ - разумеется
212
+ - конечно
213
+ - бесспорно
214
+ - несомненно
215
+ - безусловно
216
+ - без сомнения
217
+ - в самом деле
218
+ - в самом деле
219
+ - действительно
220
+ - на самом деле
221
+ - в действительности
222
+ - по существу
223
+ - в сущности
224
+ - по сути
225
+ - в конечном счете
226
+ - в итоге
227
+ - в результате
228
+ - вследствие
229
+ - благодаря
230
+ - из-за
231
+ - по причине
232
+ - в силу
233
+ - на основании
234
+ - согласно
235
+ - в соответствии
236
+ - вопреки
237
+ - несмотря на
238
+ - несмотря на то что
239
+ - хотя
240
+ - пусть
241
+ - даром что
242
+ - даже если
243
+ - если бы
244
+ - в случае если
245
+ - при условии что
246
+ - в том случае
247
+ - иначе
248
+ - иначе говоря
249
+ - другими словами
250
+ - лучше сказать
251
+ - точнее
252
+ - собственно
253
+ - впрочем
254
+ - наконец
255
+ - в конце концов
256
+ - в заключение
257
+ - словом
258
+ - короче говоря
259
+ - одним словом
260
+
261
+ top_1000:
262
+ - слово
263
+ - буква
264
+ - текст
265
+ - предложение
266
+ - фраза
267
+ - выражение
268
+ - термин
269
+ - понятие
270
+ - идея
271
+ - мысль
272
+ - мнение
273
+ - взгляд
274
+ - точка зрения
275
+ - позиция
276
+ - отношение
277
+ - подход
278
+ - способ
279
+ - метод
280
+ - прием
281
+ - средство
282
+ - инструмент
283
+ - оборудование
284
+ - аппарат
285
+ - механизм
286
+ - система
287
+ - структура
288
+ - организация
289
+ - учреждение
290
+ - предприятие
291
+ - компания
292
+ - фирма
293
+ - корпорация
294
+ - организация
295
+ - объединение
296
+ - союз
297
+ - ассоциация
298
+ - общество
299
+ - сообщество
300
+ - группа
301
+ - коллектив
302
+ - команда
303
+ - кружок
304
+ - секция
305
+ - отдел
306
+ - отделение
307
+ - подразделение
308
+ - филиал
309
+ - представительство
310
+ - агентство
311
+ - бюро
312
+ - комитет
313
+ - комиссия
314
+ - совет
315
+ - правление
316
+ - дирекция
317
+ - администрация
318
+ - управление
319
+ - министерство
320
+ - ведомство
321
+ - департамент
322
+ - служба
323
+ - орган
324
+ - власть
325
+ - государство
326
+ - страна
327
+ - регион
328
+ - область
329
+ - район
330
+ - город
331
+ - поселок
332
+ - деревня
333
+ - село
334
+ - место
335
+ - местность
336
+ - территория
337
+ - зона
338
+ - район
339
+ - округ
340
+ - район
341
+ - край
342
+ - пределы
343
+ - границы
344
+ - рубеж
345
+ - водораздел
346
+ - поворот
347
+ - пункт
348
+ - точка
349
+ - стадия
350
+ - этап
351
+ - фаза
352
+ - период
353
+ - эпоха
354
+ - эра
355
+ - время
356
+ - год
357
+ - сезон
358
+ - месяц
359
+ - неделя
360
+ - день
361
+ - сутки
362
+ - вечер
363
+ - утро
364
+ - ночь
365
+ - полдень
366
+ - полночь
367
+ - рассвет
368
+ - закат
369
+ - сумерки
370
+ - темнота
371
+ - свет
372
+ - тьма
373
+ - ясность
374
+ - ясность
375
+ - понятность
376
+ - понятность
377
+ - простота
378
+ - сложность
379
+ - трудность
380
+ - легкость
381
+ - возможность
382
+ - невозможность
383
+ - способность
384
+ - неспособность
385
+ - умение
386
+ - навык
387
+ - мастерство
388
+ - искусство
389
+ - ремесло
390
+ - профессия
391
+ - специальность
392
+ - квалификация
393
+ - образование
394
+ - воспитание
395
+ - обучение
396
+ - подготовка
397
+ - тренировка
398
+ - практика
399
+ - опыт
400
+ - знание
401
+ - понимание
402
+ - осознание
403
+ - осознавание
404
+ - познание
405
+ - изучение
406
+ - исследование
407
+ - анализ
408
+ - синтез
409
+ - оценка
410
+ - оценивание
411
+ - оценивание
412
+ - суждение
413
+ - мнение
414
+ - решение
415
+ - вывод
416
+ - заключение
417
+ - умозаключение
418
+ - заключение
419
+ - аргумент
420
+ - довод
421
+ - доказательство
422
+ - подтверждение
423
+ - опровержение
424
+ - утверждение
425
+ - отрицание
426
+ - признание
427
+ - отрицание
428
+ - согласие
429
+ - согласие
430
+ - отказ
431
+ - отказ
432
+ - принятие
433
+ - принятие
434
+ - принятие
435
+ - одобрение
436
+ - неодобрение
437
+ - поддержка
438
+ - противодействие
439
+ - сопротивление
440
+ - помощь
441
+ - содействие
442
+ - пособие
443
+ - поддержка
444
+ - подмога
445
+ - услуга
446
+ - одолжение
447
+ - любезность
448
+ - вежливость
449
+ - учтивость
450
+ - обходительность
451
+ - галантность
452
+ - приветливость
453
+ - радушие
454
+ - гостеприимство
455
+ - дружелюбие
456
+ - дружба
457
+ - приятельство
458
+ - товарищество
459
+ - партнёрство
460
+ - сотрудничество
461
+ - взаимодействие
462
+ - связь
463
+ - отношения
464
+ - общение
465
+ - беседа
466
+ - разговор
467
+ - диалог
468
+ - переговоры
469
+ - дискуссия
470
+ - обсуждение
471
+ - спор
472
+ - полемика
473
+ - дебаты
474
+ - прения
475
+ - дебаты
476
+ - диспут
477
+ - диспут
478
+ - прения
479
+ - дебаты
480
+ - дебаты
481
+ - дебаты
482
+ - дебаты
483
+ - дебаты
484
+ - дебаты
@@ -0,0 +1,141 @@
1
+ # frozen_string_literal: true
2
+
3
+ require 'yaml'
4
+ require 'set'
5
+ require 'fileutils'
6
+
7
+ module Kotoshu
8
+ module Data
9
+ # Loads and provides access to common words data for all supported languages.
10
+ #
11
+ # This loader supports loading from:
12
+ # 1. Local YAML files in lib/kotoshu/data/common_words/{language}.yml
13
+ # 2. Frequency.json files downloaded from GitHub (via LanguageCache)
14
+ #
15
+ # Each language file contains:
16
+ # - metadata: Source information, word count, last updated
17
+ # - tiers: Top 50, top 200, and top 1000 most common words
18
+ #
19
+ # @example Loading English common words
20
+ # loader = CommonWordsLoader.new
21
+ # tiers = loader.load('en')
22
+ # tiers[:top_50].include?('the') # => true
23
+ #
24
+ # @example Getting available languages
25
+ # CommonWordsLoader.available_languages # => ['de', 'en', 'es', 'fr', 'pt', 'ru']
26
+ #
27
+ # @example Loading with tier specification
28
+ # loader.load('en', tier: :top_200) # Combines top_50 + top_200
29
+ class CommonWordsLoader
30
+ # Default data directory (local YAML files)
31
+ DATA_DIR = File.expand_path('common_words', __dir__).freeze
32
+
33
+ class << self
34
+ # Load common words for a language.
35
+ #
36
+ # @param language_code [String] ISO 639-1 language code (e.g., 'en', 'de')
37
+ # @param tier [Symbol] Tier level: :top_50, :top_200, or :top_1000
38
+ # @return [Hash{Symbol => Set}] Hash with :tiers (tier sets) and :metadata
39
+ def load(language_code, tier: :top_1000)
40
+ yaml_file = File.join(DATA_DIR, "#{language_code}.yml")
41
+
42
+ if File.exist?(yaml_file)
43
+ load_from_yaml(yaml_file, tier)
44
+ else
45
+ {
46
+ tiers: empty_tiers,
47
+ metadata: { source: 'none', language: language_code }
48
+ }
49
+ end
50
+ end
51
+
52
+ # Load from GitHub frequency.json (Phase 2 integration).
53
+ # Also handles Kelly frequency-list format from kotoshu/frequency-list-kelly
54
+ #
55
+ # @param frequency_path [String] Path to frequency.json file
56
+ # @return [Hash{Symbol => Set}] Hash with :tiers and :metadata
57
+ def load_from_frequency_file(frequency_path)
58
+ return { tiers: empty_tiers, metadata: {} } unless File.exist?(frequency_path)
59
+
60
+ data = JSON.parse(File.read(frequency_path, encoding: 'UTF-8'))
61
+ metadata = data['metadata'] || {}
62
+
63
+ # Kelly format only: tiers[tier]['words']. The former "legacy
64
+ # array format" branch was dead on arrival — its own format
65
+ # probe raised TypeError on array input, and no producer of
66
+ # that format ever existed in the repo's history. Unknown
67
+ # shapes degrade to empty tiers instead of crashing.
68
+ top_50 = tier_words(data, 'top_50')
69
+ top_200 = tier_words(data, 'top_200')
70
+ top_1000 = tier_words(data, 'top_1000')
71
+
72
+ tiers = {
73
+ top_50: Set.new(top_50),
74
+ top_200: Set.new(top_50 + top_200),
75
+ top_1000: Set.new(top_50 + top_200 + top_1000)
76
+ }
77
+
78
+ { tiers: tiers, metadata: metadata }
79
+ end
80
+
81
+ # Get list of languages with local YAML files.
82
+ #
83
+ # @return [Array<String>] List of available language codes
84
+ def available_languages
85
+ Dir.glob(File.join(DATA_DIR, '*.yml')).map { |f| File.basename(f, '.yml') }
86
+ end
87
+
88
+ # Check if a language has local data.
89
+ #
90
+ # @param language_code [String] ISO 639-1 language code
91
+ # @return [Boolean] True if data file exists
92
+ def available?(language_code)
93
+ File.exist?(File.join(DATA_DIR, "#{language_code}.yml"))
94
+ end
95
+
96
+ private
97
+
98
+ def load_from_yaml(yaml_file, _requested_tier)
99
+ data = YAML.unsafe_load_file(yaml_file)
100
+
101
+ # Get all tiers from the data
102
+ yaml_tiers = data['tiers'] || {}
103
+
104
+ # Build cumulative tiers based on requested level
105
+ tier_50 = Set.new(yaml_tiers['top_50'] || [])
106
+ tier_200 = Set.new((yaml_tiers['top_50'] || []) + (yaml_tiers['top_200'] || []))
107
+ tier_1000 = Set.new(
108
+ (yaml_tiers['top_50'] || []) +
109
+ (yaml_tiers['top_200'] || []) +
110
+ (yaml_tiers['top_1000'] || [])
111
+ )
112
+
113
+ tiers = {
114
+ top_50: tier_50,
115
+ top_200: tier_200,
116
+ top_1000: tier_1000
117
+ }
118
+
119
+ metadata = data['metadata'] || {}
120
+
121
+ { tiers: tiers, metadata: metadata }
122
+ end
123
+
124
+ def empty_tiers
125
+ {
126
+ top_50: Set.new,
127
+ top_200: Set.new,
128
+ top_1000: Set.new
129
+ }
130
+ end
131
+
132
+ # Words for one tier of a Kelly-format frequency hash, or []
133
+ # when the tier is missing or not Kelly-shaped.
134
+ def tier_words(data, tier)
135
+ entry = data['tiers'].is_a?(Hash) ? data['tiers'][tier] : nil
136
+ entry.is_a?(Hash) && entry['words'].is_a?(Array) ? entry['words'] : []
137
+ end
138
+ end
139
+ end
140
+ end
141
+ end