PyPI - bytesense - Versions diffs - 1.0.0__py3-none-any.whl - Mend

bytesense 1.0.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (28) hide show

bytesense/__init__.py +47 -0
bytesense/_rust.py +58 -0
bytesense/api.py +469 -0
bytesense/candidate.py +199 -0
bytesense/cli.py +73 -0
bytesense/coherence.py +68 -0
bytesense/constant.py +1313 -0
bytesense/data/__init__.py +0 -0
bytesense/data/fingerprints.py +94 -0
bytesense/data/language.json.gz +0 -0
bytesense/fingerprint.py +246 -0
bytesense/heuristics.py +161 -0
bytesense/hints.py +104 -0
bytesense/legacy.py +38 -0
bytesense/mess.py +179 -0
bytesense/models.py +98 -0
bytesense/multi.py +209 -0
bytesense/py.typed +0 -0
bytesense/repair.py +280 -0
bytesense/scoring.py +100 -0
bytesense/streaming.py +416 -0
bytesense/version.py +4 -0
bytesense-1.0.0.dist-info/METADATA +160 -0
bytesense-1.0.0.dist-info/RECORD +28 -0
bytesense-1.0.0.dist-info/WHEEL +5 -0
bytesense-1.0.0.dist-info/entry_points.txt +2 -0
bytesense-1.0.0.dist-info/licenses/LICENSE +21 -0
bytesense-1.0.0.dist-info/top_level.txt +1 -0

bytesense/constant.py ADDED Viewed

@@ -0,0 +1,1313 @@
+"""
+All constants, encoding metadata, language frequency tables, and
+pre-computed similarity mappings used by bytesense.
+"""
+from __future__ import annotations
+# ---------------------------------------------------------------------------
+# BOM / SIG markers — longest first so prefix matching is unambiguous
+# ---------------------------------------------------------------------------
+BOM_MARKERS: dict[str, bytes] = {
+    "utf_32_be": b"\x00\x00\xfe\xff",
+    "utf_32_le": b"\xff\xfe\x00\x00",
+    "utf_8_sig": b"\xef\xbb\xbf",
+    "utf_16_be": b"\xfe\xff",
+    "utf_16_le": b"\xff\xfe",
+    "gb18030": b"\x84\x31\x95\x33",
+    "utf_7": b"\x2b\x2f\x76",
+}
+# ---------------------------------------------------------------------------
+# Encoding families — used for candidate ordering and similarity skipping
+# ---------------------------------------------------------------------------
+ENCODING_FAMILIES: dict[str, list[str]] = {
+    "utf": [
+        "utf_8",
+        "utf_8_sig",
+        "utf_16",
+        "utf_16_be",
+        "utf_16_le",
+        "utf_32",
+        "utf_32_be",
+        "utf_32_le",
+        "utf_7",
+    ],
+    "windows": [
+        "cp1250",
+        "cp1251",
+        "cp1252",
+        "cp1253",
+        "cp1254",
+        "cp1255",
+        "cp1256",
+        "cp1257",
+        "cp1258",
+    ],
+    "latin": [
+        "latin_1",
+        "iso8859_2",
+        "iso8859_3",
+        "iso8859_4",
+        "iso8859_5",
+        "iso8859_6",
+        "iso8859_7",
+        "iso8859_8",
+        "iso8859_9",
+        "iso8859_10",
+        "iso8859_11",
+        "iso8859_13",
+        "iso8859_14",
+        "iso8859_15",
+        "iso8859_16",
+    ],
+    "cjk": [
+        "gb2312",
+        "gb18030",
+        "gbk",
+        "big5",
+        "big5hkscs",
+        "hz",
+        "euc_jp",
+        "euc_jis_2004",
+        "euc_jisx0213",
+        "shift_jis",
+        "shift_jis_2004",
+        "shift_jisx0213",
+        "iso2022_jp",
+        "iso2022_jp_1",
+        "iso2022_jp_2",
+        "iso2022_jp_3",
+        "iso2022_jp_ext",
+        "iso2022_jp_2004",
+        "cp932",
+        "euc_kr",
+        "iso2022_kr",
+        "johab",
+        "cp949",
+    ],
+    "cyrillic": [
+        "cp1251",
+        "koi8_r",
+        "koi8_u",
+        "koi8_t",
+        "mac_cyrillic",
+        "cp855",
+        "cp866",
+        "iso8859_5",
+        "ptcp154",
+        "kz1048",
+    ],
+    "ibm": [
+        "cp037",
+        "cp273",
+        "cp424",
+        "cp437",
+        "cp500",
+        "cp775",
+        "cp850",
+        "cp852",
+        "cp855",
+        "cp857",
+        "cp858",
+        "cp860",
+        "cp861",
+        "cp862",
+        "cp863",
+        "cp864",
+        "cp865",
+        "cp866",
+        "cp869",
+        "cp1026",
+        "cp1125",
+        "cp1140",
+    ],
+    "mac": [
+        "mac_roman",
+        "mac_greek",
+        "mac_iceland",
+        "mac_latin2",
+        "mac_turkish",
+        "mac_cyrillic",
+    ],
+    "misc": [
+        "ascii",
+        "hp_roman8",
+        "tis_620",
+        "ptcp154",
+        "kz1048",
+    ],
+}
+# Multibyte-first flat list — multibyte encodings tried before single-byte
+# because they fail fast on non-matching data (UnicodeDecodeError)
+ALL_ENCODINGS: list[str] = (
+    ENCODING_FAMILIES["utf"]
+    + ENCODING_FAMILIES["cjk"]
+    + ENCODING_FAMILIES["cyrillic"]
+    + ENCODING_FAMILIES["windows"]
+    + ENCODING_FAMILIES["latin"]
+    + ENCODING_FAMILIES["ibm"]
+    + ENCODING_FAMILIES["mac"]
+    + ENCODING_FAMILIES["misc"]
+)
+# Encodings that are so similar their byte distributions overlap heavily.
+# If one fails chaos probing, skip the rest of its group.
+SIMILAR_ENCODINGS: dict[str, list[str]] = {
+    "cp1252": ["latin_1", "iso8859_15", "iso8859_9", "iso8859_3", "iso8859_14", "cp1254"],
+    "cp1251": ["kz1048", "ptcp154", "iso8859_5"],
+    "cp1250": ["iso8859_2"],
+    "cp1253": ["iso8859_7"],
+    "cp1257": ["iso8859_13"],
+    "latin_1": ["cp1252", "iso8859_9", "iso8859_15", "cp1254"],
+    "cp437": ["cp850", "cp858", "cp860", "cp861", "cp862", "cp863", "cp865"],
+    "cp850": ["cp437", "cp857", "cp858", "cp865"],
+    "euc_jp": ["iso2022_jp", "iso2022_jp_2", "euc_jis_2004"],
+    "shift_jis": ["cp932", "shift_jis_2004", "shift_jisx0213"],
+    "euc_kr": ["iso2022_kr", "johab", "cp949"],
+    # gb2312 strict decode can fail while gbk/gb18030 still succeed — do not skip those.
+    "gb2312": ["hz"],
+    "big5": ["big5hkscs", "cp950"],
+    "iso8859_11": ["tis_620"],
+    "mac_roman": ["mac_iceland", "mac_turkish"],
+    "cp037": ["cp1026", "cp1140", "cp273", "cp500"],
+}
+# ---------------------------------------------------------------------------
+# Thresholds
+# ---------------------------------------------------------------------------
+TOO_SMALL: int = 16  # Below this, results are unreliable
+TOO_LARGE: int = 10_000_000  # 10 MB — use sampling above this
+OPTIMAL_SAMPLE: int = 8_192  # Bytes to sample for large files
+# ---------------------------------------------------------------------------
+# Language character frequency tables
+# Most-common → least-common for each language.
+# Used by the coherence detector.
+# ---------------------------------------------------------------------------
+CHAR_FREQUENCIES: dict[str, list[str]] = {
+    "English": list("eatoinshrdlcumwfgypbvkjxqz"),
+    "German": list("enirsatdhulgocmbfkwzpvüäöj"),
+    "French": list("easnitrluodcpmévgfbhqàxèyj"),
+    "Dutch": list("enairtodsglhvmukpcbwjzfyxë"),
+    "Italian": list("eiaonltrscdupgmvfbzhqèàkyò"),
+    "Polish": [
+        "a",
+        "i",
+        "o",
+        "e",
+        "n",
+        "r",
+        "z",
+        "w",
+        "s",
+        "c",
+        "t",
+        "k",
+        "y",
+        "d",
+        "p",
+        "m",
+        "u",
+        "l",
+        "j",
+        "ł",
+        "g",
+        "b",
+        "h",
+        "ą",
+        "ę",
+        "ó",
+    ],
+    "Spanish": list("eaosnrilctdumpbgvfyóhqíjzá"),
+    "Portuguese": [
+        "a",
+        "e",
+        "o",
+        "s",
+        "i",
+        "r",
+        "d",
+        "n",
+        "t",
+        "m",
+        "u",
+        "c",
+        "l",
+        "p",
+        "g",
+        "v",
+        "b",
+        "f",
+        "h",
+        "ã",
+        "q",
+        "é",
+        "ç",
+        "á",
+        "z",
+        "í",
+    ],
+    "Swedish": [
+        "e",
+        "a",
+        "n",
+        "r",
+        "t",
+        "s",
+        "i",
+        "l",
+        "d",
+        "o",
+        "m",
+        "k",
+        "g",
+        "v",
+        "h",
+        "f",
+        "u",
+        "p",
+        "ä",
+        "c",
+        "b",
+        "ö",
+        "å",
+        "y",
+        "j",
+        "x",
+    ],
+    "Norwegian": [
+        "e",
+        "r",
+        "n",
+        "t",
+        "a",
+        "s",
+        "i",
+        "o",
+        "l",
+        "d",
+        "g",
+        "k",
+        "m",
+        "v",
+        "f",
+        "p",
+        "u",
+        "b",
+        "h",
+        "å",
+        "y",
+        "j",
+        "ø",
+        "c",
+        "æ",
+        "w",
+    ],
+    "Danish": [
+        "e",
+        "r",
+        "n",
+        "t",
+        "a",
+        "i",
+        "s",
+        "d",
+        "l",
+        "o",
+        "g",
+        "m",
+        "k",
+        "f",
+        "v",
+        "u",
+        "b",
+        "h",
+        "p",
+        "å",
+        "y",
+        "ø",
+        "æ",
+        "c",
+        "j",
+        "w",
+    ],
+    "Finnish": [
+        "a",
+        "i",
+        "n",
+        "t",
+        "e",
+        "s",
+        "l",
+        "o",
+        "u",
+        "k",
+        "ä",
+        "m",
+        "r",
+        "v",
+        "j",
+        "h",
+        "p",
+        "y",
+        "d",
+        "ö",
+        "g",
+        "c",
+        "b",
+        "f",
+        "w",
+        "z",
+    ],
+    "Hungarian": [
+        "e",
+        "a",
+        "t",
+        "l",
+        "s",
+        "n",
+        "k",
+        "r",
+        "i",
+        "o",
+        "z",
+        "á",
+        "é",
+        "g",
+        "m",
+        "b",
+        "y",
+        "v",
+        "d",
+        "h",
+        "u",
+        "p",
+        "j",
+        "ö",
+        "f",
+        "c",
+    ],
+    "Czech": [
+        "o",
+        "e",
+        "a",
+        "n",
+        "t",
+        "s",
+        "i",
+        "l",
+        "v",
+        "r",
+        "k",
+        "d",
+        "u",
+        "m",
+        "p",
+        "í",
+        "c",
+        "h",
+        "z",
+        "á",
+        "y",
+        "j",
+        "b",
+        "ě",
+        "é",
+        "ř",
+    ],
+    "Slovak": [
+        "o",
+        "a",
+        "e",
+        "n",
+        "i",
+        "r",
+        "v",
+        "t",
+        "s",
+        "l",
+        "k",
+        "d",
+        "m",
+        "p",
+        "u",
+        "c",
+        "h",
+        "j",
+        "b",
+        "z",
+        "á",
+        "y",
+        "ý",
+        "í",
+        "č",
+        "é",
+    ],
+    "Romanian": [
+        "e",
+        "i",
+        "a",
+        "r",
+        "n",
+        "t",
+        "u",
+        "l",
+        "o",
+        "c",
+        "s",
+        "d",
+        "p",
+        "m",
+        "ă",
+        "f",
+        "v",
+        "î",
+        "g",
+        "b",
+        "ș",
+        "ț",
+        "z",
+        "h",
+        "â",
+        "j",
+    ],
+    "Croatian": list("aionrjstukl vdmpgzbcčhšžćf"),
+    "Slovene": list("eaionrsljtv kdpmuzb gčcšžfy"),
+    "Lithuanian": [
+        "i",
+        "a",
+        "s",
+        "o",
+        "r",
+        "e",
+        "t",
+        "n",
+        "u",
+        "k",
+        "m",
+        "l",
+        "p",
+        "v",
+        "d",
+        "j",
+        "g",
+        "ė",
+        "b",
+        "y",
+        "ų",
+        "š",
+        "ž",
+        "c",
+        "ą",
+        "į",
+    ],
+    "Estonian": [
+        "a",
+        "i",
+        "e",
+        "s",
+        "t",
+        "l",
+        "u",
+        "n",
+        "o",
+        "k",
+        "r",
+        "d",
+        "m",
+        "v",
+        "g",
+        "p",
+        "j",
+        "h",
+        "ä",
+        "b",
+        "õ",
+        "ü",
+        "f",
+        "c",
+        "ö",
+        "y",
+    ],
+    "Serbian": [
+        "а",
+        "и",
+        "о",
+        "е",
+        "н",
+        "р",
+        "с",
+        "у",
+        "т",
+        "к",
+        "ј",
+        "в",
+        "д",
+        "м",
+        "п",
+        "л",
+        "г",
+        "з",
+        "б",
+        "a",
+        "i",
+        "e",
+        "o",
+        "n",
+        "ц",
+        "ш",
+    ],
+    "Bulgarian": [
+        "а",
+        "и",
+        "о",
+        "е",
+        "н",
+        "т",
+        "р",
+        "с",
+        "в",
+        "л",
+        "к",
+        "д",
+        "п",
+        "м",
+        "з",
+        "г",
+        "я",
+        "ъ",
+        "у",
+        "б",
+        "ч",
+        "ц",
+        "й",
+        "ж",
+        "щ",
+        "х",
+    ],
+    "Russian": [
+        "о",
+        "е",
+        "а",
+        "и",
+        "н",
+        "т",
+        "с",
+        "р",
+        "в",
+        "л",
+        "к",
+        "м",
+        "д",
+        "п",
+        "у",
+        "г",
+        "я",
+        "ы",
+        "з",
+        "б",
+        "й",
+        "ь",
+        "ч",
+        "х",
+        "ж",
+        "ц",
+    ],
+    "Ukrainian": [
+        "о",
+        "а",
+        "н",
+        "і",
+        "и",
+        "р",
+        "в",
+        "т",
+        "е",
+        "с",
+        "к",
+        "л",
+        "у",
+        "д",
+        "м",
+        "п",
+        "з",
+        "я",
+        "ь",
+        "б",
+        "г",
+        "й",
+        "ч",
+        "х",
+        "ц",
+        "ї",
+    ],
+    "Kazakh": [
+        "а",
+        "ы",
+        "е",
+        "н",
+        "т",
+        "р",
+        "л",
+        "і",
+        "д",
+        "с",
+        "м",
+        "қ",
+        "к",
+        "о",
+        "б",
+        "и",
+        "у",
+        "ғ",
+        "ж",
+        "ң",
+        "з",
+        "ш",
+        "й",
+        "п",
+        "г",
+        "ө",
+    ],
+    "Greek": [
+        "α",
+        "τ",
+        "ο",
+        "ι",
+        "ε",
+        "ν",
+        "ρ",
+        "σ",
+        "κ",
+        "η",
+        "π",
+        "ς",
+        "υ",
+        "μ",
+        "λ",
+        "ί",
+        "ό",
+        "ά",
+        "γ",
+        "έ",
+        "δ",
+        "ή",
+        "ω",
+        "χ",
+        "θ",
+        "ύ",
+    ],
+    "Turkish": [
+        "a",
+        "e",
+        "i",
+        "n",
+        "r",
+        "l",
+        "ı",
+        "k",
+        "d",
+        "t",
+        "s",
+        "m",
+        "y",
+        "u",
+        "o",
+        "b",
+        "ü",
+        "ş",
+        "v",
+        "g",
+        "z",
+        "h",
+        "c",
+        "p",
+        "ç",
+        "ğ",
+    ],
+    "Hebrew": [
+        "י",
+        "ו",
+        "ה",
+        "ל",
+        "ר",
+        "ב",
+        "ת",
+        "מ",
+        "א",
+        "ש",
+        "נ",
+        "ע",
+        "ם",
+        "ד",
+        "ק",
+        "ח",
+        "פ",
+        "ס",
+        "כ",
+        "ג",
+        "ט",
+        "צ",
+        "ן",
+        "ז",
+        "ך",
+    ],
+    "Arabic": [
+        "ا",
+        "ل",
+        "ي",
+        "م",
+        "و",
+        "ن",
+        "ر",
+        "ت",
+        "ب",
+        "ة",
+        "ع",
+        "د",
+        "س",
+        "ف",
+        "ه",
+        "ك",
+        "ق",
+        "أ",
+        "ح",
+        "ج",
+        "ش",
+        "ط",
+        "ص",
+        "ى",
+        "خ",
+        "إ",
+    ],
+    "Farsi": [
+        "ا",
+        "ی",
+        "ر",
+        "د",
+        "ن",
+        "ه",
+        "و",
+        "م",
+        "ت",
+        "ب",
+        "س",
+        "ل",
+        "ک",
+        "ش",
+        "ز",
+        "ف",
+        "گ",
+        "ع",
+        "خ",
+        "ق",
+        "ج",
+        "آ",
+        "پ",
+        "ح",
+        "ط",
+        "ص",
+    ],
+    "Hindi": [
+        "क",
+        "र",
+        "स",
+        "न",
+        "त",
+        "म",
+        "ह",
+        "प",
+        "य",
+        "ल",
+        "व",
+        "ज",
+        "द",
+        "ग",
+        "ब",
+        "श",
+        "ट",
+        "अ",
+        "ए",
+        "थ",
+        "भ",
+        "ड",
+        "च",
+        "ध",
+        "ष",
+        "इ",
+    ],
+    "Thai": [
+        "า",
+        "น",
+        "ร",
+        "อ",
+        "ก",
+        "เ",
+        "ง",
+        "ม",
+        "ย",
+        "ล",
+        "ว",
+        "ด",
+        "ท",
+        "ส",
+        "ต",
+        "ะ",
+        "ป",
+        "บ",
+        "ค",
+        "ห",
+        "แ",
+        "จ",
+        "พ",
+        "ช",
+        "ข",
+        "ใ",
+    ],
+    "Vietnamese": [
+        "n",
+        "h",
+        "t",
+        "i",
+        "c",
+        "g",
+        "a",
+        "o",
+        "u",
+        "m",
+        "l",
+        "r",
+        "à",
+        "đ",
+        "s",
+        "e",
+        "v",
+        "p",
+        "b",
+        "y",
+        "ư",
+        "d",
+        "á",
+        "k",
+        "ộ",
+        "ế",
+    ],
+    "Indonesian": list("aneirtusdk mlgpbohyjcwfvzxq"),
+    "Malay": list("aneirtusdk mlgpbohyjcwfvzxq"),
+    "Chinese": [
+        "的",
+        "一",
+        "是",
+        "不",
+        "了",
+        "在",
+        "人",
+        "有",
+        "我",
+        "他",
+        "这",
+        "个",
+        "们",
+        "中",
+        "来",
+        "上",
+        "大",
+        "为",
+        "和",
+        "国",
+        "地",
+        "到",
+        "以",
+        "说",
+        "时",
+        "要",
+        "就",
+        "出",
+        "会",
+        "可",
+        "也",
+        "你",
+        "对",
+        "生",
+        "能",
+        "而",
+        "子",
+        "那",
+        "得",
+        "于",
+    ],
+    "Japanese": [
+        "日",
+        "一",
+        "人",
+        "年",
+        "大",
+        "十",
+        "二",
+        "本",
+        "中",
+        "長",
+        "出",
+        "三",
+        "時",
+        "行",
+        "見",
+        "月",
+        "分",
+        "後",
+        "前",
+        "生",
+        "五",
+        "間",
+        "上",
+        "東",
+        "四",
+        "今",
+        "金",
+        "九",
+        "入",
+        "学",
+    ],
+    "Korean": [
+        "이",
+        "다",
+        "에",
+        "의",
+        "는",
+        "로",
+        "하",
+        "을",
+        "가",
+        "고",
+        "지",
+        "서",
+        "한",
+        "은",
+        "기",
+        "으",
+        "년",
+        "대",
+        "사",
+        "시",
+        "를",
+        "리",
+        "도",
+        "인",
+        "스",
+        "일",
+    ],
+    "Tamil": [
+        "க",
+        "த",
+        "ப",
+        "ட",
+        "ர",
+        "ம",
+        "ல",
+        "ன",
+        "வ",
+        "ற",
+        "ய",
+        "ள",
+        "ச",
+        "ந",
+        "இ",
+        "ண",
+        "அ",
+        "ஆ",
+        "ழ",
+        "ங",
+    ],
+}
+# Top bigrams per language — used for mess detection validation
+BIGRAM_FREQUENCIES: dict[str, list[str]] = {
+    "English": [
+        "th",
+        "he",
+        "in",
+        "er",
+        "an",
+        "re",
+        "on",
+        "en",
+        "at",
+        "es",
+        "ed",
+        "te",
+        "ti",
+        "ou",
+        "to",
+        "it",
+        "is",
+        "hi",
+        "ar",
+        "nt",
+        "st",
+        "or",
+        "nd",
+        "ng",
+        "ha",
+    ],
+    "German": [
+        "en",
+        "er",
+        "ch",
+        "de",
+        "ei",
+        "te",
+        "in",
+        "ie",
+        "ge",
+        "ne",
+        "an",
+        "st",
+        "be",
+        "un",
+        "nd",
+        "ng",
+        "he",
+        "es",
+        "re",
+        "le",
+        "ck",
+        "ht",
+        "ss",
+        "sch",
+        "au",
+    ],
+    "French": [
+        "es",
+        "en",
+        "le",
+        "de",
+        "on",
+        "re",
+        "nt",
+        "er",
+        "ou",
+        "an",
+        "te",
+        "it",
+        "la",
+        "at",
+        "ai",
+        "se",
+        "el",
+        "qu",
+        "ti",
+        "si",
+        "me",
+        "et",
+        "ion",
+        "que",
+        "ait",
+    ],
+    "Spanish": [
+        "es",
+        "en",
+        "de",
+        "el",
+        "la",
+        "re",
+        "ar",
+        "er",
+        "on",
+        "te",
+        "an",
+        "al",
+        "os",
+        "as",
+        "ci",
+        "se",
+        "un",
+        "io",
+        "co",
+        "or",
+        "que",
+        "por",
+        "con",
+        "para",
+        "los",
+    ],
+    "Russian": [
+        "то",
+        "не",
+        "на",
+        "ен",
+        "ст",
+        "ко",
+        "по",
+        "ро",
+        "ли",
+        "во",
+        "ни",
+        "ра",
+        "ит",
+        "ть",
+        "ло",
+        "та",
+        "ов",
+        "ос",
+        "ат",
+        "ве",
+        "ет",
+        "го",
+        "те",
+        "ны",
+        "ых",
+    ],
+    "Turkish": [
+        "ar",
+        "er",
+        "an",
+        "in",
+        "ir",
+        "en",
+        "le",
+        "la",
+        "al",
+        "il",
+        "de",
+        "da",
+        "un",
+        "ur",
+        "ak",
+        "ek",
+        "ik",
+        "at",
+        "et",
+        "it",
+        "lar",
+        "ler",
+        "nin",
+        "nın",
+        "dan",
+    ],
+    "Portuguese": [
+        "as",
+        "es",
+        "de",
+        "en",
+        "os",
+        "re",
+        "ar",
+        "er",
+        "on",
+        "te",
+        "an",
+        "al",
+        "ção",
+        "que",
+        "os",
+        "ão",
+        "do",
+        "da",
+        "para",
+        "com",
+    ],
+    "Italian": [
+        "re",
+        "er",
+        "in",
+        "al",
+        "io",
+        "li",
+        "on",
+        "no",
+        "si",
+        "ti",
+        "ar",
+        "to",
+        "la",
+        "di",
+        "il",
+        "un",
+        "mi",
+        "he",
+        "ho",
+        "ma",
+        "ed",
+        "le",
+        "ta",
+        "so",
+        "co",
+    ],
+    "Polish": [
+        "ie",
+        "ni",
+        "pr",
+        "st",
+        "po",
+        "cz",
+        "na",
+        "rz",
+        "się",
+        "do",
+        "że",
+        "to",
+        "jest",
+        "nie",
+        "co",
+        "jak",
+        "już",
+        "ale",
+        "go",
+        "ze",
+    ],
+}
+# Language → typical encoding(s). Used to boost candidate scoring.
+LANGUAGE_ENCODINGS: dict[str, list[str]] = {
+    # Germanic / Western European
+    "English": ["ascii", "utf_8", "latin_1", "cp1252"],
+    "German": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "French": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "Dutch": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "Swedish": ["utf_8", "cp1252", "iso8859_15", "latin_1"],
+    "Norwegian": ["utf_8", "cp1252", "iso8859_15", "latin_1"],
+    "Danish": ["utf_8", "cp1252", "iso8859_15", "latin_1"],
+    "Finnish": ["utf_8", "cp1252", "iso8859_15", "latin_1"],
+    # Romance
+    "Spanish": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "Italian": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "Portuguese": ["utf_8", "cp1252", "latin_1", "iso8859_15"],
+    "Romanian": ["utf_8", "cp1250", "iso8859_2"],
+    # Slavic Latin
+    "Polish": ["utf_8", "cp1250", "iso8859_2"],
+    "Czech": ["utf_8", "cp1250", "iso8859_2"],
+    "Slovak": ["utf_8", "cp1250", "iso8859_2"],
+    "Croatian": ["utf_8", "cp1250", "iso8859_2"],
+    "Slovene": ["utf_8", "cp1250", "iso8859_2"],
+    # Baltic
+    "Lithuanian": ["utf_8", "cp1257", "iso8859_13"],
+    "Estonian": ["utf_8", "cp1257", "iso8859_13"],
+    # Cyrillic
+    "Russian": ["utf_8", "cp1251", "koi8_r", "cp866", "mac_cyrillic", "iso8859_5"],
+    "Ukrainian": ["utf_8", "cp1251", "koi8_u", "iso8859_5"],
+    "Bulgarian": ["utf_8", "cp1251", "iso8859_5"],
+    "Serbian": ["utf_8", "cp1251"],
+    "Kazakh": ["utf_8", "cp1251", "ptcp154", "kz1048"],
+    # Greek
+    "Greek": ["utf_8", "cp1253", "iso8859_7"],
+    # Turkish / Central Asian
+    "Turkish": ["utf_8", "cp1254", "iso8859_9"],
+    "Hungarian": ["utf_8", "cp1250", "iso8859_2"],
+    # Semitic
+    "Hebrew": ["utf_8", "cp1255", "iso8859_8"],
+    "Arabic": ["utf_8", "cp1256", "iso8859_6"],
+    "Farsi": ["utf_8", "cp1256", "iso8859_6"],
+    # South/Southeast Asian
+    "Hindi": ["utf_8"],
+    "Tamil": ["utf_8"],
+    "Thai": ["utf_8", "tis_620", "iso8859_11"],
+    "Vietnamese": ["utf_8", "cp1258"],
+    # East Asian
+    "Chinese": ["utf_8", "gb18030", "gbk", "gb2312", "big5"],
+    "Japanese": ["utf_8", "shift_jis", "euc_jp", "cp932", "iso2022_jp"],
+    "Korean": ["utf_8", "euc_kr", "cp949", "johab"],
+    # Austronesian
+    "Indonesian": ["utf_8", "ascii", "latin_1", "cp1252"],
+    "Malay": ["utf_8", "ascii", "latin_1", "cp1252"],
+}