PyPI - kreuzberg - Versions diffs - 3.16.0__py3-none-any.whl → 3.17.0__py3-none-any.whl - Mend

kreuzberg 3.16.0py3-none-any.whl → 3.17.0py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (90) hide show

kreuzberg/__init__.py +2 -0
kreuzberg/_config.py +8 -9
kreuzberg/_extractors/_base.py +0 -46
kreuzberg/_extractors/_html.py +1 -1
kreuzberg/_extractors/_pandoc.py +2 -2
kreuzberg/_extractors/_pdf.py +4 -4
kreuzberg/_gmft.py +2 -2
kreuzberg/_mcp/server.py +1 -1
kreuzberg/_mime_types.py +1 -1
kreuzberg/_ocr/_easyocr.py +4 -9
kreuzberg/_ocr/_paddleocr.py +1 -1
kreuzberg/_ocr/_tesseract.py +15 -25
kreuzberg/_token_reduction/__init__.py +11 -0
kreuzberg/_token_reduction/_reducer.py +439 -0
kreuzberg/_token_reduction/_stopwords.py +116 -0
kreuzberg/_token_reduction/stopwords/af_stopwords.json +53 -0
kreuzberg/_token_reduction/stopwords/ar_stopwords.json +482 -0
kreuzberg/_token_reduction/stopwords/bg_stopwords.json +261 -0
kreuzberg/_token_reduction/stopwords/bn_stopwords.json +400 -0
kreuzberg/_token_reduction/stopwords/br_stopwords.json +1205 -0
kreuzberg/_token_reduction/stopwords/ca_stopwords.json +280 -0
kreuzberg/_token_reduction/stopwords/cs_stopwords.json +425 -0
kreuzberg/_token_reduction/stopwords/da_stopwords.json +172 -0
kreuzberg/_token_reduction/stopwords/de_stopwords.json +622 -0
kreuzberg/_token_reduction/stopwords/el_stopwords.json +849 -0
kreuzberg/_token_reduction/stopwords/en_stopwords.json +1300 -0
kreuzberg/_token_reduction/stopwords/eo_stopwords.json +175 -0
kreuzberg/_token_reduction/stopwords/es_stopwords.json +734 -0
kreuzberg/_token_reduction/stopwords/et_stopwords.json +37 -0
kreuzberg/_token_reduction/stopwords/eu_stopwords.json +100 -0
kreuzberg/_token_reduction/stopwords/fa_stopwords.json +801 -0
kreuzberg/_token_reduction/stopwords/fi_stopwords.json +849 -0
kreuzberg/_token_reduction/stopwords/fr_stopwords.json +693 -0
kreuzberg/_token_reduction/stopwords/ga_stopwords.json +111 -0
kreuzberg/_token_reduction/stopwords/gl_stopwords.json +162 -0
kreuzberg/_token_reduction/stopwords/gu_stopwords.json +226 -0
kreuzberg/_token_reduction/stopwords/ha_stopwords.json +41 -0
kreuzberg/_token_reduction/stopwords/he_stopwords.json +196 -0
kreuzberg/_token_reduction/stopwords/hi_stopwords.json +227 -0
kreuzberg/_token_reduction/stopwords/hr_stopwords.json +181 -0
kreuzberg/_token_reduction/stopwords/hu_stopwords.json +791 -0
kreuzberg/_token_reduction/stopwords/hy_stopwords.json +47 -0
kreuzberg/_token_reduction/stopwords/id_stopwords.json +760 -0
kreuzberg/_token_reduction/stopwords/it_stopwords.json +634 -0
kreuzberg/_token_reduction/stopwords/ja_stopwords.json +136 -0
kreuzberg/_token_reduction/stopwords/kn_stopwords.json +84 -0
kreuzberg/_token_reduction/stopwords/ko_stopwords.json +681 -0
kreuzberg/_token_reduction/stopwords/ku_stopwords.json +64 -0
kreuzberg/_token_reduction/stopwords/la_stopwords.json +51 -0
kreuzberg/_token_reduction/stopwords/lt_stopwords.json +476 -0
kreuzberg/_token_reduction/stopwords/lv_stopwords.json +163 -0
kreuzberg/_token_reduction/stopwords/ml_stopwords.json +11 -0
kreuzberg/_token_reduction/stopwords/mr_stopwords.json +101 -0
kreuzberg/_token_reduction/stopwords/ms_stopwords.json +477 -0
kreuzberg/_token_reduction/stopwords/ne_stopwords.json +490 -0
kreuzberg/_token_reduction/stopwords/nl_stopwords.json +415 -0
kreuzberg/_token_reduction/stopwords/no_stopwords.json +223 -0
kreuzberg/_token_reduction/stopwords/pl_stopwords.json +331 -0
kreuzberg/_token_reduction/stopwords/pt_stopwords.json +562 -0
kreuzberg/_token_reduction/stopwords/ro_stopwords.json +436 -0
kreuzberg/_token_reduction/stopwords/ru_stopwords.json +561 -0
kreuzberg/_token_reduction/stopwords/si_stopwords.json +193 -0
kreuzberg/_token_reduction/stopwords/sk_stopwords.json +420 -0
kreuzberg/_token_reduction/stopwords/sl_stopwords.json +448 -0
kreuzberg/_token_reduction/stopwords/so_stopwords.json +32 -0
kreuzberg/_token_reduction/stopwords/st_stopwords.json +33 -0
kreuzberg/_token_reduction/stopwords/sv_stopwords.json +420 -0
kreuzberg/_token_reduction/stopwords/sw_stopwords.json +76 -0
kreuzberg/_token_reduction/stopwords/ta_stopwords.json +129 -0
kreuzberg/_token_reduction/stopwords/te_stopwords.json +54 -0
kreuzberg/_token_reduction/stopwords/th_stopwords.json +118 -0
kreuzberg/_token_reduction/stopwords/tl_stopwords.json +149 -0
kreuzberg/_token_reduction/stopwords/tr_stopwords.json +506 -0
kreuzberg/_token_reduction/stopwords/uk_stopwords.json +75 -0
kreuzberg/_token_reduction/stopwords/ur_stopwords.json +519 -0
kreuzberg/_token_reduction/stopwords/vi_stopwords.json +647 -0
kreuzberg/_token_reduction/stopwords/yo_stopwords.json +62 -0
kreuzberg/_token_reduction/stopwords/zh_stopwords.json +796 -0
kreuzberg/_token_reduction/stopwords/zu_stopwords.json +31 -0
kreuzberg/_types.py +35 -3
kreuzberg/_utils/_image_preprocessing.py +1 -1
kreuzberg/_utils/_ref.py +14 -6
kreuzberg/exceptions.py +0 -1
kreuzberg/extraction.py +25 -9
{kreuzberg-3.16.0.dist-info → kreuzberg-3.17.0.dist-info}/METADATA +4 -3
kreuzberg-3.17.0.dist-info/RECORD +128 -0
kreuzberg-3.16.0.dist-info/RECORD +0 -61
{kreuzberg-3.16.0.dist-info → kreuzberg-3.17.0.dist-info}/WHEEL +0 -0
{kreuzberg-3.16.0.dist-info → kreuzberg-3.17.0.dist-info}/entry_points.txt +0 -0
{kreuzberg-3.16.0.dist-info → kreuzberg-3.17.0.dist-info}/licenses/LICENSE +0 -0

kreuzberg/_token_reduction/stopwords/ca_stopwords.json ADDED Viewed

@@ -0,0 +1,280 @@
+[
+  "a",
+  "abans",
+  "ací",
+  "ah",
+  "així",
+  "això",
+  "al",
+  "aleshores",
+  "algun",
+  "alguna",
+  "algunes",
+  "alguns",
+  "alhora",
+  "allà",
+  "allí",
+  "allò",
+  "als",
+  "altra",
+  "altre",
+  "altres",
+  "amb",
+  "ambdues",
+  "ambdós",
+  "anar",
+  "ans",
+  "apa",
+  "aquell",
+  "aquella",
+  "aquelles",
+  "aquells",
+  "aquest",
+  "aquesta",
+  "aquestes",
+  "aquests",
+  "aquí",
+  "baix",
+  "bastant",
+  "bé",
+  "cada",
+  "cadascuna",
+  "cadascunes",
+  "cadascuns",
+  "cadascú",
+  "com",
+  "consegueixo",
+  "conseguim",
+  "conseguir",
+  "consigueix",
+  "consigueixen",
+  "consigueixes",
+  "contra",
+  "d'un",
+  "d'una",
+  "d'unes",
+  "d'uns",
+  "dalt",
+  "de",
+  "del",
+  "dels",
+  "des",
+  "des de",
+  "després",
+  "dins",
+  "dintre",
+  "donat",
+  "doncs",
+  "durant",
+  "e",
+  "eh",
+  "el",
+  "elles",
+  "ells",
+  "els",
+  "em",
+  "en",
+  "encara",
+  "ens",
+  "entre",
+  "era",
+  "erem",
+  "eren",
+  "eres",
+  "es",
+  "esta",
+  "estan",
+  "estat",
+  "estava",
+  "estaven",
+  "estem",
+  "esteu",
+  "estic",
+  "està",
+  "estàvem",
+  "estàveu",
+  "et",
+  "etc",
+  "ets",
+  "fa",
+  "faig",
+  "fan",
+  "fas",
+  "fem",
+  "fer",
+  "feu",
+  "fi",
+  "fins",
+  "fora",
+  "gairebé",
+  "ha",
+  "han",
+  "has",
+  "haver",
+  "havia",
+  "he",
+  "hem",
+  "heu",
+  "hi",
+  "ho",
+  "i",
+  "igual",
+  "iguals",
+  "inclòs",
+  "ja",
+  "jo",
+  "l'hi",
+  "la",
+  "les",
+  "li",
+  "li'n",
+  "llarg",
+  "llavors",
+  "m'he",
+  "ma",
+  "mal",
+  "malgrat",
+  "mateix",
+  "mateixa",
+  "mateixes",
+  "mateixos",
+  "me",
+  "mentre",
+  "meu",
+  "meus",
+  "meva",
+  "meves",
+  "mode",
+  "molt",
+  "molta",
+  "moltes",
+  "molts",
+  "mon",
+  "mons",
+  "més",
+  "n'he",
+  "n'hi",
+  "ne",
+  "ni",
+  "no",
+  "nogensmenys",
+  "només",
+  "nosaltres",
+  "nostra",
+  "nostre",
+  "nostres",
+  "o",
+  "oh",
+  "oi",
+  "on",
+  "pas",
+  "pel",
+  "pels",
+  "per",
+  "per que",
+  "perquè",
+  "però",
+  "poc",
+  "poca",
+  "pocs",
+  "podem",
+  "poden",
+  "poder",
+  "podeu",
+  "poques",
+  "potser",
+  "primer",
+  "propi",
+  "puc",
+  "qual",
+  "quals",
+  "quan",
+  "quant",
+  "que",
+  "quelcom",
+  "qui",
+  "quin",
+  "quina",
+  "quines",
+  "quins",
+  "què",
+  "s'ha",
+  "s'han",
+  "sa",
+  "sabem",
+  "saben",
+  "saber",
+  "sabeu",
+  "sap",
+  "saps",
+  "semblant",
+  "semblants",
+  "sense",
+  "ser",
+  "ses",
+  "seu",
+  "seus",
+  "seva",
+  "seves",
+  "si",
+  "sobre",
+  "sobretot",
+  "soc",
+  "solament",
+  "sols",
+  "som",
+  "son",
+  "sons",
+  "sota",
+  "sou",
+  "sóc",
+  "són",
+  "t'ha",
+  "t'han",
+  "t'he",
+  "ta",
+  "tal",
+  "també",
+  "tampoc",
+  "tan",
+  "tant",
+  "tanta",
+  "tantes",
+  "te",
+  "tene",
+  "tenim",
+  "tenir",
+  "teniu",
+  "teu",
+  "teus",
+  "teva",
+  "teves",
+  "tinc",
+  "ton",
+  "tons",
+  "tot",
+  "tota",
+  "totes",
+  "tots",
+  "un",
+  "una",
+  "unes",
+  "uns",
+  "us",
+  "va",
+  "vaig",
+  "vam",
+  "van",
+  "vas",
+  "veu",
+  "vosaltres",
+  "vostra",
+  "vostre",
+  "vostres",
+  "érem",
+  "éreu",
+  "és",
+  "éssent",
+  "últim",
+  "ús"
+]

kreuzberg/_token_reduction/stopwords/cs_stopwords.json ADDED Viewed

@@ -0,0 +1,425 @@
+[
+  "a",
+  "aby",
+  "ahoj",
+  "aj",
+  "ale",
+  "anebo",
+  "ani",
+  "aniž",
+  "ano",
+  "asi",
+  "aspoň",
+  "atd",
+  "atp",
+  "az",
+  "ačkoli",
+  "až",
+  "bez",
+  "beze",
+  "blízko",
+  "bohužel",
+  "brzo",
+  "bude",
+  "budem",
+  "budeme",
+  "budes",
+  "budete",
+  "budeš",
+  "budou",
+  "budu",
+  "by",
+  "byl",
+  "byla",
+  "byli",
+  "bylo",
+  "byly",
+  "bys",
+  "byt",
+  "být",
+  "během",
+  "chce",
+  "chceme",
+  "chcete",
+  "chceš",
+  "chci",
+  "chtít",
+  "chtějí",
+  "chut'",
+  "chuti",
+  "ci",
+  "clanek",
+  "clanku",
+  "clanky",
+  "co",
+  "coz",
+  "což",
+  "cz",
+  "daleko",
+  "dalsi",
+  "další",
+  "den",
+  "deset",
+  "design",
+  "devatenáct",
+  "devět",
+  "dnes",
+  "do",
+  "dobrý",
+  "docela",
+  "dva",
+  "dvacet",
+  "dvanáct",
+  "dvě",
+  "dál",
+  "dále",
+  "děkovat",
+  "děkujeme",
+  "děkuji",
+  "email",
+  "ho",
+  "hodně",
+  "i",
+  "jak",
+  "jakmile",
+  "jako",
+  "jakož",
+  "jde",
+  "je",
+  "jeden",
+  "jedenáct",
+  "jedna",
+  "jedno",
+  "jednou",
+  "jedou",
+  "jeho",
+  "jehož",
+  "jej",
+  "jeji",
+  "jejich",
+  "její",
+  "jelikož",
+  "jemu",
+  "jen",
+  "jenom",
+  "jenž",
+  "jeste",
+  "jestli",
+  "jestliže",
+  "ještě",
+  "jež",
+  "ji",
+  "jich",
+  "jimi",
+  "jinak",
+  "jine",
+  "jiné",
+  "jiz",
+  "již",
+  "jsem",
+  "jses",
+  "jseš",
+  "jsi",
+  "jsme",
+  "jsou",
+  "jste",
+  "já",
+  "jí",
+  "jím",
+  "jíž",
+  "jšte",
+  "k",
+  "kam",
+  "každý",
+  "kde",
+  "kdo",
+  "kdy",
+  "kdyz",
+  "když",
+  "ke",
+  "kolik",
+  "kromě",
+  "ktera",
+  "ktere",
+  "kteri",
+  "kterou",
+  "ktery",
+  "která",
+  "které",
+  "který",
+  "kteři",
+  "kteří",
+  "ku",
+  "kvůli",
+  "ma",
+  "mají",
+  "mate",
+  "me",
+  "mezi",
+  "mi",
+  "mit",
+  "mne",
+  "mnou",
+  "mně",
+  "moc",
+  "mohl",
+  "mohou",
+  "moje",
+  "moji",
+  "možná",
+  "muj",
+  "musí",
+  "muze",
+  "my",
+  "má",
+  "málo",
+  "mám",
+  "máme",
+  "máte",
+  "máš",
+  "mé",
+  "mí",
+  "mít",
+  "mě",
+  "můj",
+  "může",
+  "na",
+  "nad",
+  "nade",
+  "nam",
+  "napiste",
+  "napište",
+  "naproti",
+  "nas",
+  "nasi",
+  "načež",
+  "naše",
+  "naši",
+  "ne",
+  "nebo",
+  "nebyl",
+  "nebyla",
+  "nebyli",
+  "nebyly",
+  "nechť",
+  "nedělají",
+  "nedělá",
+  "nedělám",
+  "neděláme",
+  "neděláte",
+  "neděláš",
+  "neg",
+  "nejsi",
+  "nejsou",
+  "nemají",
+  "nemáme",
+  "nemáte",
+  "neměl",
+  "neni",
+  "není",
+  "nestačí",
+  "nevadí",
+  "nez",
+  "než",
+  "nic",
+  "nich",
+  "nimi",
+  "nove",
+  "novy",
+  "nové",
+  "nový",
+  "nula",
+  "ná",
+  "nám",
+  "námi",
+  "nás",
+  "náš",
+  "ní",
+  "ním",
+  "ně",
+  "něco",
+  "nějak",
+  "někde",
+  "někdo",
+  "němu",
+  "němuž",
+  "o",
+  "od",
+  "ode",
+  "on",
+  "ona",
+  "oni",
+  "ono",
+  "ony",
+  "osm",
+  "osmnáct",
+  "pak",
+  "patnáct",
+  "po",
+  "pod",
+  "podle",
+  "pokud",
+  "potom",
+  "pouze",
+  "pozdě",
+  "pořád",
+  "prave",
+  "pravé",
+  "pred",
+  "pres",
+  "pri",
+  "pro",
+  "proc",
+  "prostě",
+  "prosím",
+  "proti",
+  "proto",
+  "protoze",
+  "protože",
+  "proč",
+  "prvni",
+  "první",
+  "práve",
+  "pta",
+  "pět",
+  "před",
+  "přede",
+  "přes",
+  "přese",
+  "při",
+  "přičemž",
+  "re",
+  "rovně",
+  "s",
+  "se",
+  "sedm",
+  "sedmnáct",
+  "si",
+  "sice",
+  "skoro",
+  "smí",
+  "smějí",
+  "snad",
+  "spolu",
+  "sta",
+  "sto",
+  "strana",
+  "sté",
+  "sve",
+  "svych",
+  "svym",
+  "svymi",
+  "své",
+  "svých",
+  "svým",
+  "svými",
+  "svůj",
+  "ta",
+  "tady",
+  "tak",
+  "take",
+  "takhle",
+  "taky",
+  "takze",
+  "také",
+  "takže",
+  "tam",
+  "tamhle",
+  "tamhleto",
+  "tamto",
+  "tato",
+  "te",
+  "tebe",
+  "tebou",
+  "ted'",
+  "tedy",
+  "tema",
+  "ten",
+  "tento",
+  "teto",
+  "ti",
+  "tim",
+  "timto",
+  "tipy",
+  "tisíc",
+  "tisíce",
+  "to",
+  "tobě",
+  "tohle",
+  "toho",
+  "tohoto",
+  "tom",
+  "tomto",
+  "tomu",
+  "tomuto",
+  "toto",
+  "trošku",
+  "tu",
+  "tuto",
+  "tvoje",
+  "tvá",
+  "tvé",
+  "tvůj",
+  "ty",
+  "tyto",
+  "téma",
+  "této",
+  "tím",
+  "tímto",
+  "tě",
+  "těm",
+  "těma",
+  "těmu",
+  "třeba",
+  "tři",
+  "třináct",
+  "u",
+  "určitě",
+  "uz",
+  "už",
+  "v",
+  "vam",
+  "vas",
+  "vase",
+  "vaše",
+  "vaši",
+  "ve",
+  "vedle",
+  "večer",
+  "vice",
+  "vlastně",
+  "vsak",
+  "vy",
+  "vám",
+  "vámi",
+  "vás",
+  "váš",
+  "více",
+  "však",
+  "všechen",
+  "všechno",
+  "všichni",
+  "vůbec",
+  "vždy",
+  "z",
+  "za",
+  "zatímco",
+  "zač",
+  "zda",
+  "zde",
+  "ze",
+  "zpet",
+  "zpravy",
+  "zprávy",
+  "zpět",
+  "čau",
+  "či",
+  "článek",
+  "článku",
+  "články",
+  "čtrnáct",
+  "čtyři",
+  "šest",
+  "šestnáct",
+  "že"
+]

kreuzberg 3.16.0__py3-none-any.whl → 3.17.0__py3-none-any.whl

kreuzberg 3.16.0py3-none-any.whl → 3.17.0py3-none-any.whl