kreuzberg 3.1.0__tar.gz → 4.0.0rc20__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (350) hide show
  1. kreuzberg-4.0.0rc20/Cargo.lock +8148 -0
  2. kreuzberg-4.0.0rc20/Cargo.toml +86 -0
  3. kreuzberg-4.0.0rc20/PKG-INFO +563 -0
  4. kreuzberg-4.0.0rc20/README.md +514 -0
  5. kreuzberg-4.0.0rc20/crates/kreuzberg/Cargo.toml +265 -0
  6. kreuzberg-4.0.0rc20/crates/kreuzberg/README.md +230 -0
  7. kreuzberg-4.0.0rc20/crates/kreuzberg/benches/otel_overhead.rs +48 -0
  8. kreuzberg-4.0.0rc20/crates/kreuzberg/benches/token_reduction.rs +135 -0
  9. kreuzberg-4.0.0rc20/crates/kreuzberg/build.rs +887 -0
  10. kreuzberg-4.0.0rc20/crates/kreuzberg/examples/bench_fixes.rs +74 -0
  11. kreuzberg-4.0.0rc20/crates/kreuzberg/examples/test_pdfium_fork.rs +65 -0
  12. kreuzberg-4.0.0rc20/crates/kreuzberg/src/api/error.rs +81 -0
  13. kreuzberg-4.0.0rc20/crates/kreuzberg/src/api/handlers.rs +200 -0
  14. kreuzberg-4.0.0rc20/crates/kreuzberg/src/api/mod.rs +87 -0
  15. kreuzberg-4.0.0rc20/crates/kreuzberg/src/api/server.rs +528 -0
  16. kreuzberg-4.0.0rc20/crates/kreuzberg/src/api/types.rs +183 -0
  17. kreuzberg-4.0.0rc20/crates/kreuzberg/src/cache/mod.rs +1167 -0
  18. kreuzberg-4.0.0rc20/crates/kreuzberg/src/chunking/mod.rs +2313 -0
  19. kreuzberg-4.0.0rc20/crates/kreuzberg/src/chunking/processor.rs +220 -0
  20. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/batch_mode.rs +95 -0
  21. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/batch_optimizations.rs +384 -0
  22. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/config.rs +1311 -0
  23. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/config_validation.rs +662 -0
  24. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/extractor.rs +1211 -0
  25. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/formats.rs +251 -0
  26. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/io.rs +329 -0
  27. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/mime.rs +605 -0
  28. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/mod.rs +59 -0
  29. kreuzberg-4.0.0rc20/crates/kreuzberg/src/core/pipeline.rs +1211 -0
  30. kreuzberg-4.0.0rc20/crates/kreuzberg/src/embeddings.rs +500 -0
  31. kreuzberg-4.0.0rc20/crates/kreuzberg/src/error.rs +431 -0
  32. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/archive.rs +966 -0
  33. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/capacity.rs +270 -0
  34. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/docx.rs +411 -0
  35. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/email.rs +858 -0
  36. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/excel.rs +711 -0
  37. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/html.rs +628 -0
  38. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/image.rs +491 -0
  39. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/libreoffice.rs +574 -0
  40. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/markdown.rs +217 -0
  41. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/mod.rs +93 -0
  42. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/office_metadata/app_properties.rs +398 -0
  43. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/office_metadata/core_properties.rs +247 -0
  44. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/office_metadata/custom_properties.rs +240 -0
  45. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/office_metadata/mod.rs +130 -0
  46. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/office_metadata/odt_properties.rs +284 -0
  47. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/pptx.rs +3105 -0
  48. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/structured.rs +491 -0
  49. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/table.rs +330 -0
  50. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/text.rs +286 -0
  51. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extraction/xml.rs +333 -0
  52. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/archive.rs +447 -0
  53. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/bibtex.rs +470 -0
  54. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/docbook.rs +504 -0
  55. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/docx.rs +400 -0
  56. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/email.rs +157 -0
  57. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/epub.rs +708 -0
  58. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/excel.rs +386 -0
  59. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/fictionbook.rs +492 -0
  60. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/html.rs +420 -0
  61. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/image.rs +219 -0
  62. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/jats.rs +1054 -0
  63. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/jupyter.rs +368 -0
  64. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/latex.rs +653 -0
  65. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/markdown.rs +701 -0
  66. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/mod.rs +429 -0
  67. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/odt.rs +628 -0
  68. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/opml.rs +635 -0
  69. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/orgmode.rs +529 -0
  70. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/pdf.rs +786 -0
  71. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/pptx.rs +267 -0
  72. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/rst.rs +577 -0
  73. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/rtf.rs +809 -0
  74. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/security.rs +484 -0
  75. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/security_tests.rs +367 -0
  76. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/structured.rs +142 -0
  77. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/text.rs +265 -0
  78. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/typst.rs +651 -0
  79. kreuzberg-4.0.0rc20/crates/kreuzberg/src/extractors/xml.rs +147 -0
  80. kreuzberg-4.0.0rc20/crates/kreuzberg/src/image/dpi.rs +164 -0
  81. kreuzberg-4.0.0rc20/crates/kreuzberg/src/image/mod.rs +6 -0
  82. kreuzberg-4.0.0rc20/crates/kreuzberg/src/image/preprocessing.rs +417 -0
  83. kreuzberg-4.0.0rc20/crates/kreuzberg/src/image/resize.rs +89 -0
  84. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/config.rs +154 -0
  85. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/mod.rs +237 -0
  86. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/processor.rs +275 -0
  87. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/rake.rs +293 -0
  88. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/types.rs +68 -0
  89. kreuzberg-4.0.0rc20/crates/kreuzberg/src/keywords/yake.rs +163 -0
  90. kreuzberg-4.0.0rc20/crates/kreuzberg/src/language_detection/mod.rs +985 -0
  91. kreuzberg-4.0.0rc20/crates/kreuzberg/src/language_detection/processor.rs +219 -0
  92. kreuzberg-4.0.0rc20/crates/kreuzberg/src/lib.rs +113 -0
  93. kreuzberg-4.0.0rc20/crates/kreuzberg/src/mcp/mod.rs +35 -0
  94. kreuzberg-4.0.0rc20/crates/kreuzberg/src/mcp/server.rs +2076 -0
  95. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/cache.rs +469 -0
  96. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/error.rs +37 -0
  97. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/hocr.rs +216 -0
  98. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/language_registry.rs +526 -0
  99. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/mod.rs +60 -0
  100. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/processor.rs +863 -0
  101. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/table/mod.rs +4 -0
  102. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/table/tsv_parser.rs +144 -0
  103. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/tesseract_backend.rs +452 -0
  104. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/types.rs +393 -0
  105. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/utils.rs +47 -0
  106. kreuzberg-4.0.0rc20/crates/kreuzberg/src/ocr/validation.rs +206 -0
  107. kreuzberg-4.0.0rc20/crates/kreuzberg/src/panic_context.rs +154 -0
  108. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/bindings.rs +160 -0
  109. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/bundled.rs +461 -0
  110. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/error.rs +138 -0
  111. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/fonts.rs +384 -0
  112. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/images.rs +139 -0
  113. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/metadata.rs +507 -0
  114. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/mod.rs +72 -0
  115. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/rendering.rs +372 -0
  116. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/table.rs +420 -0
  117. kreuzberg-4.0.0rc20/crates/kreuzberg/src/pdf/text.rs +424 -0
  118. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/extractor.rs +1044 -0
  119. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/mod.rs +212 -0
  120. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/ocr.rs +639 -0
  121. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/processor.rs +650 -0
  122. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/registry.rs +1339 -0
  123. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/traits.rs +258 -0
  124. kreuzberg-4.0.0rc20/crates/kreuzberg/src/plugins/validator.rs +967 -0
  125. kreuzberg-4.0.0rc20/crates/kreuzberg/src/stopwords/mod.rs +1470 -0
  126. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/mod.rs +27 -0
  127. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/quality.rs +712 -0
  128. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/quality_processor.rs +236 -0
  129. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/string_utils.rs +234 -0
  130. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/cjk_utils.rs +164 -0
  131. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/config.rs +100 -0
  132. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/core.rs +843 -0
  133. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/filters.rs +928 -0
  134. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/mod.rs +160 -0
  135. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/semantic.rs +619 -0
  136. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/token_reduction/simd_text.rs +148 -0
  137. kreuzberg-4.0.0rc20/crates/kreuzberg/src/text/utf8_validation.rs +197 -0
  138. kreuzberg-4.0.0rc20/crates/kreuzberg/src/types.rs +1430 -0
  139. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/mod.rs +31 -0
  140. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/pool.rs +521 -0
  141. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/pool_sizing.rs +393 -0
  142. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/quality.rs +968 -0
  143. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/string_pool.rs +787 -0
  144. kreuzberg-4.0.0rc20/crates/kreuzberg/src/utils/string_utils.rs +381 -0
  145. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/af_stopwords.json +53 -0
  146. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ar_stopwords.json +482 -0
  147. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/bg_stopwords.json +261 -0
  148. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/bn_stopwords.json +400 -0
  149. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/br_stopwords.json +1205 -0
  150. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ca_stopwords.json +280 -0
  151. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/cs_stopwords.json +425 -0
  152. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/da_stopwords.json +172 -0
  153. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/de_stopwords.json +622 -0
  154. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/el_stopwords.json +849 -0
  155. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/en_stopwords.json +1300 -0
  156. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/eo_stopwords.json +175 -0
  157. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/es_stopwords.json +734 -0
  158. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/et_stopwords.json +37 -0
  159. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/eu_stopwords.json +100 -0
  160. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/fa_stopwords.json +801 -0
  161. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/fi_stopwords.json +849 -0
  162. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/fr_stopwords.json +693 -0
  163. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ga_stopwords.json +111 -0
  164. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/gl_stopwords.json +162 -0
  165. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/gu_stopwords.json +226 -0
  166. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ha_stopwords.json +41 -0
  167. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/he_stopwords.json +196 -0
  168. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/hi_stopwords.json +227 -0
  169. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/hr_stopwords.json +181 -0
  170. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/hu_stopwords.json +791 -0
  171. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/hy_stopwords.json +47 -0
  172. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/id_stopwords.json +760 -0
  173. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/it_stopwords.json +634 -0
  174. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ja_stopwords.json +136 -0
  175. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/kn_stopwords.json +84 -0
  176. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ko_stopwords.json +681 -0
  177. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ku_stopwords.json +64 -0
  178. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/la_stopwords.json +51 -0
  179. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/lt_stopwords.json +476 -0
  180. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/lv_stopwords.json +163 -0
  181. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ml_stopwords.json +1 -0
  182. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/mr_stopwords.json +101 -0
  183. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ms_stopwords.json +477 -0
  184. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ne_stopwords.json +490 -0
  185. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/nl_stopwords.json +415 -0
  186. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/no_stopwords.json +223 -0
  187. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/pl_stopwords.json +331 -0
  188. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/pt_stopwords.json +562 -0
  189. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ro_stopwords.json +436 -0
  190. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ru_stopwords.json +561 -0
  191. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/si_stopwords.json +193 -0
  192. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/sk_stopwords.json +420 -0
  193. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/sl_stopwords.json +448 -0
  194. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/so_stopwords.json +32 -0
  195. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/st_stopwords.json +33 -0
  196. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/sv_stopwords.json +420 -0
  197. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/sw_stopwords.json +76 -0
  198. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ta_stopwords.json +129 -0
  199. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/te_stopwords.json +54 -0
  200. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/th_stopwords.json +118 -0
  201. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/tl_stopwords.json +149 -0
  202. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/tr_stopwords.json +506 -0
  203. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/uk_stopwords.json +75 -0
  204. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/ur_stopwords.json +519 -0
  205. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/vi_stopwords.json +647 -0
  206. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/yo_stopwords.json +62 -0
  207. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/zh_stopwords.json +796 -0
  208. kreuzberg-4.0.0rc20/crates/kreuzberg/stopwords/zu_stopwords.json +31 -0
  209. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/api_extract_multipart.rs +52 -0
  210. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/api_large_pdf_extraction.rs +504 -0
  211. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/api_large_pdf_extraction_diagnostics.rs +302 -0
  212. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/api_tests.rs +1480 -0
  213. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/archive_integration.rs +545 -0
  214. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/batch_orchestration.rs +556 -0
  215. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/batch_pooling_benchmark.rs +169 -0
  216. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/batch_processing.rs +318 -0
  217. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/bibtex_parity_test.rs +421 -0
  218. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/concurrency_stress.rs +537 -0
  219. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/config_features.rs +612 -0
  220. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/config_loading_tests.rs +416 -0
  221. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/core_integration.rs +510 -0
  222. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/csv_integration.rs +414 -0
  223. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/docbook_extractor_tests.rs +500 -0
  224. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/docx_metadata_extraction_test.rs +122 -0
  225. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/docx_vs_pandoc_comparison.rs +370 -0
  226. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/email_integration.rs +327 -0
  227. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/epub_native_extractor_tests.rs +275 -0
  228. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/error_handling.rs +402 -0
  229. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/fictionbook_extractor_tests.rs +228 -0
  230. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/format_integration.rs +165 -0
  231. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/helpers/mod.rs +142 -0
  232. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/html_table_test.rs +551 -0
  233. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/image_integration.rs +255 -0
  234. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/instrumentation_test.rs +139 -0
  235. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/jats_extractor_tests.rs +639 -0
  236. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/jupyter_extractor_tests.rs +704 -0
  237. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/keywords_integration.rs +479 -0
  238. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/keywords_quality.rs +509 -0
  239. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/latex_extractor_tests.rs +496 -0
  240. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/markdown_extractor_tests.rs +490 -0
  241. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/mime_detection.rs +429 -0
  242. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/ocr_configuration.rs +514 -0
  243. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/ocr_errors.rs +698 -0
  244. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/ocr_language_registry.rs +208 -0
  245. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/ocr_quality.rs +629 -0
  246. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/ocr_stress.rs +469 -0
  247. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/odt_extractor_tests.rs +674 -0
  248. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/opml_extractor_tests.rs +616 -0
  249. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/orgmode_extractor_tests.rs +822 -0
  250. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/pdf_integration.rs +45 -0
  251. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/pdfium_linking.rs +374 -0
  252. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/pipeline_integration.rs +1446 -0
  253. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/plugin_ocr_backend_test.rs +776 -0
  254. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/plugin_postprocessor_test.rs +577 -0
  255. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/plugin_system.rs +927 -0
  256. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/plugin_validator_test.rs +783 -0
  257. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/registry_integration_tests.rs +587 -0
  258. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/rst_extractor_tests.rs +694 -0
  259. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/rtf_extractor_tests.rs +775 -0
  260. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/security_validation.rs +416 -0
  261. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/stopwords_integration_test.rs +888 -0
  262. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/test_fastembed.rs +631 -0
  263. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/typst_behavioral_tests.rs +1260 -0
  264. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/typst_extractor_tests.rs +648 -0
  265. kreuzberg-4.0.0rc20/crates/kreuzberg/tests/xlsx_metadata_extraction_test.rs +87 -0
  266. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/Cargo.toml +74 -0
  267. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/README.md +851 -0
  268. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/benches/result_view_benchmark.rs +230 -0
  269. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/build.rs +176 -0
  270. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/cbindgen.toml +37 -0
  271. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/kreuzberg-ffi.pc.in +12 -0
  272. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/kreuzberg.h +2959 -0
  273. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/batch_streaming.rs +624 -0
  274. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/config.rs +1050 -0
  275. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/error.rs +950 -0
  276. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/lib.rs +4109 -0
  277. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/panic_shield.rs +265 -0
  278. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/result.rs +517 -0
  279. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/result_pool.rs +675 -0
  280. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/result_view.rs +815 -0
  281. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/string_intern.rs +596 -0
  282. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/src/validation.rs +938 -0
  283. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/tests.disabled/README.md +48 -0
  284. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/tests.disabled/config_loading_tests.rs +299 -0
  285. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/tests.disabled/config_tests.rs +346 -0
  286. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/tests.disabled/extractor_tests.rs +232 -0
  287. kreuzberg-4.0.0rc20/crates/kreuzberg-ffi/tests.disabled/plugin_registration_tests.rs +470 -0
  288. kreuzberg-4.0.0rc20/crates/kreuzberg-py/Cargo.toml +34 -0
  289. kreuzberg-4.0.0rc20/crates/kreuzberg-py/README.md +360 -0
  290. kreuzberg-4.0.0rc20/crates/kreuzberg-py/benches/async_patterns_benchmark.py +98 -0
  291. kreuzberg-4.0.0rc20/crates/kreuzberg-py/build.rs +85 -0
  292. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/config.rs +2339 -0
  293. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/core.rs +527 -0
  294. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/error.rs +375 -0
  295. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/ffi.rs +164 -0
  296. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/lib.rs +386 -0
  297. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/plugins.rs +1924 -0
  298. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/types.rs +591 -0
  299. kreuzberg-4.0.0rc20/crates/kreuzberg-py/src/validation.rs +194 -0
  300. kreuzberg-4.0.0rc20/kreuzberg/__init__.py +868 -0
  301. kreuzberg-4.0.0rc20/kreuzberg/__main__.py +160 -0
  302. kreuzberg-4.0.0rc20/kreuzberg/_internal_bindings.pyi +1351 -0
  303. kreuzberg-4.0.0rc20/kreuzberg/_setup_lib_path.py +143 -0
  304. kreuzberg-4.0.0rc20/kreuzberg/exceptions.py +254 -0
  305. kreuzberg-4.0.0rc20/kreuzberg/ocr/__init__.py +25 -0
  306. kreuzberg-4.0.0rc20/kreuzberg/ocr/easyocr.py +371 -0
  307. kreuzberg-4.0.0rc20/kreuzberg/ocr/paddleocr.py +284 -0
  308. kreuzberg-4.0.0rc20/kreuzberg/ocr/protocol.py +150 -0
  309. kreuzberg-4.0.0rc20/kreuzberg/postprocessors/__init__.py +61 -0
  310. kreuzberg-4.0.0rc20/kreuzberg/postprocessors/protocol.py +83 -0
  311. kreuzberg-4.0.0rc20/kreuzberg/types.py +480 -0
  312. kreuzberg-4.0.0rc20/pyproject.toml +110 -0
  313. kreuzberg-3.1.0/LICENSE +0 -7
  314. kreuzberg-3.1.0/PKG-INFO +0 -173
  315. kreuzberg-3.1.0/README.md +0 -119
  316. kreuzberg-3.1.0/kreuzberg/__init__.py +0 -45
  317. kreuzberg-3.1.0/kreuzberg/_chunker.py +0 -51
  318. kreuzberg-3.1.0/kreuzberg/_constants.py +0 -7
  319. kreuzberg-3.1.0/kreuzberg/_extractors/__init__.py +0 -0
  320. kreuzberg-3.1.0/kreuzberg/_extractors/_base.py +0 -92
  321. kreuzberg-3.1.0/kreuzberg/_extractors/_html.py +0 -34
  322. kreuzberg-3.1.0/kreuzberg/_extractors/_image.py +0 -74
  323. kreuzberg-3.1.0/kreuzberg/_extractors/_pandoc.py +0 -613
  324. kreuzberg-3.1.0/kreuzberg/_extractors/_pdf.py +0 -171
  325. kreuzberg-3.1.0/kreuzberg/_extractors/_presentation.py +0 -233
  326. kreuzberg-3.1.0/kreuzberg/_extractors/_spread_sheet.py +0 -125
  327. kreuzberg-3.1.0/kreuzberg/_gmft.py +0 -174
  328. kreuzberg-3.1.0/kreuzberg/_mime_types.py +0 -195
  329. kreuzberg-3.1.0/kreuzberg/_ocr/__init__.py +0 -17
  330. kreuzberg-3.1.0/kreuzberg/_ocr/_base.py +0 -54
  331. kreuzberg-3.1.0/kreuzberg/_ocr/_easyocr.py +0 -376
  332. kreuzberg-3.1.0/kreuzberg/_ocr/_paddleocr.py +0 -283
  333. kreuzberg-3.1.0/kreuzberg/_ocr/_tesseract.py +0 -342
  334. kreuzberg-3.1.0/kreuzberg/_playa.py +0 -276
  335. kreuzberg-3.1.0/kreuzberg/_registry.py +0 -108
  336. kreuzberg-3.1.0/kreuzberg/_types.py +0 -195
  337. kreuzberg-3.1.0/kreuzberg/_utils/__init__.py +0 -0
  338. kreuzberg-3.1.0/kreuzberg/_utils/_string.py +0 -39
  339. kreuzberg-3.1.0/kreuzberg/_utils/_sync.py +0 -121
  340. kreuzberg-3.1.0/kreuzberg/_utils/_tmp.py +0 -37
  341. kreuzberg-3.1.0/kreuzberg/exceptions.py +0 -81
  342. kreuzberg-3.1.0/kreuzberg/extraction.py +0 -251
  343. kreuzberg-3.1.0/kreuzberg.egg-info/PKG-INFO +0 -173
  344. kreuzberg-3.1.0/kreuzberg.egg-info/SOURCES.txt +0 -36
  345. kreuzberg-3.1.0/kreuzberg.egg-info/dependency_links.txt +0 -1
  346. kreuzberg-3.1.0/kreuzberg.egg-info/requires.txt +0 -35
  347. kreuzberg-3.1.0/kreuzberg.egg-info/top_level.txt +0 -1
  348. kreuzberg-3.1.0/pyproject.toml +0 -178
  349. kreuzberg-3.1.0/setup.cfg +0 -4
  350. {kreuzberg-3.1.0 → kreuzberg-4.0.0rc20}/kreuzberg/py.typed +0 -0

There are too many changes on this page to be displayed.

The amount of changes on this page would crash your brower.

You can still verify the content by downloading the package file manually.