isomorfeus-ferret 0.12.6 → 0.13.1

Sign up to get free protection for your applications and to get access to all the features.
Files changed (249) hide show
  1. checksums.yaml +4 -4
  2. data/LICENSE +101 -19
  3. data/README.md +85 -16
  4. data/ext/isomorfeus_ferret_ext/bm_bitvector.c +22 -30
  5. data/ext/isomorfeus_ferret_ext/bm_hash.c +6 -12
  6. data/ext/isomorfeus_ferret_ext/bm_micro_string.c +3 -6
  7. data/ext/isomorfeus_ferret_ext/bm_store.c +11 -22
  8. data/ext/isomorfeus_ferret_ext/brotli_common_constants.c +15 -0
  9. data/ext/isomorfeus_ferret_ext/brotli_common_constants.h +200 -0
  10. data/ext/isomorfeus_ferret_ext/brotli_common_context.c +156 -0
  11. data/ext/isomorfeus_ferret_ext/brotli_common_context.h +113 -0
  12. data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.c +5914 -0
  13. data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.h +64 -0
  14. data/ext/isomorfeus_ferret_ext/brotli_common_platform.c +22 -0
  15. data/ext/isomorfeus_ferret_ext/brotli_common_platform.h +594 -0
  16. data/ext/isomorfeus_ferret_ext/brotli_common_transform.c +291 -0
  17. data/ext/isomorfeus_ferret_ext/brotli_common_transform.h +85 -0
  18. data/ext/isomorfeus_ferret_ext/brotli_common_version.h +26 -0
  19. data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.c +76 -0
  20. data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.h +351 -0
  21. data/ext/isomorfeus_ferret_ext/brotli_dec_decode.c +2608 -0
  22. data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.c +339 -0
  23. data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.h +121 -0
  24. data/ext/isomorfeus_ferret_ext/brotli_dec_prefix.h +732 -0
  25. data/ext/isomorfeus_ferret_ext/brotli_dec_state.c +159 -0
  26. data/ext/isomorfeus_ferret_ext/brotli_dec_state.h +365 -0
  27. data/ext/isomorfeus_ferret_ext/brotli_decode.h +344 -0
  28. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.c +145 -0
  29. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.h +39 -0
  30. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.c +843 -0
  31. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.h +95 -0
  32. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_inc.h +163 -0
  33. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.c +35 -0
  34. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.h +63 -0
  35. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost_inc.h +127 -0
  36. data/ext/isomorfeus_ferret_ext/brotli_enc_block_encoder_inc.h +34 -0
  37. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.c +194 -0
  38. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.h +51 -0
  39. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter_inc.h +440 -0
  40. data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.c +1314 -0
  41. data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.h +84 -0
  42. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.c +56 -0
  43. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.h +48 -0
  44. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster_inc.h +320 -0
  45. data/ext/isomorfeus_ferret_ext/brotli_enc_command.c +28 -0
  46. data/ext/isomorfeus_ferret_ext/brotli_enc_command.h +190 -0
  47. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.c +790 -0
  48. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.h +61 -0
  49. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.c +645 -0
  50. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.h +54 -0
  51. data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.c +1846 -0
  52. data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.h +25 -0
  53. data/ext/isomorfeus_ferret_ext/brotli_enc_encode.c +1927 -0
  54. data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.c +33 -0
  55. data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.h +43 -0
  56. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.c +503 -0
  57. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.h +122 -0
  58. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode_static.h +539 -0
  59. data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.c +105 -0
  60. data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.h +66 -0
  61. data/ext/isomorfeus_ferret_ext/brotli_enc_find_match_length.h +79 -0
  62. data/ext/isomorfeus_ferret_ext/brotli_enc_hash.h +488 -0
  63. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_composite_inc.h +125 -0
  64. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_forgetful_chain_inc.h +293 -0
  65. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match64_inc.h +267 -0
  66. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_inc.h +262 -0
  67. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_quickly_inc.h +266 -0
  68. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_rolling_inc.h +212 -0
  69. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_to_binary_tree_inc.h +329 -0
  70. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.c +100 -0
  71. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.h +63 -0
  72. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram_inc.h +51 -0
  73. data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.c +175 -0
  74. data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.h +30 -0
  75. data/ext/isomorfeus_ferret_ext/brotli_enc_memory.c +170 -0
  76. data/ext/isomorfeus_ferret_ext/brotli_enc_memory.h +114 -0
  77. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.c +663 -0
  78. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.h +105 -0
  79. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock_inc.h +183 -0
  80. data/ext/isomorfeus_ferret_ext/brotli_enc_params.h +46 -0
  81. data/ext/isomorfeus_ferret_ext/brotli_enc_prefix.h +53 -0
  82. data/ext/isomorfeus_ferret_ext/brotli_enc_quality.h +165 -0
  83. data/ext/isomorfeus_ferret_ext/brotli_enc_ringbuffer.h +167 -0
  84. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.c +486 -0
  85. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.h +40 -0
  86. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict_lut.h +5864 -0
  87. data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.c +85 -0
  88. data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.h +32 -0
  89. data/ext/isomorfeus_ferret_ext/brotli_enc_write_bits.h +87 -0
  90. data/ext/isomorfeus_ferret_ext/brotli_encode.h +448 -0
  91. data/ext/isomorfeus_ferret_ext/brotli_port.h +288 -0
  92. data/ext/isomorfeus_ferret_ext/brotli_types.h +83 -0
  93. data/ext/isomorfeus_ferret_ext/bzlib.c +1572 -0
  94. data/ext/isomorfeus_ferret_ext/bzlib.h +282 -0
  95. data/ext/isomorfeus_ferret_ext/bzlib_blocksort.c +1094 -0
  96. data/ext/isomorfeus_ferret_ext/bzlib_compress.c +672 -0
  97. data/ext/isomorfeus_ferret_ext/bzlib_crctable.c +104 -0
  98. data/ext/isomorfeus_ferret_ext/bzlib_decompress.c +652 -0
  99. data/ext/isomorfeus_ferret_ext/bzlib_huffman.c +205 -0
  100. data/ext/isomorfeus_ferret_ext/bzlib_private.h +509 -0
  101. data/ext/isomorfeus_ferret_ext/bzlib_randtable.c +84 -0
  102. data/ext/isomorfeus_ferret_ext/fio_tmpfile.h +53 -53
  103. data/ext/isomorfeus_ferret_ext/frb_analysis.c +785 -1192
  104. data/ext/isomorfeus_ferret_ext/frb_index.c +513 -464
  105. data/ext/isomorfeus_ferret_ext/frb_qparser.c +48 -60
  106. data/ext/isomorfeus_ferret_ext/frb_search.c +1520 -1002
  107. data/ext/isomorfeus_ferret_ext/frb_store.c +96 -96
  108. data/ext/isomorfeus_ferret_ext/frb_threading.h +0 -1
  109. data/ext/isomorfeus_ferret_ext/frb_utils.c +147 -196
  110. data/ext/isomorfeus_ferret_ext/frt_analysis.c +695 -1090
  111. data/ext/isomorfeus_ferret_ext/frt_analysis.h +174 -170
  112. data/ext/isomorfeus_ferret_ext/frt_array.c +2 -4
  113. data/ext/isomorfeus_ferret_ext/frt_bitvector.c +9 -16
  114. data/ext/isomorfeus_ferret_ext/frt_bitvector.h +32 -81
  115. data/ext/isomorfeus_ferret_ext/frt_document.c +15 -20
  116. data/ext/isomorfeus_ferret_ext/frt_document.h +10 -9
  117. data/ext/isomorfeus_ferret_ext/frt_except.c +5 -12
  118. data/ext/isomorfeus_ferret_ext/frt_field_index.c +3 -3
  119. data/ext/isomorfeus_ferret_ext/frt_field_index.h +6 -7
  120. data/ext/isomorfeus_ferret_ext/frt_filter.c +35 -46
  121. data/ext/isomorfeus_ferret_ext/frt_fs_store.c +2 -0
  122. data/ext/isomorfeus_ferret_ext/frt_global.c +91 -200
  123. data/ext/isomorfeus_ferret_ext/frt_global.h +7 -18
  124. data/ext/isomorfeus_ferret_ext/frt_hash.c +1 -2
  125. data/ext/isomorfeus_ferret_ext/frt_ind.c +32 -35
  126. data/ext/isomorfeus_ferret_ext/frt_ind.h +9 -9
  127. data/ext/isomorfeus_ferret_ext/frt_index.c +714 -384
  128. data/ext/isomorfeus_ferret_ext/frt_index.h +274 -290
  129. data/ext/isomorfeus_ferret_ext/frt_lang.c +0 -2
  130. data/ext/isomorfeus_ferret_ext/frt_mempool.c +1 -2
  131. data/ext/isomorfeus_ferret_ext/frt_multimapper.c +4 -7
  132. data/ext/isomorfeus_ferret_ext/frt_q_boolean.c +68 -91
  133. data/ext/isomorfeus_ferret_ext/frt_q_const_score.c +35 -38
  134. data/ext/isomorfeus_ferret_ext/frt_q_filtered_query.c +53 -72
  135. data/ext/isomorfeus_ferret_ext/frt_q_fuzzy.c +25 -32
  136. data/ext/isomorfeus_ferret_ext/frt_q_match_all.c +21 -23
  137. data/ext/isomorfeus_ferret_ext/frt_q_multi_term.c +66 -103
  138. data/ext/isomorfeus_ferret_ext/frt_q_parser.c +207 -195
  139. data/ext/isomorfeus_ferret_ext/frt_q_phrase.c +20 -16
  140. data/ext/isomorfeus_ferret_ext/frt_q_prefix.c +17 -14
  141. data/ext/isomorfeus_ferret_ext/frt_q_range.c +102 -131
  142. data/ext/isomorfeus_ferret_ext/frt_q_span.c +179 -178
  143. data/ext/isomorfeus_ferret_ext/frt_q_term.c +47 -60
  144. data/ext/isomorfeus_ferret_ext/frt_q_wildcard.c +18 -16
  145. data/ext/isomorfeus_ferret_ext/frt_ram_store.c +46 -84
  146. data/ext/isomorfeus_ferret_ext/frt_search.c +105 -146
  147. data/ext/isomorfeus_ferret_ext/frt_search.h +331 -320
  148. data/ext/isomorfeus_ferret_ext/frt_similarity.c +5 -13
  149. data/ext/isomorfeus_ferret_ext/frt_similarity.h +7 -12
  150. data/ext/isomorfeus_ferret_ext/frt_sort.c +105 -149
  151. data/ext/isomorfeus_ferret_ext/frt_store.c +13 -7
  152. data/ext/isomorfeus_ferret_ext/frt_store.h +10 -2
  153. data/ext/isomorfeus_ferret_ext/frt_threading.h +0 -1
  154. data/ext/isomorfeus_ferret_ext/isomorfeus_ferret.c +22 -112
  155. data/ext/isomorfeus_ferret_ext/isomorfeus_ferret.h +2 -32
  156. data/ext/isomorfeus_ferret_ext/lz4.c +2495 -0
  157. data/ext/isomorfeus_ferret_ext/lz4.h +774 -0
  158. data/ext/isomorfeus_ferret_ext/lz4frame.c +1899 -0
  159. data/ext/isomorfeus_ferret_ext/lz4frame.h +623 -0
  160. data/ext/isomorfeus_ferret_ext/lz4hc.c +1615 -0
  161. data/ext/isomorfeus_ferret_ext/lz4hc.h +413 -0
  162. data/ext/isomorfeus_ferret_ext/lz4xxhash.c +1030 -0
  163. data/ext/isomorfeus_ferret_ext/lz4xxhash.h +328 -0
  164. data/ext/isomorfeus_ferret_ext/stem_modules.h +0 -86
  165. data/ext/isomorfeus_ferret_ext/test.c +0 -17
  166. data/ext/isomorfeus_ferret_ext/test_1710.c +11 -12
  167. data/ext/isomorfeus_ferret_ext/test_analysis.c +590 -583
  168. data/ext/isomorfeus_ferret_ext/test_compound_io.c +1 -1
  169. data/ext/isomorfeus_ferret_ext/test_document.c +19 -15
  170. data/ext/isomorfeus_ferret_ext/test_except.c +1 -2
  171. data/ext/isomorfeus_ferret_ext/test_fields.c +111 -100
  172. data/ext/isomorfeus_ferret_ext/test_file_deleter.c +10 -27
  173. data/ext/isomorfeus_ferret_ext/test_filter.c +11 -8
  174. data/ext/isomorfeus_ferret_ext/test_global.c +0 -46
  175. data/ext/isomorfeus_ferret_ext/test_hash.c +2 -2
  176. data/ext/isomorfeus_ferret_ext/test_hashset.c +1 -1
  177. data/ext/isomorfeus_ferret_ext/test_highlighter.c +15 -11
  178. data/ext/isomorfeus_ferret_ext/test_index.c +373 -363
  179. data/ext/isomorfeus_ferret_ext/test_q_const_score.c +5 -3
  180. data/ext/isomorfeus_ferret_ext/test_q_filtered.c +5 -3
  181. data/ext/isomorfeus_ferret_ext/test_q_fuzzy.c +13 -10
  182. data/ext/isomorfeus_ferret_ext/test_q_parser.c +45 -7
  183. data/ext/isomorfeus_ferret_ext/test_q_span.c +15 -12
  184. data/ext/isomorfeus_ferret_ext/test_ram_store.c +3 -3
  185. data/ext/isomorfeus_ferret_ext/test_search.c +60 -64
  186. data/ext/isomorfeus_ferret_ext/test_segments.c +5 -4
  187. data/ext/isomorfeus_ferret_ext/test_sort.c +17 -14
  188. data/ext/isomorfeus_ferret_ext/test_store.c +2 -0
  189. data/ext/isomorfeus_ferret_ext/test_term.c +3 -1
  190. data/ext/isomorfeus_ferret_ext/test_term_vectors.c +9 -10
  191. data/ext/isomorfeus_ferret_ext/test_test.c +1 -2
  192. data/ext/isomorfeus_ferret_ext/test_threading.c +9 -10
  193. data/ext/isomorfeus_ferret_ext/testhelper.c +1 -2
  194. data/lib/isomorfeus/ferret/version.rb +1 -1
  195. metadata +113 -58
  196. data/ext/isomorfeus_ferret_ext/email.rl +0 -21
  197. data/ext/isomorfeus_ferret_ext/frt_scanner.c +0 -900
  198. data/ext/isomorfeus_ferret_ext/frt_scanner.h +0 -28
  199. data/ext/isomorfeus_ferret_ext/frt_scanner_mb.c +0 -6706
  200. data/ext/isomorfeus_ferret_ext/frt_scanner_utf8.c +0 -4420
  201. data/ext/isomorfeus_ferret_ext/scanner.h +0 -28
  202. data/ext/isomorfeus_ferret_ext/scanner.in +0 -43
  203. data/ext/isomorfeus_ferret_ext/scanner.rl +0 -84
  204. data/ext/isomorfeus_ferret_ext/scanner_mb.rl +0 -200
  205. data/ext/isomorfeus_ferret_ext/scanner_utf8.rl +0 -85
  206. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.c +0 -1167
  207. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.h +0 -6
  208. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.c +0 -1433
  209. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.h +0 -6
  210. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.c +0 -301
  211. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.h +0 -6
  212. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.c +0 -590
  213. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.h +0 -6
  214. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.c +0 -1049
  215. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.h +0 -6
  216. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.c +0 -705
  217. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.h +0 -6
  218. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.c +0 -1239
  219. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.h +0 -6
  220. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.c +0 -477
  221. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.h +0 -6
  222. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.c +0 -1217
  223. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.h +0 -7
  224. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.c +0 -394
  225. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.h +0 -6
  226. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.c +0 -457
  227. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.h +0 -6
  228. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.c +0 -1009
  229. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.h +0 -6
  230. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.c +0 -259
  231. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.h +0 -6
  232. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.c +0 -704
  233. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.h +0 -6
  234. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.c +0 -948
  235. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.h +0 -6
  236. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.c +0 -1028
  237. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.h +0 -6
  238. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.c +0 -275
  239. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.h +0 -6
  240. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.c +0 -849
  241. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.h +0 -6
  242. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.c +0 -952
  243. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.h +0 -6
  244. data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.c +0 -669
  245. data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.h +0 -6
  246. data/ext/isomorfeus_ferret_ext/stem_modules.txt +0 -63
  247. data/ext/isomorfeus_ferret_ext/uchar-ucs4.rl +0 -1854
  248. data/ext/isomorfeus_ferret_ext/uchar-utf8.rl +0 -1999
  249. data/ext/isomorfeus_ferret_ext/url.rl +0 -27
@@ -1,7 +0,0 @@
1
-
2
- /* This file was generated automatically by the Snowball to ANSI C compiler */
3
-
4
- extern struct SN_env * hungarian_ISO_8859_1_create_env(void);
5
- extern void hungarian_ISO_8859_1_close_env(struct SN_env * z);
6
-
7
- extern int hungarian_ISO_8859_1_stem(struct SN_env * z);
@@ -1,394 +0,0 @@
1
- /* Generated by Snowball 2.2.0 - https://snowballstem.org/ */
2
-
3
- #include "stem_header.h"
4
-
5
- extern int indonesian_ISO_8859_1_stem(struct SN_env * z);
6
-
7
- static int r_VOWEL(struct SN_env * z);
8
- static int r_SUFFIX_I_OK(struct SN_env * z);
9
- static int r_SUFFIX_AN_OK(struct SN_env * z);
10
- static int r_SUFFIX_KAN_OK(struct SN_env * z);
11
- static int r_KER(struct SN_env * z);
12
- static int r_remove_suffix(struct SN_env * z);
13
- static int r_remove_second_order_prefix(struct SN_env * z);
14
- static int r_remove_first_order_prefix(struct SN_env * z);
15
- static int r_remove_possessive_pronoun(struct SN_env * z);
16
- static int r_remove_particle(struct SN_env * z);
17
-
18
- extern struct SN_env * indonesian_ISO_8859_1_create_env(void);
19
- extern void indonesian_ISO_8859_1_close_env(struct SN_env * z);
20
-
21
- static const symbol s_0_0[3] = { 'k', 'a', 'h' };
22
- static const symbol s_0_1[3] = { 'l', 'a', 'h' };
23
- static const symbol s_0_2[3] = { 'p', 'u', 'n' };
24
-
25
- static const struct among a_0[3] =
26
- {
27
- { 3, s_0_0, -1, 1, 0},
28
- { 3, s_0_1, -1, 1, 0},
29
- { 3, s_0_2, -1, 1, 0}
30
- };
31
-
32
- static const symbol s_1_0[3] = { 'n', 'y', 'a' };
33
- static const symbol s_1_1[2] = { 'k', 'u' };
34
- static const symbol s_1_2[2] = { 'm', 'u' };
35
-
36
- static const struct among a_1[3] =
37
- {
38
- { 3, s_1_0, -1, 1, 0},
39
- { 2, s_1_1, -1, 1, 0},
40
- { 2, s_1_2, -1, 1, 0}
41
- };
42
-
43
- static const symbol s_2_0[1] = { 'i' };
44
- static const symbol s_2_1[2] = { 'a', 'n' };
45
- static const symbol s_2_2[3] = { 'k', 'a', 'n' };
46
-
47
- static const struct among a_2[3] =
48
- {
49
- { 1, s_2_0, -1, 1, r_SUFFIX_I_OK},
50
- { 2, s_2_1, -1, 1, r_SUFFIX_AN_OK},
51
- { 3, s_2_2, 1, 1, r_SUFFIX_KAN_OK}
52
- };
53
-
54
- static const symbol s_3_0[2] = { 'd', 'i' };
55
- static const symbol s_3_1[2] = { 'k', 'e' };
56
- static const symbol s_3_2[2] = { 'm', 'e' };
57
- static const symbol s_3_3[3] = { 'm', 'e', 'm' };
58
- static const symbol s_3_4[3] = { 'm', 'e', 'n' };
59
- static const symbol s_3_5[4] = { 'm', 'e', 'n', 'g' };
60
- static const symbol s_3_6[4] = { 'm', 'e', 'n', 'y' };
61
- static const symbol s_3_7[3] = { 'p', 'e', 'm' };
62
- static const symbol s_3_8[3] = { 'p', 'e', 'n' };
63
- static const symbol s_3_9[4] = { 'p', 'e', 'n', 'g' };
64
- static const symbol s_3_10[4] = { 'p', 'e', 'n', 'y' };
65
- static const symbol s_3_11[3] = { 't', 'e', 'r' };
66
-
67
- static const struct among a_3[12] =
68
- {
69
- { 2, s_3_0, -1, 1, 0},
70
- { 2, s_3_1, -1, 2, 0},
71
- { 2, s_3_2, -1, 1, 0},
72
- { 3, s_3_3, 2, 5, 0},
73
- { 3, s_3_4, 2, 1, 0},
74
- { 4, s_3_5, 4, 1, 0},
75
- { 4, s_3_6, 4, 3, r_VOWEL},
76
- { 3, s_3_7, -1, 6, 0},
77
- { 3, s_3_8, -1, 2, 0},
78
- { 4, s_3_9, 8, 2, 0},
79
- { 4, s_3_10, 8, 4, r_VOWEL},
80
- { 3, s_3_11, -1, 1, 0}
81
- };
82
-
83
- static const symbol s_4_0[2] = { 'b', 'e' };
84
- static const symbol s_4_1[7] = { 'b', 'e', 'l', 'a', 'j', 'a', 'r' };
85
- static const symbol s_4_2[3] = { 'b', 'e', 'r' };
86
- static const symbol s_4_3[2] = { 'p', 'e' };
87
- static const symbol s_4_4[7] = { 'p', 'e', 'l', 'a', 'j', 'a', 'r' };
88
- static const symbol s_4_5[3] = { 'p', 'e', 'r' };
89
-
90
- static const struct among a_4[6] =
91
- {
92
- { 2, s_4_0, -1, 3, r_KER},
93
- { 7, s_4_1, 0, 4, 0},
94
- { 3, s_4_2, 0, 3, 0},
95
- { 2, s_4_3, -1, 1, 0},
96
- { 7, s_4_4, 3, 2, 0},
97
- { 3, s_4_5, 3, 1, 0}
98
- };
99
-
100
- static const unsigned char g_vowel[] = { 17, 65, 16 };
101
-
102
- static const symbol s_0[] = { 'e', 'r' };
103
- static const symbol s_1[] = { 's' };
104
- static const symbol s_2[] = { 's' };
105
- static const symbol s_3[] = { 'p' };
106
- static const symbol s_4[] = { 'p' };
107
- static const symbol s_5[] = { 'a', 'j', 'a', 'r' };
108
- static const symbol s_6[] = { 'a', 'j', 'a', 'r' };
109
-
110
- static int r_remove_particle(struct SN_env * z) {
111
- z->ket = z->c;
112
- if (z->c - 2 <= z->lb || (z->p[z->c - 1] != 104 && z->p[z->c - 1] != 110)) return 0;
113
- if (!(find_among_b(z, a_0, 3))) return 0;
114
- z->bra = z->c;
115
- { int ret = slice_del(z);
116
- if (ret < 0) return ret;
117
- }
118
- z->I[1] -= 1;
119
- return 1;
120
- }
121
-
122
- static int r_remove_possessive_pronoun(struct SN_env * z) {
123
- z->ket = z->c;
124
- if (z->c - 1 <= z->lb || (z->p[z->c - 1] != 97 && z->p[z->c - 1] != 117)) return 0;
125
- if (!(find_among_b(z, a_1, 3))) return 0;
126
- z->bra = z->c;
127
- { int ret = slice_del(z);
128
- if (ret < 0) return ret;
129
- }
130
- z->I[1] -= 1;
131
- return 1;
132
- }
133
-
134
- static int r_SUFFIX_KAN_OK(struct SN_env * z) {
135
-
136
- if (!(z->I[0] != 3)) return 0;
137
- if (!(z->I[0] != 2)) return 0;
138
- return 1;
139
- }
140
-
141
- static int r_SUFFIX_AN_OK(struct SN_env * z) {
142
- if (!(z->I[0] != 1)) return 0;
143
- return 1;
144
- }
145
-
146
- static int r_SUFFIX_I_OK(struct SN_env * z) {
147
- if (!(z->I[0] <= 2)) return 0;
148
- { int m1 = z->l - z->c; (void)m1;
149
- if (z->c <= z->lb || z->p[z->c - 1] != 's') goto lab0;
150
- z->c--;
151
- return 0;
152
- lab0:
153
- z->c = z->l - m1;
154
- }
155
- return 1;
156
- }
157
-
158
- static int r_remove_suffix(struct SN_env * z) {
159
- z->ket = z->c;
160
- if (z->c <= z->lb || (z->p[z->c - 1] != 105 && z->p[z->c - 1] != 110)) return 0;
161
- if (!(find_among_b(z, a_2, 3))) return 0;
162
- z->bra = z->c;
163
- { int ret = slice_del(z);
164
- if (ret < 0) return ret;
165
- }
166
- z->I[1] -= 1;
167
- return 1;
168
- }
169
-
170
- static int r_VOWEL(struct SN_env * z) {
171
- if (in_grouping(z, g_vowel, 97, 117, 0)) return 0;
172
- return 1;
173
- }
174
-
175
- static int r_KER(struct SN_env * z) {
176
- if (out_grouping(z, g_vowel, 97, 117, 0)) return 0;
177
- if (!(eq_s(z, 2, s_0))) return 0;
178
- return 1;
179
- }
180
-
181
- static int r_remove_first_order_prefix(struct SN_env * z) {
182
- int among_var;
183
- z->bra = z->c;
184
- if (z->c + 1 >= z->l || (z->p[z->c + 1] != 105 && z->p[z->c + 1] != 101)) return 0;
185
- among_var = find_among(z, a_3, 12);
186
- if (!(among_var)) return 0;
187
- z->ket = z->c;
188
- switch (among_var) {
189
- case 1:
190
- { int ret = slice_del(z);
191
- if (ret < 0) return ret;
192
- }
193
- z->I[0] = 1;
194
- z->I[1] -= 1;
195
- break;
196
- case 2:
197
- { int ret = slice_del(z);
198
- if (ret < 0) return ret;
199
- }
200
- z->I[0] = 3;
201
- z->I[1] -= 1;
202
- break;
203
- case 3:
204
- z->I[0] = 1;
205
- { int ret = slice_from_s(z, 1, s_1);
206
- if (ret < 0) return ret;
207
- }
208
- z->I[1] -= 1;
209
- break;
210
- case 4:
211
- z->I[0] = 3;
212
- { int ret = slice_from_s(z, 1, s_2);
213
- if (ret < 0) return ret;
214
- }
215
- z->I[1] -= 1;
216
- break;
217
- case 5:
218
- z->I[0] = 1;
219
- z->I[1] -= 1;
220
- { int c1 = z->c;
221
- { int c2 = z->c;
222
- if (in_grouping(z, g_vowel, 97, 117, 0)) goto lab1;
223
- z->c = c2;
224
- { int ret = slice_from_s(z, 1, s_3);
225
- if (ret < 0) return ret;
226
- }
227
- }
228
- goto lab0;
229
- lab1:
230
- z->c = c1;
231
- { int ret = slice_del(z);
232
- if (ret < 0) return ret;
233
- }
234
- }
235
- lab0:
236
- break;
237
- case 6:
238
- z->I[0] = 3;
239
- z->I[1] -= 1;
240
- { int c3 = z->c;
241
- { int c4 = z->c;
242
- if (in_grouping(z, g_vowel, 97, 117, 0)) goto lab3;
243
- z->c = c4;
244
- { int ret = slice_from_s(z, 1, s_4);
245
- if (ret < 0) return ret;
246
- }
247
- }
248
- goto lab2;
249
- lab3:
250
- z->c = c3;
251
- { int ret = slice_del(z);
252
- if (ret < 0) return ret;
253
- }
254
- }
255
- lab2:
256
- break;
257
- }
258
- return 1;
259
- }
260
-
261
- static int r_remove_second_order_prefix(struct SN_env * z) {
262
- int among_var;
263
- z->bra = z->c;
264
- if (z->c + 1 >= z->l || z->p[z->c + 1] != 101) return 0;
265
- among_var = find_among(z, a_4, 6);
266
- if (!(among_var)) return 0;
267
- z->ket = z->c;
268
- switch (among_var) {
269
- case 1:
270
- { int ret = slice_del(z);
271
- if (ret < 0) return ret;
272
- }
273
- z->I[0] = 2;
274
- z->I[1] -= 1;
275
- break;
276
- case 2:
277
- { int ret = slice_from_s(z, 4, s_5);
278
- if (ret < 0) return ret;
279
- }
280
- z->I[1] -= 1;
281
- break;
282
- case 3:
283
- { int ret = slice_del(z);
284
- if (ret < 0) return ret;
285
- }
286
- z->I[0] = 4;
287
- z->I[1] -= 1;
288
- break;
289
- case 4:
290
- { int ret = slice_from_s(z, 4, s_6);
291
- if (ret < 0) return ret;
292
- }
293
- z->I[0] = 4;
294
- z->I[1] -= 1;
295
- break;
296
- }
297
- return 1;
298
- }
299
-
300
- extern int indonesian_ISO_8859_1_stem(struct SN_env * z) {
301
- z->I[1] = 0;
302
- { int c1 = z->c;
303
- while(1) {
304
- int c2 = z->c;
305
- {
306
- int ret = out_grouping(z, g_vowel, 97, 117, 1);
307
- if (ret < 0) goto lab1;
308
- z->c += ret;
309
- }
310
- z->I[1] += 1;
311
- continue;
312
- lab1:
313
- z->c = c2;
314
- break;
315
- }
316
- z->c = c1;
317
- }
318
- if (!(z->I[1] > 2)) return 0;
319
- z->I[0] = 0;
320
- z->lb = z->c; z->c = z->l;
321
-
322
- { int m3 = z->l - z->c; (void)m3;
323
- { int ret = r_remove_particle(z);
324
- if (ret < 0) return ret;
325
- }
326
- z->c = z->l - m3;
327
- }
328
- if (!(z->I[1] > 2)) return 0;
329
- { int m4 = z->l - z->c; (void)m4;
330
- { int ret = r_remove_possessive_pronoun(z);
331
- if (ret < 0) return ret;
332
- }
333
- z->c = z->l - m4;
334
- }
335
- z->c = z->lb;
336
- if (!(z->I[1] > 2)) return 0;
337
- { int c5 = z->c;
338
- { int c_test6 = z->c;
339
- { int ret = r_remove_first_order_prefix(z);
340
- if (ret == 0) goto lab3;
341
- if (ret < 0) return ret;
342
- }
343
- { int c7 = z->c;
344
- { int c_test8 = z->c;
345
- if (!(z->I[1] > 2)) goto lab4;
346
- z->lb = z->c; z->c = z->l;
347
-
348
- { int ret = r_remove_suffix(z);
349
- if (ret == 0) goto lab4;
350
- if (ret < 0) return ret;
351
- }
352
- z->c = z->lb;
353
- z->c = c_test8;
354
- }
355
- if (!(z->I[1] > 2)) goto lab4;
356
- { int ret = r_remove_second_order_prefix(z);
357
- if (ret == 0) goto lab4;
358
- if (ret < 0) return ret;
359
- }
360
- lab4:
361
- z->c = c7;
362
- }
363
- z->c = c_test6;
364
- }
365
- goto lab2;
366
- lab3:
367
- z->c = c5;
368
- { int c9 = z->c;
369
- { int ret = r_remove_second_order_prefix(z);
370
- if (ret < 0) return ret;
371
- }
372
- z->c = c9;
373
- }
374
- { int c10 = z->c;
375
- if (!(z->I[1] > 2)) goto lab5;
376
- z->lb = z->c; z->c = z->l;
377
-
378
- { int ret = r_remove_suffix(z);
379
- if (ret == 0) goto lab5;
380
- if (ret < 0) return ret;
381
- }
382
- z->c = z->lb;
383
- lab5:
384
- z->c = c10;
385
- }
386
- }
387
- lab2:
388
- return 1;
389
- }
390
-
391
- extern struct SN_env * indonesian_ISO_8859_1_create_env(void) { return SN_create_env(0, 2); }
392
-
393
- extern void indonesian_ISO_8859_1_close_env(struct SN_env * z) { SN_close_env(z, 0); }
394
-
@@ -1,6 +0,0 @@
1
- /* Generated by Snowball 2.2.0 - https://snowballstem.org/ */
2
-
3
- extern struct SN_env * indonesian_ISO_8859_1_create_env(void);
4
- extern void indonesian_ISO_8859_1_close_env(struct SN_env * z);
5
-
6
- extern int indonesian_ISO_8859_1_stem(struct SN_env * z);