isomorfeus-ferret 0.12.4 → 0.12.7

Sign up to get free protection for your applications and to get access to all the features.
Files changed (216) hide show
  1. checksums.yaml +4 -4
  2. data/LICENSE +612 -612
  3. data/README.md +77 -48
  4. data/ext/isomorfeus_ferret_ext/bm_hash.c +9 -6
  5. data/ext/isomorfeus_ferret_ext/bm_micro_string.c +4 -2
  6. data/ext/isomorfeus_ferret_ext/brotli_common_constants.c +15 -0
  7. data/ext/isomorfeus_ferret_ext/brotli_common_constants.h +200 -0
  8. data/ext/isomorfeus_ferret_ext/brotli_common_context.c +156 -0
  9. data/ext/isomorfeus_ferret_ext/brotli_common_context.h +113 -0
  10. data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.c +5914 -0
  11. data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.h +64 -0
  12. data/ext/isomorfeus_ferret_ext/brotli_common_platform.c +22 -0
  13. data/ext/isomorfeus_ferret_ext/brotli_common_platform.h +594 -0
  14. data/ext/isomorfeus_ferret_ext/brotli_common_transform.c +291 -0
  15. data/ext/isomorfeus_ferret_ext/brotli_common_transform.h +85 -0
  16. data/ext/isomorfeus_ferret_ext/brotli_common_version.h +26 -0
  17. data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.c +76 -0
  18. data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.h +351 -0
  19. data/ext/isomorfeus_ferret_ext/brotli_dec_decode.c +2608 -0
  20. data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.c +339 -0
  21. data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.h +121 -0
  22. data/ext/isomorfeus_ferret_ext/brotli_dec_prefix.h +732 -0
  23. data/ext/isomorfeus_ferret_ext/brotli_dec_state.c +159 -0
  24. data/ext/isomorfeus_ferret_ext/brotli_dec_state.h +365 -0
  25. data/ext/isomorfeus_ferret_ext/brotli_decode.h +344 -0
  26. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.c +145 -0
  27. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.h +39 -0
  28. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.c +843 -0
  29. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.h +95 -0
  30. data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_inc.h +163 -0
  31. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.c +35 -0
  32. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.h +63 -0
  33. data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost_inc.h +127 -0
  34. data/ext/isomorfeus_ferret_ext/brotli_enc_block_encoder_inc.h +34 -0
  35. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.c +194 -0
  36. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.h +51 -0
  37. data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter_inc.h +440 -0
  38. data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.c +1314 -0
  39. data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.h +84 -0
  40. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.c +56 -0
  41. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.h +48 -0
  42. data/ext/isomorfeus_ferret_ext/brotli_enc_cluster_inc.h +320 -0
  43. data/ext/isomorfeus_ferret_ext/brotli_enc_command.c +28 -0
  44. data/ext/isomorfeus_ferret_ext/brotli_enc_command.h +190 -0
  45. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.c +790 -0
  46. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.h +61 -0
  47. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.c +645 -0
  48. data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.h +54 -0
  49. data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.c +1846 -0
  50. data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.h +25 -0
  51. data/ext/isomorfeus_ferret_ext/brotli_enc_encode.c +1927 -0
  52. data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.c +33 -0
  53. data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.h +43 -0
  54. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.c +503 -0
  55. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.h +122 -0
  56. data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode_static.h +539 -0
  57. data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.c +105 -0
  58. data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.h +66 -0
  59. data/ext/isomorfeus_ferret_ext/brotli_enc_find_match_length.h +79 -0
  60. data/ext/isomorfeus_ferret_ext/brotli_enc_hash.h +488 -0
  61. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_composite_inc.h +125 -0
  62. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_forgetful_chain_inc.h +293 -0
  63. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match64_inc.h +267 -0
  64. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_inc.h +262 -0
  65. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_quickly_inc.h +266 -0
  66. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_rolling_inc.h +212 -0
  67. data/ext/isomorfeus_ferret_ext/brotli_enc_hash_to_binary_tree_inc.h +329 -0
  68. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.c +100 -0
  69. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.h +63 -0
  70. data/ext/isomorfeus_ferret_ext/brotli_enc_histogram_inc.h +51 -0
  71. data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.c +175 -0
  72. data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.h +30 -0
  73. data/ext/isomorfeus_ferret_ext/brotli_enc_memory.c +170 -0
  74. data/ext/isomorfeus_ferret_ext/brotli_enc_memory.h +114 -0
  75. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.c +663 -0
  76. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.h +105 -0
  77. data/ext/isomorfeus_ferret_ext/brotli_enc_metablock_inc.h +183 -0
  78. data/ext/isomorfeus_ferret_ext/brotli_enc_params.h +46 -0
  79. data/ext/isomorfeus_ferret_ext/brotli_enc_prefix.h +53 -0
  80. data/ext/isomorfeus_ferret_ext/brotli_enc_quality.h +165 -0
  81. data/ext/isomorfeus_ferret_ext/brotli_enc_ringbuffer.h +167 -0
  82. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.c +486 -0
  83. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.h +40 -0
  84. data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict_lut.h +5864 -0
  85. data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.c +85 -0
  86. data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.h +32 -0
  87. data/ext/isomorfeus_ferret_ext/brotli_enc_write_bits.h +87 -0
  88. data/ext/isomorfeus_ferret_ext/brotli_encode.h +448 -0
  89. data/ext/isomorfeus_ferret_ext/brotli_port.h +288 -0
  90. data/ext/isomorfeus_ferret_ext/brotli_types.h +83 -0
  91. data/ext/isomorfeus_ferret_ext/frb_index.c +35 -4
  92. data/ext/isomorfeus_ferret_ext/frb_store.c +34 -5
  93. data/ext/isomorfeus_ferret_ext/frt_document.h +1 -0
  94. data/ext/isomorfeus_ferret_ext/frt_fs_store.c +1 -0
  95. data/ext/isomorfeus_ferret_ext/frt_index.c +174 -25
  96. data/ext/isomorfeus_ferret_ext/frt_index.h +6 -3
  97. data/ext/isomorfeus_ferret_ext/frt_posh.h +11 -19
  98. data/ext/isomorfeus_ferret_ext/frt_q_parser.c +1844 -1911
  99. data/ext/isomorfeus_ferret_ext/frt_q_phrase.c +12 -15
  100. data/ext/isomorfeus_ferret_ext/frt_ram_store.c +1 -0
  101. data/ext/isomorfeus_ferret_ext/frt_scanner.c +1 -0
  102. data/ext/isomorfeus_ferret_ext/frt_scanner_mb.c +1 -0
  103. data/ext/isomorfeus_ferret_ext/frt_scanner_utf8.c +1 -0
  104. data/ext/isomorfeus_ferret_ext/frt_search.h +1 -1
  105. data/ext/isomorfeus_ferret_ext/libstemmer.c +14 -11
  106. data/ext/isomorfeus_ferret_ext/libstemmer.h +4 -9
  107. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.c +1167 -0
  108. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.h +6 -0
  109. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.c +1433 -0
  110. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.h +6 -0
  111. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.c +120 -143
  112. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.h +1 -2
  113. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.c +217 -237
  114. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.h +1 -1
  115. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.c +377 -432
  116. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.h +1 -1
  117. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.c +298 -342
  118. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.h +1 -2
  119. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.c +530 -524
  120. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.h +1 -1
  121. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.c +201 -214
  122. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.h +1 -1
  123. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.c +1 -1
  124. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.c +394 -0
  125. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.h +6 -0
  126. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.c +457 -0
  127. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.h +6 -0
  128. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.c +396 -439
  129. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.h +1 -1
  130. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.c +104 -128
  131. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.h +1 -1
  132. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.c +242 -273
  133. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.h +1 -1
  134. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.c +406 -461
  135. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.h +1 -2
  136. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.c +405 -456
  137. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.h +1 -1
  138. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.c +108 -126
  139. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.h +1 -1
  140. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.c +849 -0
  141. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.h +6 -0
  142. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.c +373 -405
  143. data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.h +1 -1
  144. data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.c +288 -305
  145. data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.h +1 -1
  146. data/ext/isomorfeus_ferret_ext/stem_UTF_8_arabic.c +1651 -0
  147. data/ext/isomorfeus_ferret_ext/stem_UTF_8_arabic.h +6 -0
  148. data/ext/isomorfeus_ferret_ext/stem_UTF_8_armenian.c +546 -0
  149. data/ext/isomorfeus_ferret_ext/stem_UTF_8_armenian.h +6 -0
  150. data/ext/isomorfeus_ferret_ext/stem_UTF_8_basque.c +1171 -0
  151. data/ext/isomorfeus_ferret_ext/stem_UTF_8_basque.h +6 -0
  152. data/ext/isomorfeus_ferret_ext/stem_UTF_8_catalan.c +1436 -0
  153. data/ext/isomorfeus_ferret_ext/stem_UTF_8_catalan.h +6 -0
  154. data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.c +121 -141
  155. data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.h +1 -1
  156. data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.c +221 -241
  157. data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.h +1 -1
  158. data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.c +381 -431
  159. data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.h +1 -1
  160. data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.c +300 -345
  161. data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.h +1 -1
  162. data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.c +518 -511
  163. data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.h +1 -1
  164. data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.c +201 -209
  165. data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.h +1 -1
  166. data/ext/isomorfeus_ferret_ext/stem_UTF_8_greek.c +3660 -0
  167. data/ext/isomorfeus_ferret_ext/stem_UTF_8_greek.h +6 -0
  168. data/ext/isomorfeus_ferret_ext/stem_UTF_8_hindi.c +309 -0
  169. data/ext/isomorfeus_ferret_ext/stem_UTF_8_hindi.h +6 -0
  170. data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.c +306 -671
  171. data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.h +1 -1
  172. data/ext/isomorfeus_ferret_ext/stem_UTF_8_indonesian.c +394 -0
  173. data/ext/isomorfeus_ferret_ext/stem_UTF_8_indonesian.h +6 -0
  174. data/ext/isomorfeus_ferret_ext/stem_UTF_8_irish.c +457 -0
  175. data/ext/isomorfeus_ferret_ext/stem_UTF_8_irish.h +6 -0
  176. data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.c +400 -442
  177. data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.h +1 -1
  178. data/ext/isomorfeus_ferret_ext/stem_UTF_8_lithuanian.c +824 -0
  179. data/ext/isomorfeus_ferret_ext/stem_UTF_8_lithuanian.h +6 -0
  180. data/ext/isomorfeus_ferret_ext/stem_UTF_8_nepali.c +408 -0
  181. data/ext/isomorfeus_ferret_ext/stem_UTF_8_nepali.h +6 -0
  182. data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.c +105 -127
  183. data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.h +1 -1
  184. data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.c +245 -276
  185. data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.h +1 -1
  186. data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.c +409 -464
  187. data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.h +1 -1
  188. data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.c +376 -408
  189. data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.h +1 -1
  190. data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.c +272 -287
  191. data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.h +1 -1
  192. data/ext/isomorfeus_ferret_ext/stem_UTF_8_serbian.c +6530 -0
  193. data/ext/isomorfeus_ferret_ext/stem_UTF_8_serbian.h +6 -0
  194. data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.c +407 -458
  195. data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.h +1 -1
  196. data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.c +110 -125
  197. data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.h +1 -1
  198. data/ext/isomorfeus_ferret_ext/stem_UTF_8_tamil.c +1865 -0
  199. data/ext/isomorfeus_ferret_ext/stem_UTF_8_tamil.h +6 -0
  200. data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.c +698 -806
  201. data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.h +1 -1
  202. data/ext/isomorfeus_ferret_ext/stem_UTF_8_yiddish.c +1220 -0
  203. data/ext/isomorfeus_ferret_ext/stem_UTF_8_yiddish.h +6 -0
  204. data/ext/isomorfeus_ferret_ext/stem_api.c +1 -9
  205. data/ext/isomorfeus_ferret_ext/stem_api.h +1 -3
  206. data/ext/isomorfeus_ferret_ext/stem_header.h +30 -26
  207. data/ext/isomorfeus_ferret_ext/stem_modules.h +113 -26
  208. data/ext/isomorfeus_ferret_ext/stem_modules.txt +18 -5
  209. data/ext/isomorfeus_ferret_ext/stem_utilities.c +167 -132
  210. data/ext/isomorfeus_ferret_ext/test.c +7 -1
  211. data/ext/isomorfeus_ferret_ext/test_fields.c +57 -45
  212. data/ext/isomorfeus_ferret_ext/test_index.c +4 -1
  213. data/ext/isomorfeus_ferret_ext/test_search.c +0 -1
  214. data/lib/isomorfeus/ferret/version.rb +1 -1
  215. metadata +125 -5
  216. data/ext/isomorfeus_ferret_ext/q_parser.y +0 -1366
@@ -86,8 +86,7 @@ static bool pp_next_position(PhPos *self)
86
86
  if (self->count >= 0) { /* read subsequent pos's */
87
87
  self->position = tpe->next_position(tpe) - self->offset;
88
88
  return true;
89
- }
90
- else {
89
+ } else {
91
90
  return false;
92
91
  }
93
92
  }
@@ -104,11 +103,12 @@ static int pp_cmp(const void *const p1, const void *const p2)
104
103
  {
105
104
  int cmp = PP_pp(p1)->doc - PP_pp(p2)->doc;
106
105
  if (cmp == 0) {
107
- return PP_pp(p1)->position - PP_pp(p2)->position;
108
- }
109
- else {
110
- return cmp;
106
+ cmp = PP_pp(p1)->position - PP_pp(p2)->position;
107
+ if (cmp == 0) {
108
+ return PP_pp(p1)->offset - PP_pp(p2)->offset;
109
+ }
111
110
  }
111
+ return cmp;
112
112
  }
113
113
 
114
114
  static int pp_pos_cmp(const void *const p1, const void *const p2)
@@ -120,8 +120,7 @@ static bool pp_less_than(const PhPos *pp1, const PhPos *pp2)
120
120
  {
121
121
  if (pp1->position == pp2->position) {
122
122
  return pp1->offset < pp2->offset;
123
- }
124
- else {
123
+ } else {
125
124
  return pp1->position < pp2->position;
126
125
  }
127
126
  }
@@ -455,7 +454,7 @@ static float sphsc_phrase_freq(FrtScorer *self)
455
454
  res = pp_first_position(pp);
456
455
  assert(res);(void)res;
457
456
  if (check_repeats && (i > 0)) {
458
- if (!sphsc_check_repeats(pp, phsc->phrase_pos, i)) {
457
+ if (!sphsc_check_repeats(pp, phsc->phrase_pos, i - 1)) {
459
458
  goto return_freq;
460
459
  }
461
460
  }
@@ -464,9 +463,8 @@ static float sphsc_phrase_freq(FrtScorer *self)
464
463
  }
465
464
  frt_pq_push(pq, pp);
466
465
  }
467
- int pqsize = pq->size;
466
+
468
467
  do {
469
- pqsize--;
470
468
  pp = (PhPos *)frt_pq_pop(pq);
471
469
  pos = start = pp->position;
472
470
  next_pos = PP(frt_pq_top(pq))->position;
@@ -487,10 +485,9 @@ static float sphsc_phrase_freq(FrtScorer *self)
487
485
  last_pos = pp->position;
488
486
  }
489
487
  frt_pq_push(pq, pp); /* restore pq */
490
- if (pqsize == 0) { done = true; }
491
488
  } while (!done);
492
- return_freq:
493
489
 
490
+ return_freq:
494
491
  frt_pq_destroy(pq);
495
492
  return freq;
496
493
  }
@@ -545,12 +542,12 @@ static FrtScorer *phw_scorer(FrtWeight *self, FrtIndexReader *ir)
545
542
  const int t_cnt = frt_ary_size(terms);
546
543
  if (t_cnt == 1) {
547
544
  tps[i] = ir->term_positions(ir);
545
+ assert(NULL != tps[i]); /* neither frt_mtdpe_new nor ir->term_positions should return NULL */
548
546
  tps[i]->seek(tps[i], field_num, terms[0]);
549
547
  } else {
550
548
  tps[i] = frt_mtdpe_new(ir, field_num, terms, t_cnt);
549
+ assert(NULL != tps[i]); /* neither frt_mtdpe_new nor ir->term_positions should return NULL */
551
550
  }
552
- /* neither frt_mtdpe_new nor ir->term_positions should return NULL */
553
- assert(NULL != tps[i]);
554
551
  }
555
552
 
556
553
  if (phq->slop == 0) { /* optimize exact (common) case */
@@ -179,6 +179,7 @@ static off_t ram_length(FrtStore *store, const char *filename)
179
179
 
180
180
  static void ramo_flush_i(FrtOutStream *os, const frt_uchar *src, int len)
181
181
  {
182
+ if (len == 0) { return; }
182
183
  frt_uchar *buffer;
183
184
  FrtRAMFile *rf = os->file.rf;
184
185
  int buffer_number, buffer_offset, bytes_in_buffer, bytes_to_copy;
@@ -896,4 +896,5 @@ _again:
896
896
 
897
897
  out[*token_size] = 0;
898
898
  }
899
+ (void)stack;
899
900
  }
@@ -6702,4 +6702,5 @@ _again:
6702
6702
  wc_to_mb(out_mb, out_mb_size, token_size, out_wc, sizeof(out_wc));
6703
6703
  out_mb[*token_size] = 0;
6704
6704
  }
6705
+ (void)stack;
6705
6706
  }
@@ -4416,4 +4416,5 @@ _again:
4416
4416
 
4417
4417
  out[*token_size] = 0;
4418
4418
  }
4419
+ (void)stack;
4419
4420
  }
@@ -909,7 +909,7 @@ typedef struct FrtQueryParser
909
909
  bool use_keywords : 1;
910
910
  bool use_typed_range_query : 1;
911
911
  } FrtQueryParser;
912
- typedef FrtQueryParser FrtQParser; /* QParser is an alias for QueryParser */
912
+ typedef FrtQueryParser FrtQParser; /* FrtQParser is an alias for FrtQueryParser */
913
913
 
914
914
  extern FrtQParser *frt_qp_new(FrtAnalyzer *analyzer);
915
915
  extern void frt_qp_add_field(FrtQParser *self, FrtSymbol field,
@@ -22,10 +22,10 @@ sb_stemmer_list(void)
22
22
  static stemmer_encoding_t
23
23
  sb_getenc(const char * charenc)
24
24
  {
25
- struct stemmer_encoding * encoding;
25
+ const struct stemmer_encoding * encoding;
26
26
  if (charenc == NULL) return ENC_UTF_8;
27
27
  for (encoding = encodings; encoding->name != 0; encoding++) {
28
- if (strcmp(encoding->name, charenc) == 0) break;
28
+ if (strcmp(encoding->name, charenc) == 0) break;
29
29
  }
30
30
  if (encoding->name == NULL) return ENC_UNKNOWN;
31
31
  return encoding->enc;
@@ -35,18 +35,20 @@ extern struct sb_stemmer *
35
35
  sb_stemmer_new(const char * algorithm, const char * charenc)
36
36
  {
37
37
  stemmer_encoding_t enc;
38
- struct stemmer_modules * module;
39
- struct sb_stemmer * stemmer =
40
- (struct sb_stemmer *) malloc(sizeof(struct sb_stemmer));
41
- if (stemmer == NULL) return NULL;
38
+ const struct stemmer_modules * module;
39
+ struct sb_stemmer * stemmer;
40
+
42
41
  enc = sb_getenc(charenc);
43
42
  if (enc == ENC_UNKNOWN) return NULL;
44
43
 
45
44
  for (module = modules; module->name != 0; module++) {
46
- if (strcmp(module->name, algorithm) == 0 && module->enc == enc) break;
45
+ if (strcmp(module->name, algorithm) == 0 && module->enc == enc) break;
47
46
  }
48
47
  if (module->name == NULL) return NULL;
49
-
48
+
49
+ stemmer = (struct sb_stemmer *) malloc(sizeof(struct sb_stemmer));
50
+ if (stemmer == NULL) return NULL;
51
+
50
52
  stemmer->create = module->create;
51
53
  stemmer->close = module->close;
52
54
  stemmer->stem = module->stem;
@@ -65,9 +67,10 @@ void
65
67
  sb_stemmer_delete(struct sb_stemmer * stemmer)
66
68
  {
67
69
  if (stemmer == 0) return;
68
- if (stemmer->close == 0) return;
69
- stemmer->close(stemmer->env);
70
- stemmer->close = 0;
70
+ if (stemmer->close) {
71
+ stemmer->close(stemmer->env);
72
+ stemmer->close = 0;
73
+ }
71
74
  free(stemmer);
72
75
  }
73
76
 
@@ -26,9 +26,9 @@ const char ** sb_stemmer_list(void);
26
26
  *
27
27
  * @param charenc The character encoding. NULL may be passed as
28
28
  * this value, in which case UTF-8 encoding will be assumed. Otherwise,
29
- * the argument may be one of "UTF_8", "ISO_8859_1" (ie, Latin 1),
30
- * "CP850" (ie, MS-DOS Latin 1) or "KOI8_R" (Russian). Note that
31
- * case is significant in this parameter.
29
+ * the argument may be one of "UTF_8", "ISO_8859_1" (i.e. Latin 1),
30
+ * "ISO_8859_2" (i.e. Latin 2) or "KOI8_R" (Russian). Note that case is
31
+ * significant in this parameter.
32
32
  *
33
33
  * @return NULL if the specified algorithm is not recognised, or the
34
34
  * algorithm is not available for the requested encoding. Otherwise,
@@ -60,14 +60,9 @@ void sb_stemmer_delete(struct sb_stemmer * stemmer);
60
60
  * If an out-of-memory error occurs, this will return NULL.
61
61
  */
62
62
  const sb_symbol * sb_stemmer_stem(struct sb_stemmer * stemmer,
63
- const sb_symbol * word, int size);
63
+ const sb_symbol * word, int size);
64
64
 
65
65
  /** Get the length of the result of the last stemmed word.
66
66
  * This should not be called before sb_stemmer_stem() has been called.
67
67
  */
68
68
  int sb_stemmer_length(struct sb_stemmer * stemmer);
69
-
70
- #ifdef __cplusplus
71
- }
72
- #endif
73
-