isomorfeus-ferret 0.12.4 → 0.12.7
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/LICENSE +612 -612
- data/README.md +77 -48
- data/ext/isomorfeus_ferret_ext/bm_hash.c +9 -6
- data/ext/isomorfeus_ferret_ext/bm_micro_string.c +4 -2
- data/ext/isomorfeus_ferret_ext/brotli_common_constants.c +15 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_constants.h +200 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_context.c +156 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_context.h +113 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.c +5914 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_dictionary.h +64 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_platform.c +22 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_platform.h +594 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_transform.c +291 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_transform.h +85 -0
- data/ext/isomorfeus_ferret_ext/brotli_common_version.h +26 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.c +76 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_bit_reader.h +351 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_decode.c +2608 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.c +339 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_huffman.h +121 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_prefix.h +732 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_state.c +159 -0
- data/ext/isomorfeus_ferret_ext/brotli_dec_state.h +365 -0
- data/ext/isomorfeus_ferret_ext/brotli_decode.h +344 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.c +145 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references.h +39 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.c +843 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_hq.h +95 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_backward_references_inc.h +163 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.c +35 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost.h +63 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_bit_cost_inc.h +127 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_block_encoder_inc.h +34 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.c +194 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter.h +51 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_block_splitter_inc.h +440 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.c +1314 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_brotli_bit_stream.h +84 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.c +56 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_cluster.h +48 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_cluster_inc.h +320 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_command.c +28 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_command.h +190 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.c +790 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment.h +61 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.c +645 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_compress_fragment_two_pass.h +54 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.c +1846 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_dictionary_hash.h +25 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_encode.c +1927 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.c +33 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_encoder_dict.h +43 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.c +503 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode.h +122 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_entropy_encode_static.h +539 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.c +105 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_fast_log.h +66 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_find_match_length.h +79 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash.h +488 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_composite_inc.h +125 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_forgetful_chain_inc.h +293 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match64_inc.h +267 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_inc.h +262 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_longest_match_quickly_inc.h +266 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_rolling_inc.h +212 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_hash_to_binary_tree_inc.h +329 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.c +100 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_histogram.h +63 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_histogram_inc.h +51 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.c +175 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_literal_cost.h +30 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_memory.c +170 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_memory.h +114 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.c +663 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_metablock.h +105 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_metablock_inc.h +183 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_params.h +46 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_prefix.h +53 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_quality.h +165 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_ringbuffer.h +167 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.c +486 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict.h +40 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_static_dict_lut.h +5864 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.c +85 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_utf8_util.h +32 -0
- data/ext/isomorfeus_ferret_ext/brotli_enc_write_bits.h +87 -0
- data/ext/isomorfeus_ferret_ext/brotli_encode.h +448 -0
- data/ext/isomorfeus_ferret_ext/brotli_port.h +288 -0
- data/ext/isomorfeus_ferret_ext/brotli_types.h +83 -0
- data/ext/isomorfeus_ferret_ext/frb_index.c +35 -4
- data/ext/isomorfeus_ferret_ext/frb_store.c +34 -5
- data/ext/isomorfeus_ferret_ext/frt_document.h +1 -0
- data/ext/isomorfeus_ferret_ext/frt_fs_store.c +1 -0
- data/ext/isomorfeus_ferret_ext/frt_index.c +174 -25
- data/ext/isomorfeus_ferret_ext/frt_index.h +6 -3
- data/ext/isomorfeus_ferret_ext/frt_posh.h +11 -19
- data/ext/isomorfeus_ferret_ext/frt_q_parser.c +1844 -1911
- data/ext/isomorfeus_ferret_ext/frt_q_phrase.c +12 -15
- data/ext/isomorfeus_ferret_ext/frt_ram_store.c +1 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner.c +1 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner_mb.c +1 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner_utf8.c +1 -0
- data/ext/isomorfeus_ferret_ext/frt_search.h +1 -1
- data/ext/isomorfeus_ferret_ext/libstemmer.c +14 -11
- data/ext/isomorfeus_ferret_ext/libstemmer.h +4 -9
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.c +1167 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_basque.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.c +1433 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_catalan.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.c +120 -143
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.h +1 -2
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.c +217 -237
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.c +377 -432
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.c +298 -342
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.h +1 -2
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.c +530 -524
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.c +201 -214
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.c +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.c +394 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_indonesian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.c +457 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_irish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.c +396 -439
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.c +104 -128
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.c +242 -273
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.c +406 -461
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.h +1 -2
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.c +405 -456
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.c +108 -126
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.c +849 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_hungarian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.c +373 -405
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.c +288 -305
- data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_arabic.c +1651 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_arabic.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_armenian.c +546 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_armenian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_basque.c +1171 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_basque.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_catalan.c +1436 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_catalan.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.c +121 -141
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.c +221 -241
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.c +381 -431
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.c +300 -345
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.c +518 -511
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.c +201 -209
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_greek.c +3660 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_greek.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hindi.c +309 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hindi.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.c +306 -671
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_indonesian.c +394 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_indonesian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_irish.c +457 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_irish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.c +400 -442
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_lithuanian.c +824 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_lithuanian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_nepali.c +408 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_nepali.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.c +105 -127
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.c +245 -276
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.c +409 -464
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.c +376 -408
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.c +272 -287
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_serbian.c +6530 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_serbian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.c +407 -458
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.c +110 -125
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_tamil.c +1865 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_tamil.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.c +698 -806
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.h +1 -1
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_yiddish.c +1220 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_yiddish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_api.c +1 -9
- data/ext/isomorfeus_ferret_ext/stem_api.h +1 -3
- data/ext/isomorfeus_ferret_ext/stem_header.h +30 -26
- data/ext/isomorfeus_ferret_ext/stem_modules.h +113 -26
- data/ext/isomorfeus_ferret_ext/stem_modules.txt +18 -5
- data/ext/isomorfeus_ferret_ext/stem_utilities.c +167 -132
- data/ext/isomorfeus_ferret_ext/test.c +7 -1
- data/ext/isomorfeus_ferret_ext/test_fields.c +57 -45
- data/ext/isomorfeus_ferret_ext/test_index.c +4 -1
- data/ext/isomorfeus_ferret_ext/test_search.c +0 -1
- data/lib/isomorfeus/ferret/version.rb +1 -1
- metadata +125 -5
- data/ext/isomorfeus_ferret_ext/q_parser.y +0 -1366
@@ -86,8 +86,7 @@ static bool pp_next_position(PhPos *self)
|
|
86
86
|
if (self->count >= 0) { /* read subsequent pos's */
|
87
87
|
self->position = tpe->next_position(tpe) - self->offset;
|
88
88
|
return true;
|
89
|
-
}
|
90
|
-
else {
|
89
|
+
} else {
|
91
90
|
return false;
|
92
91
|
}
|
93
92
|
}
|
@@ -104,11 +103,12 @@ static int pp_cmp(const void *const p1, const void *const p2)
|
|
104
103
|
{
|
105
104
|
int cmp = PP_pp(p1)->doc - PP_pp(p2)->doc;
|
106
105
|
if (cmp == 0) {
|
107
|
-
|
108
|
-
|
109
|
-
|
110
|
-
|
106
|
+
cmp = PP_pp(p1)->position - PP_pp(p2)->position;
|
107
|
+
if (cmp == 0) {
|
108
|
+
return PP_pp(p1)->offset - PP_pp(p2)->offset;
|
109
|
+
}
|
111
110
|
}
|
111
|
+
return cmp;
|
112
112
|
}
|
113
113
|
|
114
114
|
static int pp_pos_cmp(const void *const p1, const void *const p2)
|
@@ -120,8 +120,7 @@ static bool pp_less_than(const PhPos *pp1, const PhPos *pp2)
|
|
120
120
|
{
|
121
121
|
if (pp1->position == pp2->position) {
|
122
122
|
return pp1->offset < pp2->offset;
|
123
|
-
}
|
124
|
-
else {
|
123
|
+
} else {
|
125
124
|
return pp1->position < pp2->position;
|
126
125
|
}
|
127
126
|
}
|
@@ -455,7 +454,7 @@ static float sphsc_phrase_freq(FrtScorer *self)
|
|
455
454
|
res = pp_first_position(pp);
|
456
455
|
assert(res);(void)res;
|
457
456
|
if (check_repeats && (i > 0)) {
|
458
|
-
if (!sphsc_check_repeats(pp, phsc->phrase_pos, i)) {
|
457
|
+
if (!sphsc_check_repeats(pp, phsc->phrase_pos, i - 1)) {
|
459
458
|
goto return_freq;
|
460
459
|
}
|
461
460
|
}
|
@@ -464,9 +463,8 @@ static float sphsc_phrase_freq(FrtScorer *self)
|
|
464
463
|
}
|
465
464
|
frt_pq_push(pq, pp);
|
466
465
|
}
|
467
|
-
|
466
|
+
|
468
467
|
do {
|
469
|
-
pqsize--;
|
470
468
|
pp = (PhPos *)frt_pq_pop(pq);
|
471
469
|
pos = start = pp->position;
|
472
470
|
next_pos = PP(frt_pq_top(pq))->position;
|
@@ -487,10 +485,9 @@ static float sphsc_phrase_freq(FrtScorer *self)
|
|
487
485
|
last_pos = pp->position;
|
488
486
|
}
|
489
487
|
frt_pq_push(pq, pp); /* restore pq */
|
490
|
-
if (pqsize == 0) { done = true; }
|
491
488
|
} while (!done);
|
492
|
-
return_freq:
|
493
489
|
|
490
|
+
return_freq:
|
494
491
|
frt_pq_destroy(pq);
|
495
492
|
return freq;
|
496
493
|
}
|
@@ -545,12 +542,12 @@ static FrtScorer *phw_scorer(FrtWeight *self, FrtIndexReader *ir)
|
|
545
542
|
const int t_cnt = frt_ary_size(terms);
|
546
543
|
if (t_cnt == 1) {
|
547
544
|
tps[i] = ir->term_positions(ir);
|
545
|
+
assert(NULL != tps[i]); /* neither frt_mtdpe_new nor ir->term_positions should return NULL */
|
548
546
|
tps[i]->seek(tps[i], field_num, terms[0]);
|
549
547
|
} else {
|
550
548
|
tps[i] = frt_mtdpe_new(ir, field_num, terms, t_cnt);
|
549
|
+
assert(NULL != tps[i]); /* neither frt_mtdpe_new nor ir->term_positions should return NULL */
|
551
550
|
}
|
552
|
-
/* neither frt_mtdpe_new nor ir->term_positions should return NULL */
|
553
|
-
assert(NULL != tps[i]);
|
554
551
|
}
|
555
552
|
|
556
553
|
if (phq->slop == 0) { /* optimize exact (common) case */
|
@@ -179,6 +179,7 @@ static off_t ram_length(FrtStore *store, const char *filename)
|
|
179
179
|
|
180
180
|
static void ramo_flush_i(FrtOutStream *os, const frt_uchar *src, int len)
|
181
181
|
{
|
182
|
+
if (len == 0) { return; }
|
182
183
|
frt_uchar *buffer;
|
183
184
|
FrtRAMFile *rf = os->file.rf;
|
184
185
|
int buffer_number, buffer_offset, bytes_in_buffer, bytes_to_copy;
|
@@ -909,7 +909,7 @@ typedef struct FrtQueryParser
|
|
909
909
|
bool use_keywords : 1;
|
910
910
|
bool use_typed_range_query : 1;
|
911
911
|
} FrtQueryParser;
|
912
|
-
typedef FrtQueryParser FrtQParser; /*
|
912
|
+
typedef FrtQueryParser FrtQParser; /* FrtQParser is an alias for FrtQueryParser */
|
913
913
|
|
914
914
|
extern FrtQParser *frt_qp_new(FrtAnalyzer *analyzer);
|
915
915
|
extern void frt_qp_add_field(FrtQParser *self, FrtSymbol field,
|
@@ -22,10 +22,10 @@ sb_stemmer_list(void)
|
|
22
22
|
static stemmer_encoding_t
|
23
23
|
sb_getenc(const char * charenc)
|
24
24
|
{
|
25
|
-
struct stemmer_encoding * encoding;
|
25
|
+
const struct stemmer_encoding * encoding;
|
26
26
|
if (charenc == NULL) return ENC_UTF_8;
|
27
27
|
for (encoding = encodings; encoding->name != 0; encoding++) {
|
28
|
-
|
28
|
+
if (strcmp(encoding->name, charenc) == 0) break;
|
29
29
|
}
|
30
30
|
if (encoding->name == NULL) return ENC_UNKNOWN;
|
31
31
|
return encoding->enc;
|
@@ -35,18 +35,20 @@ extern struct sb_stemmer *
|
|
35
35
|
sb_stemmer_new(const char * algorithm, const char * charenc)
|
36
36
|
{
|
37
37
|
stemmer_encoding_t enc;
|
38
|
-
struct stemmer_modules * module;
|
39
|
-
struct sb_stemmer * stemmer
|
40
|
-
|
41
|
-
if (stemmer == NULL) return NULL;
|
38
|
+
const struct stemmer_modules * module;
|
39
|
+
struct sb_stemmer * stemmer;
|
40
|
+
|
42
41
|
enc = sb_getenc(charenc);
|
43
42
|
if (enc == ENC_UNKNOWN) return NULL;
|
44
43
|
|
45
44
|
for (module = modules; module->name != 0; module++) {
|
46
|
-
|
45
|
+
if (strcmp(module->name, algorithm) == 0 && module->enc == enc) break;
|
47
46
|
}
|
48
47
|
if (module->name == NULL) return NULL;
|
49
|
-
|
48
|
+
|
49
|
+
stemmer = (struct sb_stemmer *) malloc(sizeof(struct sb_stemmer));
|
50
|
+
if (stemmer == NULL) return NULL;
|
51
|
+
|
50
52
|
stemmer->create = module->create;
|
51
53
|
stemmer->close = module->close;
|
52
54
|
stemmer->stem = module->stem;
|
@@ -65,9 +67,10 @@ void
|
|
65
67
|
sb_stemmer_delete(struct sb_stemmer * stemmer)
|
66
68
|
{
|
67
69
|
if (stemmer == 0) return;
|
68
|
-
if (stemmer->close
|
69
|
-
|
70
|
-
|
70
|
+
if (stemmer->close) {
|
71
|
+
stemmer->close(stemmer->env);
|
72
|
+
stemmer->close = 0;
|
73
|
+
}
|
71
74
|
free(stemmer);
|
72
75
|
}
|
73
76
|
|
@@ -26,9 +26,9 @@ const char ** sb_stemmer_list(void);
|
|
26
26
|
*
|
27
27
|
* @param charenc The character encoding. NULL may be passed as
|
28
28
|
* this value, in which case UTF-8 encoding will be assumed. Otherwise,
|
29
|
-
* the argument may be one of "UTF_8", "ISO_8859_1" (
|
30
|
-
* "
|
31
|
-
*
|
29
|
+
* the argument may be one of "UTF_8", "ISO_8859_1" (i.e. Latin 1),
|
30
|
+
* "ISO_8859_2" (i.e. Latin 2) or "KOI8_R" (Russian). Note that case is
|
31
|
+
* significant in this parameter.
|
32
32
|
*
|
33
33
|
* @return NULL if the specified algorithm is not recognised, or the
|
34
34
|
* algorithm is not available for the requested encoding. Otherwise,
|
@@ -60,14 +60,9 @@ void sb_stemmer_delete(struct sb_stemmer * stemmer);
|
|
60
60
|
* If an out-of-memory error occurs, this will return NULL.
|
61
61
|
*/
|
62
62
|
const sb_symbol * sb_stemmer_stem(struct sb_stemmer * stemmer,
|
63
|
-
|
63
|
+
const sb_symbol * word, int size);
|
64
64
|
|
65
65
|
/** Get the length of the result of the last stemmed word.
|
66
66
|
* This should not be called before sb_stemmer_stem() has been called.
|
67
67
|
*/
|
68
68
|
int sb_stemmer_length(struct sb_stemmer * stemmer);
|
69
|
-
|
70
|
-
#ifdef __cplusplus
|
71
|
-
}
|
72
|
-
#endif
|
73
|
-
|