ferret 0.9.6 → 0.10.0
Sign up to get free protection for your applications and to get access to all the features.
- data/MIT-LICENSE +1 -1
- data/README +12 -24
- data/Rakefile +38 -54
- data/TODO +14 -17
- data/ext/analysis.c +982 -823
- data/ext/analysis.h +133 -76
- data/ext/array.c +96 -58
- data/ext/array.h +40 -13
- data/ext/bitvector.c +476 -118
- data/ext/bitvector.h +264 -22
- data/ext/compound_io.c +217 -229
- data/ext/defines.h +49 -0
- data/ext/document.c +107 -317
- data/ext/document.h +31 -65
- data/ext/except.c +81 -36
- data/ext/except.h +117 -55
- data/ext/extconf.rb +2 -9
- data/ext/ferret.c +211 -104
- data/ext/ferret.h +22 -11
- data/ext/filter.c +97 -82
- data/ext/fs_store.c +348 -367
- data/ext/global.c +226 -188
- data/ext/global.h +44 -26
- data/ext/hash.c +474 -391
- data/ext/hash.h +441 -68
- data/ext/hashset.c +124 -96
- data/ext/hashset.h +169 -20
- data/ext/helper.c +56 -5
- data/ext/helper.h +7 -0
- data/ext/inc/lang.h +29 -49
- data/ext/inc/threading.h +31 -0
- data/ext/ind.c +288 -278
- data/ext/ind.h +68 -0
- data/ext/index.c +5688 -0
- data/ext/index.h +663 -616
- data/ext/lang.h +29 -49
- data/ext/libstemmer.c +3 -3
- data/ext/mem_pool.c +84 -0
- data/ext/mem_pool.h +35 -0
- data/ext/posh.c +1006 -0
- data/ext/posh.h +1007 -0
- data/ext/priorityqueue.c +117 -194
- data/ext/priorityqueue.h +135 -39
- data/ext/q_boolean.c +1305 -1108
- data/ext/q_const_score.c +106 -93
- data/ext/q_filtered_query.c +138 -135
- data/ext/q_fuzzy.c +206 -242
- data/ext/q_match_all.c +94 -80
- data/ext/q_multi_term.c +663 -0
- data/ext/q_parser.c +667 -593
- data/ext/q_phrase.c +992 -555
- data/ext/q_prefix.c +72 -61
- data/ext/q_range.c +235 -210
- data/ext/q_span.c +1480 -1166
- data/ext/q_term.c +273 -246
- data/ext/q_wildcard.c +127 -114
- data/ext/r_analysis.c +1720 -711
- data/ext/r_index.c +3049 -0
- data/ext/r_qparser.c +433 -146
- data/ext/r_search.c +2934 -1993
- data/ext/r_store.c +372 -143
- data/ext/r_utils.c +941 -0
- data/ext/ram_store.c +330 -326
- data/ext/search.c +1291 -668
- data/ext/search.h +403 -702
- data/ext/similarity.c +91 -113
- data/ext/similarity.h +45 -30
- data/ext/sort.c +721 -484
- data/ext/stopwords.c +361 -273
- data/ext/store.c +556 -58
- data/ext/store.h +706 -126
- data/ext/tags +3578 -2780
- data/ext/term_vectors.c +352 -0
- data/ext/threading.h +31 -0
- data/ext/win32.h +54 -0
- data/lib/ferret.rb +5 -17
- data/lib/ferret/document.rb +130 -2
- data/lib/ferret/index.rb +577 -26
- data/lib/ferret/number_tools.rb +157 -0
- data/lib/ferret_version.rb +3 -0
- data/test/test_helper.rb +5 -13
- data/test/unit/analysis/tc_analyzer.rb +513 -1
- data/test/unit/analysis/{ctc_tokenstream.rb → tc_token_stream.rb} +23 -0
- data/test/unit/index/tc_index.rb +183 -240
- data/test/unit/index/tc_index_reader.rb +312 -479
- data/test/unit/index/tc_index_writer.rb +397 -13
- data/test/unit/index/th_doc.rb +269 -206
- data/test/unit/query_parser/tc_query_parser.rb +40 -33
- data/test/unit/search/tc_filter.rb +59 -71
- data/test/unit/search/tc_fuzzy_query.rb +24 -16
- data/test/unit/search/tc_index_searcher.rb +23 -201
- data/test/unit/search/tc_multi_searcher.rb +78 -226
- data/test/unit/search/tc_search_and_sort.rb +93 -81
- data/test/unit/search/tc_sort.rb +23 -23
- data/test/unit/search/tc_sort_field.rb +7 -7
- data/test/unit/search/tc_spans.rb +51 -47
- data/test/unit/search/tm_searcher.rb +339 -0
- data/test/unit/store/tc_fs_store.rb +1 -1
- data/test/unit/store/tm_store_lock.rb +3 -3
- data/test/unit/tc_document.rb +81 -0
- data/test/unit/ts_analysis.rb +1 -1
- data/test/unit/ts_utils.rb +1 -1
- data/test/unit/utils/tc_bit_vector.rb +288 -0
- data/test/unit/utils/tc_number_tools.rb +117 -0
- data/test/unit/utils/tc_priority_queue.rb +106 -0
- metadata +140 -301
- data/CHANGELOG +0 -9
- data/ext/dummy.exe +0 -0
- data/ext/field.c +0 -408
- data/ext/frtio.h +0 -13
- data/ext/inc/except.h +0 -90
- data/ext/index_io.c +0 -382
- data/ext/index_rw.c +0 -2658
- data/ext/lang.c +0 -41
- data/ext/nix_io.c +0 -134
- data/ext/q_multi_phrase.c +0 -380
- data/ext/r_doc.c +0 -582
- data/ext/r_index_io.c +0 -1021
- data/ext/r_term.c +0 -219
- data/ext/term.c +0 -820
- data/ext/termdocs.c +0 -611
- data/ext/vector.c +0 -637
- data/ext/w32_io.c +0 -150
- data/lib/ferret/analysis.rb +0 -11
- data/lib/ferret/analysis/analyzers.rb +0 -112
- data/lib/ferret/analysis/standard_tokenizer.rb +0 -71
- data/lib/ferret/analysis/token.rb +0 -100
- data/lib/ferret/analysis/token_filters.rb +0 -86
- data/lib/ferret/analysis/token_stream.rb +0 -26
- data/lib/ferret/analysis/tokenizers.rb +0 -112
- data/lib/ferret/analysis/word_list_loader.rb +0 -27
- data/lib/ferret/document/document.rb +0 -152
- data/lib/ferret/document/field.rb +0 -312
- data/lib/ferret/index/compound_file_io.rb +0 -338
- data/lib/ferret/index/document_writer.rb +0 -289
- data/lib/ferret/index/field_infos.rb +0 -279
- data/lib/ferret/index/fields_io.rb +0 -181
- data/lib/ferret/index/index.rb +0 -675
- data/lib/ferret/index/index_file_names.rb +0 -33
- data/lib/ferret/index/index_reader.rb +0 -503
- data/lib/ferret/index/index_writer.rb +0 -534
- data/lib/ferret/index/multi_reader.rb +0 -377
- data/lib/ferret/index/multiple_term_doc_pos_enum.rb +0 -98
- data/lib/ferret/index/segment_infos.rb +0 -130
- data/lib/ferret/index/segment_merge_info.rb +0 -49
- data/lib/ferret/index/segment_merge_queue.rb +0 -16
- data/lib/ferret/index/segment_merger.rb +0 -358
- data/lib/ferret/index/segment_reader.rb +0 -412
- data/lib/ferret/index/segment_term_enum.rb +0 -169
- data/lib/ferret/index/segment_term_vector.rb +0 -58
- data/lib/ferret/index/term.rb +0 -53
- data/lib/ferret/index/term_buffer.rb +0 -83
- data/lib/ferret/index/term_doc_enum.rb +0 -291
- data/lib/ferret/index/term_enum.rb +0 -52
- data/lib/ferret/index/term_info.rb +0 -37
- data/lib/ferret/index/term_infos_io.rb +0 -321
- data/lib/ferret/index/term_vector_offset_info.rb +0 -20
- data/lib/ferret/index/term_vectors_io.rb +0 -553
- data/lib/ferret/query_parser.rb +0 -312
- data/lib/ferret/query_parser/query_parser.tab.rb +0 -928
- data/lib/ferret/search.rb +0 -50
- data/lib/ferret/search/boolean_clause.rb +0 -100
- data/lib/ferret/search/boolean_query.rb +0 -299
- data/lib/ferret/search/boolean_scorer.rb +0 -294
- data/lib/ferret/search/caching_wrapper_filter.rb +0 -40
- data/lib/ferret/search/conjunction_scorer.rb +0 -99
- data/lib/ferret/search/disjunction_sum_scorer.rb +0 -205
- data/lib/ferret/search/exact_phrase_scorer.rb +0 -32
- data/lib/ferret/search/explanation.rb +0 -41
- data/lib/ferret/search/field_cache.rb +0 -215
- data/lib/ferret/search/field_doc.rb +0 -31
- data/lib/ferret/search/field_sorted_hit_queue.rb +0 -184
- data/lib/ferret/search/filter.rb +0 -11
- data/lib/ferret/search/filtered_query.rb +0 -130
- data/lib/ferret/search/filtered_term_enum.rb +0 -79
- data/lib/ferret/search/fuzzy_query.rb +0 -154
- data/lib/ferret/search/fuzzy_term_enum.rb +0 -247
- data/lib/ferret/search/hit_collector.rb +0 -34
- data/lib/ferret/search/hit_queue.rb +0 -11
- data/lib/ferret/search/index_searcher.rb +0 -200
- data/lib/ferret/search/match_all_query.rb +0 -104
- data/lib/ferret/search/multi_phrase_query.rb +0 -216
- data/lib/ferret/search/multi_searcher.rb +0 -261
- data/lib/ferret/search/multi_term_query.rb +0 -65
- data/lib/ferret/search/non_matching_scorer.rb +0 -22
- data/lib/ferret/search/phrase_positions.rb +0 -55
- data/lib/ferret/search/phrase_query.rb +0 -214
- data/lib/ferret/search/phrase_scorer.rb +0 -152
- data/lib/ferret/search/prefix_query.rb +0 -54
- data/lib/ferret/search/query.rb +0 -140
- data/lib/ferret/search/query_filter.rb +0 -51
- data/lib/ferret/search/range_filter.rb +0 -103
- data/lib/ferret/search/range_query.rb +0 -139
- data/lib/ferret/search/req_excl_scorer.rb +0 -125
- data/lib/ferret/search/req_opt_sum_scorer.rb +0 -70
- data/lib/ferret/search/score_doc.rb +0 -38
- data/lib/ferret/search/score_doc_comparator.rb +0 -114
- data/lib/ferret/search/scorer.rb +0 -91
- data/lib/ferret/search/similarity.rb +0 -278
- data/lib/ferret/search/sloppy_phrase_scorer.rb +0 -47
- data/lib/ferret/search/sort.rb +0 -112
- data/lib/ferret/search/sort_comparator.rb +0 -60
- data/lib/ferret/search/sort_field.rb +0 -91
- data/lib/ferret/search/spans.rb +0 -12
- data/lib/ferret/search/spans/near_spans_enum.rb +0 -304
- data/lib/ferret/search/spans/span_first_query.rb +0 -79
- data/lib/ferret/search/spans/span_near_query.rb +0 -108
- data/lib/ferret/search/spans/span_not_query.rb +0 -130
- data/lib/ferret/search/spans/span_or_query.rb +0 -176
- data/lib/ferret/search/spans/span_query.rb +0 -25
- data/lib/ferret/search/spans/span_scorer.rb +0 -74
- data/lib/ferret/search/spans/span_term_query.rb +0 -105
- data/lib/ferret/search/spans/span_weight.rb +0 -84
- data/lib/ferret/search/spans/spans_enum.rb +0 -44
- data/lib/ferret/search/term_query.rb +0 -128
- data/lib/ferret/search/term_scorer.rb +0 -183
- data/lib/ferret/search/top_docs.rb +0 -36
- data/lib/ferret/search/top_field_docs.rb +0 -17
- data/lib/ferret/search/weight.rb +0 -54
- data/lib/ferret/search/wildcard_query.rb +0 -26
- data/lib/ferret/search/wildcard_term_enum.rb +0 -61
- data/lib/ferret/stemmers.rb +0 -1
- data/lib/ferret/stemmers/porter_stemmer.rb +0 -218
- data/lib/ferret/store.rb +0 -5
- data/lib/ferret/store/buffered_index_io.rb +0 -190
- data/lib/ferret/store/directory.rb +0 -141
- data/lib/ferret/store/fs_store.rb +0 -381
- data/lib/ferret/store/index_io.rb +0 -245
- data/lib/ferret/store/ram_store.rb +0 -286
- data/lib/ferret/utils.rb +0 -8
- data/lib/ferret/utils/bit_vector.rb +0 -123
- data/lib/ferret/utils/date_tools.rb +0 -138
- data/lib/ferret/utils/number_tools.rb +0 -91
- data/lib/ferret/utils/parameter.rb +0 -41
- data/lib/ferret/utils/priority_queue.rb +0 -120
- data/lib/ferret/utils/string_helper.rb +0 -47
- data/lib/ferret/utils/thread_local.rb +0 -28
- data/lib/ferret/utils/weak_key_hash.rb +0 -60
- data/lib/rferret.rb +0 -37
- data/rake_utils/code_statistics.rb +0 -106
- data/test/benchmark/tb_ram_store.rb +0 -76
- data/test/benchmark/tb_rw_vint.rb +0 -26
- data/test/functional/thread_safety_index_test.rb +0 -81
- data/test/functional/thread_safety_test.rb +0 -137
- data/test/longrunning/tc_numbertools.rb +0 -60
- data/test/longrunning/tm_store.rb +0 -19
- data/test/unit/analysis/ctc_analyzer.rb +0 -532
- data/test/unit/analysis/data/wordfile +0 -6
- data/test/unit/analysis/rtc_letter_tokenizer.rb +0 -20
- data/test/unit/analysis/rtc_lower_case_filter.rb +0 -20
- data/test/unit/analysis/rtc_lower_case_tokenizer.rb +0 -27
- data/test/unit/analysis/rtc_per_field_analyzer_wrapper.rb +0 -39
- data/test/unit/analysis/rtc_porter_stem_filter.rb +0 -16
- data/test/unit/analysis/rtc_standard_analyzer.rb +0 -20
- data/test/unit/analysis/rtc_standard_tokenizer.rb +0 -20
- data/test/unit/analysis/rtc_stop_analyzer.rb +0 -20
- data/test/unit/analysis/rtc_stop_filter.rb +0 -14
- data/test/unit/analysis/rtc_white_space_analyzer.rb +0 -21
- data/test/unit/analysis/rtc_white_space_tokenizer.rb +0 -20
- data/test/unit/analysis/rtc_word_list_loader.rb +0 -32
- data/test/unit/analysis/tc_token.rb +0 -25
- data/test/unit/document/rtc_field.rb +0 -28
- data/test/unit/document/tc_document.rb +0 -47
- data/test/unit/document/tc_field.rb +0 -98
- data/test/unit/index/rtc_compound_file_io.rb +0 -107
- data/test/unit/index/rtc_field_infos.rb +0 -127
- data/test/unit/index/rtc_fields_io.rb +0 -167
- data/test/unit/index/rtc_multiple_term_doc_pos_enum.rb +0 -83
- data/test/unit/index/rtc_segment_infos.rb +0 -74
- data/test/unit/index/rtc_segment_term_docs.rb +0 -17
- data/test/unit/index/rtc_segment_term_enum.rb +0 -60
- data/test/unit/index/rtc_segment_term_vector.rb +0 -71
- data/test/unit/index/rtc_term_buffer.rb +0 -57
- data/test/unit/index/rtc_term_info.rb +0 -19
- data/test/unit/index/rtc_term_infos_io.rb +0 -192
- data/test/unit/index/rtc_term_vectors_io.rb +0 -108
- data/test/unit/index/tc_term.rb +0 -27
- data/test/unit/index/tc_term_voi.rb +0 -18
- data/test/unit/search/rtc_similarity.rb +0 -37
- data/test/unit/search/rtc_sort_field.rb +0 -14
- data/test/unit/search/tc_multi_searcher2.rb +0 -126
- data/test/unit/store/rtc_fs_store.rb +0 -62
- data/test/unit/store/rtc_ram_store.rb +0 -15
- data/test/unit/store/rtm_store.rb +0 -150
- data/test/unit/store/rtm_store_lock.rb +0 -2
- data/test/unit/ts_document.rb +0 -2
- data/test/unit/utils/rtc_bit_vector.rb +0 -73
- data/test/unit/utils/rtc_date_tools.rb +0 -50
- data/test/unit/utils/rtc_number_tools.rb +0 -59
- data/test/unit/utils/rtc_parameter.rb +0 -40
- data/test/unit/utils/rtc_priority_queue.rb +0 -62
- data/test/unit/utils/rtc_string_helper.rb +0 -21
- data/test/unit/utils/rtc_thread.rb +0 -61
- data/test/unit/utils/rtc_weak_key_hash.rb +0 -25
- data/test/utils/number_to_spoken.rb +0 -132
data/ext/stopwords.c
CHANGED
@@ -9,317 +9,405 @@
|
|
9
9
|
*/
|
10
10
|
|
11
11
|
const char *ENGLISH_STOP_WORDS[] = {
|
12
|
-
|
13
|
-
|
14
|
-
|
15
|
-
|
12
|
+
"a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
|
13
|
+
"into", "is", "it", "no", "not", "of", "on", "or", "s", "such", "t",
|
14
|
+
"that",
|
15
|
+
"the", "their", "then", "there", "these", "they", "this", "to", "was",
|
16
|
+
"will", "with", NULL
|
16
17
|
};
|
17
18
|
|
18
19
|
const char *FULL_ENGLISH_STOP_WORDS[] = {
|
19
|
-
|
20
|
-
|
21
|
-
|
22
|
-
|
23
|
-
|
24
|
-
|
25
|
-
|
26
|
-
|
27
|
-
|
28
|
-
|
29
|
-
|
30
|
-
|
31
|
-
|
32
|
-
|
33
|
-
|
34
|
-
|
35
|
-
|
36
|
-
|
37
|
-
|
38
|
-
|
39
|
-
|
20
|
+
"a", "about", "above", "after", "again", "against", "all", "am", "an",
|
21
|
+
"and", "any", "are", "aren't", "as", "at", "be", "because", "been",
|
22
|
+
"before", "being", "below", "between", "both", "but", "by", "cannot",
|
23
|
+
"can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
|
24
|
+
"doing", "don't", "down", "during", "each", "few", "for", "from",
|
25
|
+
"further",
|
26
|
+
"had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
|
27
|
+
"he'd",
|
28
|
+
"he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
|
29
|
+
"himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
|
30
|
+
"into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
|
31
|
+
"me",
|
32
|
+
"more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
|
33
|
+
"off",
|
34
|
+
"on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
|
35
|
+
"out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
|
36
|
+
"should", "shouldn't", "so", "some", "such", "than", "that", "that's",
|
37
|
+
"the", "their", "theirs", "them", "themselves", "then", "there",
|
38
|
+
"there's",
|
39
|
+
"these", "they", "they'd", "they'll", "they're", "they've", "this",
|
40
|
+
"those",
|
41
|
+
"through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
|
42
|
+
"we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
|
43
|
+
"what's", "when", "when's", "where", "where's", "which", "while", "who",
|
44
|
+
"whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
|
45
|
+
"you", "you'd", "you'll", "your", "you're", "yours", "yourself",
|
46
|
+
"yourselves", "you've", NULL
|
40
47
|
};
|
41
48
|
|
42
49
|
const char *EXTENDED_ENGLISH_STOP_WORDS[] = {
|
43
|
-
|
44
|
-
|
45
|
-
|
46
|
-
|
47
|
-
|
48
|
-
|
49
|
-
|
50
|
-
|
51
|
-
|
52
|
-
|
53
|
-
|
54
|
-
|
55
|
-
|
56
|
-
|
57
|
-
|
58
|
-
|
59
|
-
|
60
|
-
|
61
|
-
|
62
|
-
|
63
|
-
|
64
|
-
|
65
|
-
|
66
|
-
|
67
|
-
|
68
|
-
|
69
|
-
|
70
|
-
|
50
|
+
"a", "about", "above", "after", "again", "against", "all", "am", "an",
|
51
|
+
"and", "any", "are", "aren't", "as", "at", "be", "because", "been",
|
52
|
+
"before", "being", "below", "between", "both", "but", "by", "cannot",
|
53
|
+
"can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
|
54
|
+
"doing", "don't", "down", "during", "each", "few", "for", "from",
|
55
|
+
"further",
|
56
|
+
"had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
|
57
|
+
"he'd",
|
58
|
+
"he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
|
59
|
+
"himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
|
60
|
+
"into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
|
61
|
+
"me",
|
62
|
+
"more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
|
63
|
+
"off",
|
64
|
+
"on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
|
65
|
+
"out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
|
66
|
+
"should", "shouldn't", "so", "some", "such", "than", "that", "that's",
|
67
|
+
"the", "their", "theirs", "them", "themselves", "then", "there",
|
68
|
+
"there's",
|
69
|
+
"these", "they", "they'd", "they'll", "they're", "they've", "this",
|
70
|
+
"those",
|
71
|
+
"through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
|
72
|
+
"we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
|
73
|
+
"what's", "when", "when's", "where", "where's", "which", "while", "who",
|
74
|
+
"whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
|
75
|
+
"you", "you'd", "you'll", "your", "you're", "yours", "yourself",
|
76
|
+
"yourselves", "you've",
|
77
|
+
|
78
|
+
/* Most common words in the English Language */
|
79
|
+
"one", "every", "least", "less", "many", "now", "ever", "never", "say",
|
80
|
+
"says", "said", "also", "get", "go", "goes", "just", "made", "make",
|
81
|
+
"put",
|
82
|
+
"see", "seen", "whether", "like", "well", "back", "even", "still", "way",
|
83
|
+
"take", "since", "another", "however", "two", "three", "four", "five",
|
84
|
+
"first", "second", "new", "old", "high", "long", NULL
|
71
85
|
};
|
72
86
|
|
73
87
|
const char *FULL_FRENCH_STOP_WORDS[] = {
|
74
|
-
|
75
|
-
|
76
|
-
|
77
|
-
|
78
|
-
|
79
|
-
|
80
|
-
|
81
|
-
|
82
|
-
|
83
|
-
|
84
|
-
|
85
|
-
|
86
|
-
|
87
|
-
|
88
|
-
|
89
|
-
|
90
|
-
|
91
|
-
|
88
|
+
"au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
|
89
|
+
"et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
|
90
|
+
"même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
|
91
|
+
"par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
|
92
|
+
"ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre",
|
93
|
+
"vous",
|
94
|
+
"c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée",
|
95
|
+
"étées",
|
96
|
+
"étés", "étant", "étante", "étants", "étantes", "suis", "es", "est",
|
97
|
+
"sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez",
|
98
|
+
"seront", "serais", "serait", "serions", "seriez", "seraient", "étais",
|
99
|
+
"était", "étions", "étiez", "étaient", "fus", "fut", "fûmes",
|
100
|
+
"fûtes",
|
101
|
+
"furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses",
|
102
|
+
"fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes",
|
103
|
+
"ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont",
|
104
|
+
"aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait",
|
105
|
+
"aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez",
|
106
|
+
"avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait",
|
107
|
+
"ayons",
|
108
|
+
"ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez",
|
109
|
+
"eussent",
|
110
|
+
NULL
|
92
111
|
};
|
93
112
|
|
94
113
|
const char *FULL_SPANISH_STOP_WORDS[] = {
|
95
|
-
|
96
|
-
|
97
|
-
|
98
|
-
|
99
|
-
|
100
|
-
|
101
|
-
|
102
|
-
|
103
|
-
|
104
|
-
|
105
|
-
|
106
|
-
|
107
|
-
|
108
|
-
|
109
|
-
|
110
|
-
|
111
|
-
|
112
|
-
|
113
|
-
|
114
|
-
|
115
|
-
|
116
|
-
|
117
|
-
|
118
|
-
|
119
|
-
|
120
|
-
|
121
|
-
|
122
|
-
|
123
|
-
|
124
|
-
|
125
|
-
|
126
|
-
|
127
|
-
|
128
|
-
|
129
|
-
|
130
|
-
|
131
|
-
|
132
|
-
|
133
|
-
|
134
|
-
|
135
|
-
|
136
|
-
|
114
|
+
"de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
|
115
|
+
"un", "para", "con", "no", "una", "su", "al", "lo", "como", "más",
|
116
|
+
"pero",
|
117
|
+
"sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre",
|
118
|
+
"cuando",
|
119
|
+
"muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
|
120
|
+
"desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
|
121
|
+
"otros", "ese", "eso", "ante", "ellos", "e", "esto", "mí", "antes",
|
122
|
+
"algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
|
123
|
+
"esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
|
124
|
+
"ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis",
|
125
|
+
"tú",
|
126
|
+
"te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras",
|
127
|
+
"os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas",
|
128
|
+
"suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros",
|
129
|
+
"nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas",
|
130
|
+
"estoy", "estás", "está", "estamos", "estáis", "están", "esté",
|
131
|
+
"estés",
|
132
|
+
"estemos", "estéis", "estén", "estaré", "estarás", "estará",
|
133
|
+
"estaremos",
|
134
|
+
"estaréis", "estarán", "estaría", "estarías", "estaríamos",
|
135
|
+
"estaríais",
|
136
|
+
"estarían", "estaba", "estabas", "estábamos", "estabais", "estaban",
|
137
|
+
"estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron",
|
138
|
+
"estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran",
|
139
|
+
"estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen",
|
140
|
+
"estando", "estado", "estada", "estados", "estadas", "estad", "he", "has",
|
141
|
+
"ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis",
|
142
|
+
"hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán",
|
143
|
+
"habría", "habrías", "habríamos", "habríais", "habrían", "había",
|
144
|
+
"habías",
|
145
|
+
"habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos",
|
146
|
+
"hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos",
|
147
|
+
"hubierais",
|
148
|
+
"hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen",
|
149
|
+
"habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es",
|
150
|
+
"somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean",
|
151
|
+
"seré",
|
152
|
+
"serás", "será", "seremos", "seréis", "serán", "sería", "serías",
|
153
|
+
"seríamos", "seríais", "serían", "era", "eras", "éramos", "erais",
|
154
|
+
"eran",
|
155
|
+
"fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras",
|
156
|
+
"fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos",
|
157
|
+
"fueseis",
|
158
|
+
"fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas",
|
159
|
+
"siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis",
|
160
|
+
"tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré",
|
161
|
+
"tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría",
|
162
|
+
"tendrías", "tendríamos", "tendríais", "tendrían", "tenía",
|
163
|
+
"tenías",
|
164
|
+
"teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos",
|
165
|
+
"tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos",
|
166
|
+
"tuvierais",
|
167
|
+
"tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen",
|
168
|
+
"teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL
|
137
169
|
};
|
138
170
|
|
139
171
|
const char *FULL_PORTUGUESE_STOP_WORDS[] = {
|
140
|
-
|
141
|
-
|
142
|
-
|
143
|
-
|
144
|
-
|
145
|
-
|
146
|
-
|
147
|
-
|
148
|
-
|
149
|
-
|
150
|
-
|
151
|
-
|
152
|
-
|
153
|
-
|
154
|
-
|
155
|
-
|
156
|
-
|
157
|
-
|
158
|
-
|
159
|
-
|
160
|
-
|
161
|
-
|
162
|
-
|
163
|
-
|
164
|
-
|
165
|
-
|
172
|
+
"de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
|
173
|
+
"uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
|
174
|
+
"ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos",
|
175
|
+
"já",
|
176
|
+
"eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre",
|
177
|
+
"depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
|
178
|
+
"eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha",
|
179
|
+
"numa",
|
180
|
+
"pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses",
|
181
|
+
"pelas",
|
182
|
+
"este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas",
|
183
|
+
"teu",
|
184
|
+
"tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela",
|
185
|
+
"delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles",
|
186
|
+
"aquelas",
|
187
|
+
"isto", "aquilo", "estou", "está", "estamos", "estão", "estive",
|
188
|
+
"esteve",
|
189
|
+
"estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera",
|
190
|
+
"estivéramos", "esteja", "estejamos", "estejam", "estivesse",
|
191
|
+
"estivéssemos", "estivessem", "estiver", "estivermos", "estiverem",
|
192
|
+
"hei",
|
193
|
+
"há", "havemos", "hão", "houve", "houvemos", "houveram", "houvera",
|
194
|
+
"houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos",
|
195
|
+
"houvessem", "houver", "houvermos", "houverem", "houverei", "houverá",
|
196
|
+
"houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou",
|
197
|
+
"somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram",
|
198
|
+
"fora", "fôramos", "seja", "sejamos", "sejam", "fosse", "fôssemos",
|
199
|
+
"fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão",
|
200
|
+
"seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha",
|
201
|
+
"tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera",
|
202
|
+
"tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos",
|
203
|
+
"tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos",
|
204
|
+
"terão", "teria", "teríamos", "teriam", NULL
|
166
205
|
};
|
167
206
|
|
168
207
|
const char *FULL_ITALIAN_STOP_WORDS[] = {
|
169
|
-
|
170
|
-
|
171
|
-
|
172
|
-
|
173
|
-
|
174
|
-
|
175
|
-
|
176
|
-
|
177
|
-
|
178
|
-
|
179
|
-
|
180
|
-
|
181
|
-
|
182
|
-
|
183
|
-
|
184
|
-
|
185
|
-
|
186
|
-
|
187
|
-
|
188
|
-
|
189
|
-
|
190
|
-
|
191
|
-
|
192
|
-
|
193
|
-
|
194
|
-
|
195
|
-
|
196
|
-
|
197
|
-
|
198
|
-
|
199
|
-
|
200
|
-
|
201
|
-
|
202
|
-
|
203
|
-
|
208
|
+
"ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
|
209
|
+
"col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl",
|
210
|
+
"dalla",
|
211
|
+
"dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della",
|
212
|
+
"delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella",
|
213
|
+
"nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla",
|
214
|
+
"sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi",
|
215
|
+
"loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
|
216
|
+
"sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro",
|
217
|
+
"vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li",
|
218
|
+
"le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché",
|
219
|
+
"anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più",
|
220
|
+
"quale",
|
221
|
+
"quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella",
|
222
|
+
"quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti",
|
223
|
+
"a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete",
|
224
|
+
"hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà",
|
225
|
+
"avremo",
|
226
|
+
"avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste",
|
227
|
+
"avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
|
228
|
+
"ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi",
|
229
|
+
"avesse",
|
230
|
+
"avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute",
|
231
|
+
"sono", "sei", "è", "siamo", "siete", "sia", "siate", "siano", "sarò",
|
232
|
+
"sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti",
|
233
|
+
"sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era",
|
234
|
+
"eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste",
|
235
|
+
"furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio",
|
236
|
+
"fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò",
|
237
|
+
"farai", "farà", "faremo", "farete", "faranno", "farei", "faresti",
|
238
|
+
"farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi",
|
239
|
+
"faceva",
|
240
|
+
"facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo",
|
241
|
+
"faceste", "fecero", "facessi", "facesse", "facessimo", "facessero",
|
242
|
+
"facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate",
|
243
|
+
"stiano", "starò", "starai", "starà", "staremo", "starete", "staranno",
|
244
|
+
"starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero",
|
245
|
+
"stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti",
|
246
|
+
"stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
|
247
|
+
"stessimo", "stessero", "stando", NULL
|
204
248
|
};
|
205
249
|
|
206
250
|
const char *FULL_GERMAN_STOP_WORDS[] = {
|
207
|
-
|
208
|
-
|
209
|
-
|
210
|
-
|
211
|
-
|
212
|
-
|
213
|
-
|
214
|
-
|
215
|
-
|
216
|
-
|
217
|
-
|
218
|
-
|
219
|
-
|
220
|
-
|
221
|
-
|
222
|
-
|
223
|
-
|
224
|
-
|
225
|
-
|
226
|
-
|
227
|
-
|
228
|
-
|
229
|
-
|
230
|
-
|
231
|
-
|
232
|
-
|
233
|
-
|
234
|
-
|
251
|
+
"aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
|
252
|
+
"an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
|
253
|
+
"anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei",
|
254
|
+
"bin",
|
255
|
+
"bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die",
|
256
|
+
"das", "daß", "derselbe", "derselben", "denselben", "desselben",
|
257
|
+
"demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
|
258
|
+
"deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
|
259
|
+
"dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
|
260
|
+
"doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer",
|
261
|
+
"eines",
|
262
|
+
"einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal",
|
263
|
+
"er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren",
|
264
|
+
"eurer", "eures", "für", "gegen", "gewesen", "hab", "habe", "haben",
|
265
|
+
"hat",
|
266
|
+
"hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr",
|
267
|
+
"ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem",
|
268
|
+
"ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem",
|
269
|
+
"jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem",
|
270
|
+
"keinen", "keiner", "keines", "können", "könnte", "machen", "man",
|
271
|
+
"manche",
|
272
|
+
"manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem",
|
273
|
+
"meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht",
|
274
|
+
"nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein",
|
275
|
+
"seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie",
|
276
|
+
"ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher",
|
277
|
+
"solches",
|
278
|
+
"soll", "sollte", "sondern", "sonst", "über", "um", "und", "uns", "unse",
|
279
|
+
"unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor",
|
280
|
+
"während", "war", "waren", "warst", "was", "weg", "weil", "weiter",
|
281
|
+
"welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde",
|
282
|
+
"werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
|
283
|
+
"wollte", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen",
|
284
|
+
NULL
|
235
285
|
};
|
236
286
|
|
237
287
|
const char *FULL_DUTCH_STOP_WORDS[] = {
|
238
|
-
|
239
|
-
|
240
|
-
|
241
|
-
|
242
|
-
|
243
|
-
|
244
|
-
|
245
|
-
|
246
|
-
|
247
|
-
|
248
|
-
|
288
|
+
"de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
|
289
|
+
"niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had",
|
290
|
+
"er",
|
291
|
+
"maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit",
|
292
|
+
"zo",
|
293
|
+
"door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit",
|
294
|
+
"der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze",
|
295
|
+
"u",
|
296
|
+
"want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets",
|
297
|
+
"worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet",
|
298
|
+
"ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens",
|
299
|
+
"hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen",
|
300
|
+
"ons",
|
301
|
+
"zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand",
|
302
|
+
"geweest", "andere", NULL
|
249
303
|
};
|
250
304
|
|
251
305
|
const char *FULL_SWEDISH_STOP_WORDS[] = {
|
252
|
-
|
253
|
-
|
254
|
-
|
255
|
-
|
256
|
-
|
257
|
-
|
258
|
-
|
259
|
-
|
260
|
-
|
261
|
-
|
262
|
-
|
263
|
-
|
264
|
-
|
306
|
+
"och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
|
307
|
+
"med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om",
|
308
|
+
"hade",
|
309
|
+
"de", "av", "icke", "mig", "du", "henne", "då", "sin", "nu", "har",
|
310
|
+
"inte",
|
311
|
+
"hans", "honom", "skulle", "hennes", "där", "min", "man", "ej", "vid",
|
312
|
+
"kunde", "något", "från", "ut", "när", "efter", "upp", "vi", "dem",
|
313
|
+
"vara",
|
314
|
+
"vad", "över", "än", "dig", "kan", "sina", "här", "ha", "mot", "alla",
|
315
|
+
"under", "någon", "eller", "allt", "mycket", "sedan", "ju", "denna",
|
316
|
+
"själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt", "ni",
|
317
|
+
"bli", "blev", "oss", "din", "dessa", "några", "deras", "blir", "mina",
|
318
|
+
"samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom",
|
319
|
+
"mellan",
|
320
|
+
"sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta",
|
321
|
+
"sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era",
|
322
|
+
"vilkas",
|
323
|
+
NULL
|
265
324
|
};
|
266
325
|
|
267
326
|
|
268
327
|
const char *FULL_NORWEGIAN_STOP_WORDS[] = {
|
269
|
-
|
270
|
-
|
271
|
-
|
272
|
-
|
273
|
-
|
274
|
-
|
275
|
-
|
276
|
-
|
277
|
-
|
278
|
-
|
279
|
-
|
280
|
-
|
281
|
-
|
282
|
-
|
283
|
-
|
284
|
-
|
285
|
-
|
286
|
-
|
287
|
-
|
328
|
+
"og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som",
|
329
|
+
"på",
|
330
|
+
"de", "med", "han", "av", "ikke", "ikkje", "der", "så", "var", "meg",
|
331
|
+
"seg",
|
332
|
+
"men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun",
|
333
|
+
"nå",
|
334
|
+
"over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man",
|
335
|
+
"kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjøl", "her",
|
336
|
+
"alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "når",
|
337
|
+
"være",
|
338
|
+
"kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja",
|
339
|
+
"etter",
|
340
|
+
"ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "å",
|
341
|
+
"meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din",
|
342
|
+
"ditt", "blir", "samme", "hvilken", "hvilke", "sånn", "inni", "mellom",
|
343
|
+
"vår", "hver", "hvem", "vors", "hvis", "både", "bare", "enn", "fordi",
|
344
|
+
"før", "mange", "også", "slik", "vært", "være", "båe", "begge",
|
345
|
+
"siden",
|
346
|
+
"dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "då", "eg",
|
347
|
+
"ein",
|
348
|
+
"eit", "eitt", "elles", "honom", "hjå", "ho", "hoe", "henne", "hennar",
|
349
|
+
"hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso",
|
350
|
+
"kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi",
|
351
|
+
"mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si",
|
352
|
+
"sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore",
|
353
|
+
"verte",
|
354
|
+
"vort", "varte", "vart", NULL
|
288
355
|
};
|
289
356
|
|
290
357
|
const char *FULL_DANISH_STOP_WORDS[] = {
|
291
|
-
|
292
|
-
|
293
|
-
|
294
|
-
|
295
|
-
|
296
|
-
|
297
|
-
|
298
|
-
|
299
|
-
|
300
|
-
|
358
|
+
"og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på",
|
359
|
+
"de",
|
360
|
+
"med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men",
|
361
|
+
"et",
|
362
|
+
"har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da",
|
363
|
+
"fra",
|
364
|
+
"du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller",
|
365
|
+
"hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind",
|
366
|
+
"når",
|
367
|
+
"være", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle",
|
368
|
+
"denne", "end", "dette", "mit", "også", "under", "have", "dig", "anden",
|
369
|
+
"hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse",
|
370
|
+
"hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes",
|
371
|
+
"været", "thi", "jer", "sådan", NULL
|
301
372
|
};
|
302
373
|
|
303
374
|
const char *FULL_RUSSIAN_STOP_WORDS[] = {
|
304
|
-
|
305
|
-
|
306
|
-
|
307
|
-
|
308
|
-
|
309
|
-
|
310
|
-
|
311
|
-
|
312
|
-
|
313
|
-
|
314
|
-
|
315
|
-
|
316
|
-
|
317
|
-
|
318
|
-
|
319
|
-
|
320
|
-
|
375
|
+
"É", "×", "×Ï", "ÎÅ", "ÞÔÏ", "ÏÎ", "ÎÁ", "Ñ", "Ó", "ÓÏ",
|
376
|
+
"ËÁË", "Á", "ÔÏ",
|
377
|
+
"×ÓÅ", "ÏÎÁ", "ÔÁË", "ÅÇÏ", "ÎÏ", "ÄÁ", "ÔÙ", "Ë",
|
378
|
+
"Õ", "ÖÅ", "×Ù", "ÚÁ",
|
379
|
+
"ÂÙ", "ÐÏ", "ÔÏÌØËÏ", "ÅÅ", "ÍÎÅ", "ÂÙÌÏ", "×ÏÔ",
|
380
|
+
"ÏÔ", "ÍÅÎÑ", "ÅÝÅ",
|
381
|
+
"ÎÅÔ", "Ï", "ÉÚ", "ÅÍÕ", "ÔÅÐÅÒØ", "ËÏÇÄÁ",
|
382
|
+
"ÄÁÖÅ", "ÎÕ", "×ÄÒÕÇ", "ÌÉ",
|
383
|
+
"ÅÓÌÉ", "ÕÖÅ", "ÉÌÉ", "ÎÉ", "ÂÙÔØ", "ÂÙÌ", "ÎÅÇÏ",
|
384
|
+
"ÄÏ", "×ÁÓ", "ÎÉÂÕÄØ",
|
385
|
+
"ÏÐÑÔØ", "ÕÖ", "×ÁÍ", "ÓËÁÚÁÌ", "×ÅÄØ", "ÔÁÍ",
|
386
|
+
"ÐÏÔÏÍ", "ÓÅÂÑ", "ÎÉÞÅÇÏ",
|
387
|
+
"ÅÊ", "ÍÏÖÅÔ", "ÏÎÉ", "ÔÕÔ", "ÇÄÅ", "ÅÓÔØ",
|
388
|
+
"ÎÁÄÏ", "ÎÅÊ", "ÄÌÑ", "ÍÙ",
|
389
|
+
"ÔÅÂÑ", "ÉÈ", "ÞÅÍ", "ÂÙÌÁ", "ÓÁÍ", "ÞÔÏÂ", "ÂÅÚ",
|
390
|
+
"ÂÕÄÔÏ", "ÞÅÌÏ×ÅË",
|
391
|
+
"ÞÅÇÏ", "ÒÁÚ", "ÔÏÖÅ", "ÓÅÂÅ", "ÐÏÄ", "ÖÉÚÎØ",
|
392
|
+
"ÂÕÄÅÔ", "Ö", "ÔÏÇÄÁ", "ËÔÏ",
|
393
|
+
"ÜÔÏÔ", "ÇÏ×ÏÒÉÌ", "ÔÏÇÏ", "ÐÏÔÏÍÕ", "ÜÔÏÇÏ",
|
394
|
+
"ËÁËÏÊ", "ÓÏ×ÓÅÍ", "ÎÉÍ",
|
395
|
+
"ÚÄÅÓØ", "ÜÔÏÍ", "ÏÄÉÎ", "ÐÏÞÔÉ", "ÍÏÊ", "ÔÅÍ",
|
396
|
+
"ÞÔÏÂÙ", "ÎÅÅ", "ËÁÖÅÔÓÑ",
|
397
|
+
"ÓÅÊÞÁÓ", "ÂÙÌÉ", "ËÕÄÁ", "ÚÁÞÅÍ", "ÓËÁÚÁÔØ",
|
398
|
+
"×ÓÅÈ", "ÎÉËÏÇÄÁ", "ÓÅÇÏÄÎÑ",
|
399
|
+
"ÍÏÖÎÏ", "ÐÒÉ", "ÎÁËÏÎÅÃ", "Ä×Á", "ÏÂ",
|
400
|
+
"ÄÒÕÇÏÊ", "ÈÏÔØ", "ÐÏÓÌÅ", "ÎÁÄ",
|
401
|
+
"ÂÏÌØÛÅ", "ÔÏÔ", "ÞÅÒÅÚ", "ÜÔÉ", "ÎÁÓ", "ÐÒÏ",
|
402
|
+
"×ÓÅÇÏ", "ÎÉÈ", "ËÁËÁÑ",
|
403
|
+
"ÍÎÏÇÏ", "ÒÁÚ×Å", "ÓËÁÚÁÌÁ", "ÔÒÉ", "ÜÔÕ",
|
404
|
+
"ÍÏÑ", "×ÐÒÏÞÅÍ", "ÈÏÒÏÛÏ",
|
405
|
+
"Ó×ÏÀ", "ÜÔÏÊ", "ÐÅÒÅÄ", "ÉÎÏÇÄÁ", "ÌÕÞÛÅ",
|
406
|
+
"ÞÕÔØ", "ÔÏÍ", "ÎÅÌØÚÑ",
|
407
|
+
"ÔÁËÏÊ", "ÉÍ", "ÂÏÌÅÅ", "×ÓÅÇÄÁ", "ËÏÎÅÞÎÏ",
|
408
|
+
"×ÓÀ", "ÍÅÖÄÕ", NULL
|
321
409
|
};
|
322
410
|
|
323
411
|
const char *FULL_FINNISH_STOP_WORDS[] = {
|
324
|
-
|
412
|
+
NULL
|
325
413
|
};
|