ferret 0.9.6 → 0.10.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (295) hide show
  1. data/MIT-LICENSE +1 -1
  2. data/README +12 -24
  3. data/Rakefile +38 -54
  4. data/TODO +14 -17
  5. data/ext/analysis.c +982 -823
  6. data/ext/analysis.h +133 -76
  7. data/ext/array.c +96 -58
  8. data/ext/array.h +40 -13
  9. data/ext/bitvector.c +476 -118
  10. data/ext/bitvector.h +264 -22
  11. data/ext/compound_io.c +217 -229
  12. data/ext/defines.h +49 -0
  13. data/ext/document.c +107 -317
  14. data/ext/document.h +31 -65
  15. data/ext/except.c +81 -36
  16. data/ext/except.h +117 -55
  17. data/ext/extconf.rb +2 -9
  18. data/ext/ferret.c +211 -104
  19. data/ext/ferret.h +22 -11
  20. data/ext/filter.c +97 -82
  21. data/ext/fs_store.c +348 -367
  22. data/ext/global.c +226 -188
  23. data/ext/global.h +44 -26
  24. data/ext/hash.c +474 -391
  25. data/ext/hash.h +441 -68
  26. data/ext/hashset.c +124 -96
  27. data/ext/hashset.h +169 -20
  28. data/ext/helper.c +56 -5
  29. data/ext/helper.h +7 -0
  30. data/ext/inc/lang.h +29 -49
  31. data/ext/inc/threading.h +31 -0
  32. data/ext/ind.c +288 -278
  33. data/ext/ind.h +68 -0
  34. data/ext/index.c +5688 -0
  35. data/ext/index.h +663 -616
  36. data/ext/lang.h +29 -49
  37. data/ext/libstemmer.c +3 -3
  38. data/ext/mem_pool.c +84 -0
  39. data/ext/mem_pool.h +35 -0
  40. data/ext/posh.c +1006 -0
  41. data/ext/posh.h +1007 -0
  42. data/ext/priorityqueue.c +117 -194
  43. data/ext/priorityqueue.h +135 -39
  44. data/ext/q_boolean.c +1305 -1108
  45. data/ext/q_const_score.c +106 -93
  46. data/ext/q_filtered_query.c +138 -135
  47. data/ext/q_fuzzy.c +206 -242
  48. data/ext/q_match_all.c +94 -80
  49. data/ext/q_multi_term.c +663 -0
  50. data/ext/q_parser.c +667 -593
  51. data/ext/q_phrase.c +992 -555
  52. data/ext/q_prefix.c +72 -61
  53. data/ext/q_range.c +235 -210
  54. data/ext/q_span.c +1480 -1166
  55. data/ext/q_term.c +273 -246
  56. data/ext/q_wildcard.c +127 -114
  57. data/ext/r_analysis.c +1720 -711
  58. data/ext/r_index.c +3049 -0
  59. data/ext/r_qparser.c +433 -146
  60. data/ext/r_search.c +2934 -1993
  61. data/ext/r_store.c +372 -143
  62. data/ext/r_utils.c +941 -0
  63. data/ext/ram_store.c +330 -326
  64. data/ext/search.c +1291 -668
  65. data/ext/search.h +403 -702
  66. data/ext/similarity.c +91 -113
  67. data/ext/similarity.h +45 -30
  68. data/ext/sort.c +721 -484
  69. data/ext/stopwords.c +361 -273
  70. data/ext/store.c +556 -58
  71. data/ext/store.h +706 -126
  72. data/ext/tags +3578 -2780
  73. data/ext/term_vectors.c +352 -0
  74. data/ext/threading.h +31 -0
  75. data/ext/win32.h +54 -0
  76. data/lib/ferret.rb +5 -17
  77. data/lib/ferret/document.rb +130 -2
  78. data/lib/ferret/index.rb +577 -26
  79. data/lib/ferret/number_tools.rb +157 -0
  80. data/lib/ferret_version.rb +3 -0
  81. data/test/test_helper.rb +5 -13
  82. data/test/unit/analysis/tc_analyzer.rb +513 -1
  83. data/test/unit/analysis/{ctc_tokenstream.rb → tc_token_stream.rb} +23 -0
  84. data/test/unit/index/tc_index.rb +183 -240
  85. data/test/unit/index/tc_index_reader.rb +312 -479
  86. data/test/unit/index/tc_index_writer.rb +397 -13
  87. data/test/unit/index/th_doc.rb +269 -206
  88. data/test/unit/query_parser/tc_query_parser.rb +40 -33
  89. data/test/unit/search/tc_filter.rb +59 -71
  90. data/test/unit/search/tc_fuzzy_query.rb +24 -16
  91. data/test/unit/search/tc_index_searcher.rb +23 -201
  92. data/test/unit/search/tc_multi_searcher.rb +78 -226
  93. data/test/unit/search/tc_search_and_sort.rb +93 -81
  94. data/test/unit/search/tc_sort.rb +23 -23
  95. data/test/unit/search/tc_sort_field.rb +7 -7
  96. data/test/unit/search/tc_spans.rb +51 -47
  97. data/test/unit/search/tm_searcher.rb +339 -0
  98. data/test/unit/store/tc_fs_store.rb +1 -1
  99. data/test/unit/store/tm_store_lock.rb +3 -3
  100. data/test/unit/tc_document.rb +81 -0
  101. data/test/unit/ts_analysis.rb +1 -1
  102. data/test/unit/ts_utils.rb +1 -1
  103. data/test/unit/utils/tc_bit_vector.rb +288 -0
  104. data/test/unit/utils/tc_number_tools.rb +117 -0
  105. data/test/unit/utils/tc_priority_queue.rb +106 -0
  106. metadata +140 -301
  107. data/CHANGELOG +0 -9
  108. data/ext/dummy.exe +0 -0
  109. data/ext/field.c +0 -408
  110. data/ext/frtio.h +0 -13
  111. data/ext/inc/except.h +0 -90
  112. data/ext/index_io.c +0 -382
  113. data/ext/index_rw.c +0 -2658
  114. data/ext/lang.c +0 -41
  115. data/ext/nix_io.c +0 -134
  116. data/ext/q_multi_phrase.c +0 -380
  117. data/ext/r_doc.c +0 -582
  118. data/ext/r_index_io.c +0 -1021
  119. data/ext/r_term.c +0 -219
  120. data/ext/term.c +0 -820
  121. data/ext/termdocs.c +0 -611
  122. data/ext/vector.c +0 -637
  123. data/ext/w32_io.c +0 -150
  124. data/lib/ferret/analysis.rb +0 -11
  125. data/lib/ferret/analysis/analyzers.rb +0 -112
  126. data/lib/ferret/analysis/standard_tokenizer.rb +0 -71
  127. data/lib/ferret/analysis/token.rb +0 -100
  128. data/lib/ferret/analysis/token_filters.rb +0 -86
  129. data/lib/ferret/analysis/token_stream.rb +0 -26
  130. data/lib/ferret/analysis/tokenizers.rb +0 -112
  131. data/lib/ferret/analysis/word_list_loader.rb +0 -27
  132. data/lib/ferret/document/document.rb +0 -152
  133. data/lib/ferret/document/field.rb +0 -312
  134. data/lib/ferret/index/compound_file_io.rb +0 -338
  135. data/lib/ferret/index/document_writer.rb +0 -289
  136. data/lib/ferret/index/field_infos.rb +0 -279
  137. data/lib/ferret/index/fields_io.rb +0 -181
  138. data/lib/ferret/index/index.rb +0 -675
  139. data/lib/ferret/index/index_file_names.rb +0 -33
  140. data/lib/ferret/index/index_reader.rb +0 -503
  141. data/lib/ferret/index/index_writer.rb +0 -534
  142. data/lib/ferret/index/multi_reader.rb +0 -377
  143. data/lib/ferret/index/multiple_term_doc_pos_enum.rb +0 -98
  144. data/lib/ferret/index/segment_infos.rb +0 -130
  145. data/lib/ferret/index/segment_merge_info.rb +0 -49
  146. data/lib/ferret/index/segment_merge_queue.rb +0 -16
  147. data/lib/ferret/index/segment_merger.rb +0 -358
  148. data/lib/ferret/index/segment_reader.rb +0 -412
  149. data/lib/ferret/index/segment_term_enum.rb +0 -169
  150. data/lib/ferret/index/segment_term_vector.rb +0 -58
  151. data/lib/ferret/index/term.rb +0 -53
  152. data/lib/ferret/index/term_buffer.rb +0 -83
  153. data/lib/ferret/index/term_doc_enum.rb +0 -291
  154. data/lib/ferret/index/term_enum.rb +0 -52
  155. data/lib/ferret/index/term_info.rb +0 -37
  156. data/lib/ferret/index/term_infos_io.rb +0 -321
  157. data/lib/ferret/index/term_vector_offset_info.rb +0 -20
  158. data/lib/ferret/index/term_vectors_io.rb +0 -553
  159. data/lib/ferret/query_parser.rb +0 -312
  160. data/lib/ferret/query_parser/query_parser.tab.rb +0 -928
  161. data/lib/ferret/search.rb +0 -50
  162. data/lib/ferret/search/boolean_clause.rb +0 -100
  163. data/lib/ferret/search/boolean_query.rb +0 -299
  164. data/lib/ferret/search/boolean_scorer.rb +0 -294
  165. data/lib/ferret/search/caching_wrapper_filter.rb +0 -40
  166. data/lib/ferret/search/conjunction_scorer.rb +0 -99
  167. data/lib/ferret/search/disjunction_sum_scorer.rb +0 -205
  168. data/lib/ferret/search/exact_phrase_scorer.rb +0 -32
  169. data/lib/ferret/search/explanation.rb +0 -41
  170. data/lib/ferret/search/field_cache.rb +0 -215
  171. data/lib/ferret/search/field_doc.rb +0 -31
  172. data/lib/ferret/search/field_sorted_hit_queue.rb +0 -184
  173. data/lib/ferret/search/filter.rb +0 -11
  174. data/lib/ferret/search/filtered_query.rb +0 -130
  175. data/lib/ferret/search/filtered_term_enum.rb +0 -79
  176. data/lib/ferret/search/fuzzy_query.rb +0 -154
  177. data/lib/ferret/search/fuzzy_term_enum.rb +0 -247
  178. data/lib/ferret/search/hit_collector.rb +0 -34
  179. data/lib/ferret/search/hit_queue.rb +0 -11
  180. data/lib/ferret/search/index_searcher.rb +0 -200
  181. data/lib/ferret/search/match_all_query.rb +0 -104
  182. data/lib/ferret/search/multi_phrase_query.rb +0 -216
  183. data/lib/ferret/search/multi_searcher.rb +0 -261
  184. data/lib/ferret/search/multi_term_query.rb +0 -65
  185. data/lib/ferret/search/non_matching_scorer.rb +0 -22
  186. data/lib/ferret/search/phrase_positions.rb +0 -55
  187. data/lib/ferret/search/phrase_query.rb +0 -214
  188. data/lib/ferret/search/phrase_scorer.rb +0 -152
  189. data/lib/ferret/search/prefix_query.rb +0 -54
  190. data/lib/ferret/search/query.rb +0 -140
  191. data/lib/ferret/search/query_filter.rb +0 -51
  192. data/lib/ferret/search/range_filter.rb +0 -103
  193. data/lib/ferret/search/range_query.rb +0 -139
  194. data/lib/ferret/search/req_excl_scorer.rb +0 -125
  195. data/lib/ferret/search/req_opt_sum_scorer.rb +0 -70
  196. data/lib/ferret/search/score_doc.rb +0 -38
  197. data/lib/ferret/search/score_doc_comparator.rb +0 -114
  198. data/lib/ferret/search/scorer.rb +0 -91
  199. data/lib/ferret/search/similarity.rb +0 -278
  200. data/lib/ferret/search/sloppy_phrase_scorer.rb +0 -47
  201. data/lib/ferret/search/sort.rb +0 -112
  202. data/lib/ferret/search/sort_comparator.rb +0 -60
  203. data/lib/ferret/search/sort_field.rb +0 -91
  204. data/lib/ferret/search/spans.rb +0 -12
  205. data/lib/ferret/search/spans/near_spans_enum.rb +0 -304
  206. data/lib/ferret/search/spans/span_first_query.rb +0 -79
  207. data/lib/ferret/search/spans/span_near_query.rb +0 -108
  208. data/lib/ferret/search/spans/span_not_query.rb +0 -130
  209. data/lib/ferret/search/spans/span_or_query.rb +0 -176
  210. data/lib/ferret/search/spans/span_query.rb +0 -25
  211. data/lib/ferret/search/spans/span_scorer.rb +0 -74
  212. data/lib/ferret/search/spans/span_term_query.rb +0 -105
  213. data/lib/ferret/search/spans/span_weight.rb +0 -84
  214. data/lib/ferret/search/spans/spans_enum.rb +0 -44
  215. data/lib/ferret/search/term_query.rb +0 -128
  216. data/lib/ferret/search/term_scorer.rb +0 -183
  217. data/lib/ferret/search/top_docs.rb +0 -36
  218. data/lib/ferret/search/top_field_docs.rb +0 -17
  219. data/lib/ferret/search/weight.rb +0 -54
  220. data/lib/ferret/search/wildcard_query.rb +0 -26
  221. data/lib/ferret/search/wildcard_term_enum.rb +0 -61
  222. data/lib/ferret/stemmers.rb +0 -1
  223. data/lib/ferret/stemmers/porter_stemmer.rb +0 -218
  224. data/lib/ferret/store.rb +0 -5
  225. data/lib/ferret/store/buffered_index_io.rb +0 -190
  226. data/lib/ferret/store/directory.rb +0 -141
  227. data/lib/ferret/store/fs_store.rb +0 -381
  228. data/lib/ferret/store/index_io.rb +0 -245
  229. data/lib/ferret/store/ram_store.rb +0 -286
  230. data/lib/ferret/utils.rb +0 -8
  231. data/lib/ferret/utils/bit_vector.rb +0 -123
  232. data/lib/ferret/utils/date_tools.rb +0 -138
  233. data/lib/ferret/utils/number_tools.rb +0 -91
  234. data/lib/ferret/utils/parameter.rb +0 -41
  235. data/lib/ferret/utils/priority_queue.rb +0 -120
  236. data/lib/ferret/utils/string_helper.rb +0 -47
  237. data/lib/ferret/utils/thread_local.rb +0 -28
  238. data/lib/ferret/utils/weak_key_hash.rb +0 -60
  239. data/lib/rferret.rb +0 -37
  240. data/rake_utils/code_statistics.rb +0 -106
  241. data/test/benchmark/tb_ram_store.rb +0 -76
  242. data/test/benchmark/tb_rw_vint.rb +0 -26
  243. data/test/functional/thread_safety_index_test.rb +0 -81
  244. data/test/functional/thread_safety_test.rb +0 -137
  245. data/test/longrunning/tc_numbertools.rb +0 -60
  246. data/test/longrunning/tm_store.rb +0 -19
  247. data/test/unit/analysis/ctc_analyzer.rb +0 -532
  248. data/test/unit/analysis/data/wordfile +0 -6
  249. data/test/unit/analysis/rtc_letter_tokenizer.rb +0 -20
  250. data/test/unit/analysis/rtc_lower_case_filter.rb +0 -20
  251. data/test/unit/analysis/rtc_lower_case_tokenizer.rb +0 -27
  252. data/test/unit/analysis/rtc_per_field_analyzer_wrapper.rb +0 -39
  253. data/test/unit/analysis/rtc_porter_stem_filter.rb +0 -16
  254. data/test/unit/analysis/rtc_standard_analyzer.rb +0 -20
  255. data/test/unit/analysis/rtc_standard_tokenizer.rb +0 -20
  256. data/test/unit/analysis/rtc_stop_analyzer.rb +0 -20
  257. data/test/unit/analysis/rtc_stop_filter.rb +0 -14
  258. data/test/unit/analysis/rtc_white_space_analyzer.rb +0 -21
  259. data/test/unit/analysis/rtc_white_space_tokenizer.rb +0 -20
  260. data/test/unit/analysis/rtc_word_list_loader.rb +0 -32
  261. data/test/unit/analysis/tc_token.rb +0 -25
  262. data/test/unit/document/rtc_field.rb +0 -28
  263. data/test/unit/document/tc_document.rb +0 -47
  264. data/test/unit/document/tc_field.rb +0 -98
  265. data/test/unit/index/rtc_compound_file_io.rb +0 -107
  266. data/test/unit/index/rtc_field_infos.rb +0 -127
  267. data/test/unit/index/rtc_fields_io.rb +0 -167
  268. data/test/unit/index/rtc_multiple_term_doc_pos_enum.rb +0 -83
  269. data/test/unit/index/rtc_segment_infos.rb +0 -74
  270. data/test/unit/index/rtc_segment_term_docs.rb +0 -17
  271. data/test/unit/index/rtc_segment_term_enum.rb +0 -60
  272. data/test/unit/index/rtc_segment_term_vector.rb +0 -71
  273. data/test/unit/index/rtc_term_buffer.rb +0 -57
  274. data/test/unit/index/rtc_term_info.rb +0 -19
  275. data/test/unit/index/rtc_term_infos_io.rb +0 -192
  276. data/test/unit/index/rtc_term_vectors_io.rb +0 -108
  277. data/test/unit/index/tc_term.rb +0 -27
  278. data/test/unit/index/tc_term_voi.rb +0 -18
  279. data/test/unit/search/rtc_similarity.rb +0 -37
  280. data/test/unit/search/rtc_sort_field.rb +0 -14
  281. data/test/unit/search/tc_multi_searcher2.rb +0 -126
  282. data/test/unit/store/rtc_fs_store.rb +0 -62
  283. data/test/unit/store/rtc_ram_store.rb +0 -15
  284. data/test/unit/store/rtm_store.rb +0 -150
  285. data/test/unit/store/rtm_store_lock.rb +0 -2
  286. data/test/unit/ts_document.rb +0 -2
  287. data/test/unit/utils/rtc_bit_vector.rb +0 -73
  288. data/test/unit/utils/rtc_date_tools.rb +0 -50
  289. data/test/unit/utils/rtc_number_tools.rb +0 -59
  290. data/test/unit/utils/rtc_parameter.rb +0 -40
  291. data/test/unit/utils/rtc_priority_queue.rb +0 -62
  292. data/test/unit/utils/rtc_string_helper.rb +0 -21
  293. data/test/unit/utils/rtc_thread.rb +0 -61
  294. data/test/unit/utils/rtc_weak_key_hash.rb +0 -25
  295. data/test/utils/number_to_spoken.rb +0 -132
data/ext/stopwords.c CHANGED
@@ -9,317 +9,405 @@
9
9
  */
10
10
 
11
11
  const char *ENGLISH_STOP_WORDS[] = {
12
- "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
13
- "into", "is", "it", "no", "not", "of", "on", "or", "s", "such", "t", "that",
14
- "the", "their", "then", "there", "these", "they", "this", "to", "was",
15
- "will", "with", NULL
12
+ "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
13
+ "into", "is", "it", "no", "not", "of", "on", "or", "s", "such", "t",
14
+ "that",
15
+ "the", "their", "then", "there", "these", "they", "this", "to", "was",
16
+ "will", "with", NULL
16
17
  };
17
18
 
18
19
  const char *FULL_ENGLISH_STOP_WORDS[] = {
19
- "a", "about", "above", "after", "again", "against", "all", "am", "an",
20
- "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
21
- "before", "being", "below", "between", "both", "but", "by", "cannot",
22
- "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
23
- "doing", "don't", "down", "during", "each", "few", "for", "from", "further",
24
- "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", "he'd",
25
- "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
26
- "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
27
- "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", "me",
28
- "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", "off",
29
- "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
30
- "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
31
- "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
32
- "the", "their", "theirs", "them", "themselves", "then", "there", "there's",
33
- "these", "they", "they'd", "they'll", "they're", "they've", "this", "those",
34
- "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
35
- "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
36
- "what's", "when", "when's", "where", "where's", "which", "while", "who",
37
- "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
38
- "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
39
- "yourselves", "you've", NULL
20
+ "a", "about", "above", "after", "again", "against", "all", "am", "an",
21
+ "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
22
+ "before", "being", "below", "between", "both", "but", "by", "cannot",
23
+ "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
24
+ "doing", "don't", "down", "during", "each", "few", "for", "from",
25
+ "further",
26
+ "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
27
+ "he'd",
28
+ "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
29
+ "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
30
+ "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
31
+ "me",
32
+ "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
33
+ "off",
34
+ "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
35
+ "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
36
+ "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
37
+ "the", "their", "theirs", "them", "themselves", "then", "there",
38
+ "there's",
39
+ "these", "they", "they'd", "they'll", "they're", "they've", "this",
40
+ "those",
41
+ "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
42
+ "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
43
+ "what's", "when", "when's", "where", "where's", "which", "while", "who",
44
+ "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
45
+ "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
46
+ "yourselves", "you've", NULL
40
47
  };
41
48
 
42
49
  const char *EXTENDED_ENGLISH_STOP_WORDS[] = {
43
- "a", "about", "above", "after", "again", "against", "all", "am", "an",
44
- "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
45
- "before", "being", "below", "between", "both", "but", "by", "cannot",
46
- "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
47
- "doing", "don't", "down", "during", "each", "few", "for", "from", "further",
48
- "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", "he'd",
49
- "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
50
- "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
51
- "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", "me",
52
- "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", "off",
53
- "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
54
- "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
55
- "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
56
- "the", "their", "theirs", "them", "themselves", "then", "there", "there's",
57
- "these", "they", "they'd", "they'll", "they're", "they've", "this", "those",
58
- "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
59
- "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
60
- "what's", "when", "when's", "where", "where's", "which", "while", "who",
61
- "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
62
- "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
63
- "yourselves", "you've",
64
-
65
- /* Most common words in the English Language */
66
- "one", "every", "least", "less", "many", "now", "ever", "never", "say",
67
- "says", "said", "also", "get", "go", "goes", "just", "made", "make", "put",
68
- "see", "seen", "whether", "like", "well", "back", "even", "still", "way",
69
- "take", "since", "another", "however", "two", "three", "four", "five",
70
- "first", "second", "new", "old", "high", "long", NULL
50
+ "a", "about", "above", "after", "again", "against", "all", "am", "an",
51
+ "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
52
+ "before", "being", "below", "between", "both", "but", "by", "cannot",
53
+ "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
54
+ "doing", "don't", "down", "during", "each", "few", "for", "from",
55
+ "further",
56
+ "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
57
+ "he'd",
58
+ "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
59
+ "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
60
+ "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
61
+ "me",
62
+ "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
63
+ "off",
64
+ "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
65
+ "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
66
+ "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
67
+ "the", "their", "theirs", "them", "themselves", "then", "there",
68
+ "there's",
69
+ "these", "they", "they'd", "they'll", "they're", "they've", "this",
70
+ "those",
71
+ "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
72
+ "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
73
+ "what's", "when", "when's", "where", "where's", "which", "while", "who",
74
+ "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
75
+ "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
76
+ "yourselves", "you've",
77
+
78
+ /* Most common words in the English Language */
79
+ "one", "every", "least", "less", "many", "now", "ever", "never", "say",
80
+ "says", "said", "also", "get", "go", "goes", "just", "made", "make",
81
+ "put",
82
+ "see", "seen", "whether", "like", "well", "back", "even", "still", "way",
83
+ "take", "since", "another", "however", "two", "three", "four", "five",
84
+ "first", "second", "new", "old", "high", "long", NULL
71
85
  };
72
86
 
73
87
  const char *FULL_FRENCH_STOP_WORDS[] = {
74
- "au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
75
- "et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
76
- "même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
77
- "par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
78
- "ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre", "vous",
79
- "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée", "étées",
80
- "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est",
81
- "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez",
82
- "seront", "serais", "serait", "serions", "seriez", "seraient", "étais",
83
- "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes", "fûtes",
84
- "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses",
85
- "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes",
86
- "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont",
87
- "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait",
88
- "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez",
89
- "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait", "ayons",
90
- "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez", "eussent",
91
- NULL
88
+ "au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
89
+ "et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
90
+ "même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
91
+ "par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
92
+ "ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre",
93
+ "vous",
94
+ "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée",
95
+ "étées",
96
+ "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est",
97
+ "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez",
98
+ "seront", "serais", "serait", "serions", "seriez", "seraient", "étais",
99
+ "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes",
100
+ "fûtes",
101
+ "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses",
102
+ "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes",
103
+ "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont",
104
+ "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait",
105
+ "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez",
106
+ "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait",
107
+ "ayons",
108
+ "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez",
109
+ "eussent",
110
+ NULL
92
111
  };
93
112
 
94
113
  const char *FULL_SPANISH_STOP_WORDS[] = {
95
- "de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
96
- "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más", "pero",
97
- "sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre", "cuando",
98
- "muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
99
- "desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
100
- "otros", "ese", "eso", "ante", "ellos", "e", "esto", "", "antes",
101
- "algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
102
- "esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
103
- "ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis", "",
104
- "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras",
105
- "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas",
106
- "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros",
107
- "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas",
108
- "estoy", "estás", "está", "estamos", "estáis", "están", "esté", "estés",
109
- "estemos", "estéis", "estén", "estaré", "estarás", "estará", "estaremos",
110
- "estaréis", "estarán", "estaría", "estarías", "estaríamos", "estaríais",
111
- "estarían", "estaba", "estabas", "estábamos", "estabais", "estaban",
112
- "estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron",
113
- "estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran",
114
- "estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen",
115
- "estando", "estado", "estada", "estados", "estadas", "estad", "he", "has",
116
- "ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis",
117
- "hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán",
118
- "habría", "habrías", "habríamos", "habríais", "habrían", "había", "habías",
119
- "habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos",
120
- "hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos", "hubierais",
121
- "hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen",
122
- "habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es",
123
- "somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean", "seré",
124
- "serás", "será", "seremos", "seréis", "serán", "sería", "serías",
125
- "seríamos", "seríais", "serían", "era", "eras", "éramos", "erais", "eran",
126
- "fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras",
127
- "fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos", "fueseis",
128
- "fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas",
129
- "siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis",
130
- "tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré",
131
- "tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría",
132
- "tendrías", "tendríamos", "tendríais", "tendrían", "tenía", "tenías",
133
- "teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos",
134
- "tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos", "tuvierais",
135
- "tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen",
136
- "teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL
114
+ "de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
115
+ "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más",
116
+ "pero",
117
+ "sus", "le", "ya", "o", "este", "", "porque", "esta", "entre",
118
+ "cuando",
119
+ "muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
120
+ "desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
121
+ "otros", "ese", "eso", "ante", "ellos", "e", "esto", "", "antes",
122
+ "algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
123
+ "esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
124
+ "ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis",
125
+ "",
126
+ "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras",
127
+ "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas",
128
+ "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros",
129
+ "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas",
130
+ "estoy", "estás", "está", "estamos", "estáis", "están", "esté",
131
+ "estés",
132
+ "estemos", "estéis", "estén", "estaré", "estarás", "estará",
133
+ "estaremos",
134
+ "estaréis", "estarán", "estaría", "estarías", "estaríamos",
135
+ "estaríais",
136
+ "estarían", "estaba", "estabas", "estábamos", "estabais", "estaban",
137
+ "estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron",
138
+ "estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran",
139
+ "estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen",
140
+ "estando", "estado", "estada", "estados", "estadas", "estad", "he", "has",
141
+ "ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis",
142
+ "hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán",
143
+ "habría", "habrías", "habríamos", "habríais", "habrían", "había",
144
+ "habías",
145
+ "habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos",
146
+ "hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos",
147
+ "hubierais",
148
+ "hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen",
149
+ "habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es",
150
+ "somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean",
151
+ "seré",
152
+ "serás", "será", "seremos", "seréis", "serán", "sería", "serías",
153
+ "seríamos", "seríais", "serían", "era", "eras", "éramos", "erais",
154
+ "eran",
155
+ "fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras",
156
+ "fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos",
157
+ "fueseis",
158
+ "fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas",
159
+ "siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis",
160
+ "tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré",
161
+ "tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría",
162
+ "tendrías", "tendríamos", "tendríais", "tendrían", "tenía",
163
+ "tenías",
164
+ "teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos",
165
+ "tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos",
166
+ "tuvierais",
167
+ "tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen",
168
+ "teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL
137
169
  };
138
170
 
139
171
  const char *FULL_PORTUGUESE_STOP_WORDS[] = {
140
- "de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
141
- "uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
142
- "ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos", "já",
143
- "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre",
144
- "depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
145
- "eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha", "numa",
146
- "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses", "pelas",
147
- "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas", "teu",
148
- "tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela",
149
- "delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles", "aquelas",
150
- "isto", "aquilo", "estou", "está", "estamos", "estão", "estive", "esteve",
151
- "estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera",
152
- "estivéramos", "esteja", "estejamos", "estejam", "estivesse",
153
- "estivéssemos", "estivessem", "estiver", "estivermos", "estiverem", "hei",
154
- "", "havemos", "hão", "houve", "houvemos", "houveram", "houvera",
155
- "houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos",
156
- "houvessem", "houver", "houvermos", "houverem", "houverei", "houverá",
157
- "houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou",
158
- "somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram",
159
- "fora", "fôramos", "seja", "sejamos", "sejam", "fosse", "fôssemos",
160
- "fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão",
161
- "seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha",
162
- "tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera",
163
- "tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos",
164
- "tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos",
165
- "terão", "teria", "teríamos", "teriam", NULL
172
+ "de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
173
+ "uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
174
+ "ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos",
175
+ "",
176
+ "eu", "também", "", "pelo", "pela", "até", "isso", "ela", "entre",
177
+ "depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
178
+ "eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha",
179
+ "numa",
180
+ "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses",
181
+ "pelas",
182
+ "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas",
183
+ "teu",
184
+ "tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela",
185
+ "delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles",
186
+ "aquelas",
187
+ "isto", "aquilo", "estou", "está", "estamos", "estão", "estive",
188
+ "esteve",
189
+ "estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera",
190
+ "estivéramos", "esteja", "estejamos", "estejam", "estivesse",
191
+ "estivéssemos", "estivessem", "estiver", "estivermos", "estiverem",
192
+ "hei",
193
+ "", "havemos", "hão", "houve", "houvemos", "houveram", "houvera",
194
+ "houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos",
195
+ "houvessem", "houver", "houvermos", "houverem", "houverei", "houverá",
196
+ "houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou",
197
+ "somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram",
198
+ "fora", "fôramos", "seja", "sejamos", "sejam", "fosse", "fôssemos",
199
+ "fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão",
200
+ "seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha",
201
+ "tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera",
202
+ "tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos",
203
+ "tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos",
204
+ "terão", "teria", "teríamos", "teriam", NULL
166
205
  };
167
206
 
168
207
  const char *FULL_ITALIAN_STOP_WORDS[] = {
169
- "ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
170
- "col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl", "dalla",
171
- "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della",
172
- "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella",
173
- "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla",
174
- "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi",
175
- "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
176
- "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro",
177
- "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li",
178
- "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché",
179
- "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più", "quale",
180
- "quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella",
181
- "quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti",
182
- "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete",
183
- "hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà", "avremo",
184
- "avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste",
185
- "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
186
- "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi", "avesse",
187
- "avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute",
188
- "sono", "sei", "è", "siamo", "siete", "sia", "siate", "siano", "sarò",
189
- "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti",
190
- "sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era",
191
- "eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste",
192
- "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio",
193
- "fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò",
194
- "farai", "farà", "faremo", "farete", "faranno", "farei", "faresti",
195
- "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi", "faceva",
196
- "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo",
197
- "faceste", "fecero", "facessi", "facesse", "facessimo", "facessero",
198
- "facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate",
199
- "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno",
200
- "starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero",
201
- "stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti",
202
- "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
203
- "stessimo", "stessero", "stando", NULL
208
+ "ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
209
+ "col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl",
210
+ "dalla",
211
+ "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della",
212
+ "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella",
213
+ "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla",
214
+ "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi",
215
+ "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
216
+ "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro",
217
+ "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li",
218
+ "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché",
219
+ "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più",
220
+ "quale",
221
+ "quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella",
222
+ "quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti",
223
+ "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete",
224
+ "hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà",
225
+ "avremo",
226
+ "avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste",
227
+ "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
228
+ "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi",
229
+ "avesse",
230
+ "avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute",
231
+ "sono", "sei", "è", "siamo", "siete", "sia", "siate", "siano", "sarò",
232
+ "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti",
233
+ "sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era",
234
+ "eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste",
235
+ "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio",
236
+ "fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò",
237
+ "farai", "farà", "faremo", "farete", "faranno", "farei", "faresti",
238
+ "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi",
239
+ "faceva",
240
+ "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo",
241
+ "faceste", "fecero", "facessi", "facesse", "facessimo", "facessero",
242
+ "facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate",
243
+ "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno",
244
+ "starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero",
245
+ "stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti",
246
+ "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
247
+ "stessimo", "stessero", "stando", NULL
204
248
  };
205
249
 
206
250
  const char *FULL_GERMAN_STOP_WORDS[] = {
207
- "aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
208
- "an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
209
- "anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei", "bin",
210
- "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die",
211
- "das", "daß", "derselbe", "derselben", "denselben", "desselben",
212
- "demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
213
- "deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
214
- "dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
215
- "doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer", "eines",
216
- "einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal",
217
- "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren",
218
- "eurer", "eures", "für", "gegen", "gewesen", "hab", "habe", "haben", "hat",
219
- "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr",
220
- "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem",
221
- "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem",
222
- "jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem",
223
- "keinen", "keiner", "keines", "können", "könnte", "machen", "man", "manche",
224
- "manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem",
225
- "meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht",
226
- "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein",
227
- "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie",
228
- "ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher", "solches",
229
- "soll", "sollte", "sondern", "sonst", "über", "um", "und", "uns", "unse",
230
- "unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor",
231
- "während", "war", "waren", "warst", "was", "weg", "weil", "weiter",
232
- "welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde",
233
- "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
234
- "wollte", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen", NULL
251
+ "aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
252
+ "an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
253
+ "anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei",
254
+ "bin",
255
+ "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die",
256
+ "das", "daß", "derselbe", "derselben", "denselben", "desselben",
257
+ "demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
258
+ "deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
259
+ "dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
260
+ "doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer",
261
+ "eines",
262
+ "einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal",
263
+ "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren",
264
+ "eurer", "eures", "für", "gegen", "gewesen", "hab", "habe", "haben",
265
+ "hat",
266
+ "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr",
267
+ "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem",
268
+ "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem",
269
+ "jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem",
270
+ "keinen", "keiner", "keines", "können", "könnte", "machen", "man",
271
+ "manche",
272
+ "manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem",
273
+ "meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht",
274
+ "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein",
275
+ "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie",
276
+ "ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher",
277
+ "solches",
278
+ "soll", "sollte", "sondern", "sonst", "über", "um", "und", "uns", "unse",
279
+ "unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor",
280
+ "während", "war", "waren", "warst", "was", "weg", "weil", "weiter",
281
+ "welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde",
282
+ "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
283
+ "wollte", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen",
284
+ NULL
235
285
  };
236
286
 
237
287
  const char *FULL_DUTCH_STOP_WORDS[] = {
238
- "de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
239
- "niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had", "er",
240
- "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit", "zo",
241
- "door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit",
242
- "der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze", "u",
243
- "want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets",
244
- "worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet",
245
- "ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens",
246
- "hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen", "ons",
247
- "zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand",
248
- "geweest", "andere", NULL
288
+ "de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
289
+ "niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had",
290
+ "er",
291
+ "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit",
292
+ "zo",
293
+ "door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit",
294
+ "der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze",
295
+ "u",
296
+ "want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets",
297
+ "worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet",
298
+ "ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens",
299
+ "hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen",
300
+ "ons",
301
+ "zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand",
302
+ "geweest", "andere", NULL
249
303
  };
250
304
 
251
305
  const char *FULL_SWEDISH_STOP_WORDS[] = {
252
- "och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
253
- "med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om", "hade",
254
- "de", "av", "icke", "mig", "du", "henne", "då", "sin", "nu", "har", "inte",
255
- "hans", "honom", "skulle", "hennes", "där", "min", "man", "ej", "vid",
256
- "kunde", "något", "från", "ut", "när", "efter", "upp", "vi", "dem", "vara",
257
- "vad", "över", "än", "dig", "kan", "sina", "här", "ha", "mot", "alla",
258
- "under", "någon", "eller", "allt", "mycket", "sedan", "ju", "denna",
259
- "själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt", "ni",
260
- "bli", "blev", "oss", "din", "dessa", "några", "deras", "blir", "mina",
261
- "samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom", "mellan",
262
- "sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta",
263
- "sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era", "vilkas",
264
- NULL
306
+ "och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
307
+ "med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om",
308
+ "hade",
309
+ "de", "av", "icke", "mig", "du", "henne", "", "sin", "nu", "har",
310
+ "inte",
311
+ "hans", "honom", "skulle", "hennes", "där", "min", "man", "ej", "vid",
312
+ "kunde", "något", "från", "ut", "när", "efter", "upp", "vi", "dem",
313
+ "vara",
314
+ "vad", "över", "än", "dig", "kan", "sina", "här", "ha", "mot", "alla",
315
+ "under", "någon", "eller", "allt", "mycket", "sedan", "ju", "denna",
316
+ "själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt", "ni",
317
+ "bli", "blev", "oss", "din", "dessa", "några", "deras", "blir", "mina",
318
+ "samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom",
319
+ "mellan",
320
+ "sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta",
321
+ "sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era",
322
+ "vilkas",
323
+ NULL
265
324
  };
266
325
 
267
326
 
268
327
  const char *FULL_NORWEGIAN_STOP_WORDS[] = {
269
- "og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som", "på",
270
- "de", "med", "han", "av", "ikke", "ikkje", "der", "så", "var", "meg", "seg",
271
- "men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun", "nå",
272
- "over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man",
273
- "kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjøl", "her",
274
- "alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "når", "være",
275
- "kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja", "etter",
276
- "ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "å",
277
- "meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din",
278
- "ditt", "blir", "samme", "hvilken", "hvilke", "sånn", "inni", "mellom",
279
- "vår", "hver", "hvem", "vors", "hvis", "både", "bare", "enn", "fordi",
280
- "før", "mange", "også", "slik", "vært", "være", "båe", "begge", "siden",
281
- "dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "", "eg", "ein",
282
- "eit", "eitt", "elles", "honom", "hjå", "ho", "hoe", "henne", "hennar",
283
- "hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso",
284
- "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi",
285
- "mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si",
286
- "sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore", "verte",
287
- "vort", "varte", "vart", NULL
328
+ "og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som",
329
+ "",
330
+ "de", "med", "han", "av", "ikke", "ikkje", "der", "", "var", "meg",
331
+ "seg",
332
+ "men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun",
333
+ "",
334
+ "over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man",
335
+ "kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjøl", "her",
336
+ "alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "når",
337
+ "være",
338
+ "kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja",
339
+ "etter",
340
+ "ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "å",
341
+ "meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din",
342
+ "ditt", "blir", "samme", "hvilken", "hvilke", "sånn", "inni", "mellom",
343
+ "vår", "hver", "hvem", "vors", "hvis", "både", "bare", "enn", "fordi",
344
+ "før", "mange", "også", "slik", "vært", "være", "båe", "begge",
345
+ "siden",
346
+ "dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "då", "eg",
347
+ "ein",
348
+ "eit", "eitt", "elles", "honom", "hjå", "ho", "hoe", "henne", "hennar",
349
+ "hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso",
350
+ "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi",
351
+ "mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si",
352
+ "sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore",
353
+ "verte",
354
+ "vort", "varte", "vart", NULL
288
355
  };
289
356
 
290
357
  const char *FULL_DANISH_STOP_WORDS[] = {
291
- "og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på", "de",
292
- "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men", "et",
293
- "har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da", "fra",
294
- "du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller",
295
- "hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind", "når",
296
- "være", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle",
297
- "denne", "end", "dette", "mit", "også", "under", "have", "dig", "anden",
298
- "hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse",
299
- "hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes",
300
- "været", "thi", "jer", "sådan", NULL
358
+ "og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på",
359
+ "de",
360
+ "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men",
361
+ "et",
362
+ "har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da",
363
+ "fra",
364
+ "du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller",
365
+ "hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind",
366
+ "når",
367
+ "være", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle",
368
+ "denne", "end", "dette", "mit", "også", "under", "have", "dig", "anden",
369
+ "hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse",
370
+ "hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes",
371
+ "været", "thi", "jer", "sådan", NULL
301
372
  };
302
373
 
303
374
  const char *FULL_RUSSIAN_STOP_WORDS[] = {
304
- "É", "×", "×Ï", "ÎÅ", "ÞÔÏ", "ÏÎ", "ÎÁ", "Ñ", "Ó", "ÓÏ", "ËÁË", "Á", "ÔÏ",
305
- "×ÓÅ", "ÏÎÁ", "ÔÁË", "ÅÇÏ", "ÎÏ", "ÄÁ", "ÔÙ", "Ë", "Õ", "ÖÅ", "×Ù", "ÚÁ",
306
- "ÂÙ", "ÐÏ", "ÔÏÌØËÏ", "ÅÅ", "ÍÎÅ", "ÂÙÌÏ", "×ÏÔ", "ÏÔ", "ÍÅÎÑ", "ÅÝÅ",
307
- "ÎÅÔ", "Ï", "ÉÚ", "ÅÍÕ", "ÔÅÐÅÒØ", "ËÏÇÄÁ", "ÄÁÖÅ", "ÎÕ", "×ÄÒÕÇ", "ÌÉ",
308
- "ÅÓÌÉ", "ÕÖÅ", "ÉÌÉ", "ÎÉ", "ÂÙÔØ", "ÂÙÌ", "ÎÅÇÏ", "ÄÏ", "×ÁÓ", "ÎÉÂÕÄØ",
309
- "ÏÐÑÔØ", "ÕÖ", "×ÁÍ", "ÓËÁÚÁÌ", "×ÅÄØ", "ÔÁÍ", "ÐÏÔÏÍ", "ÓÅÂÑ", "ÎÉÞÅÇÏ",
310
- "ÅÊ", "ÍÏÖÅÔ", "ÏÎÉ", "ÔÕÔ", "ÇÄÅ", "ÅÓÔØ", "ÎÁÄÏ", "ÎÅÊ", "ÄÌÑ", "ÍÙ",
311
- "ÔÅÂÑ", "ÉÈ", "ÞÅÍ", "ÂÙÌÁ", "ÓÁÍ", "ÞÔÏÂ", "ÂÅÚ", "ÂÕÄÔÏ", "ÞÅÌÏ×ÅË",
312
- "ÞÅÇÏ", "ÒÁÚ", "ÔÏÖÅ", "ÓÅÂÅ", "ÐÏÄ", "ÖÉÚÎØ", "ÂÕÄÅÔ", "Ö", "ÔÏÇÄÁ", "ËÔÏ",
313
- "ÜÔÏÔ", "ÇÏ×ÏÒÉÌ", "ÔÏÇÏ", "ÐÏÔÏÍÕ", "ÜÔÏÇÏ", "ËÁËÏÊ", "ÓÏ×ÓÅÍ", "ÎÉÍ",
314
- "ÚÄÅÓØ", "ÜÔÏÍ", "ÏÄÉÎ", "ÐÏÞÔÉ", "ÍÏÊ", "ÔÅÍ", "ÞÔÏÂÙ", "ÎÅÅ", "ËÁÖÅÔÓÑ",
315
- "ÓÅÊÞÁÓ", "ÂÙÌÉ", "ËÕÄÁ", "ÚÁÞÅÍ", "ÓËÁÚÁÔØ", "×ÓÅÈ", "ÎÉËÏÇÄÁ", "ÓÅÇÏÄÎÑ",
316
- "ÍÏÖÎÏ", "ÐÒÉ", "ÎÁËÏÎÅÃ", "Ä×Á", "ÏÂ", "ÄÒÕÇÏÊ", "ÈÏÔØ", "ÐÏÓÌÅ", "ÎÁÄ",
317
- "ÂÏÌØÛÅ", "ÔÏÔ", "ÞÅÒÅÚ", "ÜÔÉ", "ÎÁÓ", "ÐÒÏ", "×ÓÅÇÏ", "ÎÉÈ", "ËÁËÁÑ",
318
- "ÍÎÏÇÏ", "ÒÁÚ×Å", "ÓËÁÚÁÌÁ", "ÔÒÉ", "ÜÔÕ", "ÍÏÑ", "×ÐÒÏÞÅÍ", "ÈÏÒÏÛÏ",
319
- "Ó×ÏÀ", "ÜÔÏÊ", "ÐÅÒÅÄ", "ÉÎÏÇÄÁ", "ÌÕÞÛÅ", "ÞÕÔØ", "ÔÏÍ", "ÎÅÌØÚÑ",
320
- "ÔÁËÏÊ", "ÉÍ", "ÂÏÌÅÅ", "×ÓÅÇÄÁ", "ËÏÎÅÞÎÏ", "×ÓÀ", "ÍÅÖÄÕ", NULL
375
+ "É", "×", "×Ï", "ÎÅ", "ÞÔÏ", "ÏÎ", "ÎÁ", "Ñ", "Ó", "ÓÏ",
376
+ "ËÁË", "Á", "ÔÏ",
377
+ "×ÓÅ", "ÏÎÁ", "ÔÁË", "ÅÇÏ", "ÎÏ", "ÄÁ", "ÔÙ", "Ë",
378
+ "Õ", "ÖÅ", "×Ù", "ÚÁ",
379
+ "ÂÙ", "ÐÏ", "ÔÏÌØËÏ", "ÅÅ", "ÍÎÅ", "ÂÙÌÏ", "×ÏÔ",
380
+ "ÏÔ", "ÍÅÎÑ", "ÅÝÅ",
381
+ "ÎÅÔ", "Ï", "ÉÚ", "ÅÍÕ", "ÔÅÐÅÒØ", "ËÏÇÄÁ",
382
+ "ÄÁÖÅ", "ÎÕ", "×ÄÒÕÇ", "ÌÉ",
383
+ "ÅÓÌÉ", "ÕÖÅ", "ÉÌÉ", "ÎÉ", "ÂÙÔØ", "ÂÙÌ", "ÎÅÇÏ",
384
+ "ÄÏ", "×ÁÓ", "ÎÉÂÕÄØ",
385
+ "ÏÐÑÔØ", "ÕÖ", "×ÁÍ", "ÓËÁÚÁÌ", "×ÅÄØ", "ÔÁÍ",
386
+ "ÐÏÔÏÍ", "ÓÅÂÑ", "ÎÉÞÅÇÏ",
387
+ "ÅÊ", "ÍÏÖÅÔ", "ÏÎÉ", "ÔÕÔ", "ÇÄÅ", "ÅÓÔØ",
388
+ "ÎÁÄÏ", "ÎÅÊ", "ÄÌÑ", "ÍÙ",
389
+ "ÔÅÂÑ", "ÉÈ", "ÞÅÍ", "ÂÙÌÁ", "ÓÁÍ", "ÞÔÏÂ", "ÂÅÚ",
390
+ "ÂÕÄÔÏ", "ÞÅÌÏ×ÅË",
391
+ "ÞÅÇÏ", "ÒÁÚ", "ÔÏÖÅ", "ÓÅÂÅ", "ÐÏÄ", "ÖÉÚÎØ",
392
+ "ÂÕÄÅÔ", "Ö", "ÔÏÇÄÁ", "ËÔÏ",
393
+ "ÜÔÏÔ", "ÇÏ×ÏÒÉÌ", "ÔÏÇÏ", "ÐÏÔÏÍÕ", "ÜÔÏÇÏ",
394
+ "ËÁËÏÊ", "ÓÏ×ÓÅÍ", "ÎÉÍ",
395
+ "ÚÄÅÓØ", "ÜÔÏÍ", "ÏÄÉÎ", "ÐÏÞÔÉ", "ÍÏÊ", "ÔÅÍ",
396
+ "ÞÔÏÂÙ", "ÎÅÅ", "ËÁÖÅÔÓÑ",
397
+ "ÓÅÊÞÁÓ", "ÂÙÌÉ", "ËÕÄÁ", "ÚÁÞÅÍ", "ÓËÁÚÁÔØ",
398
+ "×ÓÅÈ", "ÎÉËÏÇÄÁ", "ÓÅÇÏÄÎÑ",
399
+ "ÍÏÖÎÏ", "ÐÒÉ", "ÎÁËÏÎÅÃ", "Ä×Á", "ÏÂ",
400
+ "ÄÒÕÇÏÊ", "ÈÏÔØ", "ÐÏÓÌÅ", "ÎÁÄ",
401
+ "ÂÏÌØÛÅ", "ÔÏÔ", "ÞÅÒÅÚ", "ÜÔÉ", "ÎÁÓ", "ÐÒÏ",
402
+ "×ÓÅÇÏ", "ÎÉÈ", "ËÁËÁÑ",
403
+ "ÍÎÏÇÏ", "ÒÁÚ×Å", "ÓËÁÚÁÌÁ", "ÔÒÉ", "ÜÔÕ",
404
+ "ÍÏÑ", "×ÐÒÏÞÅÍ", "ÈÏÒÏÛÏ",
405
+ "Ó×ÏÀ", "ÜÔÏÊ", "ÐÅÒÅÄ", "ÉÎÏÇÄÁ", "ÌÕÞÛÅ",
406
+ "ÞÕÔØ", "ÔÏÍ", "ÎÅÌØÚÑ",
407
+ "ÔÁËÏÊ", "ÉÍ", "ÂÏÌÅÅ", "×ÓÅÇÄÁ", "ËÏÎÅÞÎÏ",
408
+ "×ÓÀ", "ÍÅÖÄÕ", NULL
321
409
  };
322
410
 
323
411
  const char *FULL_FINNISH_STOP_WORDS[] = {
324
- NULL
412
+ NULL
325
413
  };