isomorfeus-ferret 0.12.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +7 -0
- data/LICENSE +612 -0
- data/README.md +44 -0
- data/ext/isomorfeus_ferret_ext/benchmark.c +223 -0
- data/ext/isomorfeus_ferret_ext/benchmark.h +45 -0
- data/ext/isomorfeus_ferret_ext/benchmarks_all.h +25 -0
- data/ext/isomorfeus_ferret_ext/bm_bitvector.c +123 -0
- data/ext/isomorfeus_ferret_ext/bm_hash.c +118 -0
- data/ext/isomorfeus_ferret_ext/bm_micro_string.c +40 -0
- data/ext/isomorfeus_ferret_ext/bm_store.c +93 -0
- data/ext/isomorfeus_ferret_ext/email.rl +21 -0
- data/ext/isomorfeus_ferret_ext/extconf.rb +5 -0
- data/ext/isomorfeus_ferret_ext/fio_tmpfile.h +53 -0
- data/ext/isomorfeus_ferret_ext/frb_analysis.c +2577 -0
- data/ext/isomorfeus_ferret_ext/frb_index.c +3457 -0
- data/ext/isomorfeus_ferret_ext/frb_lang.c +9 -0
- data/ext/isomorfeus_ferret_ext/frb_lang.h +17 -0
- data/ext/isomorfeus_ferret_ext/frb_qparser.c +629 -0
- data/ext/isomorfeus_ferret_ext/frb_search.c +4460 -0
- data/ext/isomorfeus_ferret_ext/frb_store.c +515 -0
- data/ext/isomorfeus_ferret_ext/frb_threading.h +30 -0
- data/ext/isomorfeus_ferret_ext/frb_utils.c +1127 -0
- data/ext/isomorfeus_ferret_ext/frt_analysis.c +1644 -0
- data/ext/isomorfeus_ferret_ext/frt_analysis.h +247 -0
- data/ext/isomorfeus_ferret_ext/frt_array.c +124 -0
- data/ext/isomorfeus_ferret_ext/frt_array.h +54 -0
- data/ext/isomorfeus_ferret_ext/frt_bitvector.c +95 -0
- data/ext/isomorfeus_ferret_ext/frt_bitvector.h +586 -0
- data/ext/isomorfeus_ferret_ext/frt_compound_io.c +374 -0
- data/ext/isomorfeus_ferret_ext/frt_config.h +44 -0
- data/ext/isomorfeus_ferret_ext/frt_document.c +134 -0
- data/ext/isomorfeus_ferret_ext/frt_document.h +52 -0
- data/ext/isomorfeus_ferret_ext/frt_except.c +95 -0
- data/ext/isomorfeus_ferret_ext/frt_except.h +188 -0
- data/ext/isomorfeus_ferret_ext/frt_field_index.c +233 -0
- data/ext/isomorfeus_ferret_ext/frt_field_index.h +42 -0
- data/ext/isomorfeus_ferret_ext/frt_filter.c +157 -0
- data/ext/isomorfeus_ferret_ext/frt_fs_store.c +502 -0
- data/ext/isomorfeus_ferret_ext/frt_global.c +427 -0
- data/ext/isomorfeus_ferret_ext/frt_global.h +290 -0
- data/ext/isomorfeus_ferret_ext/frt_hash.c +518 -0
- data/ext/isomorfeus_ferret_ext/frt_hash.h +466 -0
- data/ext/isomorfeus_ferret_ext/frt_hashset.c +191 -0
- data/ext/isomorfeus_ferret_ext/frt_hashset.h +206 -0
- data/ext/isomorfeus_ferret_ext/frt_helper.c +62 -0
- data/ext/isomorfeus_ferret_ext/frt_helper.h +13 -0
- data/ext/isomorfeus_ferret_ext/frt_ind.c +353 -0
- data/ext/isomorfeus_ferret_ext/frt_ind.h +54 -0
- data/ext/isomorfeus_ferret_ext/frt_index.c +6377 -0
- data/ext/isomorfeus_ferret_ext/frt_index.h +880 -0
- data/ext/isomorfeus_ferret_ext/frt_lang.c +104 -0
- data/ext/isomorfeus_ferret_ext/frt_lang.h +44 -0
- data/ext/isomorfeus_ferret_ext/frt_mempool.c +87 -0
- data/ext/isomorfeus_ferret_ext/frt_mempool.h +33 -0
- data/ext/isomorfeus_ferret_ext/frt_multimapper.c +349 -0
- data/ext/isomorfeus_ferret_ext/frt_multimapper.h +52 -0
- data/ext/isomorfeus_ferret_ext/frt_posh.c +1006 -0
- data/ext/isomorfeus_ferret_ext/frt_posh.h +973 -0
- data/ext/isomorfeus_ferret_ext/frt_priorityqueue.c +147 -0
- data/ext/isomorfeus_ferret_ext/frt_priorityqueue.h +147 -0
- data/ext/isomorfeus_ferret_ext/frt_q_boolean.c +1612 -0
- data/ext/isomorfeus_ferret_ext/frt_q_const_score.c +157 -0
- data/ext/isomorfeus_ferret_ext/frt_q_filtered_query.c +209 -0
- data/ext/isomorfeus_ferret_ext/frt_q_fuzzy.c +281 -0
- data/ext/isomorfeus_ferret_ext/frt_q_match_all.c +147 -0
- data/ext/isomorfeus_ferret_ext/frt_q_multi_term.c +672 -0
- data/ext/isomorfeus_ferret_ext/frt_q_parser.c +3084 -0
- data/ext/isomorfeus_ferret_ext/frt_q_phrase.c +1182 -0
- data/ext/isomorfeus_ferret_ext/frt_q_prefix.c +98 -0
- data/ext/isomorfeus_ferret_ext/frt_q_range.c +665 -0
- data/ext/isomorfeus_ferret_ext/frt_q_span.c +2386 -0
- data/ext/isomorfeus_ferret_ext/frt_q_term.c +311 -0
- data/ext/isomorfeus_ferret_ext/frt_q_wildcard.c +166 -0
- data/ext/isomorfeus_ferret_ext/frt_ram_store.c +460 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner.c +899 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner.h +28 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner_mb.c +6705 -0
- data/ext/isomorfeus_ferret_ext/frt_scanner_utf8.c +4419 -0
- data/ext/isomorfeus_ferret_ext/frt_search.c +1824 -0
- data/ext/isomorfeus_ferret_ext/frt_search.h +924 -0
- data/ext/isomorfeus_ferret_ext/frt_similarity.c +150 -0
- data/ext/isomorfeus_ferret_ext/frt_similarity.h +79 -0
- data/ext/isomorfeus_ferret_ext/frt_sort.c +796 -0
- data/ext/isomorfeus_ferret_ext/frt_stopwords.c +395 -0
- data/ext/isomorfeus_ferret_ext/frt_store.c +680 -0
- data/ext/isomorfeus_ferret_ext/frt_store.h +789 -0
- data/ext/isomorfeus_ferret_ext/frt_term_vectors.c +72 -0
- data/ext/isomorfeus_ferret_ext/frt_threading.h +23 -0
- data/ext/isomorfeus_ferret_ext/frt_win32.h +54 -0
- data/ext/isomorfeus_ferret_ext/isomorfeus_ferret.c +409 -0
- data/ext/isomorfeus_ferret_ext/isomorfeus_ferret.h +95 -0
- data/ext/isomorfeus_ferret_ext/libstemmer.c +93 -0
- data/ext/isomorfeus_ferret_ext/libstemmer.h +73 -0
- data/ext/isomorfeus_ferret_ext/q_parser.y +1366 -0
- data/ext/isomorfeus_ferret_ext/scanner.h +28 -0
- data/ext/isomorfeus_ferret_ext/scanner.in +43 -0
- data/ext/isomorfeus_ferret_ext/scanner.rl +84 -0
- data/ext/isomorfeus_ferret_ext/scanner_mb.rl +200 -0
- data/ext/isomorfeus_ferret_ext/scanner_utf8.rl +85 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.c +324 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_danish.h +7 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.c +610 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_dutch.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.c +1104 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_english.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.c +749 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_finnish.h +7 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.c +1233 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_french.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.c +490 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_german.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.c +1217 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_hungarian.h +7 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.c +1052 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_italian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.c +283 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_norwegian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.c +735 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_porter.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.c +1003 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_portuguese.h +7 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.c +1079 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_spanish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.c +293 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_1_swedish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.c +984 -0
- data/ext/isomorfeus_ferret_ext/stem_ISO_8859_2_romanian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.c +686 -0
- data/ext/isomorfeus_ferret_ext/stem_KOI8_R_russian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.c +325 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_danish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.c +620 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_dutch.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.c +1111 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_english.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.c +754 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_finnish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.c +1242 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_french.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.c +495 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_german.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.c +1220 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_hungarian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.c +1059 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_italian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.c +285 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_norwegian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.c +741 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_porter.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.c +1009 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_portuguese.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.c +990 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_romanian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.c +680 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_russian.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.c +1083 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_spanish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.c +294 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_swedish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.c +2191 -0
- data/ext/isomorfeus_ferret_ext/stem_UTF_8_turkish.h +6 -0
- data/ext/isomorfeus_ferret_ext/stem_api.c +66 -0
- data/ext/isomorfeus_ferret_ext/stem_api.h +26 -0
- data/ext/isomorfeus_ferret_ext/stem_header.h +57 -0
- data/ext/isomorfeus_ferret_ext/stem_modules.h +190 -0
- data/ext/isomorfeus_ferret_ext/stem_modules.txt +50 -0
- data/ext/isomorfeus_ferret_ext/stem_utilities.c +478 -0
- data/ext/isomorfeus_ferret_ext/test.c +850 -0
- data/ext/isomorfeus_ferret_ext/test.h +416 -0
- data/ext/isomorfeus_ferret_ext/test_1710.c +63 -0
- data/ext/isomorfeus_ferret_ext/test_analysis.c +1221 -0
- data/ext/isomorfeus_ferret_ext/test_array.c +272 -0
- data/ext/isomorfeus_ferret_ext/test_bitvector.c +600 -0
- data/ext/isomorfeus_ferret_ext/test_compound_io.c +170 -0
- data/ext/isomorfeus_ferret_ext/test_document.c +156 -0
- data/ext/isomorfeus_ferret_ext/test_except.c +244 -0
- data/ext/isomorfeus_ferret_ext/test_fields.c +522 -0
- data/ext/isomorfeus_ferret_ext/test_file_deleter.c +185 -0
- data/ext/isomorfeus_ferret_ext/test_filter.c +331 -0
- data/ext/isomorfeus_ferret_ext/test_fs_store.c +25 -0
- data/ext/isomorfeus_ferret_ext/test_global.c +299 -0
- data/ext/isomorfeus_ferret_ext/test_hash.c +485 -0
- data/ext/isomorfeus_ferret_ext/test_hashset.c +288 -0
- data/ext/isomorfeus_ferret_ext/test_helper.c +47 -0
- data/ext/isomorfeus_ferret_ext/test_highlighter.c +548 -0
- data/ext/isomorfeus_ferret_ext/test_index.c +2323 -0
- data/ext/isomorfeus_ferret_ext/test_lang.c +74 -0
- data/ext/isomorfeus_ferret_ext/test_mempool.c +102 -0
- data/ext/isomorfeus_ferret_ext/test_multimapper.c +64 -0
- data/ext/isomorfeus_ferret_ext/test_priorityqueue.c +213 -0
- data/ext/isomorfeus_ferret_ext/test_q_const_score.c +84 -0
- data/ext/isomorfeus_ferret_ext/test_q_filtered.c +61 -0
- data/ext/isomorfeus_ferret_ext/test_q_fuzzy.c +241 -0
- data/ext/isomorfeus_ferret_ext/test_q_parser.c +464 -0
- data/ext/isomorfeus_ferret_ext/test_q_span.c +575 -0
- data/ext/isomorfeus_ferret_ext/test_ram_store.c +77 -0
- data/ext/isomorfeus_ferret_ext/test_search.c +1874 -0
- data/ext/isomorfeus_ferret_ext/test_segments.c +167 -0
- data/ext/isomorfeus_ferret_ext/test_similarity.c +25 -0
- data/ext/isomorfeus_ferret_ext/test_sort.c +333 -0
- data/ext/isomorfeus_ferret_ext/test_store.c +591 -0
- data/ext/isomorfeus_ferret_ext/test_store.h +3 -0
- data/ext/isomorfeus_ferret_ext/test_term.c +351 -0
- data/ext/isomorfeus_ferret_ext/test_term_vectors.c +373 -0
- data/ext/isomorfeus_ferret_ext/test_test.c +83 -0
- data/ext/isomorfeus_ferret_ext/test_threading.c +188 -0
- data/ext/isomorfeus_ferret_ext/testhelper.c +561 -0
- data/ext/isomorfeus_ferret_ext/testhelper.h +25 -0
- data/ext/isomorfeus_ferret_ext/tests_all.h +87 -0
- data/ext/isomorfeus_ferret_ext/uchar-ucs4.rl +1854 -0
- data/ext/isomorfeus_ferret_ext/uchar-utf8.rl +1999 -0
- data/ext/isomorfeus_ferret_ext/url.rl +27 -0
- data/ext/isomorfeus_ferret_ext/word_list.h +15156 -0
- data/lib/isomorfeus/ferret/document.rb +132 -0
- data/lib/isomorfeus/ferret/field_symbol.rb +85 -0
- data/lib/isomorfeus/ferret/index/field_infos.rb +48 -0
- data/lib/isomorfeus/ferret/index/index.rb +970 -0
- data/lib/isomorfeus/ferret/monitor.rb +323 -0
- data/lib/isomorfeus/ferret/stdlib_patches.rb +151 -0
- data/lib/isomorfeus/ferret/version.rb +5 -0
- data/lib/isomorfeus-ferret.rb +8 -0
- metadata +307 -0
@@ -0,0 +1,395 @@
|
|
1
|
+
#include <stdlib.h>
|
2
|
+
|
3
|
+
/*
|
4
|
+
* This list of stop words is taken from
|
5
|
+
*
|
6
|
+
* http://snowball.tartarus.org/
|
7
|
+
*
|
8
|
+
* Many thanks to Martin Porter
|
9
|
+
*/
|
10
|
+
|
11
|
+
const char *FRT_ENGLISH_STOP_WORDS[] = {
|
12
|
+
"a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
|
13
|
+
"into", "is", "it", "no", "not", "of", "on", "or", "such", "that", "the",
|
14
|
+
"their", "then", "there", "these", "they", "this", "to", "was", "with",
|
15
|
+
NULL
|
16
|
+
};
|
17
|
+
|
18
|
+
const char *FRT_FULL_ENGLISH_STOP_WORDS[] = {
|
19
|
+
"a", "about", "above", "after", "again", "against", "all", "am", "an",
|
20
|
+
"and", "any", "are", "aren't", "as", "at", "be", "because", "been",
|
21
|
+
"before", "being", "below", "between", "both", "but", "by", "cannot",
|
22
|
+
"can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
|
23
|
+
"doing", "don't", "down", "during", "each", "few", "for", "from",
|
24
|
+
"further", "had", "hadn't", "has", "hasn't", "have", "haven't", "having",
|
25
|
+
"he", "he'd", "he'll", "her", "here", "here's", "hers", "herself", "he's",
|
26
|
+
"him", "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm",
|
27
|
+
"in", "into", "is", "isn't", "it", "its", "it's", "itself", "i've",
|
28
|
+
"let's", "me", "more", "most", "mustn't", "my", "myself", "no", "nor",
|
29
|
+
"not", "of", "off", "on", "once", "only", "or", "other", "ought", "our",
|
30
|
+
"ours", "ourselves", "out", "over", "own", "same", "shan't", "she",
|
31
|
+
"she'd", "she'll", "she's", "should", "shouldn't", "so", "some", "such",
|
32
|
+
"than", "that", "that's", "the", "their", "theirs", "them", "themselves",
|
33
|
+
"then", "there", "there's", "these", "they", "they'd", "they'll",
|
34
|
+
"they're", "they've", "this", "those", "through", "to", "too", "under",
|
35
|
+
"until", "up", "very", "was", "wasn't", "we", "we'd", "we'll", "were",
|
36
|
+
"we're", "weren't", "we've", "what", "what's", "when", "when's", "where",
|
37
|
+
"where's", "which", "while", "who", "whom", "who's", "why", "why's",
|
38
|
+
"with", "won't", "would", "wouldn't", "you", "you'd", "you'll", "your",
|
39
|
+
"you're", "yours", "yourself", "yourselves", "you've",
|
40
|
+
NULL
|
41
|
+
};
|
42
|
+
|
43
|
+
const char *FRT_EXTENDED_ENGLISH_STOP_WORDS[] = {
|
44
|
+
"a", "about", "above", "after", "again", "against", "all", "am", "an",
|
45
|
+
"and", "any", "are", "aren't", "as", "at", "be", "because", "been",
|
46
|
+
"before", "being", "below", "between", "both", "but", "by", "cannot",
|
47
|
+
"can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
|
48
|
+
"doing", "don't", "down", "during", "each", "few", "for", "from",
|
49
|
+
"further", "had", "hadn't", "has", "hasn't", "have", "haven't", "having",
|
50
|
+
"he", "he'd", "he'll", "her", "here", "here's", "hers", "herself", "he's",
|
51
|
+
"him", "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm",
|
52
|
+
"in", "into", "is", "isn't", "it", "its", "it's", "itself", "i've",
|
53
|
+
"let's", "me", "more", "most", "mustn't", "my", "myself", "no", "nor",
|
54
|
+
"not", "of", "off", "on", "once", "only", "or", "other", "ought", "our",
|
55
|
+
"ours", "ourselves", "out", "over", "own", "same", "shan't", "she",
|
56
|
+
"she'd", "she'll", "she's", "should", "shouldn't", "so", "some", "such",
|
57
|
+
"than", "that", "that's", "the", "their", "theirs", "them", "themselves",
|
58
|
+
"then", "there", "there's", "these", "they", "they'd", "they'll",
|
59
|
+
"they're", "they've", "this", "those", "through", "to", "too", "under",
|
60
|
+
"until", "up", "very", "was", "wasn't", "we", "we'd", "we'll", "were",
|
61
|
+
"we're", "weren't", "we've", "what", "what's", "when", "when's", "where",
|
62
|
+
"where's", "which", "while", "who", "whom", "who's", "why", "why's",
|
63
|
+
"with", "won't", "would", "wouldn't", "you", "you'd", "you'll", "your",
|
64
|
+
"you're", "yours", "yourself", "yourselves", "you've",
|
65
|
+
|
66
|
+
/* Most common words in the English Language */
|
67
|
+
"one", "every", "least", "less", "many", "now", "ever", "never", "say",
|
68
|
+
"says", "said", "also", "get", "go", "goes", "just", "made", "make",
|
69
|
+
"put", "see", "seen", "whether", "like", "well", "back", "even", "still",
|
70
|
+
"way", "take", "since", "another", "however", "two", "three", "four",
|
71
|
+
"five", "first", "second", "new", "old", "high", "long",
|
72
|
+
NULL
|
73
|
+
};
|
74
|
+
|
75
|
+
const char *FRT_FULL_FRENCH_STOP_WORDS[] = {
|
76
|
+
"au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
|
77
|
+
"et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
|
78
|
+
"même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
|
79
|
+
"par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
|
80
|
+
"ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre",
|
81
|
+
"vous", "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée",
|
82
|
+
"étées", "étés", "étant", "étante", "étants", "étantes", "suis", "es",
|
83
|
+
"est", "sommes", "êtes", "sont", "serai", "seras", "sera", "serons",
|
84
|
+
"serez", "seront", "serais", "serait", "serions", "seriez", "seraient",
|
85
|
+
"étais", "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes",
|
86
|
+
"fûtes", "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse",
|
87
|
+
"fusses", "fût", "fussions", "fussiez", "fussent", "ayant", "ayante",
|
88
|
+
"ayantes", "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons",
|
89
|
+
"avez", "ont", "aurai", "auras", "aura", "aurons", "aurez", "auront",
|
90
|
+
"aurais", "aurait", "aurions", "auriez", "auraient", "avais", "avait",
|
91
|
+
"avions", "aviez", "avaient", "eut", "eûmes", "eûtes", "eurent", "aie",
|
92
|
+
"aies", "ait", "ayons", "ayez", "aient", "eusse", "eusses", "eût",
|
93
|
+
"eussions", "eussiez", "eussent",
|
94
|
+
NULL
|
95
|
+
};
|
96
|
+
|
97
|
+
const char *FRT_FULL_SPANISH_STOP_WORDS[] = {
|
98
|
+
"de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
|
99
|
+
"un", "para", "con", "no", "una", "su", "al", "lo", "como", "más", "pero",
|
100
|
+
"sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre", "cuando",
|
101
|
+
"muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
|
102
|
+
"desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
|
103
|
+
"otros", "ese", "eso", "ante", "ellos", "e", "esto", "mí", "antes",
|
104
|
+
"algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
|
105
|
+
"esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
|
106
|
+
"ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis",
|
107
|
+
"tú", "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros",
|
108
|
+
"vosostras", "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos",
|
109
|
+
"tuyas", "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra",
|
110
|
+
"nuestros", "nuestras", "vuestro", "vuestra", "vuestros", "vuestras",
|
111
|
+
"esos", "esas", "estoy", "estás", "está", "estamos", "estáis", "están",
|
112
|
+
"esté", "estés", "estemos", "estéis", "estén", "estaré", "estarás",
|
113
|
+
"estará", "estaremos", "estaréis", "estarán", "estaría", "estarías",
|
114
|
+
"estaríamos", "estaríais", "estarían", "estaba", "estabas", "estábamos",
|
115
|
+
"estabais", "estaban", "estuve", "estuviste", "estuvo", "estuvimos",
|
116
|
+
"estuvisteis", "estuvieron", "estuviera", "estuvieras", "estuviéramos",
|
117
|
+
"estuvierais", "estuvieran", "estuviese", "estuvieses", "estuviésemos",
|
118
|
+
"estuvieseis", "estuviesen", "estando", "estado", "estada", "estados",
|
119
|
+
"estadas", "estad", "he", "has", "ha", "hemos", "habéis", "han", "haya",
|
120
|
+
"hayas", "hayamos", "hayáis", "hayan", "habré", "habrás", "habrá",
|
121
|
+
"habremos", "habréis", "habrán", "habría", "habrías", "habríamos",
|
122
|
+
"habríais", "habrían", "había", "habías", "habíamos", "habíais", "habían",
|
123
|
+
"hube", "hubiste", "hubo", "hubimos", "hubisteis", "hubieron", "hubiera",
|
124
|
+
"hubieras", "hubiéramos", "hubierais", "hubieran", "hubiese", "hubieses",
|
125
|
+
"hubiésemos", "hubieseis", "hubiesen", "habiendo", "habido", "habida",
|
126
|
+
"habidos", "habidas", "soy", "eres", "es", "somos", "sois", "son", "sea",
|
127
|
+
"seas", "seamos", "seáis", "sean", "seré", "serás", "será", "seremos",
|
128
|
+
"seréis", "serán", "sería", "serías", "seríamos", "seríais", "serían",
|
129
|
+
"era", "eras", "éramos", "erais", "eran", "fui", "fuiste", "fue",
|
130
|
+
"fuimos", "fuisteis", "fueron", "fuera", "fueras", "fuéramos", "fuerais",
|
131
|
+
"fueran", "fuese", "fueses", "fuésemos", "fueseis", "fuesen", "sintiendo",
|
132
|
+
"sentido", "sentida", "sentidos", "sentidas", "siente", "sentid", "tengo",
|
133
|
+
"tienes", "tiene", "tenemos", "tenéis", "tienen", "tenga", "tengas",
|
134
|
+
"tengamos", "tengáis", "tengan", "tendré", "tendrás", "tendrá",
|
135
|
+
"tendremos", "tendréis", "tendrán", "tendría", "tendrías", "tendríamos",
|
136
|
+
"tendríais", "tendrían", "tenía", "tenías", "teníamos", "teníais",
|
137
|
+
"tenían", "tuve", "tuviste", "tuvo", "tuvimos", "tuvisteis", "tuvieron",
|
138
|
+
"tuviera", "tuvieras", "tuviéramos", "tuvierais", "tuvieran", "tuviese",
|
139
|
+
"tuvieses", "tuviésemos", "tuvieseis", "tuviesen", "teniendo", "tenido",
|
140
|
+
"tenida", "tenidos", "tenidas", "tened",
|
141
|
+
NULL
|
142
|
+
};
|
143
|
+
|
144
|
+
const char *FRT_FULL_PORTUGUESE_STOP_WORDS[] = {
|
145
|
+
"de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
|
146
|
+
"uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
|
147
|
+
"ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos",
|
148
|
+
"já", "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre",
|
149
|
+
"depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
|
150
|
+
"eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha",
|
151
|
+
"numa", "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses",
|
152
|
+
"pelas", "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus",
|
153
|
+
"minhas", "teu", "tua", "teus", "tuas", "nosso", "nossa", "nossos",
|
154
|
+
"nossas", "dela", "delas", "esta", "estes", "estas", "aquele", "aquela",
|
155
|
+
"aqueles", "aquelas", "isto", "aquilo", "estou", "está", "estamos",
|
156
|
+
"estão", "estive", "esteve", "estivemos", "estiveram", "estava",
|
157
|
+
"estávamos", "estavam", "estivera", "estivéramos", "esteja", "estejamos",
|
158
|
+
"estejam", "estivesse", "estivéssemos", "estivessem", "estiver",
|
159
|
+
"estivermos", "estiverem", "hei", "há", "havemos", "hão", "houve",
|
160
|
+
"houvemos", "houveram", "houvera", "houvéramos", "haja", "hajamos",
|
161
|
+
"hajam", "houvesse", "houvéssemos", "houvessem", "houver", "houvermos",
|
162
|
+
"houverem", "houverei", "houverá", "houveremos", "houverão", "houveria",
|
163
|
+
"houveríamos", "houveriam", "sou", "somos", "são", "era", "éramos",
|
164
|
+
"eram", "fui", "foi", "fomos", "foram", "fora", "fôramos", "seja",
|
165
|
+
"sejamos", "sejam", "fosse", "fôssemos", "fossem", "for", "formos",
|
166
|
+
"forem", "serei", "será", "seremos", "serão", "seria", "seríamos",
|
167
|
+
"seriam", "tenho", "tem", "temos", "tém", "tinha", "tínhamos", "tinham",
|
168
|
+
"tive", "teve", "tivemos", "tiveram", "tivera", "tivéramos", "tenha",
|
169
|
+
"tenhamos", "tenham", "tivesse", "tivéssemos", "tivessem", "tiver",
|
170
|
+
"tivermos", "tiverem", "terei", "terá", "teremos", "terão", "teria",
|
171
|
+
"teríamos", "teriam",
|
172
|
+
NULL
|
173
|
+
};
|
174
|
+
|
175
|
+
const char *FRT_FULL_ITALIAN_STOP_WORDS[] = {
|
176
|
+
"ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
|
177
|
+
"col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl",
|
178
|
+
"dalla", "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl",
|
179
|
+
"della", "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl",
|
180
|
+
"nella", "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl",
|
181
|
+
"sulla", "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi",
|
182
|
+
"voi", "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue",
|
183
|
+
"suo", "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre",
|
184
|
+
"vostro", "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo",
|
185
|
+
"la", "li", "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se",
|
186
|
+
"perché", "anche", "come", "dov", "dove", "che", "chi", "cui", "non",
|
187
|
+
"più", "quale", "quanto", "quanti", "quanta", "quante", "quello",
|
188
|
+
"quelli", "quella", "quelle", "questo", "questi", "questa", "queste",
|
189
|
+
"si", "tutto", "tutti", "a", "c", "e", "i", "l", "o", "ho", "hai", "ha",
|
190
|
+
"abbiamo", "avete", "hanno", "abbia", "abbiate", "abbiano", "avrò",
|
191
|
+
"avrai", "avrà", "avremo", "avrete", "avranno", "avrei", "avresti",
|
192
|
+
"avrebbe", "avremmo", "avreste", "avrebbero", "avevo", "avevi", "aveva",
|
193
|
+
"avevamo", "avevate", "avevano", "ebbi", "avesti", "ebbe", "avemmo",
|
194
|
+
"aveste", "ebbero", "avessi", "avesse", "avessimo", "avessero", "avendo",
|
195
|
+
"avuto", "avuta", "avuti", "avute", "sono", "sei", "è", "siamo", "siete",
|
196
|
+
"sia", "siate", "siano", "sarò", "sarai", "sarà", "saremo", "sarete",
|
197
|
+
"saranno", "sarei", "saresti", "sarebbe", "saremmo", "sareste",
|
198
|
+
"sarebbero", "ero", "eri", "era", "eravamo", "eravate", "erano", "fui",
|
199
|
+
"fosti", "fu", "fummo", "foste", "furono", "fossi", "fosse", "fossimo",
|
200
|
+
"fossero", "essendo", "faccio", "fai", "facciamo", "fanno", "faccia",
|
201
|
+
"facciate", "facciano", "farò", "farai", "farà", "faremo", "farete",
|
202
|
+
"faranno", "farei", "faresti", "farebbe", "faremmo", "fareste",
|
203
|
+
"farebbero", "facevo", "facevi", "faceva", "facevamo", "facevate",
|
204
|
+
"facevano", "feci", "facesti", "fece", "facemmo", "faceste", "fecero",
|
205
|
+
"facessi", "facesse", "facessimo", "facessero", "facendo", "sto", "stai",
|
206
|
+
"sta", "stiamo", "stanno", "stia", "stiate", "stiano", "starò", "starai",
|
207
|
+
"starà", "staremo", "starete", "staranno", "starei", "staresti",
|
208
|
+
"starebbe", "staremmo", "stareste", "starebbero", "stavo", "stavi",
|
209
|
+
"stava", "stavamo", "stavate", "stavano", "stetti", "stesti", "stette",
|
210
|
+
"stemmo", "steste", "stettero", "stessi", "stesse", "stessimo",
|
211
|
+
"stessero", "stando",
|
212
|
+
NULL
|
213
|
+
};
|
214
|
+
|
215
|
+
const char *FRT_FULL_GERMAN_STOP_WORDS[] = {
|
216
|
+
"aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
|
217
|
+
"an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
|
218
|
+
"anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei",
|
219
|
+
"bin", "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem",
|
220
|
+
"die", "das", "daß", "derselbe", "derselben", "denselben", "desselben",
|
221
|
+
"demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
|
222
|
+
"deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
|
223
|
+
"dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
|
224
|
+
"doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer",
|
225
|
+
"eines", "einig", "einige", "einigem", "einigen", "einiger", "einiges",
|
226
|
+
"einmal", "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem",
|
227
|
+
"euren", "eurer", "eures", "für", "gegen", "gewesen", "hab", "habe",
|
228
|
+
"haben", "hat", "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich",
|
229
|
+
"mir", "ihr", "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im",
|
230
|
+
"in", "indem", "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes",
|
231
|
+
"jene", "jenem", "jenen", "jener", "jenes", "jetzt", "kann", "kein",
|
232
|
+
"keine", "keinem", "keinen", "keiner", "keines", "können", "könnte",
|
233
|
+
"machen", "man", "manche", "manchem", "manchen", "mancher", "manches",
|
234
|
+
"mein", "meine", "meinem", "meinen", "meiner", "meines", "mit", "muss",
|
235
|
+
"musste", "nach", "nicht", "nichts", "noch", "nun", "nur", "ob", "oder",
|
236
|
+
"ohne", "sehr", "sein", "seine", "seinem", "seinen", "seiner", "seines",
|
237
|
+
"selbst", "sich", "sie", "ihnen", "sind", "so", "solche", "solchem",
|
238
|
+
"solchen", "solcher", "solches", "soll", "sollte", "sondern", "sonst",
|
239
|
+
"über", "um", "und", "uns", "unse", "unsem", "unsen", "unser", "unses",
|
240
|
+
"unter", "viel", "vom", "von", "vor", "während", "war", "waren", "warst",
|
241
|
+
"was", "weg", "weil", "weiter", "welche", "welchem", "welchen", "welcher",
|
242
|
+
"welches", "wenn", "werde", "werden", "wie", "wieder", "will", "wir",
|
243
|
+
"wird", "wirst", "wo", "wollen", "wollte", "würde", "würden", "zu", "zum",
|
244
|
+
"zur", "zwar", "zwischen",
|
245
|
+
NULL
|
246
|
+
};
|
247
|
+
|
248
|
+
const char *FRT_FULL_DUTCH_STOP_WORDS[] = {
|
249
|
+
"de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
|
250
|
+
"niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had",
|
251
|
+
"er", "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men",
|
252
|
+
"dit", "zo", "door", "over", "ze", "zich", "bij", "ook", "tot", "je",
|
253
|
+
"mij", "uit", "der", "daar", "haar", "naar", "heb", "hoe", "heeft",
|
254
|
+
"hebben", "deze", "u", "want", "nog", "zal", "me", "zij", "nu", "ge",
|
255
|
+
"geen", "omdat", "iets", "worden", "toch", "al", "waren", "veel", "meer",
|
256
|
+
"doen", "toen", "moet", "ben", "zonder", "kan", "hun", "dus", "alles",
|
257
|
+
"onder", "ja", "eens", "hier", "wie", "werd", "altijd", "doch", "wordt",
|
258
|
+
"wezen", "kunnen", "ons", "zelf", "tegen", "na", "reeds", "wil", "kon",
|
259
|
+
"niets", "uw", "iemand", "geweest", "andere",
|
260
|
+
NULL
|
261
|
+
};
|
262
|
+
|
263
|
+
const char *FRT_FULL_SWEDISH_STOP_WORDS[] = {
|
264
|
+
"och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
|
265
|
+
"med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om",
|
266
|
+
"hade", "de", "av", "icke", "mig", "du", "henne", "då", "sin", "nu",
|
267
|
+
"har", "inte", "hans", "honom", "skulle", "hennes", "där", "min", "man",
|
268
|
+
"ej", "vid", "kunde", "något", "från", "ut", "när", "efter", "upp", "vi",
|
269
|
+
"dem", "vara", "vad", "över", "än", "dig", "kan", "sina", "här", "ha",
|
270
|
+
"mot", "alla", "under", "någon", "eller", "allt", "mycket", "sedan", "ju",
|
271
|
+
"denna", "själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt",
|
272
|
+
"ni", "bli", "blev", "oss", "din", "dessa", "några", "deras", "blir",
|
273
|
+
"mina", "samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom",
|
274
|
+
"mellan", "sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket",
|
275
|
+
"sitta", "sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era",
|
276
|
+
"vilkas",
|
277
|
+
NULL
|
278
|
+
};
|
279
|
+
|
280
|
+
|
281
|
+
const char *FRT_FULL_NORWEGIAN_STOP_WORDS[] = {
|
282
|
+
"og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som",
|
283
|
+
"på", "de", "med", "han", "av", "ikke", "ikkje", "der", "så", "var",
|
284
|
+
"meg", "seg", "men", "ett", "har", "om", "vi", "min", "mitt", "ha",
|
285
|
+
"hadde", "hun", "nå", "over", "da", "ved", "fra", "du", "ut", "sin",
|
286
|
+
"dem", "oss", "opp", "man", "kan", "hans", "hvor", "eller", "hva", "skal",
|
287
|
+
"selv", "sjøl", "her", "alle", "vil", "bli", "ble", "blei", "blitt",
|
288
|
+
"kunne", "inn", "når", "være", "kom", "noen", "noe", "ville", "dere",
|
289
|
+
"som", "deres", "kun", "ja", "etter", "ned", "skulle", "denne", "for",
|
290
|
+
"deg", "si", "sine", "sitt", "mot", "å", "meget", "hvorfor", "dette",
|
291
|
+
"disse", "uten", "hvordan", "ingen", "din", "ditt", "blir", "samme",
|
292
|
+
"hvilken", "hvilke", "sånn", "inni", "mellom", "vår", "hver", "hvem",
|
293
|
+
"vors", "hvis", "både", "bare", "enn", "fordi", "før", "mange", "også",
|
294
|
+
"slik", "vært", "være", "båe", "begge", "siden", "dykk", "dykkar", "dei",
|
295
|
+
"deira", "deires", "deim", "di", "då", "eg", "ein", "eit", "eitt",
|
296
|
+
"elles", "honom", "hjå", "ho", "hoe", "henne", "hennar", "hennes", "hoss",
|
297
|
+
"hossen", "ikkje", "ingi", "inkje", "korleis", "korso", "kva", "kvar",
|
298
|
+
"kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi", "mine",
|
299
|
+
"mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si", "sia",
|
300
|
+
"sidan", "so", "somt", "somme", "um", "upp", "vere", "vore", "verte",
|
301
|
+
"vort", "varte", "vart",
|
302
|
+
NULL
|
303
|
+
};
|
304
|
+
|
305
|
+
const char *FRT_FULL_DANISH_STOP_WORDS[] = {
|
306
|
+
"og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på",
|
307
|
+
"de", "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig",
|
308
|
+
"men", "et", "har", "om", "vi", "min", "havde", "ham", "hun", "nu",
|
309
|
+
"over", "da", "fra", "du", "ud", "sin", "dem", "os", "op", "man", "hans",
|
310
|
+
"hvor", "eller", "hvad", "skal", "selv", "her", "alle", "vil", "blev",
|
311
|
+
"kunne", "ind", "når", "være", "dog", "noget", "ville", "jo", "deres",
|
312
|
+
"efter", "ned", "skulle", "denne", "end", "dette", "mit", "også", "under",
|
313
|
+
"have", "dig", "anden", "hende", "mine", "alt", "meget", "sit", "sine",
|
314
|
+
"vor", "mod", "disse", "hvis", "din", "nogle", "hos", "blive", "mange",
|
315
|
+
"ad", "bliver", "hendes", "været", "thi", "jer", "sådan",
|
316
|
+
NULL
|
317
|
+
};
|
318
|
+
|
319
|
+
const char *FRT_FULL_RUSSIAN_STOP_WORDS[] = {
|
320
|
+
"а", "без", "более", "бы", "был", "была", "были", "было", "быть", "в",
|
321
|
+
"вам", "вас", "весь", "во", "вот", "все", "всего", "всех", "вы", "где",
|
322
|
+
"да", "даже", "для", "до", "его", "ее", "ей", "ею", "если", "есть", "еще",
|
323
|
+
"же", "за", "здесь", "и", "из", "или", "им", "их", "к", "как", "ко",
|
324
|
+
"когда", "кто", "ли", "либо", "мне", "может", "мы", "на", "надо", "наш",
|
325
|
+
"не", "него", "нее", "нет", "ни", "них", "но", "ну", "о", "об", "однако",
|
326
|
+
"он", "она", "они", "оно", "от", "очень", "по", "под", "при", "с", "со",
|
327
|
+
"так", "также", "такой", "там", "те", "тем", "то", "того", "тоже", "той",
|
328
|
+
"только", "том", "ты", "у", "уже", "хотя", "чего", "чей", "чем", "что",
|
329
|
+
"чтобы", "чье", "чья", "эта", "эти", "это", "я",
|
330
|
+
NULL
|
331
|
+
};
|
332
|
+
|
333
|
+
const char *FRT_FULL_FINNISH_STOP_WORDS[] = {
|
334
|
+
"olla", "olen", "olet", "on", "olemme", "olette", "ovat", "ole", "oli",
|
335
|
+
"olisi", "olisit", "olisin", "olisimme", "olisitte", "olisivat", "olit",
|
336
|
+
"olin", "olimme", "olitte", "olivat", "ollut", "olleet", "en", "et", "ei",
|
337
|
+
"emme", "ette", "eivät", "minä", "minun", "minut", "minua", "minussa",
|
338
|
+
"minusta", "minuun", "minulla", "minulta", "minulle", "sinä", "sinun",
|
339
|
+
"sinut", "sinua", "sinussa", "sinusta", "sinuun", "sinulla", "sinulta",
|
340
|
+
"sinulle", "hän", "hänen", "hänet", "häntä", "hänessä", "hänestä",
|
341
|
+
"häneen", "hänellä", "häneltä", "hänelle", "me", "meidän", "meidät",
|
342
|
+
"meitä", "meissä", "meistä", "meihin", "meillä", "meiltä", "meille", "te",
|
343
|
+
"teidän", "teidät", "teitä", "teissä", "teistä", "teihin", "teillä",
|
344
|
+
"teiltä", "teille", "he", "heidän", "heidät", "heitä", "heissä", "heistä",
|
345
|
+
"heihin", "heillä", "heiltä", "heille", "tämä", "tämän", "tätä", "tässä",
|
346
|
+
"tästä", "tähän", "tallä", "tältä", "tälle", "tänä", "täksi", "tuo",
|
347
|
+
"tuon", "tuotä", "tuossa", "tuosta", "tuohon", "tuolla", "tuolta",
|
348
|
+
"tuolle", "tuona", "tuoksi", "se", "sen", "sitä", "siinä", "siitä",
|
349
|
+
"siihen", "sillä", "siltä", "sille", "sinä", "siksi", "nämä", "näiden",
|
350
|
+
"näitä", "näissä", "näistä", "näihin", "näillä", "näiltä", "näille",
|
351
|
+
"näinä", "näiksi", "nuo", "noiden", "noita", "noissa", "noista", "noihin",
|
352
|
+
"noilla", "noilta", "noille", "noina", "noiksi", "ne", "niiden", "niitä",
|
353
|
+
"niissä", "niistä", "niihin", "niillä", "niiltä", "niille", "niinä",
|
354
|
+
"niiksi", "kuka", "kenen", "kenet", "ketä", "kenessä", "kenestä",
|
355
|
+
"keneen", "kenellä", "keneltä", "kenelle", "kenenä", "keneksi", "ketkä",
|
356
|
+
"keiden", "ketkä", "keitä", "keissä", "keistä", "keihin", "keillä",
|
357
|
+
"keiltä", "keille", "keinä", "keiksi", "mikä", "minkä", "minkä", "mitä",
|
358
|
+
"missä", "mistä", "mihin", "millä", "miltä", "mille", "minä", "miksi",
|
359
|
+
"mitkä", "joka", "jonka", "jota", "jossa", "josta", "johon", "jolla",
|
360
|
+
"jolta", "jolle", "jona", "joksi", "jotka", "joiden", "joita", "joissa",
|
361
|
+
"joista", "joihin", "joilla", "joilta", "joille", "joina", "joiksi",
|
362
|
+
"että", "ja", "jos", "koska", "kuin", "mutta", "niin", "sekä", "sillä",
|
363
|
+
"tai", "vaan", "vai", "vaikka", "kanssa", "mukaan", "noin", "poikki",
|
364
|
+
"yli", "kun", "niin", "nyt", "itse",
|
365
|
+
NULL
|
366
|
+
};
|
367
|
+
|
368
|
+
const char *FRT_FULL_HUNGARIAN_STOP_WORDS[] = {
|
369
|
+
"a", "ahogy", "ahol", "aki", "akik", "akkor", "alatt", "által",
|
370
|
+
"általában", "amely", "amelyek", "amelyekben", "amelyeket", "amelyet",
|
371
|
+
"amelynek", "ami", "amit", "amolyan", "amíg", "amikor", "át", "abban",
|
372
|
+
"ahhoz", "annak", "arra", "arról", "az", "azok", "azon", "azt", "azzal",
|
373
|
+
"azért", "aztán", "azután", "azonban", "bár", "be", "belül", "benne",
|
374
|
+
"cikk", "cikkek", "cikkeket", "csak", "de", "e", "eddig", "egész", "egy",
|
375
|
+
"egyes", "egyetlen", "egyéb", "egyik", "egyre", "ekkor", "el", "elég",
|
376
|
+
"ellen", "elõ", "elõször", "elõtt", "elsõ", "én", "éppen", "ebben",
|
377
|
+
"ehhez", "emilyen", "ennek", "erre", "ez", "ezt", "ezek", "ezen", "ezzel",
|
378
|
+
"ezért", "és", "fel", "felé", "hanem", "hiszen", "hogy", "hogyan", "igen",
|
379
|
+
"így", "illetve", "ill.", "ill", "ilyen", "ilyenkor", "ison", "ismét",
|
380
|
+
"itt", "jó", "jól", "jobban", "kell", "kellett", "keresztül", "keressünk",
|
381
|
+
"ki", "kívül", "között", "közül", "legalább", "lehet", "lehetett",
|
382
|
+
"legyen", "lenne", "lenni", "lesz", "lett", "maga", "magát", "majd",
|
383
|
+
"majd", "már", "más", "másik", "meg", "még", "mellett", "mert", "mely",
|
384
|
+
"melyek", "mi", "mit", "míg", "miért", "milyen", "mikor", "minden",
|
385
|
+
"mindent", "mindenki", "mindig", "mint", "mintha", "mivel", "most",
|
386
|
+
"nagy", "nagyobb", "nagyon", "ne", "néha", "nekem", "neki", "nem",
|
387
|
+
"néhány", "nélkül", "nincs", "olyan", "ott", "össze", "õ", "õk", "õket",
|
388
|
+
"pedig", "persze", "rá", "s", "saját", "sem", "semmi", "sok", "sokat",
|
389
|
+
"sokkal", "számára", "szemben", "szerint", "szinte", "talán", "tehát",
|
390
|
+
"teljes", "tovább", "továbbá", "több", "úgy", "ugyanis", "új", "újabb",
|
391
|
+
"újra", "után", "utána", "utolsó", "vagy", "vagyis", "valaki", "valami",
|
392
|
+
"valamint", "való", "vagyok", "van", "vannak", "volt", "voltam", "voltak",
|
393
|
+
"voltunk", "vissza", "vele", "viszont", "volna",
|
394
|
+
NULL
|
395
|
+
};
|