sdsykes-ferret 0.11.6.19

data/ext/stem_UTF_8_spanish.h

@@ -0,0 +1,16 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+extern struct SN_env * spanish_UTF_8_create_env(void);
+extern void spanish_UTF_8_close_env(struct SN_env * z);
+
+extern int spanish_UTF_8_stem(struct SN_env * z);
+
+#ifdef __cplusplus
+}
+#endif
+

data/ext/stem_UTF_8_swedish.c

@@ -0,0 +1,313 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#include "header.h"
+
+extern int swedish_UTF_8_stem(struct SN_env * z);
+static int r_other_suffix(struct SN_env * z);
+static int r_consonant_pair(struct SN_env * z);
+static int r_main_suffix(struct SN_env * z);
+static int r_mark_regions(struct SN_env * z);
+
+extern struct SN_env * swedish_UTF_8_create_env(void);
+extern void swedish_UTF_8_close_env(struct SN_env * z);
+
+static symbol s_0_0[1] = { 'a' };
+static symbol s_0_1[4] = { 'a', 'r', 'n', 'a' };
+static symbol s_0_2[4] = { 'e', 'r', 'n', 'a' };
+static symbol s_0_3[7] = { 'h', 'e', 't', 'e', 'r', 'n', 'a' };
+static symbol s_0_4[4] = { 'o', 'r', 'n', 'a' };
+static symbol s_0_5[2] = { 'a', 'd' };
+static symbol s_0_6[1] = { 'e' };
+static symbol s_0_7[3] = { 'a', 'd', 'e' };
+static symbol s_0_8[4] = { 'a', 'n', 'd', 'e' };
+static symbol s_0_9[4] = { 'a', 'r', 'n', 'e' };
+static symbol s_0_10[3] = { 'a', 'r', 'e' };
+static symbol s_0_11[4] = { 'a', 's', 't', 'e' };
+static symbol s_0_12[2] = { 'e', 'n' };
+static symbol s_0_13[5] = { 'a', 'n', 'd', 'e', 'n' };
+static symbol s_0_14[4] = { 'a', 'r', 'e', 'n' };
+static symbol s_0_15[5] = { 'h', 'e', 't', 'e', 'n' };
+static symbol s_0_16[3] = { 'e', 'r', 'n' };
+static symbol s_0_17[2] = { 'a', 'r' };
+static symbol s_0_18[2] = { 'e', 'r' };
+static symbol s_0_19[5] = { 'h', 'e', 't', 'e', 'r' };
+static symbol s_0_20[2] = { 'o', 'r' };
+static symbol s_0_21[1] = { 's' };
+static symbol s_0_22[2] = { 'a', 's' };
+static symbol s_0_23[5] = { 'a', 'r', 'n', 'a', 's' };
+static symbol s_0_24[5] = { 'e', 'r', 'n', 'a', 's' };
+static symbol s_0_25[5] = { 'o', 'r', 'n', 'a', 's' };
+static symbol s_0_26[2] = { 'e', 's' };
+static symbol s_0_27[4] = { 'a', 'd', 'e', 's' };
+static symbol s_0_28[5] = { 'a', 'n', 'd', 'e', 's' };
+static symbol s_0_29[3] = { 'e', 'n', 's' };
+static symbol s_0_30[5] = { 'a', 'r', 'e', 'n', 's' };
+static symbol s_0_31[6] = { 'h', 'e', 't', 'e', 'n', 's' };
+static symbol s_0_32[4] = { 'e', 'r', 'n', 's' };
+static symbol s_0_33[2] = { 'a', 't' };
+static symbol s_0_34[5] = { 'a', 'n', 'd', 'e', 't' };
+static symbol s_0_35[3] = { 'h', 'e', 't' };
+static symbol s_0_36[3] = { 'a', 's', 't' };
+
+static struct among a_0[37] =
+{
+/*  0 */ { 1, s_0_0, -1, 1, 0},
+/*  1 */ { 4, s_0_1, 0, 1, 0},
+/*  2 */ { 4, s_0_2, 0, 1, 0},
+/*  3 */ { 7, s_0_3, 2, 1, 0},
+/*  4 */ { 4, s_0_4, 0, 1, 0},
+/*  5 */ { 2, s_0_5, -1, 1, 0},
+/*  6 */ { 1, s_0_6, -1, 1, 0},
+/*  7 */ { 3, s_0_7, 6, 1, 0},
+/*  8 */ { 4, s_0_8, 6, 1, 0},
+/*  9 */ { 4, s_0_9, 6, 1, 0},
+/* 10 */ { 3, s_0_10, 6, 1, 0},
+/* 11 */ { 4, s_0_11, 6, 1, 0},
+/* 12 */ { 2, s_0_12, -1, 1, 0},
+/* 13 */ { 5, s_0_13, 12, 1, 0},
+/* 14 */ { 4, s_0_14, 12, 1, 0},
+/* 15 */ { 5, s_0_15, 12, 1, 0},
+/* 16 */ { 3, s_0_16, -1, 1, 0},
+/* 17 */ { 2, s_0_17, -1, 1, 0},
+/* 18 */ { 2, s_0_18, -1, 1, 0},
+/* 19 */ { 5, s_0_19, 18, 1, 0},
+/* 20 */ { 2, s_0_20, -1, 1, 0},
+/* 21 */ { 1, s_0_21, -1, 2, 0},
+/* 22 */ { 2, s_0_22, 21, 1, 0},
+/* 23 */ { 5, s_0_23, 22, 1, 0},
+/* 24 */ { 5, s_0_24, 22, 1, 0},
+/* 25 */ { 5, s_0_25, 22, 1, 0},
+/* 26 */ { 2, s_0_26, 21, 1, 0},
+/* 27 */ { 4, s_0_27, 26, 1, 0},
+/* 28 */ { 5, s_0_28, 26, 1, 0},
+/* 29 */ { 3, s_0_29, 21, 1, 0},
+/* 30 */ { 5, s_0_30, 29, 1, 0},
+/* 31 */ { 6, s_0_31, 29, 1, 0},
+/* 32 */ { 4, s_0_32, 21, 1, 0},
+/* 33 */ { 2, s_0_33, -1, 1, 0},
+/* 34 */ { 5, s_0_34, -1, 1, 0},
+/* 35 */ { 3, s_0_35, -1, 1, 0},
+/* 36 */ { 3, s_0_36, -1, 1, 0}
+};
+
+static symbol s_1_0[2] = { 'd', 'd' };
+static symbol s_1_1[2] = { 'g', 'd' };
+static symbol s_1_2[2] = { 'n', 'n' };
+static symbol s_1_3[2] = { 'd', 't' };
+static symbol s_1_4[2] = { 'g', 't' };
+static symbol s_1_5[2] = { 'k', 't' };
+static symbol s_1_6[2] = { 't', 't' };
+
+static struct among a_1[7] =
+{
+/*  0 */ { 2, s_1_0, -1, -1, 0},
+/*  1 */ { 2, s_1_1, -1, -1, 0},
+/*  2 */ { 2, s_1_2, -1, -1, 0},
+/*  3 */ { 2, s_1_3, -1, -1, 0},
+/*  4 */ { 2, s_1_4, -1, -1, 0},
+/*  5 */ { 2, s_1_5, -1, -1, 0},
+/*  6 */ { 2, s_1_6, -1, -1, 0}
+};
+
+static symbol s_2_0[2] = { 'i', 'g' };
+static symbol s_2_1[3] = { 'l', 'i', 'g' };
+static symbol s_2_2[3] = { 'e', 'l', 's' };
+static symbol s_2_3[5] = { 'f', 'u', 'l', 'l', 't' };
+static symbol s_2_4[5] = { 'l', 0xC3, 0xB6, 's', 't' };
+
+static struct among a_2[5] =
+{
+/*  0 */ { 2, s_2_0, -1, 1, 0},
+/*  1 */ { 3, s_2_1, 0, 1, 0},
+/*  2 */ { 3, s_2_2, -1, 1, 0},
+/*  3 */ { 5, s_2_3, -1, 3, 0},
+/*  4 */ { 5, s_2_4, -1, 2, 0}
+};
+
+static unsigned char g_v[] = { 17, 65, 16, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 24, 0, 32 };
+
+static unsigned char g_s_ending[] = { 119, 127, 149 };
+
+static symbol s_0[] = { 'l', 0xC3, 0xB6, 's' };
+static symbol s_1[] = { 'f', 'u', 'l', 'l' };
+
+static int r_mark_regions(struct SN_env * z) {
+    z->I[0] = z->l;
+    {   int c_test = z->c; /* test, line 29 */
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, + 3);
+            if (c < 0) return 0;
+            z->c = c; /* hop, line 29 */
+        }
+        z->I[1] = z->c; /* setmark x, line 29 */
+        z->c = c_test;
+    }
+    while(1) { /* goto, line 30 */
+        int c = z->c;
+        if (!(in_grouping_U(z, g_v, 97, 246))) goto lab0;
+        z->c = c;
+        break;
+    lab0:
+        z->c = c;
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, 1);
+            if (c < 0) return 0;
+            z->c = c; /* goto, line 30 */
+        }
+    }
+    while(1) { /* gopast, line 30 */
+        if (!(out_grouping_U(z, g_v, 97, 246))) goto lab1;
+        break;
+    lab1:
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, 1);
+            if (c < 0) return 0;
+            z->c = c; /* gopast, line 30 */
+        }
+    }
+    z->I[0] = z->c; /* setmark p1, line 30 */
+     /* try, line 31 */
+    if (!(z->I[0] < z->I[1])) goto lab2;
+    z->I[0] = z->I[1];
+lab2:
+    return 1;
+}
+
+static int r_main_suffix(struct SN_env * z) {
+    int among_var;
+    {   int m3; /* setlimit, line 37 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 37 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        z->ket = z->c; /* [, line 37 */
+        among_var = find_among_b(z, a_0, 37); /* substring, line 37 */
+        if (!(among_var)) { z->lb = m3; return 0; }
+        z->bra = z->c; /* ], line 37 */
+        z->lb = m3;
+    }
+    switch(among_var) {
+        case 0: return 0;
+        case 1:
+            {   int ret;
+                ret = slice_del(z); /* delete, line 44 */
+                if (ret < 0) return ret;
+            }
+            break;
+        case 2:
+            if (!(in_grouping_b_U(z, g_s_ending, 98, 121))) return 0;
+            {   int ret;
+                ret = slice_del(z); /* delete, line 46 */
+                if (ret < 0) return ret;
+            }
+            break;
+    }
+    return 1;
+}
+
+static int r_consonant_pair(struct SN_env * z) {
+    {   int m3; /* setlimit, line 50 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 50 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        {   int m = z->l - z->c; (void) m; /* and, line 52 */
+            if (!(find_among_b(z, a_1, 7))) { z->lb = m3; return 0; } /* among, line 51 */
+            z->c = z->l - m;
+            z->ket = z->c; /* [, line 52 */
+            {   int c = skip_utf8(z->p, z->c, z->lb, 0, -1);
+                if (c < 0) { z->lb = m3; return 0; }
+                z->c = c; /* next, line 52 */
+            }
+            z->bra = z->c; /* ], line 52 */
+            {   int ret;
+                ret = slice_del(z); /* delete, line 52 */
+                if (ret < 0) return ret;
+            }
+        }
+        z->lb = m3;
+    }
+    return 1;
+}
+
+static int r_other_suffix(struct SN_env * z) {
+    int among_var;
+    {   int m3; /* setlimit, line 55 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 55 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        z->ket = z->c; /* [, line 56 */
+        among_var = find_among_b(z, a_2, 5); /* substring, line 56 */
+        if (!(among_var)) { z->lb = m3; return 0; }
+        z->bra = z->c; /* ], line 56 */
+        switch(among_var) {
+            case 0: { z->lb = m3; return 0; }
+            case 1:
+                {   int ret;
+                    ret = slice_del(z); /* delete, line 57 */
+                    if (ret < 0) return ret;
+                }
+                break;
+            case 2:
+                {   int ret;
+                    ret = slice_from_s(z, 4, s_0); /* <-, line 58 */
+                    if (ret < 0) return ret;
+                }
+                break;
+            case 3:
+                {   int ret;
+                    ret = slice_from_s(z, 4, s_1); /* <-, line 59 */
+                    if (ret < 0) return ret;
+                }
+                break;
+        }
+        z->lb = m3;
+    }
+    return 1;
+}
+
+extern int swedish_UTF_8_stem(struct SN_env * z) {
+    {   int c = z->c; /* do, line 66 */
+        {   int ret = r_mark_regions(z);
+            if (ret == 0) goto lab0; /* call mark_regions, line 66 */
+            if (ret < 0) return ret;
+        }
+    lab0:
+        z->c = c;
+    }
+    z->lb = z->c; z->c = z->l; /* backwards, line 67 */
+
+    {   int m = z->l - z->c; (void) m; /* do, line 68 */
+        {   int ret = r_main_suffix(z);
+            if (ret == 0) goto lab1; /* call main_suffix, line 68 */
+            if (ret < 0) return ret;
+        }
+    lab1:
+        z->c = z->l - m;
+    }
+    {   int m = z->l - z->c; (void) m; /* do, line 69 */
+        {   int ret = r_consonant_pair(z);
+            if (ret == 0) goto lab2; /* call consonant_pair, line 69 */
+            if (ret < 0) return ret;
+        }
+    lab2:
+        z->c = z->l - m;
+    }
+    {   int m = z->l - z->c; (void) m; /* do, line 70 */
+        {   int ret = r_other_suffix(z);
+            if (ret == 0) goto lab3; /* call other_suffix, line 70 */
+            if (ret < 0) return ret;
+        }
+    lab3:
+        z->c = z->l - m;
+    }
+    z->c = z->lb;
+    return 1;
+}
+
+extern struct SN_env * swedish_UTF_8_create_env(void) { return SN_create_env(0, 2, 0); }
+
+extern void swedish_UTF_8_close_env(struct SN_env * z) { SN_close_env(z); }
+

data/ext/stem_UTF_8_swedish.h

@@ -0,0 +1,16 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+extern struct SN_env * swedish_UTF_8_create_env(void);
+extern void swedish_UTF_8_close_env(struct SN_env * z);
+
+extern int swedish_UTF_8_stem(struct SN_env * z);
+
+#ifdef __cplusplus
+}
+#endif
+

data/ext/stopwords.c

@@ -0,0 +1,401 @@
+#include <stdlib.h>
+
+/*
+ * This list of stop words is taken from
+ *
+ *     http://snowball.tartarus.org/
+ *
+ * Many thanks to Martin Porter
+ */
+
+const char *ENGLISH_STOP_WORDS[] = {
+    "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
+    "into", "is", "it", "no", "not", "of", "on", "or", "such", "that",
+    "the", "their", "then", "there", "these", "they", "this", "to", "was",
+    "with", NULL
+};
+
+const char *FULL_ENGLISH_STOP_WORDS[] = {
+    "a", "about", "above", "after", "again", "against", "all", "am", "an",
+    "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
+    "before", "being", "below", "between", "both", "but", "by", "cannot",
+    "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
+    "doing", "don't", "down", "during", "each", "few", "for", "from",
+        "further",
+    "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
+        "he'd",
+    "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
+    "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
+    "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
+        "me",
+    "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
+        "off",
+    "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
+    "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
+    "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
+    "the", "their", "theirs", "them", "themselves", "then", "there",
+        "there's",
+    "these", "they", "they'd", "they'll", "they're", "they've", "this",
+        "those",
+    "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
+    "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
+    "what's", "when", "when's", "where", "where's", "which", "while", "who",
+    "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
+    "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
+    "yourselves", "you've", NULL
+};
+
+const char *EXTENDED_ENGLISH_STOP_WORDS[] = {
+    "a", "about", "above", "after", "again", "against", "all", "am", "an",
+    "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
+    "before", "being", "below", "between", "both", "but", "by", "cannot",
+    "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
+    "doing", "don't", "down", "during", "each", "few", "for", "from",
+        "further",
+    "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he",
+        "he'd",
+    "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
+    "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
+    "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's",
+        "me",
+    "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of",
+        "off",
+    "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
+    "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
+    "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
+    "the", "their", "theirs", "them", "themselves", "then", "there",
+        "there's",
+    "these", "they", "they'd", "they'll", "they're", "they've", "this",
+        "those",
+    "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
+    "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
+    "what's", "when", "when's", "where", "where's", "which", "while", "who",
+    "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
+    "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
+    "yourselves", "you've",
+
+    /* Most common words in the English Language */
+    "one", "every", "least", "less", "many", "now", "ever", "never", "say",
+    "says", "said", "also", "get", "go", "goes", "just", "made", "make",
+        "put",
+    "see", "seen", "whether", "like", "well", "back", "even", "still", "way",
+    "take", "since", "another", "however", "two", "three", "four", "five",
+    "first", "second", "new", "old", "high", "long", NULL
+};
+
+const char *FULL_FRENCH_STOP_WORDS[] = {
+    "au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
+    "et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
+    "même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
+    "par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
+    "ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre",
+        "vous",
+    "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée",
+        "étées",
+    "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est",
+    "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez",
+    "seront", "serais", "serait", "serions", "seriez", "seraient", "étais",
+    "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes",
+        "fûtes",
+    "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses",
+    "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes",
+    "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont",
+    "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait",
+    "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez",
+    "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait",
+        "ayons",
+    "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez",
+        "eussent",
+    NULL
+};
+
+const char *FULL_SPANISH_STOP_WORDS[] = {
+    "de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
+    "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más",
+        "pero",
+    "sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre",
+        "cuando",
+    "muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
+    "desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
+    "otros", "ese", "eso", "ante", "ellos", "e", "esto", "mí", "antes",
+    "algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
+    "esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
+    "ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis",
+        "tú",
+    "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras",
+    "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas",
+    "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros",
+    "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas",
+    "estoy", "estás", "está", "estamos", "estáis", "están", "esté",
+        "estés",
+    "estemos", "estéis", "estén", "estaré", "estarás", "estará",
+        "estaremos",
+    "estaréis", "estarán", "estaría", "estarías", "estaríamos",
+        "estaríais",
+    "estarían", "estaba", "estabas", "estábamos", "estabais", "estaban",
+    "estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron",
+    "estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran",
+    "estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen",
+    "estando", "estado", "estada", "estados", "estadas", "estad", "he", "has",
+    "ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis",
+    "hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán",
+    "habría", "habrías", "habríamos", "habríais", "habrían", "había",
+        "habías",
+    "habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos",
+    "hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos",
+        "hubierais",
+    "hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen",
+    "habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es",
+    "somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean",
+        "seré",
+    "serás", "será", "seremos", "seréis", "serán", "sería", "serías",
+    "seríamos", "seríais", "serían", "era", "eras", "éramos", "erais",
+        "eran",
+    "fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras",
+    "fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos",
+        "fueseis",
+    "fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas",
+    "siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis",
+    "tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré",
+    "tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría",
+    "tendrías", "tendríamos", "tendríais", "tendrían", "tenía",
+        "tenías",
+    "teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos",
+    "tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos",
+        "tuvierais",
+    "tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen",
+    "teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL
+};
+
+const char *FULL_PORTUGUESE_STOP_WORDS[] = {
+    "de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
+    "uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
+    "ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos",
+        "já",
+    "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre",
+    "depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
+    "eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha",
+        "numa",
+    "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses",
+        "pelas",
+    "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas",
+        "teu",
+    "tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela",
+    "delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles",
+        "aquelas",
+    "isto", "aquilo", "estou", "está", "estamos", "estão", "estive",
+        "esteve",
+    "estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera",
+    "estivéramos", "esteja", "estejamos", "estejam", "estivesse",
+    "estivéssemos", "estivessem", "estiver", "estivermos", "estiverem",
+        "hei",
+    "há", "havemos", "hão", "houve", "houvemos", "houveram", "houvera",
+    "houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos",
+    "houvessem", "houver", "houvermos", "houverem", "houverei", "houverá",
+    "houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou",
+    "somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram",
+    "fora", "fôramos", "seja", "sejamos", "sejam", "fosse", "fôssemos",
+    "fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão",
+    "seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha",
+    "tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera",
+    "tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos",
+    "tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos",
+    "terão", "teria", "teríamos", "teriam", NULL
+};
+
+const char *FULL_ITALIAN_STOP_WORDS[] = {
+    "ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
+    "col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl",
+        "dalla",
+    "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della",
+    "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella",
+    "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla",
+    "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi",
+    "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
+    "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro",
+    "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li",
+    "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché",
+    "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più",
+        "quale",
+    "quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella",
+    "quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti",
+    "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete",
+    "hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà",
+        "avremo",
+    "avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste",
+    "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
+    "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi",
+        "avesse",
+    "avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute",
+    "sono", "sei", "è", "siamo", "siete", "sia", "siate", "siano", "sarò",
+    "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti",
+    "sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era",
+    "eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste",
+    "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio",
+    "fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò",
+    "farai", "farà", "faremo", "farete", "faranno", "farei", "faresti",
+    "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi",
+        "faceva",
+    "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo",
+    "faceste", "fecero", "facessi", "facesse", "facessimo", "facessero",
+    "facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate",
+    "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno",
+    "starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero",
+    "stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti",
+    "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
+    "stessimo", "stessero", "stando", NULL
+};
+
+const char *FULL_GERMAN_STOP_WORDS[] = {
+    "aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
+    "an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
+    "anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei",
+        "bin",
+    "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die",
+    "das", "daß", "derselbe", "derselben", "denselben", "desselben",
+    "demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
+    "deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
+    "dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
+    "doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer",
+        "eines",
+    "einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal",
+    "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren",
+    "eurer", "eures", "für", "gegen", "gewesen", "hab", "habe", "haben",
+        "hat",
+    "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr",
+    "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem",
+    "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem",
+    "jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem",
+    "keinen", "keiner", "keines", "können", "könnte", "machen", "man",
+        "manche",
+    "manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem",
+    "meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht",
+    "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein",
+    "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie",
+    "ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher",
+        "solches",
+    "soll", "sollte", "sondern", "sonst", "über", "um", "und", "uns", "unse",
+    "unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor",
+    "während", "war", "waren", "warst", "was", "weg", "weil", "weiter",
+    "welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde",
+    "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
+    "wollte", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen",
+        NULL
+};
+
+const char *FULL_DUTCH_STOP_WORDS[] = {
+    "de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
+    "niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had",
+        "er",
+    "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit",
+        "zo",
+    "door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit",
+    "der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze",
+        "u",
+    "want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets",
+    "worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet",
+    "ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens",
+    "hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen",
+        "ons",
+    "zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand",
+    "geweest", "andere", NULL
+};
+
+const char *FULL_SWEDISH_STOP_WORDS[] = {
+    "och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
+    "med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om",
+        "hade",
+    "de", "av", "icke", "mig", "du", "henne", "då", "sin", "nu", "har",
+        "inte",
+    "hans", "honom", "skulle", "hennes", "där", "min", "man", "ej", "vid",
+    "kunde", "något", "från", "ut", "när", "efter", "upp", "vi", "dem",
+        "vara",
+    "vad", "över", "än", "dig", "kan", "sina", "här", "ha", "mot", "alla",
+    "under", "någon", "eller", "allt", "mycket", "sedan", "ju", "denna",
+    "själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt", "ni",
+    "bli", "blev", "oss", "din", "dessa", "några", "deras", "blir", "mina",
+    "samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom",
+        "mellan",
+    "sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta",
+    "sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era",
+        "vilkas",
+    NULL
+};
+
+
+const char *FULL_NORWEGIAN_STOP_WORDS[] = {
+    "og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som",
+        "på",
+    "de", "med", "han", "av", "ikke", "ikkje", "der", "så", "var", "meg",
+        "seg",
+    "men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun",
+        "nå",
+    "over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man",
+    "kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjøl", "her",
+    "alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "når",
+        "være",
+    "kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja",
+        "etter",
+    "ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "å",
+    "meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din",
+    "ditt", "blir", "samme", "hvilken", "hvilke", "sånn", "inni", "mellom",
+    "vår", "hver", "hvem", "vors", "hvis", "både", "bare", "enn", "fordi",
+    "før", "mange", "også", "slik", "vært", "være", "båe", "begge",
+        "siden",
+    "dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "då", "eg",
+        "ein",
+    "eit", "eitt", "elles", "honom", "hjå", "ho", "hoe", "henne", "hennar",
+    "hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso",
+    "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi",
+    "mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si",
+    "sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore",
+        "verte",
+    "vort", "varte", "vart", NULL
+};
+
+const char *FULL_DANISH_STOP_WORDS[] = {
+    "og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på",
+        "de",
+    "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men",
+        "et",
+    "har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da",
+        "fra",
+    "du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller",
+    "hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind",
+        "når",
+    "være", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle",
+    "denne", "end", "dette", "mit", "også", "under", "have", "dig", "anden",
+    "hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse",
+    "hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes",
+    "været", "thi", "jer", "sådan", NULL
+};
+
+const char *FULL_RUSSIAN_STOP_WORDS[] = {
+    "а", "без", "более", "бы", "был", "была", "были", "было", "быть", "в",
+    "вам", "вас", "весь", "во", "вот", "все", "всего", "всех", "вы", "где",
+    "да", "даже", "для", "до", "его", "ее", "ей", "ею", "если", "есть", "еще",
+    "же", "за", "здесь", "и", "из", "или", "им", "их", "к", "как", "ко",
+    "когда", "кто", "ли", "либо", "мне", "может", "мы", "на", "надо", "наш",
+    "не", "него", "нее", "нет", "ни", "них", "но", "ну", "о", "об", "однако",
+    "он", "она", "они", "оно", "от", "очень", "по", "под", "при", "с", "со",
+    "так", "также", "такой", "там", "те", "тем", "то", "того", "тоже", "той",
+    "только", "том", "ты", "у", "уже", "хотя", "чего", "чей", "чем", "что",
+    "чтобы", "чье", "чья", "эта", "эти", "это", "я", NULL
+};
+
+const char *FULL_RUSSIAN_STOP_WORDS_KOI8_R[] = {
+    "Á", "ÂÅÚ", "ÂÏÌÅÅ", "ÂÙ", "ÂÙÌ", "ÂÙÌÁ", "ÂÙÌÉ", "ÂÙÌÏ", "ÂÙÔØ", "×",
+    "×ÁÍ", "×ÁÓ", "×ÅÓØ", "×Ï", "×ÏÔ", "×ÓÅ", "×ÓÅÇÏ", "×ÓÅÈ", "×Ù", "ÇÄÅ",
+    "ÄÁ", "ÄÁÖÅ", "ÄÌÑ", "ÄÏ", "ÅÇÏ", "ÅÅ", "ÅÊ", "ÅÀ", "ÅÓÌÉ", "ÅÓÔØ", "ÅÝÅ",
+    "ÖÅ", "ÚÁ", "ÚÄÅÓØ", "É", "ÉÚ", "ÉÌÉ", "ÉÍ", "ÉÈ", "Ë", "ËÁË", "ËÏ",
+    "ËÏÇÄÁ", "ËÔÏ", "ÌÉ", "ÌÉÂÏ", "ÍÎÅ", "ÍÏÖÅÔ", "ÍÙ", "ÎÁ", "ÎÁÄÏ", "ÎÁÛ",
+    "ÎÅ", "ÎÅÇÏ", "ÎÅÅ", "ÎÅÔ", "ÎÉ", "ÎÉÈ", "ÎÏ", "ÎÕ", "Ï", "ÏÂ", "ÏÄÎÁËÏ",
+    "ÏÎ", "ÏÎÁ", "ÏÎÉ", "ÏÎÏ", "ÏÔ", "ÏÞÅÎØ", "ÐÏ", "ÐÏÄ", "ÐÒÉ", "Ó", "ÓÏ",
+    "ÔÁË", "ÔÁËÖÅ", "ÔÁËÏÊ", "ÔÁÍ", "ÔÅ", "ÔÅÍ", "ÔÏ", "ÔÏÇÏ", "ÔÏÖÅ", "ÔÏÊ",
+    "ÔÏÌØËÏ", "ÔÏÍ", "ÔÙ", "Õ", "ÕÖÅ", "ÈÏÔÑ", "ÞÅÇÏ", "ÞÅÊ", "ÞÅÍ", "ÞÔÏ",
+    "ÞÔÏÂÙ", "ÞØÅ", "ÞØÑ", "ÜÔÁ", "ÜÔÉ", "ÜÔÏ", "Ñ", NULL
+};
+
+const char *FULL_FINNISH_STOP_WORDS[] = {
+    NULL
+};