ferret 0.9.0 → 0.9.1

data/ext/stem_UTF_8_spanish.h

@@ -0,0 +1,16 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+extern struct SN_env * spanish_UTF_8_create_env(void);
+extern void spanish_UTF_8_close_env(struct SN_env * z);
+
+extern int spanish_UTF_8_stem(struct SN_env * z);
+
+#ifdef __cplusplus
+}
+#endif
+

data/ext/stem_UTF_8_swedish.c

@@ -0,0 +1,313 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#include "header.h"
+
+extern int swedish_UTF_8_stem(struct SN_env * z);
+static int r_other_suffix(struct SN_env * z);
+static int r_consonant_pair(struct SN_env * z);
+static int r_main_suffix(struct SN_env * z);
+static int r_mark_regions(struct SN_env * z);
+
+extern struct SN_env * swedish_UTF_8_create_env(void);
+extern void swedish_UTF_8_close_env(struct SN_env * z);
+
+static symbol s_0_0[1] = { 'a' };
+static symbol s_0_1[4] = { 'a', 'r', 'n', 'a' };
+static symbol s_0_2[4] = { 'e', 'r', 'n', 'a' };
+static symbol s_0_3[7] = { 'h', 'e', 't', 'e', 'r', 'n', 'a' };
+static symbol s_0_4[4] = { 'o', 'r', 'n', 'a' };
+static symbol s_0_5[2] = { 'a', 'd' };
+static symbol s_0_6[1] = { 'e' };
+static symbol s_0_7[3] = { 'a', 'd', 'e' };
+static symbol s_0_8[4] = { 'a', 'n', 'd', 'e' };
+static symbol s_0_9[4] = { 'a', 'r', 'n', 'e' };
+static symbol s_0_10[3] = { 'a', 'r', 'e' };
+static symbol s_0_11[4] = { 'a', 's', 't', 'e' };
+static symbol s_0_12[2] = { 'e', 'n' };
+static symbol s_0_13[5] = { 'a', 'n', 'd', 'e', 'n' };
+static symbol s_0_14[4] = { 'a', 'r', 'e', 'n' };
+static symbol s_0_15[5] = { 'h', 'e', 't', 'e', 'n' };
+static symbol s_0_16[3] = { 'e', 'r', 'n' };
+static symbol s_0_17[2] = { 'a', 'r' };
+static symbol s_0_18[2] = { 'e', 'r' };
+static symbol s_0_19[5] = { 'h', 'e', 't', 'e', 'r' };
+static symbol s_0_20[2] = { 'o', 'r' };
+static symbol s_0_21[1] = { 's' };
+static symbol s_0_22[2] = { 'a', 's' };
+static symbol s_0_23[5] = { 'a', 'r', 'n', 'a', 's' };
+static symbol s_0_24[5] = { 'e', 'r', 'n', 'a', 's' };
+static symbol s_0_25[5] = { 'o', 'r', 'n', 'a', 's' };
+static symbol s_0_26[2] = { 'e', 's' };
+static symbol s_0_27[4] = { 'a', 'd', 'e', 's' };
+static symbol s_0_28[5] = { 'a', 'n', 'd', 'e', 's' };
+static symbol s_0_29[3] = { 'e', 'n', 's' };
+static symbol s_0_30[5] = { 'a', 'r', 'e', 'n', 's' };
+static symbol s_0_31[6] = { 'h', 'e', 't', 'e', 'n', 's' };
+static symbol s_0_32[4] = { 'e', 'r', 'n', 's' };
+static symbol s_0_33[2] = { 'a', 't' };
+static symbol s_0_34[5] = { 'a', 'n', 'd', 'e', 't' };
+static symbol s_0_35[3] = { 'h', 'e', 't' };
+static symbol s_0_36[3] = { 'a', 's', 't' };
+
+static struct among a_0[37] =
+{
+/*  0 */ { 1, s_0_0, -1, 1, 0},
+/*  1 */ { 4, s_0_1, 0, 1, 0},
+/*  2 */ { 4, s_0_2, 0, 1, 0},
+/*  3 */ { 7, s_0_3, 2, 1, 0},
+/*  4 */ { 4, s_0_4, 0, 1, 0},
+/*  5 */ { 2, s_0_5, -1, 1, 0},
+/*  6 */ { 1, s_0_6, -1, 1, 0},
+/*  7 */ { 3, s_0_7, 6, 1, 0},
+/*  8 */ { 4, s_0_8, 6, 1, 0},
+/*  9 */ { 4, s_0_9, 6, 1, 0},
+/* 10 */ { 3, s_0_10, 6, 1, 0},
+/* 11 */ { 4, s_0_11, 6, 1, 0},
+/* 12 */ { 2, s_0_12, -1, 1, 0},
+/* 13 */ { 5, s_0_13, 12, 1, 0},
+/* 14 */ { 4, s_0_14, 12, 1, 0},
+/* 15 */ { 5, s_0_15, 12, 1, 0},
+/* 16 */ { 3, s_0_16, -1, 1, 0},
+/* 17 */ { 2, s_0_17, -1, 1, 0},
+/* 18 */ { 2, s_0_18, -1, 1, 0},
+/* 19 */ { 5, s_0_19, 18, 1, 0},
+/* 20 */ { 2, s_0_20, -1, 1, 0},
+/* 21 */ { 1, s_0_21, -1, 2, 0},
+/* 22 */ { 2, s_0_22, 21, 1, 0},
+/* 23 */ { 5, s_0_23, 22, 1, 0},
+/* 24 */ { 5, s_0_24, 22, 1, 0},
+/* 25 */ { 5, s_0_25, 22, 1, 0},
+/* 26 */ { 2, s_0_26, 21, 1, 0},
+/* 27 */ { 4, s_0_27, 26, 1, 0},
+/* 28 */ { 5, s_0_28, 26, 1, 0},
+/* 29 */ { 3, s_0_29, 21, 1, 0},
+/* 30 */ { 5, s_0_30, 29, 1, 0},
+/* 31 */ { 6, s_0_31, 29, 1, 0},
+/* 32 */ { 4, s_0_32, 21, 1, 0},
+/* 33 */ { 2, s_0_33, -1, 1, 0},
+/* 34 */ { 5, s_0_34, -1, 1, 0},
+/* 35 */ { 3, s_0_35, -1, 1, 0},
+/* 36 */ { 3, s_0_36, -1, 1, 0}
+};
+
+static symbol s_1_0[2] = { 'd', 'd' };
+static symbol s_1_1[2] = { 'g', 'd' };
+static symbol s_1_2[2] = { 'n', 'n' };
+static symbol s_1_3[2] = { 'd', 't' };
+static symbol s_1_4[2] = { 'g', 't' };
+static symbol s_1_5[2] = { 'k', 't' };
+static symbol s_1_6[2] = { 't', 't' };
+
+static struct among a_1[7] =
+{
+/*  0 */ { 2, s_1_0, -1, -1, 0},
+/*  1 */ { 2, s_1_1, -1, -1, 0},
+/*  2 */ { 2, s_1_2, -1, -1, 0},
+/*  3 */ { 2, s_1_3, -1, -1, 0},
+/*  4 */ { 2, s_1_4, -1, -1, 0},
+/*  5 */ { 2, s_1_5, -1, -1, 0},
+/*  6 */ { 2, s_1_6, -1, -1, 0}
+};
+
+static symbol s_2_0[2] = { 'i', 'g' };
+static symbol s_2_1[3] = { 'l', 'i', 'g' };
+static symbol s_2_2[3] = { 'e', 'l', 's' };
+static symbol s_2_3[5] = { 'f', 'u', 'l', 'l', 't' };
+static symbol s_2_4[5] = { 'l', 0xC3, 0xB6, 's', 't' };
+
+static struct among a_2[5] =
+{
+/*  0 */ { 2, s_2_0, -1, 1, 0},
+/*  1 */ { 3, s_2_1, 0, 1, 0},
+/*  2 */ { 3, s_2_2, -1, 1, 0},
+/*  3 */ { 5, s_2_3, -1, 3, 0},
+/*  4 */ { 5, s_2_4, -1, 2, 0}
+};
+
+static unsigned char g_v[] = { 17, 65, 16, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 24, 0, 32 };
+
+static unsigned char g_s_ending[] = { 119, 127, 149 };
+
+static symbol s_0[] = { 'l', 0xC3, 0xB6, 's' };
+static symbol s_1[] = { 'f', 'u', 'l', 'l' };
+
+static int r_mark_regions(struct SN_env * z) {
+    z->I[0] = z->l;
+    {   int c_test = z->c; /* test, line 29 */
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, + 3);
+            if (c < 0) return 0;
+            z->c = c; /* hop, line 29 */
+        }
+        z->I[1] = z->c; /* setmark x, line 29 */
+        z->c = c_test;
+    }
+    while(1) { /* goto, line 30 */
+        int c = z->c;
+        if (!(in_grouping_U(z, g_v, 97, 246))) goto lab0;
+        z->c = c;
+        break;
+    lab0:
+        z->c = c;
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, 1);
+            if (c < 0) return 0;
+            z->c = c; /* goto, line 30 */
+        }
+    }
+    while(1) { /* gopast, line 30 */
+        if (!(out_grouping_U(z, g_v, 97, 246))) goto lab1;
+        break;
+    lab1:
+        {   int c = skip_utf8(z->p, z->c, 0, z->l, 1);
+            if (c < 0) return 0;
+            z->c = c; /* gopast, line 30 */
+        }
+    }
+    z->I[0] = z->c; /* setmark p1, line 30 */
+     /* try, line 31 */
+    if (!(z->I[0] < z->I[1])) goto lab2;
+    z->I[0] = z->I[1];
+lab2:
+    return 1;
+}
+
+static int r_main_suffix(struct SN_env * z) {
+    int among_var;
+    {   int m3; /* setlimit, line 37 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 37 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        z->ket = z->c; /* [, line 37 */
+        among_var = find_among_b(z, a_0, 37); /* substring, line 37 */
+        if (!(among_var)) { z->lb = m3; return 0; }
+        z->bra = z->c; /* ], line 37 */
+        z->lb = m3;
+    }
+    switch(among_var) {
+        case 0: return 0;
+        case 1:
+            {   int ret;
+                ret = slice_del(z); /* delete, line 44 */
+                if (ret < 0) return ret;
+            }
+            break;
+        case 2:
+            if (!(in_grouping_b_U(z, g_s_ending, 98, 121))) return 0;
+            {   int ret;
+                ret = slice_del(z); /* delete, line 46 */
+                if (ret < 0) return ret;
+            }
+            break;
+    }
+    return 1;
+}
+
+static int r_consonant_pair(struct SN_env * z) {
+    {   int m3; /* setlimit, line 50 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 50 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        {   int m = z->l - z->c; (void) m; /* and, line 52 */
+            if (!(find_among_b(z, a_1, 7))) { z->lb = m3; return 0; } /* among, line 51 */
+            z->c = z->l - m;
+            z->ket = z->c; /* [, line 52 */
+            {   int c = skip_utf8(z->p, z->c, z->lb, 0, -1);
+                if (c < 0) { z->lb = m3; return 0; }
+                z->c = c; /* next, line 52 */
+            }
+            z->bra = z->c; /* ], line 52 */
+            {   int ret;
+                ret = slice_del(z); /* delete, line 52 */
+                if (ret < 0) return ret;
+            }
+        }
+        z->lb = m3;
+    }
+    return 1;
+}
+
+static int r_other_suffix(struct SN_env * z) {
+    int among_var;
+    {   int m3; /* setlimit, line 55 */
+        int m = z->l - z->c; (void) m;
+        if (z->c < z->I[0]) return 0;
+        z->c = z->I[0]; /* tomark, line 55 */
+        m3 = z->lb; z->lb = z->c;
+        z->c = z->l - m;
+        z->ket = z->c; /* [, line 56 */
+        among_var = find_among_b(z, a_2, 5); /* substring, line 56 */
+        if (!(among_var)) { z->lb = m3; return 0; }
+        z->bra = z->c; /* ], line 56 */
+        switch(among_var) {
+            case 0: { z->lb = m3; return 0; }
+            case 1:
+                {   int ret;
+                    ret = slice_del(z); /* delete, line 57 */
+                    if (ret < 0) return ret;
+                }
+                break;
+            case 2:
+                {   int ret;
+                    ret = slice_from_s(z, 4, s_0); /* <-, line 58 */
+                    if (ret < 0) return ret;
+                }
+                break;
+            case 3:
+                {   int ret;
+                    ret = slice_from_s(z, 4, s_1); /* <-, line 59 */
+                    if (ret < 0) return ret;
+                }
+                break;
+        }
+        z->lb = m3;
+    }
+    return 1;
+}
+
+extern int swedish_UTF_8_stem(struct SN_env * z) {
+    {   int c = z->c; /* do, line 66 */
+        {   int ret = r_mark_regions(z);
+            if (ret == 0) goto lab0; /* call mark_regions, line 66 */
+            if (ret < 0) return ret;
+        }
+    lab0:
+        z->c = c;
+    }
+    z->lb = z->c; z->c = z->l; /* backwards, line 67 */
+
+    {   int m = z->l - z->c; (void) m; /* do, line 68 */
+        {   int ret = r_main_suffix(z);
+            if (ret == 0) goto lab1; /* call main_suffix, line 68 */
+            if (ret < 0) return ret;
+        }
+    lab1:
+        z->c = z->l - m;
+    }
+    {   int m = z->l - z->c; (void) m; /* do, line 69 */
+        {   int ret = r_consonant_pair(z);
+            if (ret == 0) goto lab2; /* call consonant_pair, line 69 */
+            if (ret < 0) return ret;
+        }
+    lab2:
+        z->c = z->l - m;
+    }
+    {   int m = z->l - z->c; (void) m; /* do, line 70 */
+        {   int ret = r_other_suffix(z);
+            if (ret == 0) goto lab3; /* call other_suffix, line 70 */
+            if (ret < 0) return ret;
+        }
+    lab3:
+        z->c = z->l - m;
+    }
+    z->c = z->lb;
+    return 1;
+}
+
+extern struct SN_env * swedish_UTF_8_create_env(void) { return SN_create_env(0, 2, 0); }
+
+extern void swedish_UTF_8_close_env(struct SN_env * z) { SN_close_env(z); }
+

data/ext/stem_UTF_8_swedish.h

@@ -0,0 +1,16 @@
+
+/* This file was generated automatically by the Snowball to ANSI C compiler */
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+extern struct SN_env * swedish_UTF_8_create_env(void);
+extern void swedish_UTF_8_close_env(struct SN_env * z);
+
+extern int swedish_UTF_8_stem(struct SN_env * z);
+
+#ifdef __cplusplus
+}
+#endif
+

data/ext/stopwords.c

@@ -0,0 +1,325 @@
+#include <stdlib.h>
+
+/*
+ * This list of stop words is taken from
+ *
+ *     http://snowball.tartarus.org/
+ *
+ * Many thanks to Martin Porter
+ */
+
+const char *ENGLISH_STOP_WORDS[] = {
+  "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in",
+  "into", "is", "it", "no", "not", "of", "on", "or", "s", "such", "t", "that",
+  "the", "their", "then", "there", "these", "they", "this", "to", "was",
+  "will", "with", NULL
+};
+
+const char *FULL_ENGLISH_STOP_WORDS[] = {
+  "a", "about", "above", "after", "again", "against", "all", "am", "an",
+  "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
+  "before", "being", "below", "between", "both", "but", "by", "cannot",
+  "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
+  "doing", "don't", "down", "during", "each", "few", "for", "from", "further",
+  "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", "he'd",
+  "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
+  "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
+  "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", "me",
+  "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", "off",
+  "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
+  "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
+  "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
+  "the", "their", "theirs", "them", "themselves", "then", "there", "there's",
+  "these", "they", "they'd", "they'll", "they're", "they've", "this", "those",
+  "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
+  "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
+  "what's", "when", "when's", "where", "where's", "which", "while", "who",
+  "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
+  "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
+  "yourselves", "you've", NULL
+};
+
+const char *EXTENDED_ENGLISH_STOP_WORDS[] = {
+  "a", "about", "above", "after", "again", "against", "all", "am", "an",
+  "and", "any", "are", "aren't", "as", "at", "be", "because", "been",
+  "before", "being", "below", "between", "both", "but", "by", "cannot",
+  "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't",
+  "doing", "don't", "down", "during", "each", "few", "for", "from", "further",
+  "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", "he'd",
+  "he'll", "her", "here", "here's", "hers", "herself", "he's", "him",
+  "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in",
+  "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", "me",
+  "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", "off",
+  "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves",
+  "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's",
+  "should", "shouldn't", "so", "some", "such", "than", "that", "that's",
+  "the", "their", "theirs", "them", "themselves", "then", "there", "there's",
+  "these", "they", "they'd", "they'll", "they're", "they've", "this", "those",
+  "through", "to", "too", "under", "until", "up", "very", "was", "wasn't",
+  "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what",
+  "what's", "when", "when's", "where", "where's", "which", "while", "who",
+  "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't",
+  "you", "you'd", "you'll", "your", "you're", "yours", "yourself",
+  "yourselves", "you've",
+  
+  /* Most common words in the English Language */
+  "one", "every", "least", "less", "many", "now", "ever", "never", "say",
+  "says", "said", "also", "get", "go", "goes", "just", "made", "make", "put",
+  "see", "seen", "whether", "like", "well", "back", "even", "still", "way",
+  "take", "since", "another", "however", "two", "three", "four", "five",
+  "first", "second", "new", "old", "high", "long", NULL 
+};
+
+const char *FULL_FRENCH_STOP_WORDS[] = {
+  "au", "aux", "avec", "ce", "ces", "dans", "de", "des", "du", "elle", "en",
+  "et", "eux", "il", "je", "la", "le", "leur", "lui", "ma", "mais", "me",
+  "même", "mes", "moi", "mon", "ne", "nos", "notre", "nous", "on", "ou",
+  "par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur",
+  "ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre", "vous",
+  "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée", "étées",
+  "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est",
+  "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez",
+  "seront", "serais", "serait", "serions", "seriez", "seraient", "étais",
+  "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes", "fûtes",
+  "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses",
+  "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes",
+  "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont",
+  "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait",
+  "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez",
+  "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait", "ayons",
+  "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez", "eussent",
+  NULL
+};
+
+const char *FULL_SPANISH_STOP_WORDS[] = {
+  "de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por",
+  "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más", "pero",
+  "sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre", "cuando",
+  "muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien",
+  "desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra",
+  "otros", "ese", "eso", "ante", "ellos", "e", "esto", "mí", "antes",
+  "algunos", "qué", "unos", "yo", "otro", "otras", "otra", "él", "tanto",
+  "esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco",
+  "ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis", "tú",
+  "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras",
+  "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas",
+  "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros",
+  "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas",
+  "estoy", "estás", "está", "estamos", "estáis", "están", "esté", "estés",
+  "estemos", "estéis", "estén", "estaré", "estarás", "estará", "estaremos",
+  "estaréis", "estarán", "estaría", "estarías", "estaríamos", "estaríais",
+  "estarían", "estaba", "estabas", "estábamos", "estabais", "estaban",
+  "estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron",
+  "estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran",
+  "estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen",
+  "estando", "estado", "estada", "estados", "estadas", "estad", "he", "has",
+  "ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis",
+  "hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán",
+  "habría", "habrías", "habríamos", "habríais", "habrían", "había", "habías",
+  "habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos",
+  "hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos", "hubierais",
+  "hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen",
+  "habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es",
+  "somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean", "seré",
+  "serás", "será", "seremos", "seréis", "serán", "sería", "serías",
+  "seríamos", "seríais", "serían", "era", "eras", "éramos", "erais", "eran",
+  "fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras",
+  "fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos", "fueseis",
+  "fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas",
+  "siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis",
+  "tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré",
+  "tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría",
+  "tendrías", "tendríamos", "tendríais", "tendrían", "tenía", "tenías",
+  "teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos",
+  "tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos", "tuvierais",
+  "tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen",
+  "teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL
+};
+
+const char *FULL_PORTUGUESE_STOP_WORDS[] = {
+  "de", "a", "o", "que", "e", "do", "da", "em", "um", "para", "com", "não",
+  "uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas",
+  "ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos", "já",
+  "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre",
+  "depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse",
+  "eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha", "numa",
+  "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses", "pelas",
+  "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas", "teu",
+  "tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela",
+  "delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles", "aquelas",
+  "isto", "aquilo", "estou", "está", "estamos", "estão", "estive", "esteve",
+  "estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera",
+  "estivéramos", "esteja", "estejamos", "estejam", "estivesse",
+  "estivéssemos", "estivessem", "estiver", "estivermos", "estiverem", "hei",
+  "há", "havemos", "hão", "houve", "houvemos", "houveram", "houvera",
+  "houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos",
+  "houvessem", "houver", "houvermos", "houverem", "houverei", "houverá",
+  "houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou",
+  "somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram",
+  "fora", "fôramos", "seja", "sejamos", "sejam", "fosse", "fôssemos",
+  "fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão",
+  "seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha",
+  "tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera",
+  "tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos",
+  "tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos",
+  "terão", "teria", "teríamos", "teriam", NULL
+};
+
+const char *FULL_ITALIAN_STOP_WORDS[] = {
+  "ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con",
+  "col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl", "dalla",
+  "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della",
+  "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella",
+  "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla",
+  "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi",
+  "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
+  "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro",
+  "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li",
+  "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché",
+  "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più", "quale",
+  "quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella",
+  "quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti",
+  "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete",
+  "hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà", "avremo",
+  "avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste",
+  "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
+  "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi", "avesse",
+  "avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute",
+  "sono", "sei", "è", "siamo", "siete", "sia", "siate", "siano", "sarò",
+  "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti",
+  "sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era",
+  "eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste",
+  "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio",
+  "fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò",
+  "farai", "farà", "faremo", "farete", "faranno", "farei", "faresti",
+  "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi", "faceva",
+  "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo",
+  "faceste", "fecero", "facessi", "facesse", "facessimo", "facessero",
+  "facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate",
+  "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno",
+  "starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero",
+  "stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti",
+  "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
+  "stessimo", "stessero", "stando", NULL
+};
+
+const char *FULL_GERMAN_STOP_WORDS[] = {
+  "aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am",
+  "an", "ander", "andere", "anderem", "anderen", "anderer", "anderes",
+  "anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei", "bin",
+  "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die",
+  "das", "daß", "derselbe", "derselben", "denselben", "desselben",
+  "demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine",
+  "deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich",
+  "dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses",
+  "doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer", "eines",
+  "einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal",
+  "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren",
+  "eurer", "eures", "für", "gegen", "gewesen", "hab", "habe", "haben", "hat",
+  "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr",
+  "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem",
+  "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem",
+  "jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem",
+  "keinen", "keiner", "keines", "können", "könnte", "machen", "man", "manche",
+  "manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem",
+  "meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht",
+  "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein",
+  "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie",
+  "ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher", "solches",
+  "soll", "sollte", "sondern", "sonst", "über", "um", "und", "uns", "unse",
+  "unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor",
+  "während", "war", "waren", "warst", "was", "weg", "weil", "weiter",
+  "welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde",
+  "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
+  "wollte", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen", NULL
+};
+
+const char *FULL_DUTCH_STOP_WORDS[] = {
+  "de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het",
+  "niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had", "er",
+  "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit", "zo",
+  "door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit",
+  "der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze", "u",
+  "want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets",
+  "worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet",
+  "ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens",
+  "hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen", "ons",
+  "zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand",
+  "geweest", "andere", NULL
+};
+
+const char *FULL_SWEDISH_STOP_WORDS[] = {
+  "och", "det", "att", "i", "en", "jag", "hon", "som", "han", "på", "den",
+  "med", "var", "sig", "för", "så", "till", "är", "men", "ett", "om", "hade",
+  "de", "av", "icke", "mig", "du", "henne", "då", "sin", "nu", "har", "inte",
+  "hans", "honom", "skulle", "hennes", "där", "min", "man", "ej", "vid",
+  "kunde", "något", "från", "ut", "när", "efter", "upp", "vi", "dem", "vara",
+  "vad", "över", "än", "dig", "kan", "sina", "här", "ha", "mot", "alla",
+  "under", "någon", "eller", "allt", "mycket", "sedan", "ju", "denna",
+  "själv", "detta", "åt", "utan", "varit", "hur", "ingen", "mitt", "ni",
+  "bli", "blev", "oss", "din", "dessa", "några", "deras", "blir", "mina",
+  "samma", "vilken", "er", "sådan", "vår", "blivit", "dess", "inom", "mellan",
+  "sådant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta",
+  "sådana", "vart", "dina", "vars", "vårt", "våra", "ert", "era", "vilkas",
+  NULL
+};
+
+
+const char *FULL_NORWEGIAN_STOP_WORDS[] = {
+  "og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som", "på",
+  "de", "med", "han", "av", "ikke", "ikkje", "der", "så", "var", "meg", "seg",
+  "men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun", "nå",
+  "over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man",
+  "kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjøl", "her",
+  "alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "når", "være",
+  "kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja", "etter",
+  "ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "å",
+  "meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din",
+  "ditt", "blir", "samme", "hvilken", "hvilke", "sånn", "inni", "mellom",
+  "vår", "hver", "hvem", "vors", "hvis", "både", "bare", "enn", "fordi",
+  "før", "mange", "også", "slik", "vært", "være", "båe", "begge", "siden",
+  "dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "då", "eg", "ein",
+  "eit", "eitt", "elles", "honom", "hjå", "ho", "hoe", "henne", "hennar",
+  "hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso",
+  "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi",
+  "mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si",
+  "sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore", "verte",
+  "vort", "varte", "vart", NULL
+};
+
+const char *FULL_DANISH_STOP_WORDS[] = {
+  "og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "på", "de",
+  "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men", "et",
+  "har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da", "fra",
+  "du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller",
+  "hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind", "når",
+  "være", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle",
+  "denne", "end", "dette", "mit", "også", "under", "have", "dig", "anden",
+  "hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse",
+  "hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes",
+  "været", "thi", "jer", "sådan", NULL
+};
+
+const char *FULL_RUSSIAN_STOP_WORDS[] = {
+  "É", "×", "×Ï", "ÎÅ", "ÞÔÏ", "ÏÎ", "ÎÁ", "Ñ", "Ó", "ÓÏ", "ËÁË", "Á", "ÔÏ",
+  "×ÓÅ", "ÏÎÁ", "ÔÁË", "ÅÇÏ", "ÎÏ", "ÄÁ", "ÔÙ", "Ë", "Õ", "ÖÅ", "×Ù", "ÚÁ",
+  "ÂÙ", "ÐÏ", "ÔÏÌØËÏ", "ÅÅ", "ÍÎÅ", "ÂÙÌÏ", "×ÏÔ", "ÏÔ", "ÍÅÎÑ", "ÅÝÅ",
+  "ÎÅÔ", "Ï", "ÉÚ", "ÅÍÕ", "ÔÅÐÅÒØ", "ËÏÇÄÁ", "ÄÁÖÅ", "ÎÕ", "×ÄÒÕÇ", "ÌÉ",
+  "ÅÓÌÉ", "ÕÖÅ", "ÉÌÉ", "ÎÉ", "ÂÙÔØ", "ÂÙÌ", "ÎÅÇÏ", "ÄÏ", "×ÁÓ", "ÎÉÂÕÄØ",
+  "ÏÐÑÔØ", "ÕÖ", "×ÁÍ", "ÓËÁÚÁÌ", "×ÅÄØ", "ÔÁÍ", "ÐÏÔÏÍ", "ÓÅÂÑ", "ÎÉÞÅÇÏ",
+  "ÅÊ", "ÍÏÖÅÔ", "ÏÎÉ", "ÔÕÔ", "ÇÄÅ", "ÅÓÔØ", "ÎÁÄÏ", "ÎÅÊ", "ÄÌÑ", "ÍÙ",
+  "ÔÅÂÑ", "ÉÈ", "ÞÅÍ", "ÂÙÌÁ", "ÓÁÍ", "ÞÔÏÂ", "ÂÅÚ", "ÂÕÄÔÏ", "ÞÅÌÏ×ÅË",
+  "ÞÅÇÏ", "ÒÁÚ", "ÔÏÖÅ", "ÓÅÂÅ", "ÐÏÄ", "ÖÉÚÎØ", "ÂÕÄÅÔ", "Ö", "ÔÏÇÄÁ", "ËÔÏ",
+  "ÜÔÏÔ", "ÇÏ×ÏÒÉÌ", "ÔÏÇÏ", "ÐÏÔÏÍÕ", "ÜÔÏÇÏ", "ËÁËÏÊ", "ÓÏ×ÓÅÍ", "ÎÉÍ",
+  "ÚÄÅÓØ", "ÜÔÏÍ", "ÏÄÉÎ", "ÐÏÞÔÉ", "ÍÏÊ", "ÔÅÍ", "ÞÔÏÂÙ", "ÎÅÅ", "ËÁÖÅÔÓÑ",
+  "ÓÅÊÞÁÓ", "ÂÙÌÉ", "ËÕÄÁ", "ÚÁÞÅÍ", "ÓËÁÚÁÔØ", "×ÓÅÈ", "ÎÉËÏÇÄÁ", "ÓÅÇÏÄÎÑ",
+  "ÍÏÖÎÏ", "ÐÒÉ", "ÎÁËÏÎÅÃ", "Ä×Á", "ÏÂ", "ÄÒÕÇÏÊ", "ÈÏÔØ", "ÐÏÓÌÅ", "ÎÁÄ",
+  "ÂÏÌØÛÅ", "ÔÏÔ", "ÞÅÒÅÚ", "ÜÔÉ", "ÎÁÓ", "ÐÒÏ", "×ÓÅÇÏ", "ÎÉÈ", "ËÁËÁÑ",
+  "ÍÎÏÇÏ", "ÒÁÚ×Å", "ÓËÁÚÁÌÁ", "ÔÒÉ", "ÜÔÕ", "ÍÏÑ", "×ÐÒÏÞÅÍ", "ÈÏÒÏÛÏ",
+  "Ó×ÏÀ", "ÜÔÏÊ", "ÐÅÒÅÄ", "ÉÎÏÇÄÁ", "ÌÕÞÛÅ", "ÞÕÔØ", "ÔÏÍ", "ÎÅÌØÚÑ",
+  "ÔÁËÏÊ", "ÉÍ", "ÂÏÌÅÅ", "×ÓÅÇÄÁ", "ËÏÎÅÞÎÏ", "×ÓÀ", "ÍÅÖÄÕ", NULL
+};
+
+const char *FULL_FINNISH_STOP_WORDS[] = {
+  NULL
+};