xapian_db 0.3.2 → 0.3.3
Sign up to get free protection for your applications and to get access to all the features.
- data/CHANGELOG.md +14 -0
- data/README.rdoc +8 -4
- data/lib/xapian_db/config.rb +9 -12
- data/lib/xapian_db/database.rb +1 -0
- data/lib/xapian_db/document_blueprint.rb +3 -8
- data/lib/xapian_db/index_writers/direct_writer.rb +13 -6
- data/lib/xapian_db/indexer.rb +25 -30
- data/lib/xapian_db/query_parser.rb +16 -5
- data/lib/xapian_db/repositories/stemmer.rb +38 -0
- data/lib/xapian_db/repositories/stopper.rb +45 -0
- data/lib/xapian_db/resultset.rb +7 -1
- data/lib/xapian_db/stopwords/README +5 -0
- data/lib/xapian_db/stopwords/da.txt +94 -0
- data/lib/xapian_db/stopwords/de.txt +231 -0
- data/lib/xapian_db/stopwords/en.txt +174 -0
- data/lib/xapian_db/stopwords/es.txt +308 -0
- data/lib/xapian_db/stopwords/fi.txt +68 -0
- data/lib/xapian_db/stopwords/fr.txt +163 -0
- data/lib/xapian_db/stopwords/hu.txt +199 -0
- data/lib/xapian_db/stopwords/it.txt +279 -0
- data/lib/xapian_db/stopwords/nl.txt +101 -0
- data/lib/xapian_db/stopwords/no.txt +176 -0
- data/lib/xapian_db/stopwords/pt.txt +203 -0
- data/lib/xapian_db/stopwords/ru.txt +159 -0
- data/lib/xapian_db/stopwords/sv.txt +114 -0
- data/lib/xapian_db/stopwords/update_stopwords.rb +35 -0
- data/lib/xapian_db.rb +25 -14
- metadata +20 -3
@@ -0,0 +1,101 @@
|
|
1
|
+
de
|
2
|
+
en
|
3
|
+
van
|
4
|
+
ik
|
5
|
+
te
|
6
|
+
dat
|
7
|
+
die
|
8
|
+
in
|
9
|
+
een
|
10
|
+
hij
|
11
|
+
het
|
12
|
+
niet
|
13
|
+
zijn
|
14
|
+
is
|
15
|
+
was
|
16
|
+
op
|
17
|
+
aan
|
18
|
+
met
|
19
|
+
als
|
20
|
+
voor
|
21
|
+
had
|
22
|
+
er
|
23
|
+
maar
|
24
|
+
om
|
25
|
+
hem
|
26
|
+
dan
|
27
|
+
zou
|
28
|
+
of
|
29
|
+
wat
|
30
|
+
mijn
|
31
|
+
men
|
32
|
+
dit
|
33
|
+
zo
|
34
|
+
door
|
35
|
+
over
|
36
|
+
ze
|
37
|
+
zich
|
38
|
+
bij
|
39
|
+
ook
|
40
|
+
tot
|
41
|
+
je
|
42
|
+
mij
|
43
|
+
uit
|
44
|
+
der
|
45
|
+
daar
|
46
|
+
haar
|
47
|
+
naar
|
48
|
+
heb
|
49
|
+
hoe
|
50
|
+
heeft
|
51
|
+
hebben
|
52
|
+
deze
|
53
|
+
u
|
54
|
+
want
|
55
|
+
nog
|
56
|
+
zal
|
57
|
+
me
|
58
|
+
zij
|
59
|
+
nu
|
60
|
+
ge
|
61
|
+
geen
|
62
|
+
omdat
|
63
|
+
iets
|
64
|
+
worden
|
65
|
+
toch
|
66
|
+
al
|
67
|
+
waren
|
68
|
+
veel
|
69
|
+
meer
|
70
|
+
doen
|
71
|
+
toen
|
72
|
+
moet
|
73
|
+
ben
|
74
|
+
zonder
|
75
|
+
kan
|
76
|
+
hun
|
77
|
+
dus
|
78
|
+
alles
|
79
|
+
onder
|
80
|
+
ja
|
81
|
+
eens
|
82
|
+
hier
|
83
|
+
wie
|
84
|
+
werd
|
85
|
+
altijd
|
86
|
+
doch
|
87
|
+
wordt
|
88
|
+
wezen
|
89
|
+
kunnen
|
90
|
+
ons
|
91
|
+
zelf
|
92
|
+
tegen
|
93
|
+
na
|
94
|
+
reeds
|
95
|
+
wil
|
96
|
+
kon
|
97
|
+
niets
|
98
|
+
uw
|
99
|
+
iemand
|
100
|
+
geweest
|
101
|
+
andere
|
@@ -0,0 +1,176 @@
|
|
1
|
+
og
|
2
|
+
i
|
3
|
+
jeg
|
4
|
+
det
|
5
|
+
at
|
6
|
+
en
|
7
|
+
et
|
8
|
+
den
|
9
|
+
til
|
10
|
+
er
|
11
|
+
som
|
12
|
+
på
|
13
|
+
de
|
14
|
+
med
|
15
|
+
han
|
16
|
+
av
|
17
|
+
ikke
|
18
|
+
ikkje
|
19
|
+
der
|
20
|
+
så
|
21
|
+
var
|
22
|
+
meg
|
23
|
+
seg
|
24
|
+
men
|
25
|
+
ett
|
26
|
+
har
|
27
|
+
om
|
28
|
+
vi
|
29
|
+
min
|
30
|
+
mitt
|
31
|
+
ha
|
32
|
+
hadde
|
33
|
+
hun
|
34
|
+
nå
|
35
|
+
over
|
36
|
+
da
|
37
|
+
ved
|
38
|
+
fra
|
39
|
+
du
|
40
|
+
ut
|
41
|
+
sin
|
42
|
+
dem
|
43
|
+
oss
|
44
|
+
opp
|
45
|
+
man
|
46
|
+
kan
|
47
|
+
hans
|
48
|
+
hvor
|
49
|
+
eller
|
50
|
+
hva
|
51
|
+
skal
|
52
|
+
selv
|
53
|
+
sjøl
|
54
|
+
her
|
55
|
+
alle
|
56
|
+
vil
|
57
|
+
bli
|
58
|
+
ble
|
59
|
+
blei
|
60
|
+
blitt
|
61
|
+
kunne
|
62
|
+
inn
|
63
|
+
når
|
64
|
+
være
|
65
|
+
kom
|
66
|
+
noen
|
67
|
+
noe
|
68
|
+
ville
|
69
|
+
dere
|
70
|
+
som
|
71
|
+
deres
|
72
|
+
kun
|
73
|
+
ja
|
74
|
+
etter
|
75
|
+
ned
|
76
|
+
skulle
|
77
|
+
denne
|
78
|
+
for
|
79
|
+
deg
|
80
|
+
si
|
81
|
+
sine
|
82
|
+
sitt
|
83
|
+
mot
|
84
|
+
å
|
85
|
+
meget
|
86
|
+
hvorfor
|
87
|
+
dette
|
88
|
+
disse
|
89
|
+
uten
|
90
|
+
hvordan
|
91
|
+
ingen
|
92
|
+
din
|
93
|
+
ditt
|
94
|
+
blir
|
95
|
+
samme
|
96
|
+
hvilken
|
97
|
+
hvilke
|
98
|
+
sånn
|
99
|
+
inni
|
100
|
+
mellom
|
101
|
+
vår
|
102
|
+
hver
|
103
|
+
hvem
|
104
|
+
vors
|
105
|
+
hvis
|
106
|
+
både
|
107
|
+
bare
|
108
|
+
enn
|
109
|
+
fordi
|
110
|
+
før
|
111
|
+
mange
|
112
|
+
også
|
113
|
+
slik
|
114
|
+
vært
|
115
|
+
være
|
116
|
+
båe
|
117
|
+
begge
|
118
|
+
siden
|
119
|
+
dykk
|
120
|
+
dykkar
|
121
|
+
dei
|
122
|
+
deira
|
123
|
+
deires
|
124
|
+
deim
|
125
|
+
di
|
126
|
+
då
|
127
|
+
eg
|
128
|
+
ein
|
129
|
+
eit
|
130
|
+
eitt
|
131
|
+
elles
|
132
|
+
honom
|
133
|
+
hjå
|
134
|
+
ho
|
135
|
+
hoe
|
136
|
+
henne
|
137
|
+
hennar
|
138
|
+
hennes
|
139
|
+
hoss
|
140
|
+
hossen
|
141
|
+
ikkje
|
142
|
+
ingi
|
143
|
+
inkje
|
144
|
+
korleis
|
145
|
+
korso
|
146
|
+
kva
|
147
|
+
kvar
|
148
|
+
kvarhelst
|
149
|
+
kven
|
150
|
+
kvi
|
151
|
+
kvifor
|
152
|
+
me
|
153
|
+
medan
|
154
|
+
mi
|
155
|
+
mine
|
156
|
+
mykje
|
157
|
+
no
|
158
|
+
nokon
|
159
|
+
noka
|
160
|
+
nokor
|
161
|
+
noko
|
162
|
+
nokre
|
163
|
+
si
|
164
|
+
sia
|
165
|
+
sidan
|
166
|
+
so
|
167
|
+
somt
|
168
|
+
somme
|
169
|
+
um
|
170
|
+
upp
|
171
|
+
vere
|
172
|
+
vore
|
173
|
+
verte
|
174
|
+
vort
|
175
|
+
varte
|
176
|
+
vart
|
@@ -0,0 +1,203 @@
|
|
1
|
+
de
|
2
|
+
a
|
3
|
+
o
|
4
|
+
que
|
5
|
+
e
|
6
|
+
do
|
7
|
+
da
|
8
|
+
em
|
9
|
+
um
|
10
|
+
para
|
11
|
+
com
|
12
|
+
não
|
13
|
+
uma
|
14
|
+
os
|
15
|
+
no
|
16
|
+
se
|
17
|
+
na
|
18
|
+
por
|
19
|
+
mais
|
20
|
+
as
|
21
|
+
dos
|
22
|
+
como
|
23
|
+
mas
|
24
|
+
ao
|
25
|
+
ele
|
26
|
+
das
|
27
|
+
à
|
28
|
+
seu
|
29
|
+
sua
|
30
|
+
ou
|
31
|
+
quando
|
32
|
+
muito
|
33
|
+
nos
|
34
|
+
já
|
35
|
+
eu
|
36
|
+
também
|
37
|
+
só
|
38
|
+
pelo
|
39
|
+
pela
|
40
|
+
até
|
41
|
+
isso
|
42
|
+
ela
|
43
|
+
entre
|
44
|
+
depois
|
45
|
+
sem
|
46
|
+
mesmo
|
47
|
+
aos
|
48
|
+
seus
|
49
|
+
quem
|
50
|
+
nas
|
51
|
+
me
|
52
|
+
esse
|
53
|
+
eles
|
54
|
+
você
|
55
|
+
essa
|
56
|
+
num
|
57
|
+
nem
|
58
|
+
suas
|
59
|
+
meu
|
60
|
+
às
|
61
|
+
minha
|
62
|
+
numa
|
63
|
+
pelos
|
64
|
+
elas
|
65
|
+
qual
|
66
|
+
nós
|
67
|
+
lhe
|
68
|
+
deles
|
69
|
+
essas
|
70
|
+
esses
|
71
|
+
pelas
|
72
|
+
este
|
73
|
+
dele
|
74
|
+
tu
|
75
|
+
te
|
76
|
+
vocês
|
77
|
+
vos
|
78
|
+
lhes
|
79
|
+
meus
|
80
|
+
minhas
|
81
|
+
teu
|
82
|
+
tua
|
83
|
+
teus
|
84
|
+
tuas
|
85
|
+
nosso
|
86
|
+
nossa
|
87
|
+
nossos
|
88
|
+
nossas
|
89
|
+
dela
|
90
|
+
delas
|
91
|
+
esta
|
92
|
+
estes
|
93
|
+
estas
|
94
|
+
aquele
|
95
|
+
aquela
|
96
|
+
aqueles
|
97
|
+
aquelas
|
98
|
+
isto
|
99
|
+
aquilo
|
100
|
+
estou
|
101
|
+
está
|
102
|
+
estamos
|
103
|
+
estão
|
104
|
+
estive
|
105
|
+
esteve
|
106
|
+
estivemos
|
107
|
+
estiveram
|
108
|
+
estava
|
109
|
+
estávamos
|
110
|
+
estavam
|
111
|
+
estivera
|
112
|
+
estivéramos
|
113
|
+
esteja
|
114
|
+
estejamos
|
115
|
+
estejam
|
116
|
+
estivesse
|
117
|
+
estivéssemos
|
118
|
+
estivessem
|
119
|
+
estiver
|
120
|
+
estivermos
|
121
|
+
estiverem
|
122
|
+
hei
|
123
|
+
há
|
124
|
+
havemos
|
125
|
+
hão
|
126
|
+
houve
|
127
|
+
houvemos
|
128
|
+
houveram
|
129
|
+
houvera
|
130
|
+
houvéramos
|
131
|
+
haja
|
132
|
+
hajamos
|
133
|
+
hajam
|
134
|
+
houvesse
|
135
|
+
houvéssemos
|
136
|
+
houvessem
|
137
|
+
houver
|
138
|
+
houvermos
|
139
|
+
houverem
|
140
|
+
houverei
|
141
|
+
houverá
|
142
|
+
houveremos
|
143
|
+
houverão
|
144
|
+
houveria
|
145
|
+
houveríamos
|
146
|
+
houveriam
|
147
|
+
sou
|
148
|
+
somos
|
149
|
+
são
|
150
|
+
era
|
151
|
+
éramos
|
152
|
+
eram
|
153
|
+
fui
|
154
|
+
foi
|
155
|
+
fomos
|
156
|
+
foram
|
157
|
+
fora
|
158
|
+
fôramos
|
159
|
+
seja
|
160
|
+
sejamos
|
161
|
+
sejam
|
162
|
+
fosse
|
163
|
+
fôssemos
|
164
|
+
fossem
|
165
|
+
for
|
166
|
+
formos
|
167
|
+
forem
|
168
|
+
serei
|
169
|
+
será
|
170
|
+
seremos
|
171
|
+
serão
|
172
|
+
seria
|
173
|
+
seríamos
|
174
|
+
seriam
|
175
|
+
tenho
|
176
|
+
tem
|
177
|
+
temos
|
178
|
+
tém
|
179
|
+
tinha
|
180
|
+
tínhamos
|
181
|
+
tinham
|
182
|
+
tive
|
183
|
+
teve
|
184
|
+
tivemos
|
185
|
+
tiveram
|
186
|
+
tivera
|
187
|
+
tivéramos
|
188
|
+
tenha
|
189
|
+
tenhamos
|
190
|
+
tenham
|
191
|
+
tivesse
|
192
|
+
tivéssemos
|
193
|
+
tivessem
|
194
|
+
tiver
|
195
|
+
tivermos
|
196
|
+
tiverem
|
197
|
+
terei
|
198
|
+
terá
|
199
|
+
teremos
|
200
|
+
terão
|
201
|
+
teria
|
202
|
+
teríamos
|
203
|
+
teriam
|
@@ -0,0 +1,159 @@
|
|
1
|
+
и
|
2
|
+
в
|
3
|
+
во
|
4
|
+
не
|
5
|
+
что
|
6
|
+
он
|
7
|
+
на
|
8
|
+
я
|
9
|
+
с
|
10
|
+
со
|
11
|
+
как
|
12
|
+
а
|
13
|
+
то
|
14
|
+
все
|
15
|
+
она
|
16
|
+
так
|
17
|
+
его
|
18
|
+
но
|
19
|
+
да
|
20
|
+
ты
|
21
|
+
к
|
22
|
+
у
|
23
|
+
же
|
24
|
+
вы
|
25
|
+
за
|
26
|
+
бы
|
27
|
+
по
|
28
|
+
только
|
29
|
+
ее
|
30
|
+
мне
|
31
|
+
было
|
32
|
+
вот
|
33
|
+
от
|
34
|
+
меня
|
35
|
+
еще
|
36
|
+
нет
|
37
|
+
о
|
38
|
+
из
|
39
|
+
ему
|
40
|
+
теперь
|
41
|
+
когда
|
42
|
+
даже
|
43
|
+
ну
|
44
|
+
вдруг
|
45
|
+
ли
|
46
|
+
если
|
47
|
+
уже
|
48
|
+
или
|
49
|
+
ни
|
50
|
+
быть
|
51
|
+
был
|
52
|
+
него
|
53
|
+
до
|
54
|
+
вас
|
55
|
+
нибудь
|
56
|
+
опять
|
57
|
+
уж
|
58
|
+
вам
|
59
|
+
сказал
|
60
|
+
ведь
|
61
|
+
там
|
62
|
+
потом
|
63
|
+
себя
|
64
|
+
ничего
|
65
|
+
ей
|
66
|
+
может
|
67
|
+
они
|
68
|
+
тут
|
69
|
+
где
|
70
|
+
есть
|
71
|
+
надо
|
72
|
+
ней
|
73
|
+
для
|
74
|
+
мы
|
75
|
+
тебя
|
76
|
+
их
|
77
|
+
чем
|
78
|
+
была
|
79
|
+
сам
|
80
|
+
чтоб
|
81
|
+
без
|
82
|
+
будто
|
83
|
+
человек
|
84
|
+
чего
|
85
|
+
раз
|
86
|
+
тоже
|
87
|
+
себе
|
88
|
+
под
|
89
|
+
жизнь
|
90
|
+
будет
|
91
|
+
ж
|
92
|
+
тогда
|
93
|
+
кто
|
94
|
+
этот
|
95
|
+
говорил
|
96
|
+
того
|
97
|
+
потому
|
98
|
+
этого
|
99
|
+
какой
|
100
|
+
совсем
|
101
|
+
ним
|
102
|
+
здесь
|
103
|
+
этом
|
104
|
+
один
|
105
|
+
почти
|
106
|
+
мой
|
107
|
+
тем
|
108
|
+
чтобы
|
109
|
+
нее
|
110
|
+
кажется
|
111
|
+
сейчас
|
112
|
+
были
|
113
|
+
куда
|
114
|
+
зачем
|
115
|
+
сказать
|
116
|
+
всех
|
117
|
+
никогда
|
118
|
+
сегодня
|
119
|
+
можно
|
120
|
+
при
|
121
|
+
наконец
|
122
|
+
два
|
123
|
+
об
|
124
|
+
другой
|
125
|
+
хоть
|
126
|
+
после
|
127
|
+
над
|
128
|
+
больше
|
129
|
+
тот
|
130
|
+
через
|
131
|
+
эти
|
132
|
+
нас
|
133
|
+
про
|
134
|
+
всего
|
135
|
+
них
|
136
|
+
какая
|
137
|
+
много
|
138
|
+
разве
|
139
|
+
сказала
|
140
|
+
три
|
141
|
+
эту
|
142
|
+
моя
|
143
|
+
впрочем
|
144
|
+
хорошо
|
145
|
+
свою
|
146
|
+
этой
|
147
|
+
перед
|
148
|
+
иногда
|
149
|
+
лучше
|
150
|
+
чуть
|
151
|
+
том
|
152
|
+
нельзя
|
153
|
+
такой
|
154
|
+
им
|
155
|
+
более
|
156
|
+
всегда
|
157
|
+
конечно
|
158
|
+
всю
|
159
|
+
между
|
@@ -0,0 +1,114 @@
|
|
1
|
+
och
|
2
|
+
det
|
3
|
+
att
|
4
|
+
i
|
5
|
+
en
|
6
|
+
jag
|
7
|
+
hon
|
8
|
+
som
|
9
|
+
han
|
10
|
+
på
|
11
|
+
den
|
12
|
+
med
|
13
|
+
var
|
14
|
+
sig
|
15
|
+
för
|
16
|
+
så
|
17
|
+
till
|
18
|
+
är
|
19
|
+
men
|
20
|
+
ett
|
21
|
+
om
|
22
|
+
hade
|
23
|
+
de
|
24
|
+
av
|
25
|
+
icke
|
26
|
+
mig
|
27
|
+
du
|
28
|
+
henne
|
29
|
+
då
|
30
|
+
sin
|
31
|
+
nu
|
32
|
+
har
|
33
|
+
inte
|
34
|
+
hans
|
35
|
+
honom
|
36
|
+
skulle
|
37
|
+
hennes
|
38
|
+
där
|
39
|
+
min
|
40
|
+
man
|
41
|
+
ej
|
42
|
+
vid
|
43
|
+
kunde
|
44
|
+
något
|
45
|
+
från
|
46
|
+
ut
|
47
|
+
när
|
48
|
+
efter
|
49
|
+
upp
|
50
|
+
vi
|
51
|
+
dem
|
52
|
+
vara
|
53
|
+
vad
|
54
|
+
över
|
55
|
+
än
|
56
|
+
dig
|
57
|
+
kan
|
58
|
+
sina
|
59
|
+
här
|
60
|
+
ha
|
61
|
+
mot
|
62
|
+
alla
|
63
|
+
under
|
64
|
+
någon
|
65
|
+
eller
|
66
|
+
allt
|
67
|
+
mycket
|
68
|
+
sedan
|
69
|
+
ju
|
70
|
+
denna
|
71
|
+
själv
|
72
|
+
detta
|
73
|
+
åt
|
74
|
+
utan
|
75
|
+
varit
|
76
|
+
hur
|
77
|
+
ingen
|
78
|
+
mitt
|
79
|
+
ni
|
80
|
+
bli
|
81
|
+
blev
|
82
|
+
oss
|
83
|
+
din
|
84
|
+
dessa
|
85
|
+
några
|
86
|
+
deras
|
87
|
+
blir
|
88
|
+
mina
|
89
|
+
samma
|
90
|
+
vilken
|
91
|
+
er
|
92
|
+
sådan
|
93
|
+
vår
|
94
|
+
blivit
|
95
|
+
dess
|
96
|
+
inom
|
97
|
+
mellan
|
98
|
+
sådant
|
99
|
+
varför
|
100
|
+
varje
|
101
|
+
vilka
|
102
|
+
ditt
|
103
|
+
vem
|
104
|
+
vilket
|
105
|
+
sitta
|
106
|
+
sådana
|
107
|
+
vart
|
108
|
+
dina
|
109
|
+
vars
|
110
|
+
vårt
|
111
|
+
våra
|
112
|
+
ert
|
113
|
+
era
|
114
|
+
vilkas
|