classifier-reborn 2.0.3 → 2.0.4
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +4 -4
- data/README.markdown +130 -14
- data/data/stopwords/ca +126 -0
- data/data/stopwords/cs +138 -0
- data/data/stopwords/da +101 -0
- data/data/stopwords/de +604 -0
- data/data/stopwords/en +80 -0
- data/data/stopwords/es +351 -0
- data/data/stopwords/fi +747 -0
- data/data/stopwords/fr +463 -0
- data/data/stopwords/hu +35 -0
- data/data/stopwords/it +430 -0
- data/data/stopwords/nl +48 -0
- data/data/stopwords/no +119 -0
- data/data/stopwords/pl +93 -0
- data/data/stopwords/pt +356 -0
- data/data/stopwords/se +386 -0
- data/data/stopwords/tr +114 -0
- data/lib/classifier-reborn/bayes.rb +86 -16
- data/lib/classifier-reborn/category_namer.rb +3 -1
- data/lib/classifier-reborn/extensions/hasher.rb +25 -100
- data/lib/classifier-reborn/extensions/vector.rb +0 -1
- data/lib/classifier-reborn/lsi.rb +36 -25
- data/lib/classifier-reborn/lsi/cached_content_node.rb +48 -0
- data/lib/classifier-reborn/lsi/content_node.rb +27 -10
- data/lib/classifier-reborn/lsi/summarizer.rb +2 -2
- data/lib/classifier-reborn/version.rb +1 -1
- metadata +37 -3
data/data/stopwords/hu
ADDED
|
@@ -0,0 +1,35 @@
|
|
|
1
|
+
a
|
|
2
|
+
az
|
|
3
|
+
egy
|
|
4
|
+
be
|
|
5
|
+
ki
|
|
6
|
+
le
|
|
7
|
+
fel
|
|
8
|
+
meg
|
|
9
|
+
el
|
|
10
|
+
át
|
|
11
|
+
rá
|
|
12
|
+
ide
|
|
13
|
+
oda
|
|
14
|
+
szét
|
|
15
|
+
össze
|
|
16
|
+
vissza
|
|
17
|
+
de
|
|
18
|
+
hát
|
|
19
|
+
és
|
|
20
|
+
vagy
|
|
21
|
+
hogy
|
|
22
|
+
van
|
|
23
|
+
lesz
|
|
24
|
+
volt
|
|
25
|
+
csak
|
|
26
|
+
nem
|
|
27
|
+
igen
|
|
28
|
+
mint
|
|
29
|
+
én
|
|
30
|
+
te
|
|
31
|
+
õ
|
|
32
|
+
mi
|
|
33
|
+
ti
|
|
34
|
+
õk
|
|
35
|
+
ön
|
data/data/stopwords/it
ADDED
|
@@ -0,0 +1,430 @@
|
|
|
1
|
+
a
|
|
2
|
+
abbastanza
|
|
3
|
+
abbiomo
|
|
4
|
+
accidenti
|
|
5
|
+
ad
|
|
6
|
+
adesso
|
|
7
|
+
affinche
|
|
8
|
+
affinché
|
|
9
|
+
agli
|
|
10
|
+
ahime
|
|
11
|
+
ahimè
|
|
12
|
+
ai
|
|
13
|
+
al
|
|
14
|
+
alcuna
|
|
15
|
+
alcuni
|
|
16
|
+
alcuno
|
|
17
|
+
all
|
|
18
|
+
alla
|
|
19
|
+
alle
|
|
20
|
+
allo
|
|
21
|
+
altri
|
|
22
|
+
altrimenti
|
|
23
|
+
altro
|
|
24
|
+
altrui
|
|
25
|
+
anche
|
|
26
|
+
ancora
|
|
27
|
+
anni
|
|
28
|
+
anno
|
|
29
|
+
ansa
|
|
30
|
+
assai
|
|
31
|
+
attesa
|
|
32
|
+
avanti
|
|
33
|
+
avendo
|
|
34
|
+
avente
|
|
35
|
+
aver
|
|
36
|
+
avere
|
|
37
|
+
avete
|
|
38
|
+
aveva
|
|
39
|
+
avuta
|
|
40
|
+
avute
|
|
41
|
+
avuti
|
|
42
|
+
avuto
|
|
43
|
+
basta
|
|
44
|
+
bene
|
|
45
|
+
benissimo
|
|
46
|
+
berlusconi
|
|
47
|
+
brava
|
|
48
|
+
bravo
|
|
49
|
+
c
|
|
50
|
+
casa
|
|
51
|
+
caso
|
|
52
|
+
cento
|
|
53
|
+
certa
|
|
54
|
+
certe
|
|
55
|
+
certi
|
|
56
|
+
certo
|
|
57
|
+
che
|
|
58
|
+
chi
|
|
59
|
+
chicchessia
|
|
60
|
+
chinque
|
|
61
|
+
chiunque
|
|
62
|
+
ci
|
|
63
|
+
ciascuna
|
|
64
|
+
ciascuno
|
|
65
|
+
cima
|
|
66
|
+
cio
|
|
67
|
+
ciò
|
|
68
|
+
cioe
|
|
69
|
+
cioè
|
|
70
|
+
circa
|
|
71
|
+
citta
|
|
72
|
+
città
|
|
73
|
+
codesta
|
|
74
|
+
codeste
|
|
75
|
+
codesti
|
|
76
|
+
codesto
|
|
77
|
+
cogli
|
|
78
|
+
coi
|
|
79
|
+
col
|
|
80
|
+
colei
|
|
81
|
+
coll
|
|
82
|
+
coloro
|
|
83
|
+
colui
|
|
84
|
+
come
|
|
85
|
+
con
|
|
86
|
+
concernente
|
|
87
|
+
consiglio
|
|
88
|
+
contro
|
|
89
|
+
cortesia
|
|
90
|
+
cos
|
|
91
|
+
cosa
|
|
92
|
+
cosi
|
|
93
|
+
cosí
|
|
94
|
+
così
|
|
95
|
+
cui
|
|
96
|
+
d
|
|
97
|
+
da
|
|
98
|
+
dagli
|
|
99
|
+
dai
|
|
100
|
+
dal
|
|
101
|
+
dall
|
|
102
|
+
dalla
|
|
103
|
+
dalle
|
|
104
|
+
dallo
|
|
105
|
+
davanti
|
|
106
|
+
degli
|
|
107
|
+
dei
|
|
108
|
+
del
|
|
109
|
+
dell
|
|
110
|
+
della
|
|
111
|
+
delle
|
|
112
|
+
dello
|
|
113
|
+
dentro
|
|
114
|
+
detto
|
|
115
|
+
deve
|
|
116
|
+
di
|
|
117
|
+
dice
|
|
118
|
+
dietro
|
|
119
|
+
dila
|
|
120
|
+
dire
|
|
121
|
+
dirimpetto
|
|
122
|
+
dopo
|
|
123
|
+
dove
|
|
124
|
+
dovra
|
|
125
|
+
dovrà
|
|
126
|
+
due
|
|
127
|
+
dunque
|
|
128
|
+
durante
|
|
129
|
+
e
|
|
130
|
+
è
|
|
131
|
+
ecco
|
|
132
|
+
ed
|
|
133
|
+
egli
|
|
134
|
+
ella
|
|
135
|
+
eppure
|
|
136
|
+
era
|
|
137
|
+
erano
|
|
138
|
+
esse
|
|
139
|
+
essendo
|
|
140
|
+
esser
|
|
141
|
+
essere
|
|
142
|
+
essi
|
|
143
|
+
ex
|
|
144
|
+
fa
|
|
145
|
+
fare
|
|
146
|
+
fatto
|
|
147
|
+
favore
|
|
148
|
+
fin
|
|
149
|
+
finalmente
|
|
150
|
+
finche
|
|
151
|
+
finché
|
|
152
|
+
fine
|
|
153
|
+
fino
|
|
154
|
+
forse
|
|
155
|
+
fra
|
|
156
|
+
frattanto
|
|
157
|
+
fuori
|
|
158
|
+
gia
|
|
159
|
+
già
|
|
160
|
+
giacche
|
|
161
|
+
giacché
|
|
162
|
+
giorni
|
|
163
|
+
giorno
|
|
164
|
+
gli
|
|
165
|
+
gliela
|
|
166
|
+
gliele
|
|
167
|
+
glieli
|
|
168
|
+
glielo
|
|
169
|
+
gliene
|
|
170
|
+
governo
|
|
171
|
+
grande
|
|
172
|
+
grazie
|
|
173
|
+
gruppo
|
|
174
|
+
ha
|
|
175
|
+
hai
|
|
176
|
+
hanno
|
|
177
|
+
ho
|
|
178
|
+
i
|
|
179
|
+
ieri
|
|
180
|
+
il
|
|
181
|
+
improvviso
|
|
182
|
+
in
|
|
183
|
+
infatti
|
|
184
|
+
insieme
|
|
185
|
+
intanto
|
|
186
|
+
intorno
|
|
187
|
+
invece
|
|
188
|
+
invere
|
|
189
|
+
io
|
|
190
|
+
l
|
|
191
|
+
la
|
|
192
|
+
là
|
|
193
|
+
lavoro
|
|
194
|
+
le
|
|
195
|
+
lei
|
|
196
|
+
li
|
|
197
|
+
lo
|
|
198
|
+
lontano
|
|
199
|
+
loro
|
|
200
|
+
lui
|
|
201
|
+
lungo
|
|
202
|
+
ma
|
|
203
|
+
macche
|
|
204
|
+
macché
|
|
205
|
+
magari
|
|
206
|
+
mai
|
|
207
|
+
male
|
|
208
|
+
malgrado
|
|
209
|
+
malissimo
|
|
210
|
+
me
|
|
211
|
+
medesimo
|
|
212
|
+
mediante
|
|
213
|
+
meglio
|
|
214
|
+
meno
|
|
215
|
+
mentre
|
|
216
|
+
mesi
|
|
217
|
+
mezzo
|
|
218
|
+
mi
|
|
219
|
+
mia
|
|
220
|
+
mie
|
|
221
|
+
miei
|
|
222
|
+
mieri
|
|
223
|
+
mila
|
|
224
|
+
miliardi
|
|
225
|
+
milioni
|
|
226
|
+
ministro
|
|
227
|
+
mio
|
|
228
|
+
moltissimo
|
|
229
|
+
molto
|
|
230
|
+
mondo
|
|
231
|
+
nazionale
|
|
232
|
+
ne
|
|
233
|
+
né
|
|
234
|
+
negli
|
|
235
|
+
nei
|
|
236
|
+
nel
|
|
237
|
+
nell
|
|
238
|
+
nella
|
|
239
|
+
nelle
|
|
240
|
+
nello
|
|
241
|
+
nemmeno
|
|
242
|
+
neppure
|
|
243
|
+
nessuna
|
|
244
|
+
nessuno
|
|
245
|
+
niente
|
|
246
|
+
no
|
|
247
|
+
noi
|
|
248
|
+
non
|
|
249
|
+
nondimeno
|
|
250
|
+
nondimento
|
|
251
|
+
nostra
|
|
252
|
+
nostre
|
|
253
|
+
nostri
|
|
254
|
+
nostro
|
|
255
|
+
nulla
|
|
256
|
+
nuovo
|
|
257
|
+
o
|
|
258
|
+
od
|
|
259
|
+
oggi
|
|
260
|
+
ogni
|
|
261
|
+
ognuna
|
|
262
|
+
ognuno
|
|
263
|
+
oltre
|
|
264
|
+
oppure
|
|
265
|
+
ora
|
|
266
|
+
ore
|
|
267
|
+
osi
|
|
268
|
+
osì
|
|
269
|
+
ossia
|
|
270
|
+
paese
|
|
271
|
+
parecchi
|
|
272
|
+
parecchie
|
|
273
|
+
parecchio
|
|
274
|
+
parte
|
|
275
|
+
partendo
|
|
276
|
+
peccato
|
|
277
|
+
peggio
|
|
278
|
+
per
|
|
279
|
+
perche
|
|
280
|
+
perché
|
|
281
|
+
perchè
|
|
282
|
+
percio
|
|
283
|
+
perciò
|
|
284
|
+
perfino
|
|
285
|
+
pero
|
|
286
|
+
però
|
|
287
|
+
perque
|
|
288
|
+
perqué
|
|
289
|
+
persone
|
|
290
|
+
piedi
|
|
291
|
+
pieno
|
|
292
|
+
piglia
|
|
293
|
+
piu
|
|
294
|
+
piú
|
|
295
|
+
più
|
|
296
|
+
po
|
|
297
|
+
pochissimo
|
|
298
|
+
poco
|
|
299
|
+
poi
|
|
300
|
+
poiche
|
|
301
|
+
poiché
|
|
302
|
+
press
|
|
303
|
+
prima
|
|
304
|
+
primo
|
|
305
|
+
proprio
|
|
306
|
+
puo
|
|
307
|
+
può
|
|
308
|
+
pure
|
|
309
|
+
purtroppo
|
|
310
|
+
qualche
|
|
311
|
+
qualcuna
|
|
312
|
+
qualcuno
|
|
313
|
+
quale
|
|
314
|
+
quali
|
|
315
|
+
qualsiani
|
|
316
|
+
qualunque
|
|
317
|
+
quando
|
|
318
|
+
quanta
|
|
319
|
+
quante
|
|
320
|
+
quanti
|
|
321
|
+
quanto
|
|
322
|
+
quantunque
|
|
323
|
+
quasi
|
|
324
|
+
quattro
|
|
325
|
+
quel
|
|
326
|
+
quella
|
|
327
|
+
quelli
|
|
328
|
+
quello
|
|
329
|
+
quest
|
|
330
|
+
questa
|
|
331
|
+
queste
|
|
332
|
+
questi
|
|
333
|
+
questo
|
|
334
|
+
qui
|
|
335
|
+
quindi
|
|
336
|
+
riecco
|
|
337
|
+
rieccò
|
|
338
|
+
saltro
|
|
339
|
+
salvo
|
|
340
|
+
sara
|
|
341
|
+
sarà
|
|
342
|
+
sarebbe
|
|
343
|
+
scopo
|
|
344
|
+
scorso
|
|
345
|
+
se
|
|
346
|
+
sé
|
|
347
|
+
secondo
|
|
348
|
+
seguente
|
|
349
|
+
sei
|
|
350
|
+
sempre
|
|
351
|
+
senza
|
|
352
|
+
si
|
|
353
|
+
sí
|
|
354
|
+
sia
|
|
355
|
+
siamo
|
|
356
|
+
siete
|
|
357
|
+
solito
|
|
358
|
+
solo
|
|
359
|
+
sono
|
|
360
|
+
soppra
|
|
361
|
+
sopra
|
|
362
|
+
sotto
|
|
363
|
+
sta
|
|
364
|
+
staranno
|
|
365
|
+
stata
|
|
366
|
+
state
|
|
367
|
+
stati
|
|
368
|
+
stato
|
|
369
|
+
stesso
|
|
370
|
+
stresso
|
|
371
|
+
su
|
|
372
|
+
sua
|
|
373
|
+
successivo
|
|
374
|
+
sue
|
|
375
|
+
sugli
|
|
376
|
+
sui
|
|
377
|
+
sul
|
|
378
|
+
sull
|
|
379
|
+
sulla
|
|
380
|
+
sulle
|
|
381
|
+
sullo
|
|
382
|
+
suo
|
|
383
|
+
suoi
|
|
384
|
+
tale
|
|
385
|
+
talvolta
|
|
386
|
+
tanto
|
|
387
|
+
te
|
|
388
|
+
tempo
|
|
389
|
+
ti
|
|
390
|
+
torino
|
|
391
|
+
tra
|
|
392
|
+
tranne
|
|
393
|
+
trannefino
|
|
394
|
+
tre
|
|
395
|
+
troppo
|
|
396
|
+
tu
|
|
397
|
+
tua
|
|
398
|
+
tue
|
|
399
|
+
tuo
|
|
400
|
+
tuoi
|
|
401
|
+
tutta
|
|
402
|
+
tuttavia
|
|
403
|
+
tutte
|
|
404
|
+
tutti
|
|
405
|
+
tutto
|
|
406
|
+
uguali
|
|
407
|
+
un
|
|
408
|
+
una
|
|
409
|
+
uno
|
|
410
|
+
uomo
|
|
411
|
+
uori
|
|
412
|
+
va
|
|
413
|
+
vale
|
|
414
|
+
varia
|
|
415
|
+
varie
|
|
416
|
+
vario
|
|
417
|
+
verso
|
|
418
|
+
vi
|
|
419
|
+
via
|
|
420
|
+
vicino
|
|
421
|
+
vise
|
|
422
|
+
visé
|
|
423
|
+
visto
|
|
424
|
+
vita
|
|
425
|
+
voi
|
|
426
|
+
volta
|
|
427
|
+
vostra
|
|
428
|
+
vostre
|
|
429
|
+
vostri
|
|
430
|
+
vostro
|