classifier-reborn 2.1.0 → 2.2.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/LICENSE +74 -1
- data/README.markdown +57 -227
- data/data/stopwords/ar +104 -0
- data/data/stopwords/bn +362 -0
- data/data/stopwords/hi +97 -0
- data/data/stopwords/ja +43 -0
- data/data/stopwords/ru +420 -0
- data/data/stopwords/tr +199 -30
- data/data/stopwords/vi +647 -0
- data/data/stopwords/zh +125 -0
- data/lib/classifier-reborn.rb +9 -0
- data/lib/classifier-reborn/backends/bayes_memory_backend.rb +75 -0
- data/lib/classifier-reborn/backends/bayes_redis_backend.rb +107 -0
- data/lib/classifier-reborn/backends/no_redis_error.rb +12 -0
- data/lib/classifier-reborn/bayes.rb +98 -38
- data/lib/classifier-reborn/category_namer.rb +0 -1
- data/lib/classifier-reborn/extensions/hasher.rb +1 -1
- data/lib/classifier-reborn/lsi.rb +5 -1
- data/lib/classifier-reborn/lsi/word_list.rb +2 -4
- data/lib/classifier-reborn/validators/classifier_validator.rb +169 -0
- data/lib/classifier-reborn/version.rb +1 -1
- metadata +30 -8
- data/bin/bayes.rb +0 -36
- data/bin/summarize.rb +0 -16
data/data/stopwords/ja
ADDED
@@ -0,0 +1,43 @@
|
|
1
|
+
|
2
|
+
これ
|
3
|
+
それ
|
4
|
+
あれ
|
5
|
+
この
|
6
|
+
その
|
7
|
+
あの
|
8
|
+
ここ
|
9
|
+
そこ
|
10
|
+
あそこ
|
11
|
+
こちら
|
12
|
+
どこ
|
13
|
+
だれ
|
14
|
+
なに
|
15
|
+
なん
|
16
|
+
何
|
17
|
+
私
|
18
|
+
貴方 貴方方
|
19
|
+
我々
|
20
|
+
私達
|
21
|
+
あの人
|
22
|
+
あのかた
|
23
|
+
彼女
|
24
|
+
彼
|
25
|
+
です
|
26
|
+
あります
|
27
|
+
おります
|
28
|
+
います
|
29
|
+
は
|
30
|
+
が
|
31
|
+
の
|
32
|
+
に
|
33
|
+
を
|
34
|
+
で え
|
35
|
+
から
|
36
|
+
まで
|
37
|
+
より
|
38
|
+
も
|
39
|
+
どの
|
40
|
+
と
|
41
|
+
し
|
42
|
+
それで
|
43
|
+
しかし
|
data/data/stopwords/ru
ADDED
@@ -0,0 +1,420 @@
|
|
1
|
+
|
2
|
+
а
|
3
|
+
е
|
4
|
+
и
|
5
|
+
ж
|
6
|
+
м
|
7
|
+
о
|
8
|
+
на
|
9
|
+
не
|
10
|
+
ни
|
11
|
+
об
|
12
|
+
но
|
13
|
+
он
|
14
|
+
мне
|
15
|
+
мои
|
16
|
+
мож
|
17
|
+
она
|
18
|
+
они
|
19
|
+
оно
|
20
|
+
мной
|
21
|
+
много
|
22
|
+
многочисленное
|
23
|
+
многочисленная
|
24
|
+
многочисленные
|
25
|
+
многочисленный
|
26
|
+
мною
|
27
|
+
мой
|
28
|
+
мог
|
29
|
+
могут
|
30
|
+
можно
|
31
|
+
может
|
32
|
+
можхо
|
33
|
+
мор
|
34
|
+
моя
|
35
|
+
моё
|
36
|
+
мочь
|
37
|
+
над
|
38
|
+
нее
|
39
|
+
оба
|
40
|
+
нам
|
41
|
+
нем
|
42
|
+
нами
|
43
|
+
ними
|
44
|
+
мимо
|
45
|
+
немного
|
46
|
+
одной
|
47
|
+
одного
|
48
|
+
менее
|
49
|
+
однажды
|
50
|
+
однако
|
51
|
+
меня
|
52
|
+
нему
|
53
|
+
меньше
|
54
|
+
ней
|
55
|
+
наверху
|
56
|
+
него
|
57
|
+
ниже
|
58
|
+
мало
|
59
|
+
надо
|
60
|
+
один
|
61
|
+
одиннадцать
|
62
|
+
одиннадцатый
|
63
|
+
назад
|
64
|
+
наиболее
|
65
|
+
недавно
|
66
|
+
миллионов
|
67
|
+
недалеко
|
68
|
+
между
|
69
|
+
низко
|
70
|
+
меля
|
71
|
+
нельзя
|
72
|
+
нибудь
|
73
|
+
непрерывно
|
74
|
+
наконец
|
75
|
+
никогда
|
76
|
+
никуда
|
77
|
+
нас
|
78
|
+
наш
|
79
|
+
нет
|
80
|
+
нею
|
81
|
+
неё
|
82
|
+
них
|
83
|
+
мира
|
84
|
+
наша
|
85
|
+
наше
|
86
|
+
наши
|
87
|
+
ничего
|
88
|
+
начала
|
89
|
+
нередко
|
90
|
+
несколько
|
91
|
+
обычно
|
92
|
+
опять
|
93
|
+
около
|
94
|
+
мы
|
95
|
+
ну
|
96
|
+
нх
|
97
|
+
от
|
98
|
+
отовсюду
|
99
|
+
особенно
|
100
|
+
нужно
|
101
|
+
очень
|
102
|
+
отсюда
|
103
|
+
в
|
104
|
+
во
|
105
|
+
вон
|
106
|
+
вниз
|
107
|
+
внизу
|
108
|
+
вокруг
|
109
|
+
вот
|
110
|
+
восемнадцать
|
111
|
+
восемнадцатый
|
112
|
+
восемь
|
113
|
+
восьмой
|
114
|
+
вверх
|
115
|
+
вам
|
116
|
+
вами
|
117
|
+
важное
|
118
|
+
важная
|
119
|
+
важные
|
120
|
+
важный
|
121
|
+
вдали
|
122
|
+
везде
|
123
|
+
ведь
|
124
|
+
вас
|
125
|
+
ваш
|
126
|
+
ваша
|
127
|
+
ваше
|
128
|
+
ваши
|
129
|
+
впрочем
|
130
|
+
весь
|
131
|
+
вдруг
|
132
|
+
вы
|
133
|
+
все
|
134
|
+
второй
|
135
|
+
всем
|
136
|
+
всеми
|
137
|
+
времени
|
138
|
+
время
|
139
|
+
всему
|
140
|
+
всего
|
141
|
+
всегда
|
142
|
+
всех
|
143
|
+
всею
|
144
|
+
всю
|
145
|
+
вся
|
146
|
+
всё
|
147
|
+
всюду
|
148
|
+
г год
|
149
|
+
говорил
|
150
|
+
говорит
|
151
|
+
года
|
152
|
+
году
|
153
|
+
где
|
154
|
+
да
|
155
|
+
ее
|
156
|
+
за
|
157
|
+
из
|
158
|
+
ли
|
159
|
+
же
|
160
|
+
им
|
161
|
+
до
|
162
|
+
по
|
163
|
+
ими
|
164
|
+
под
|
165
|
+
иногда
|
166
|
+
довольно
|
167
|
+
именно
|
168
|
+
долго
|
169
|
+
позже
|
170
|
+
более
|
171
|
+
должно
|
172
|
+
пожалуйста
|
173
|
+
значит
|
174
|
+
иметь
|
175
|
+
больше
|
176
|
+
пока
|
177
|
+
ему
|
178
|
+
имя
|
179
|
+
пор
|
180
|
+
пора
|
181
|
+
потом
|
182
|
+
потому
|
183
|
+
после
|
184
|
+
почему
|
185
|
+
почти
|
186
|
+
посреди
|
187
|
+
ей
|
188
|
+
два
|
189
|
+
две
|
190
|
+
двенадцать
|
191
|
+
двенадцатый
|
192
|
+
двадцать
|
193
|
+
двадцатый
|
194
|
+
двух
|
195
|
+
его
|
196
|
+
дел
|
197
|
+
или
|
198
|
+
без
|
199
|
+
день
|
200
|
+
занят
|
201
|
+
занята
|
202
|
+
занято
|
203
|
+
заняты
|
204
|
+
действительно
|
205
|
+
давно
|
206
|
+
девятнадцать
|
207
|
+
девятнадцатый
|
208
|
+
девять
|
209
|
+
девятый
|
210
|
+
даже
|
211
|
+
алло
|
212
|
+
жизнь
|
213
|
+
далеко
|
214
|
+
близко
|
215
|
+
здесь
|
216
|
+
дальше
|
217
|
+
для
|
218
|
+
лет
|
219
|
+
зато
|
220
|
+
даром
|
221
|
+
первый
|
222
|
+
перед
|
223
|
+
затем
|
224
|
+
зачем
|
225
|
+
лишь
|
226
|
+
десять
|
227
|
+
десятый
|
228
|
+
ею
|
229
|
+
её
|
230
|
+
их
|
231
|
+
бы
|
232
|
+
еще
|
233
|
+
при
|
234
|
+
был
|
235
|
+
про
|
236
|
+
процентов
|
237
|
+
против
|
238
|
+
просто
|
239
|
+
бывает
|
240
|
+
бывь
|
241
|
+
если
|
242
|
+
люди
|
243
|
+
была
|
244
|
+
были
|
245
|
+
было
|
246
|
+
будем
|
247
|
+
будет
|
248
|
+
будете
|
249
|
+
будешь
|
250
|
+
прекрасно
|
251
|
+
буду
|
252
|
+
будь
|
253
|
+
будто
|
254
|
+
будут
|
255
|
+
ещё
|
256
|
+
пятнадцать
|
257
|
+
пятнадцатый
|
258
|
+
друго
|
259
|
+
другое
|
260
|
+
другой
|
261
|
+
другие
|
262
|
+
другая
|
263
|
+
других
|
264
|
+
есть
|
265
|
+
пять
|
266
|
+
быть
|
267
|
+
лучше
|
268
|
+
пятый
|
269
|
+
к
|
270
|
+
ком
|
271
|
+
конечно
|
272
|
+
кому
|
273
|
+
кого
|
274
|
+
когда
|
275
|
+
которой
|
276
|
+
которого
|
277
|
+
которая
|
278
|
+
которые
|
279
|
+
который
|
280
|
+
которых
|
281
|
+
кем
|
282
|
+
каждое
|
283
|
+
каждая
|
284
|
+
каждые
|
285
|
+
каждый
|
286
|
+
кажется
|
287
|
+
как
|
288
|
+
какой
|
289
|
+
какая
|
290
|
+
кто
|
291
|
+
кроме
|
292
|
+
куда
|
293
|
+
кругом
|
294
|
+
с т
|
295
|
+
у
|
296
|
+
я
|
297
|
+
та
|
298
|
+
те
|
299
|
+
уж
|
300
|
+
со
|
301
|
+
то
|
302
|
+
том
|
303
|
+
снова
|
304
|
+
тому
|
305
|
+
совсем
|
306
|
+
того
|
307
|
+
тогда
|
308
|
+
тоже
|
309
|
+
собой
|
310
|
+
тобой
|
311
|
+
собою
|
312
|
+
тобою
|
313
|
+
сначала
|
314
|
+
только
|
315
|
+
уметь
|
316
|
+
тот
|
317
|
+
тою
|
318
|
+
хорошо
|
319
|
+
хотеть
|
320
|
+
хочешь
|
321
|
+
хоть
|
322
|
+
хотя
|
323
|
+
свое
|
324
|
+
свои
|
325
|
+
твой
|
326
|
+
своей
|
327
|
+
своего
|
328
|
+
своих
|
329
|
+
свою
|
330
|
+
твоя
|
331
|
+
твоё
|
332
|
+
раз
|
333
|
+
уже
|
334
|
+
сам
|
335
|
+
там
|
336
|
+
тем
|
337
|
+
чем
|
338
|
+
сама
|
339
|
+
сами
|
340
|
+
теми
|
341
|
+
само
|
342
|
+
рано
|
343
|
+
самом
|
344
|
+
самому
|
345
|
+
самой
|
346
|
+
самого
|
347
|
+
семнадцать
|
348
|
+
семнадцатый
|
349
|
+
самим
|
350
|
+
самими
|
351
|
+
самих
|
352
|
+
саму
|
353
|
+
семь
|
354
|
+
чему
|
355
|
+
раньше
|
356
|
+
сейчас
|
357
|
+
чего
|
358
|
+
сегодня
|
359
|
+
себе
|
360
|
+
тебе
|
361
|
+
сеаой
|
362
|
+
человек
|
363
|
+
разве
|
364
|
+
теперь
|
365
|
+
себя
|
366
|
+
тебя
|
367
|
+
седьмой
|
368
|
+
спасибо
|
369
|
+
слишком
|
370
|
+
так
|
371
|
+
такое
|
372
|
+
такой
|
373
|
+
такие
|
374
|
+
также
|
375
|
+
такая
|
376
|
+
сих
|
377
|
+
тех
|
378
|
+
чаще
|
379
|
+
четвертый
|
380
|
+
через
|
381
|
+
часто
|
382
|
+
шестой
|
383
|
+
шестнадцать
|
384
|
+
шестнадцатый
|
385
|
+
шесть
|
386
|
+
четыре
|
387
|
+
четырнадцать
|
388
|
+
четырнадцатый
|
389
|
+
сколько
|
390
|
+
сказал
|
391
|
+
сказала
|
392
|
+
сказать
|
393
|
+
ту
|
394
|
+
ты
|
395
|
+
три
|
396
|
+
эта
|
397
|
+
эти
|
398
|
+
что
|
399
|
+
это
|
400
|
+
чтоб
|
401
|
+
этом
|
402
|
+
этому
|
403
|
+
этой
|
404
|
+
этого
|
405
|
+
чтобы
|
406
|
+
этот
|
407
|
+
стал
|
408
|
+
туда
|
409
|
+
этим
|
410
|
+
этими
|
411
|
+
рядом
|
412
|
+
тринадцать
|
413
|
+
тринадцатый
|
414
|
+
этих
|
415
|
+
третий
|
416
|
+
тут
|
417
|
+
эту
|
418
|
+
суть
|
419
|
+
чуть
|
420
|
+
тысяч
|