RubyGems - classifier-reborn - Versions diffs - 2.0.4 → 2.3.0 - Mend

classifier-reborn 2.0.4 → 2.3.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (36) hide show

checksums.yaml +5 -5
data/LICENSE +74 -1
data/README.markdown +57 -207
data/data/stopwords/ar +104 -0
data/data/stopwords/bn +362 -0
data/data/stopwords/hi +97 -0
data/data/stopwords/ja +43 -0
data/data/stopwords/ru +420 -0
data/data/stopwords/tr +199 -30
data/data/stopwords/vi +647 -0
data/data/stopwords/zh +125 -0
data/lib/classifier-reborn/backends/bayes_memory_backend.rb +77 -0
data/lib/classifier-reborn/backends/bayes_redis_backend.rb +109 -0
data/lib/classifier-reborn/backends/no_redis_error.rb +14 -0
data/lib/classifier-reborn/bayes.rb +141 -65
data/lib/classifier-reborn/category_namer.rb +6 -4
data/lib/classifier-reborn/extensions/hasher.rb +22 -39
data/lib/classifier-reborn/extensions/token_filter/stemmer.rb +24 -0
data/lib/classifier-reborn/extensions/token_filter/stopword.rb +48 -0
data/lib/classifier-reborn/extensions/token_filter/symbol.rb +20 -0
data/lib/classifier-reborn/extensions/tokenizer/token.rb +36 -0
data/lib/classifier-reborn/extensions/tokenizer/whitespace.rb +28 -0
data/lib/classifier-reborn/extensions/vector.rb +35 -28
data/lib/classifier-reborn/extensions/vector_serialize.rb +10 -10
data/lib/classifier-reborn/extensions/zero_vector.rb +7 -0
data/lib/classifier-reborn/lsi/cached_content_node.rb +6 -5
data/lib/classifier-reborn/lsi/content_node.rb +35 -25
data/lib/classifier-reborn/lsi/summarizer.rb +7 -5
data/lib/classifier-reborn/lsi/word_list.rb +5 -6
data/lib/classifier-reborn/lsi.rb +166 -94
data/lib/classifier-reborn/validators/classifier_validator.rb +170 -0
data/lib/classifier-reborn/version.rb +3 -1
data/lib/classifier-reborn.rb +12 -1
metadata +98 -17
data/bin/bayes.rb +0 -36
data/bin/summarize.rb +0 -16

data/data/stopwords/ru ADDED Viewed

@@ -0,0 +1,420 @@
+а
+е
+и
+ж
+м
+о
+на
+не
+ни
+об
+но
+он
+мне
+мои
+мож
+она
+они
+оно
+мной
+много
+многочисленное
+многочисленная
+многочисленные
+многочисленный
+мною
+мой
+мог
+могут
+можно
+может
+можхо
+мор
+моя
+моё
+мочь
+над
+нее
+оба
+нам
+нем
+нами
+ними
+мимо
+немного
+одной
+одного
+менее
+однажды
+однако
+меня
+нему
+меньше
+ней
+наверху
+него
+ниже
+мало
+надо
+один
+одиннадцать
+одиннадцатый
+назад
+наиболее
+недавно
+миллионов
+недалеко
+между
+низко
+меля
+нельзя
+нибудь
+непрерывно
+наконец
+никогда
+никуда
+нас
+наш
+нет
+нею
+неё
+них
+мира
+наша
+наше
+наши
+ничего
+начала
+нередко
+несколько
+обычно
+опять
+около
+мы
+ну
+нх
+от
+отовсюду
+особенно
+нужно
+очень
+отсюда
+в
+во
+вон
+вниз
+внизу
+вокруг
+вот
+восемнадцать
+восемнадцатый
+восемь
+восьмой
+вверх
+вам
+вами
+важное
+важная
+важные
+важный
+вдали
+везде
+ведь
+вас
+ваш
+ваша
+ваше
+ваши
+впрочем
+весь
+вдруг
+вы
+все
+второй
+всем
+всеми
+времени
+время
+всему
+всего
+всегда
+всех
+всею
+всю
+вся
+всё
+всюду
+г	год
+говорил
+говорит
+года
+году
+где
+да
+ее
+за
+из
+ли
+же
+им
+до
+по
+ими
+под
+иногда
+довольно
+именно
+долго
+позже
+более
+должно
+пожалуйста
+значит
+иметь
+больше
+пока
+ему
+имя
+пор
+пора
+потом
+потому
+после
+почему
+почти
+посреди
+ей
+два
+две
+двенадцать
+двенадцатый
+двадцать
+двадцатый
+двух
+его
+дел
+или
+без
+день
+занят
+занята
+занято
+заняты
+действительно
+давно
+девятнадцать
+девятнадцатый
+девять
+девятый
+даже
+алло
+жизнь
+далеко
+близко
+здесь
+дальше
+для
+лет
+зато
+даром
+первый
+перед
+затем
+зачем
+лишь
+десять
+десятый
+ею
+её
+их
+бы
+еще
+при
+был
+про
+процентов
+против
+просто
+бывает
+бывь
+если
+люди
+была
+были
+было
+будем
+будет
+будете
+будешь
+прекрасно
+буду
+будь
+будто
+будут
+ещё
+пятнадцать
+пятнадцатый
+друго
+другое
+другой
+другие
+другая
+других
+есть
+пять
+быть
+лучше
+пятый
+к
+ком
+конечно
+кому
+кого
+когда
+которой
+которого
+которая
+которые
+который
+которых
+кем
+каждое
+каждая
+каждые
+каждый
+кажется
+как
+какой
+какая
+кто
+кроме
+куда
+кругом
+с	т
+у
+я
+та
+те
+уж
+со
+то
+том
+снова
+тому
+совсем
+того
+тогда
+тоже
+собой
+тобой
+собою
+тобою
+сначала
+только
+уметь
+тот
+тою
+хорошо
+хотеть
+хочешь
+хоть
+хотя
+свое
+свои
+твой
+своей
+своего
+своих
+свою
+твоя
+твоё
+раз
+уже
+сам
+там
+тем
+чем
+сама
+сами
+теми
+само
+рано
+самом
+самому
+самой
+самого
+семнадцать
+семнадцатый
+самим
+самими
+самих
+саму
+семь
+чему
+раньше
+сейчас
+чего
+сегодня
+себе
+тебе
+сеаой
+человек
+разве
+теперь
+себя
+тебя
+седьмой
+спасибо
+слишком
+так
+такое
+такой
+такие
+также
+такая
+сих
+тех
+чаще
+четвертый
+через
+часто
+шестой
+шестнадцать
+шестнадцатый
+шесть
+четыре
+четырнадцать
+четырнадцатый
+сколько
+сказал
+сказала
+сказать
+ту
+ты
+три
+эта
+эти
+что
+это
+чтоб
+этом
+этому
+этой
+этого
+чтобы
+этот
+стал
+туда
+этим
+этими
+рядом
+тринадцать
+тринадцатый
+этих
+третий
+тут
+эту
+суть
+чуть
+тысяч

data/data/stopwords/tr CHANGED Viewed

@@ -1,114 +1,283 @@
+a
 acaba
-altmýþ
-altý
+altı
+altmış
 ama
+ancak
+arada
+artık
+asla
+aslında
+ayrıca
+az
 bana
-bazý
+bazen
+bazı
+bazıları
 belki
 ben
 benden
 beni
 benim
-beþ
+beri
+beş
+bile
+bilhassa
 bin
 bir
+biraz
+birçoğu
+birçok
 biri
+birisi
 birkaç
-birkez
-birþey
-birþeyi
+birşey
 biz
 bizden
+bize
 bizi
 bizim
+böyle
+böylece
 bu
 buna
 bunda
 bundan
+bunlar
+bunları
+bunların
 bunu
 bunun
+burada
+bütün
+çoğu
+çoğunu
+çok
+çünkü
 da
 daha
 dahi
+dan
 de
 defa
+değil
+diğer
+diğeri
+diğerleri
 diye
 doksan
 dokuz
+dolayı
+dolayısıyla
 dört
+e
+edecek
+eden
+ederek
+edilecek
+ediliyor
+edilmesi
+ediyor
+eğer
+elbette
 elli
 en
+etmesi
+etti
+ettiği
+ettiğini
+fakat
+falan
+filan
+gene
+gereği
+gerek
 gibi
+göre
+hala
+halde
+halen
+hangi
+hangisi
+hani
+hatta
 hem
+henüz
 hep
 hepsi
 her
+herhangi
+herkes
+herkese
+herkesi
+herkesin
 hiç
+hiçbir
+hiçbiri
+i
+ı
+için
+içinde
 iki
 ile
-INSERmi
+ilgili
 ise
-için
-katrilyon
+işte
+itibaren
+itibariyle
+kaç
+kadar
+karşın
+kendi
+kendilerine
+kendine
+kendini
+kendisi
+kendisine
+kendisini
 kez
 ki
 kim
-kimden
 kime
 kimi
-kýrk
+kimin
+kimisi
+kimse
+kırk
+madem
+mi
+mı
 milyar
 milyon
 mu
 mü
-mý
-nasýl
+nasıl
 ne
 neden
+nedenle
 nerde
 nerede
 nereye
-niye
+neyse
 niçin
+nin
+nın
+niye
+nun
+nün
+o
+öbür
+olan
+olarak
+oldu
+olduğu
+olduğunu
+olduklarını
+olmadı
+olmadığı
+olmak
+olması
+olmayan
+olmaz
+olsa
+olsun
+olup
+olur
+olur
+olursa
+oluyor
 on
+ön
 ona
+önce
 ondan
 onlar
+onlara
 onlardan
-onlari
-onlarýn
+onları
+onların
 onu
+onun
+orada
+öte
+ötürü
 otuz
+öyle
+oysa
+pek
+rağmen
+sana
 sanki
+sanki
+şayet
+şekilde
 sekiz
 seksen
 sen
 senden
 seni
 senin
+şey
+şeyden
+şeye
+şeyi
+şeyler
+şimdi
+siz
 siz
 sizden
+sizden
+size
+sizi
 sizi
 sizin
+sizin
+sonra
+şöyle
+şu
+şuna
+şunları
+şunu
+ta
+tabii
+tam
+tamam
+tamamen
+tarafından
 trilyon
 tüm
+tümü
+u
+ü
+üç
+un
+ün
+üzere
+var
+vardı
 ve
 veya
 ya
 yani
+yapacak
+yapılan
+yapılması
+yapıyor
+yapmak
+yaptı
+yaptığı
+yaptığını
+yaptıkları
+ye
 yedi
-yetmiþ
+yerine
+yetmiş
+yi
+yı
+yine
 yirmi
+yoksa
+yu
 yüz
-çok
-çünkü
-üç
-þey
-þeyden
-þeyi
-þeyler
-þu
-þuna
-þunda
-þundan
-þunu
+zaten
+zira