RubyGems - classifier-reborn - Versions diffs - 2.0.4 → 2.3.0 - Mend

classifier-reborn 2.0.4 → 2.3.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (36) hide show

checksums.yaml +5 -5
data/LICENSE +74 -1
data/README.markdown +57 -207
data/data/stopwords/ar +104 -0
data/data/stopwords/bn +362 -0
data/data/stopwords/hi +97 -0
data/data/stopwords/ja +43 -0
data/data/stopwords/ru +420 -0
data/data/stopwords/tr +199 -30
data/data/stopwords/vi +647 -0
data/data/stopwords/zh +125 -0
data/lib/classifier-reborn/backends/bayes_memory_backend.rb +77 -0
data/lib/classifier-reborn/backends/bayes_redis_backend.rb +109 -0
data/lib/classifier-reborn/backends/no_redis_error.rb +14 -0
data/lib/classifier-reborn/bayes.rb +141 -65
data/lib/classifier-reborn/category_namer.rb +6 -4
data/lib/classifier-reborn/extensions/hasher.rb +22 -39
data/lib/classifier-reborn/extensions/token_filter/stemmer.rb +24 -0
data/lib/classifier-reborn/extensions/token_filter/stopword.rb +48 -0
data/lib/classifier-reborn/extensions/token_filter/symbol.rb +20 -0
data/lib/classifier-reborn/extensions/tokenizer/token.rb +36 -0
data/lib/classifier-reborn/extensions/tokenizer/whitespace.rb +28 -0
data/lib/classifier-reborn/extensions/vector.rb +35 -28
data/lib/classifier-reborn/extensions/vector_serialize.rb +10 -10
data/lib/classifier-reborn/extensions/zero_vector.rb +7 -0
data/lib/classifier-reborn/lsi/cached_content_node.rb +6 -5
data/lib/classifier-reborn/lsi/content_node.rb +35 -25
data/lib/classifier-reborn/lsi/summarizer.rb +7 -5
data/lib/classifier-reborn/lsi/word_list.rb +5 -6
data/lib/classifier-reborn/lsi.rb +166 -94
data/lib/classifier-reborn/validators/classifier_validator.rb +170 -0
data/lib/classifier-reborn/version.rb +3 -1
data/lib/classifier-reborn.rb +12 -1
metadata +98 -17
data/bin/bayes.rb +0 -36
data/bin/summarize.rb +0 -16

data/data/stopwords/bn ADDED Viewed

@@ -0,0 +1,362 @@
+অবশ্য
+অনেক
+অনেকে
+অনেকেই
+অন্তত
+অথবা
+অথচ
+অর্থাত
+অন্য
+আজ
+আছে
+আপনার
+আপনি
+আবার
+আমরা
+আমাকে
+আমাদের
+আমার
+আমি
+আরও
+আর
+আগে
+আগেই
+আই
+অতএব
+আগামী
+অবধি
+অনুযায়ী
+আদ্যভাগে
+এই
+একই
+একে
+একটি
+এখন
+এখনও
+এখানে
+এখানেই
+এটি
+এটা
+এটাই
+এতটাই
+এবং
+একবার
+এবার
+এদের
+এঁদের
+এমন
+এমনকী
+এল
+এর
+এরা
+এঁরা
+এস
+এত
+এতে
+এসে
+একে
+এ
+ঐ
+ ই
+ইহা
+ইত্যাদি
+উনি
+উপর
+উপরে
+উচিত
+ও
+ওই
+ওর
+ওরা
+ওঁর
+ওঁরা
+ওকে
+ওদের
+ওঁদের
+ওখানে
+কত
+কবে
+করতে
+কয়েক
+কয়েকটি
+করবে
+করলেন
+করার
+কারও
+করা
+করি
+করিয়ে
+করার
+করাই
+করলে
+করলেন
+করিতে
+করিয়া
+করেছিলেন
+করছে
+করছেন
+করেছেন
+করেছে
+করেন
+করবেন
+করায়
+করে
+করেই
+কাছ
+কাছে
+কাজে
+কারণ
+কিছু
+কিছুই
+কিন্তু
+কিংবা
+কি
+কী
+কেউ
+কেউই
+কাউকে
+কেন
+কে
+কোনও
+কোনো
+কোন
+কখনও
+ক্ষেত্রে
+খুব	গুলি
+গিয়ে
+গিয়েছে
+গেছে
+গেল
+গেলে
+গোটা
+চলে
+ছাড়া
+ছাড়াও
+ছিলেন
+ছিল
+জন্য
+জানা
+ঠিক
+তিনি
+তিনঐ
+তিনিও
+তখন
+তবে
+তবু
+তাঁদের
+তাঁাহারা
+তাঁরা
+তাঁর
+তাঁকে
+তাই
+তেমন
+তাকে
+তাহা
+তাহাতে
+তাহার
+তাদের
+তারপর
+তারা
+তারৈ
+তার
+তাহলে
+তিনি
+তা
+তাও
+তাতে
+তো
+তত
+তুমি
+তোমার
+তথা
+থাকে
+থাকা
+থাকায়
+থেকে
+থেকেও
+থাকবে
+থাকেন
+থাকবেন
+থেকেই
+দিকে
+দিতে
+দিয়ে
+দিয়েছে
+দিয়েছেন
+দিলেন
+দু
+দুটি
+দুটো
+দেয়
+দেওয়া
+দেওয়ার
+দেখা
+দেখে
+দেখতে
+দ্বারা
+ধরে
+ধরা
+নয়
+নানা
+না
+নাকি
+নাগাদ
+নিতে
+নিজে
+নিজেই
+নিজের
+নিজেদের
+নিয়ে
+নেওয়া
+নেওয়ার
+নেই
+নাই
+পক্ষে
+পর্যন্ত
+পাওয়া
+পারেন
+পারি
+পারে
+পরে
+পরেই
+পরেও
+পর
+পেয়ে
+প্রতি
+প্রভৃতি
+প্রায়
+ফের
+ফলে
+ফিরে
+ব্যবহার
+বলতে
+বললেন
+বলেছেন
+বলল
+বলা
+বলেন
+বলে
+বহু
+বসে
+বার
+বা
+বিনা
+বরং
+বদলে
+বাদে
+বার
+বিশেষ
+বিভিন্ন	বিষয়টি
+ব্যবহার
+ব্যাপারে
+ভাবে
+ভাবেই
+মধ্যে
+মধ্যেই
+মধ্যেও
+মধ্যভাগে
+মাধ্যমে
+মাত্র
+মতো
+মতোই
+মোটেই
+যখন
+যদি
+যদিও
+যাবে
+যায়
+যাকে
+যাওয়া
+যাওয়ার
+যত
+যতটা
+যা
+যার
+যারা
+যাঁর
+যাঁরা
+যাদের
+যান
+যাচ্ছে
+যেতে
+যাতে
+যেন
+যেমন
+যেখানে
+যিনি
+যে
+রেখে
+রাখা
+রয়েছে
+রকম
+শুধু
+সঙ্গে
+সঙ্গেও
+সমস্ত
+সব
+সবার
+সহ
+সুতরাং
+সহিত
+সেই
+সেটা
+সেটি
+সেটাই
+সেটাও
+সম্প্রতি
+সেখান
+সেখানে
+সে
+স্পষ্ট
+স্বয়ং
+হইতে
+হইবে
+হৈলে
+হইয়া
+হচ্ছে
+হত
+হতে
+হতেই
+হবে
+হবেন
+হয়েছিল
+হয়েছে
+হয়েছেন
+হয়ে
+হয়নি
+হয়
+হয়েই
+হয়তো
+হল
+হলে
+হলেই
+হলেও
+হলো
+হিসাবে
+হওয়া
+হওয়ার
+হওয়ায়
+হন
+হোক
+জন
+জনকে
+জনের
+জানতে
+জানায়
+জানিয়ে
+জানানো
+জানিয়েছে
+জন্য
+জন্যওজে
+জে
+বেশ
+দেন
+তুলে
+ছিলেন
+চান
+চায়
+চেয়ে
+মোট
+যথেষ্ট
+টি

data/data/stopwords/hi ADDED Viewed

@@ -0,0 +1,97 @@
+के
+का
+एक
+में
+की
+है
+यह
+और
+से
+हैं
+को
+पर
+इस
+होता
+कि
+जो
+कर
+मे
+गया
+करने
+किया
+लिये
+अपने
+ने
+बनी
+नहीं
+तो
+ही
+या
+एवं
+दिया
+हो
+इसका
+था
+द्वारा
+हुआ
+तक
+साथ
+करना
+वाले
+बाद
+लिए
+आप
+कुछ
+सकते
+किसी
+ये
+इसके
+सबसे
+इसमें
+थे
+दो
+होने
+वह
+वे
+करते
+बहुत
+कहा
+वर्ग
+कई
+करें
+होती
+अपनी
+उनके
+थी
+यदि
+हुई
+जा
+ना
+इसे
+कहते
+जब
+होते
+कोई
+हुए
+व
+न
+अभी
+जैसे
+सभी
+करता
+उनकी
+तरह
+उस
+आदि
+कुल
+एस
+रहा
+इसकी
+सकता
+रहे
+उनका
+इसी
+रखें
+अपना
+पे
+उसके

data/data/stopwords/ja ADDED Viewed

@@ -0,0 +1,43 @@
+これ
+それ
+あれ
+この
+その
+あの
+ここ
+そこ
+あそこ
+こちら
+どこ
+だれ
+なに
+なん
+何
+私
+貴方	貴方方
+我々
+私達
+あの人
+あのかた
+彼女
+彼
+です
+あります
+おります
+います
+は
+が
+の
+に
+を
+で	え
+から
+まで
+より
+も
+どの
+と
+し
+それで
+しかし