RubyGems - classifier-reborn - Versions diffs - 2.1.0 → 2.2.0 - Mend

classifier-reborn 2.1.0 → 2.2.0

Files changed (25) hide show

checksums.yaml +4 -4
data/LICENSE +74 -1
data/README.markdown +57 -227
data/data/stopwords/ar +104 -0
data/data/stopwords/bn +362 -0
data/data/stopwords/hi +97 -0
data/data/stopwords/ja +43 -0
data/data/stopwords/ru +420 -0
data/data/stopwords/tr +199 -30
data/data/stopwords/vi +647 -0
data/data/stopwords/zh +125 -0
data/lib/classifier-reborn.rb +9 -0
data/lib/classifier-reborn/backends/bayes_memory_backend.rb +75 -0
data/lib/classifier-reborn/backends/bayes_redis_backend.rb +107 -0
data/lib/classifier-reborn/backends/no_redis_error.rb +12 -0
data/lib/classifier-reborn/bayes.rb +98 -38
data/lib/classifier-reborn/category_namer.rb +0 -1
data/lib/classifier-reborn/extensions/hasher.rb +1 -1
data/lib/classifier-reborn/lsi.rb +5 -1
data/lib/classifier-reborn/lsi/word_list.rb +2 -4
data/lib/classifier-reborn/validators/classifier_validator.rb +169 -0
data/lib/classifier-reborn/version.rb +1 -1
metadata +30 -8
data/bin/bayes.rb +0 -36
data/bin/summarize.rb +0 -16

@@ -0,0 +1,362 @@
+অবশ্য
+অনেক
+অনেকে
+অনেকেই
+অন্তত
+অথবা
+অথচ
+অর্থাত
+অন্য
+আজ
+আছে
+আপনার
+আপনি
+আবার
+আমরা
+আমাকে
+আমাদের
+আমার
+আমি
+আরও
+আর
+আগে
+আগেই
+আই
+অতএব
+আগামী
+অবধি
+অনুযায়ী
+আদ্যভাগে
+এই
+একই
+একে
+একটি
+এখন
+এখনও
+এখানে
+এখানেই
+এটি
+এটা
+এটাই
+এতটাই
+এবং
+একবার
+এবার
+এদের
+এঁদের
+এমন
+এমনকী
+এল
+এর
+এরা
+এঁরা
+এস
+এত
+এতে
+এসে
+একে
+এ
+ঐ
+ ই
+ইহা
+ইত্যাদি
+উনি
+উপর
+উপরে
+উচিত
+ও
+ওই
+ওর
+ওরা
+ওঁর
+ওঁরা
+ওকে
+ওদের
+ওঁদের
+ওখানে
+কত
+কবে
+করতে
+কয়েক
+কয়েকটি
+করবে
+করলেন
+করার
+কারও
+করা
+করি
+করিয়ে
+করার
+করাই
+করলে
+করলেন
+করিতে
+করিয়া
+করেছিলেন
+করছে
+করছেন
+করেছেন
+করেছে
+করেন
+করবেন
+করায়
+করে
+করেই
+কাছ
+কাছে
+কাজে
+কারণ
+কিছু
+কিছুই
+কিন্তু
+কিংবা
+কি
+কী
+কেউ
+কেউই
+কাউকে
+কেন
+কে
+কোনও
+কোনো
+কোন
+কখনও
+ক্ষেত্রে
+খুব	গুলি
+গিয়ে
+গিয়েছে
+গেছে
+গেল
+গেলে
+গোটা
+চলে
+ছাড়া
+ছাড়াও
+ছিলেন
+ছিল
+জন্য
+জানা
+ঠিক
+তিনি
+তিনঐ
+তিনিও
+তখন
+তবে
+তবু
+তাঁদের
+তাঁাহারা
+তাঁরা
+তাঁর
+তাঁকে
+তাই
+তেমন
+তাকে
+তাহা
+তাহাতে
+তাহার
+তাদের
+তারপর
+তারা
+তারৈ
+তার
+তাহলে
+তিনি
+তা
+তাও
+তাতে
+তো
+তত
+তুমি
+তোমার
+তথা
+থাকে
+থাকা
+থাকায়
+থেকে
+থেকেও
+থাকবে
+থাকেন
+থাকবেন
+থেকেই
+দিকে
+দিতে
+দিয়ে
+দিয়েছে
+দিয়েছেন
+দিলেন
+দু
+দুটি
+দুটো
+দেয়
+দেওয়া
+দেওয়ার
+দেখা
+দেখে
+দেখতে
+দ্বারা
+ধরে
+ধরা
+নয়
+নানা
+না
+নাকি
+নাগাদ
+নিতে
+নিজে
+নিজেই
+নিজের
+নিজেদের
+নিয়ে
+নেওয়া
+নেওয়ার
+নেই
+নাই
+পক্ষে
+পর্যন্ত
+পাওয়া
+পারেন
+পারি
+পারে
+পরে
+পরেই
+পরেও
+পর
+পেয়ে
+প্রতি
+প্রভৃতি
+প্রায়
+ফের
+ফলে
+ফিরে
+ব্যবহার
+বলতে
+বললেন
+বলেছেন
+বলল
+বলা
+বলেন
+বলে
+বহু
+বসে
+বার
+বা
+বিনা
+বরং
+বদলে
+বাদে
+বার
+বিশেষ
+বিভিন্ন	বিষয়টি
+ব্যবহার
+ব্যাপারে
+ভাবে
+ভাবেই
+মধ্যে
+মধ্যেই
+মধ্যেও
+মধ্যভাগে
+মাধ্যমে
+মাত্র
+মতো
+মতোই
+মোটেই
+যখন
+যদি
+যদিও
+যাবে
+যায়
+যাকে
+যাওয়া
+যাওয়ার
+যত
+যতটা
+যা
+যার
+যারা
+যাঁর
+যাঁরা
+যাদের
+যান
+যাচ্ছে
+যেতে
+যাতে
+যেন
+যেমন
+যেখানে
+যিনি
+যে
+রেখে
+রাখা
+রয়েছে
+রকম
+শুধু
+সঙ্গে
+সঙ্গেও
+সমস্ত
+সব
+সবার
+সহ
+সুতরাং
+সহিত
+সেই
+সেটা
+সেটি
+সেটাই
+সেটাও
+সম্প্রতি
+সেখান
+সেখানে
+সে
+স্পষ্ট
+স্বয়ং
+হইতে
+হইবে
+হৈলে
+হইয়া
+হচ্ছে
+হত
+হতে
+হতেই
+হবে
+হবেন
+হয়েছিল
+হয়েছে
+হয়েছেন
+হয়ে
+হয়নি
+হয়
+হয়েই
+হয়তো
+হল
+হলে
+হলেই
+হলেও
+হলো
+হিসাবে
+হওয়া
+হওয়ার
+হওয়ায়
+হন
+হোক
+জন
+জনকে
+জনের
+জানতে
+জানায়
+জানিয়ে
+জানানো
+জানিয়েছে
+জন্য
+জন্যওজে
+জে
+বেশ
+দেন
+তুলে
+ছিলেন
+চান
+চায়
+চেয়ে
+মোট
+যথেষ্ট
+টি

data/data/stopwords/hi ADDED

@@ -0,0 +1,97 @@
+के
+का
+एक
+में
+की
+है
+यह
+और
+से
+हैं
+को
+पर
+इस
+होता
+कि
+जो
+कर
+मे
+गया
+करने
+किया
+लिये
+अपने
+ने
+बनी
+नहीं
+तो
+ही
+या
+एवं
+दिया
+हो
+इसका
+था
+द्वारा
+हुआ
+तक
+साथ
+करना
+वाले
+बाद
+लिए
+आप
+कुछ
+सकते
+किसी
+ये
+इसके
+सबसे
+इसमें
+थे
+दो
+होने
+वह
+वे
+करते
+बहुत
+कहा
+वर्ग
+कई
+करें
+होती
+अपनी
+उनके
+थी
+यदि
+हुई
+जा
+ना
+इसे
+कहते
+जब
+होते
+कोई
+हुए
+व
+न
+अभी
+जैसे
+सभी
+करता
+उनकी
+तरह
+उस
+आदि
+कुल
+एस
+रहा
+इसकी
+सकता
+रहे
+उनका
+इसी
+रखें
+अपना
+पे
+उसके