RubyGems - wordlist - Versions diffs - 0.1.1 → 1.0.1 - Mend

wordlist 0.1.1 → 1.0.1

Files changed (152) hide show

checksums.yaml +7 -0
data/.github/workflows/ruby.yml +28 -0
data/.gitignore +6 -3
data/ChangeLog.md +55 -1
data/Gemfile +15 -0
data/LICENSE.txt +1 -3
data/README.md +301 -60
data/Rakefile +7 -32
data/benchmarks.rb +115 -0
data/bin/wordlist +4 -7
data/data/stop_words/ar.txt +104 -0
data/data/stop_words/bg.txt +259 -0
data/data/stop_words/bn.txt +363 -0
data/data/stop_words/ca.txt +126 -0
data/data/stop_words/cs.txt +138 -0
data/data/stop_words/da.txt +101 -0
data/data/stop_words/de.txt +129 -0
data/data/stop_words/el.txt +79 -0
data/data/stop_words/en.txt +175 -0
data/data/stop_words/es.txt +178 -0
data/data/stop_words/eu.txt +98 -0
data/data/stop_words/fa.txt +332 -0
data/data/stop_words/fi.txt +747 -0
data/data/stop_words/fr.txt +116 -0
data/data/stop_words/ga.txt +109 -0
data/data/stop_words/gl.txt +160 -0
data/data/stop_words/he.txt +499 -0
data/data/stop_words/hi.txt +97 -0
data/data/stop_words/hr.txt +179 -0
data/data/stop_words/hu.txt +35 -0
data/data/stop_words/hy.txt +45 -0
data/data/stop_words/id.txt +357 -0
data/data/stop_words/it.txt +134 -0
data/data/stop_words/ja.txt +44 -0
data/data/stop_words/ko.txt +677 -0
data/data/stop_words/ku.txt +63 -0
data/data/stop_words/lt.txt +507 -0
data/data/stop_words/lv.txt +163 -0
data/data/stop_words/mr.txt +99 -0
data/data/stop_words/nl.txt +48 -0
data/data/stop_words/no.txt +172 -0
data/data/stop_words/pl.txt +138 -0
data/data/stop_words/pt.txt +147 -0
data/data/stop_words/ro.txt +281 -0
data/data/stop_words/ru.txt +421 -0
data/data/stop_words/sk.txt +173 -0
data/data/stop_words/sv.txt +386 -0
data/data/stop_words/th.txt +115 -0
data/data/stop_words/tr.txt +114 -0
data/data/stop_words/uk.txt +28 -0
data/data/stop_words/ur.txt +513 -0
data/data/stop_words/zh.txt +125 -0
data/gemspec.yml +13 -12
data/lib/wordlist/abstract_wordlist.rb +25 -0
data/lib/wordlist/builder.rb +172 -138
data/lib/wordlist/cli.rb +459 -0
data/lib/wordlist/compression/reader.rb +72 -0
data/lib/wordlist/compression/writer.rb +80 -0
data/lib/wordlist/exceptions.rb +31 -0
data/lib/wordlist/file.rb +177 -0
data/lib/wordlist/format.rb +39 -0
data/lib/wordlist/lexer/lang.rb +34 -0
data/lib/wordlist/lexer/stop_words.rb +69 -0
data/lib/wordlist/lexer.rb +221 -0
data/lib/wordlist/list_methods.rb +462 -0
data/lib/wordlist/modifiers/capitalize.rb +46 -0
data/lib/wordlist/modifiers/downcase.rb +46 -0
data/lib/wordlist/modifiers/gsub.rb +52 -0
data/lib/wordlist/modifiers/modifier.rb +44 -0
data/lib/wordlist/modifiers/mutate.rb +134 -0
data/lib/wordlist/modifiers/mutate_case.rb +26 -0
data/lib/wordlist/modifiers/sub.rb +98 -0
data/lib/wordlist/modifiers/tr.rb +72 -0
data/lib/wordlist/modifiers/upcase.rb +46 -0
data/lib/wordlist/modifiers.rb +9 -0
data/lib/wordlist/operators/binary_operator.rb +39 -0
data/lib/wordlist/operators/concat.rb +48 -0
data/lib/wordlist/operators/intersect.rb +56 -0
data/lib/wordlist/operators/operator.rb +29 -0
data/lib/wordlist/operators/power.rb +73 -0
data/lib/wordlist/operators/product.rb +51 -0
data/lib/wordlist/operators/subtract.rb +55 -0
data/lib/wordlist/operators/unary_operator.rb +30 -0
data/lib/wordlist/operators/union.rb +62 -0
data/lib/wordlist/operators/unique.rb +53 -0
data/lib/wordlist/operators.rb +8 -0
data/lib/wordlist/unique_filter.rb +41 -61
data/lib/wordlist/version.rb +4 -2
data/lib/wordlist/words.rb +72 -0
data/lib/wordlist.rb +104 -2
data/spec/abstract_list_spec.rb +18 -0
data/spec/builder_spec.rb +220 -76
data/spec/cli_spec.rb +802 -0
data/spec/compression/reader_spec.rb +137 -0
data/spec/compression/writer_spec.rb +194 -0
data/spec/file_spec.rb +269 -0
data/spec/fixtures/wordlist.txt +15 -0
data/spec/fixtures/wordlist.txt.bz2 +0 -0
data/spec/fixtures/wordlist.txt.gz +0 -0
data/spec/fixtures/wordlist.txt.xz +0 -0
data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
data/spec/fixtures/wordlist_with_comments.txt +19 -0
data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
data/spec/format_spec.rb +50 -0
data/spec/helpers/text.rb +3 -3
data/spec/helpers/wordlist.rb +2 -2
data/spec/lexer/lang_spec.rb +70 -0
data/spec/lexer/stop_words_spec.rb +77 -0
data/spec/lexer_spec.rb +718 -0
data/spec/list_methods_spec.rb +181 -0
data/spec/modifiers/capitalize_spec.rb +27 -0
data/spec/modifiers/downcase_spec.rb +27 -0
data/spec/modifiers/gsub_spec.rb +59 -0
data/spec/modifiers/modifier_spec.rb +20 -0
data/spec/modifiers/mutate_case_spec.rb +46 -0
data/spec/modifiers/mutate_spec.rb +39 -0
data/spec/modifiers/sub_spec.rb +98 -0
data/spec/modifiers/tr_spec.rb +46 -0
data/spec/modifiers/upcase_spec.rb +27 -0
data/spec/operators/binary_operator_spec.rb +19 -0
data/spec/operators/concat_spec.rb +26 -0
data/spec/operators/intersect_spec.rb +37 -0
data/spec/operators/operator_spec.rb +16 -0
data/spec/operators/power_spec.rb +57 -0
data/spec/operators/product_spec.rb +39 -0
data/spec/operators/subtract_spec.rb +37 -0
data/spec/operators/unary_operator_spec.rb +14 -0
data/spec/operators/union_spec.rb +37 -0
data/spec/operators/unique_spec.rb +25 -0
data/spec/spec_helper.rb +2 -1
data/spec/unique_filter_spec.rb +108 -18
data/spec/wordlist_spec.rb +55 -3
data/spec/words_spec.rb +41 -0
data/wordlist.gemspec +1 -0
metadata +164 -126
data/lib/wordlist/builders/website.rb +0 -216
data/lib/wordlist/builders.rb +0 -1
data/lib/wordlist/flat_file.rb +0 -47
data/lib/wordlist/list.rb +0 -162
data/lib/wordlist/mutator.rb +0 -113
data/lib/wordlist/parsers.rb +0 -74
data/lib/wordlist/runners/list.rb +0 -116
data/lib/wordlist/runners/runner.rb +0 -67
data/lib/wordlist/runners.rb +0 -2
data/scripts/benchmark +0 -59
data/scripts/text/comedy_of_errors.txt +0 -4011
data/spec/classes/parser_class.rb +0 -7
data/spec/classes/test_list.rb +0 -9
data/spec/flat_file_spec.rb +0 -25
data/spec/list_spec.rb +0 -58
data/spec/mutator_spec.rb +0 -43
data/spec/parsers_spec.rb +0 -118

data/bin/wordlist CHANGED Viewed

@@ -1,10 +1,7 @@
 #!/usr/bin/env ruby
-lib_dir = File.expand_path(File.join(File.dirname(__FILE__),'..','lib'))
-unless $LOAD_PATH.include?(lib_dir)
-  $LOAD_PATH << lib_dir
-end
+lib_dir = File.expand_path(File.join(__dir__,'..','lib'))
+$LOAD_PATH << lib_dir unless $LOAD_PATH.include?(lib_dir)
-require 'wordlist/runners/list'
-Wordlist::Runners::List.run(*ARGV)
+require 'wordlist/cli'
+exit Wordlist::CLI.run(ARGV)

data/data/stop_words/ar.txt ADDED Viewed

@@ -0,0 +1,104 @@
+فى
+في
+كل
+لم
+لن
+له
+من
+هو
+هي
+قوة
+كما
+لها
+منذ
+وقد
+ولا
+لقاء
+مقابل
+هناك
+وقال
+وكان
+وقالت
+وكانت
+فيه
+لكن
+وفي
+ولم
+ومن
+وهو
+وهي
+يوم
+فيها
+منها
+يكون
+يمكن
+حيث
+االا
+اما
+االتى
+التي
+اكثر
+ايضا
+الذى
+الذي
+الان
+الذين
+ابين
+ذلك
+دون
+حول
+حين
+الى
+انه
+اول
+انها
+ف
+و
+و6
+قد
+لا
+ما
+مع
+هذا
+واحد
+واضاف
+واضافت
+فان
+قبل
+قال
+كان
+لدى
+نحو
+هذه
+وان
+واكد
+كانت
+واوضح
+ب
+ا
+أ
+،
+عن
+عند
+عندما
+على
+عليه
+عليها
+تم
+ضد
+بعد
+بعض
+حتى
+اذا
+احد
+بان
+اجل
+غير
+بن
+به
+ثم
+اف
+ان
+او
+اي
+بها

data/data/stop_words/bg.txt ADDED Viewed

@@ -0,0 +1,259 @@
+а
+автентичен
+аз
+ако
+ала
+бе
+без
+беше
+би
+бивш
+бивша
+бившо
+бил
+била
+били
+било
+благодаря
+близо
+бъдат
+бъде
+бяха
+в
+вас
+ваш
+ваша
+вероятно
+вече
+взема
+ви
+вие
+винаги
+внимава
+време
+все
+всеки
+всички
+всичко
+всяка
+във
+въпреки
+върху
+г
+ги
+главен
+главна
+главно
+глас
+го
+година
+години
+годишен
+д
+да
+дали
+два
+двама
+двамата
+две
+двете
+ден
+днес
+дни
+до
+добра
+добре
+добро
+добър
+докато
+докога
+дори
+досега
+доста
+друг
+друга
+други
+е
+евтин
+едва
+един
+една
+еднаква
+еднакви
+еднакъв
+едно
+екип
+ето
+живот
+за
+забавям
+зад
+заедно
+заради
+засега
+заспал
+затова
+защо
+защото
+и
+из
+или
+им
+има
+имат
+иска
+й
+каза
+как
+каква
+какво
+както
+какъв
+като
+кога
+когато
+което
+които
+кой
+който
+колко
+която
+къде
+където
+към
+лесен
+лесно
+ли
+лош
+м
+май
+малко
+ме
+между
+мек
+мен
+месец
+ми
+много
+мнозина
+мога
+могат
+може
+мокър
+моля
+момента
+му
+н
+на
+над
+назад
+най
+направи
+напред
+например
+нас
+не
+него
+нещо
+нея
+ни
+ние
+никой
+нито
+нищо
+но
+нов
+нова
+нови
+новина
+някои
+някой
+няколко
+няма
+обаче
+около
+освен
+особено
+от
+отгоре
+отново
+още
+пак
+по
+повече
+повечето
+под
+поне
+поради
+после
+почти
+прави
+пред
+преди
+през
+при
+пък
+първата
+първи
+първо
+пъти
+равен
+равна
+с
+са
+сам
+само
+се
+сега
+си
+син
+скоро
+след
+следващ
+сме
+смях
+според
+сред
+срещу
+сте
+съм
+със
+също
+т
+тази
+така
+такива
+такъв
+там
+твой
+те
+тези
+ти
+т.н.
+то
+това
+тогава
+този
+той
+толкова
+точно
+три
+трябва
+тук
+тъй
+тя
+тях
+у
+утре
+харесва
+хиляди
+ч
+часа
+че
+често
+чрез
+ще
+щом
+юмрук
+я
+як

data/data/stop_words/bn.txt ADDED Viewed

@@ -0,0 +1,363 @@
+অবশ্য
+অনেক
+অনেকে
+অনেকেই
+অন্তত
+অথবা
+অথচ
+অর্থাত
+অন্য
+আজ
+আছে
+আপনার
+আপনি
+আবার
+আমরা
+আমাকে
+আমাদের
+আমার
+আমি
+আরও
+আর
+আগে
+আগেই
+আই
+অতএব
+আগামী
+অবধি
+অনুযায়ী
+আদ্যভাগে
+এই
+একই
+একে
+একটি
+এখন
+এখনও
+এখানে
+এখানেই
+এটি
+এটা
+এটাই
+এতটাই
+এবং
+একবার
+এবার
+এদের
+এঁদের
+এমন
+এমনকী
+এল
+এর
+এরা
+এঁরা
+এস
+এত
+এতে
+এসে
+একে
+এ
+ঐ
+ই
+ইহা
+ইত্যাদি
+উনি
+উপর
+উপরে
+উচিত
+ও
+ওই
+ওর
+ওরা
+ওঁর
+ওঁরা
+ওকে
+ওদের
+ওঁদের
+ওখানে
+কত
+কবে
+করতে
+কয়েক
+কয়েকটি
+করবে
+করলেন
+করার
+কারও
+করা
+করি
+করিয়ে
+করার
+করাই
+করলে
+করলেন
+করিতে
+করিয়া
+করেছিলেন
+করছে
+করছেন
+করেছেন
+করেছে
+করেন
+করবেন
+করায়
+করে
+করেই
+কাছ
+কাছে
+কাজে
+কারণ
+কিছু
+কিছুই
+কিন্তু
+কিংবা
+কি
+কী
+কেউ
+কেউই
+কাউকে
+কেন
+কে
+কোনও
+কোনো
+কোন
+কখনও
+ক্ষেত্রে
+খুব
+গুলি
+গিয়ে
+গিয়েছে
+গেছে
+গেল
+গেলে
+গোটা
+চলে
+ছাড়া
+ছাড়াও
+ছিলেন
+ছিল
+জন্য
+জানা
+ঠিক
+তিনি
+তিনঐ
+তিনিও
+তখন
+তবে
+তবু
+তাঁদের
+তাঁাহারা
+তাঁরা
+তাঁর
+তাঁকে
+তাই
+তেমন
+তাকে
+তাহা
+তাহাতে
+তাহার
+তাদের
+তারপর
+তারা
+তারৈ
+তার
+তাহলে
+তিনি
+তা
+তাও
+তাতে
+তো
+তত
+তুমি
+তোমার
+তথা
+থাকে
+থাকা
+থাকায়
+থেকে
+থেকেও
+থাকবে
+থাকেন
+থাকবেন
+থেকেই
+দিকে
+দিতে
+দিয়ে
+দিয়েছে
+দিয়েছেন
+দিলেন
+দু
+দুটি
+দুটো
+দেয়
+দেওয়া
+দেওয়ার
+দেখা
+দেখে
+দেখতে
+দ্বারা
+ধরে
+ধরা
+নয়
+নানা
+না
+নাকি
+নাগাদ
+নিতে
+নিজে
+নিজেই
+নিজের
+নিজেদের
+নিয়ে
+নেওয়া
+নেওয়ার
+নেই
+নাই
+পক্ষে
+পর্যন্ত
+পাওয়া
+পারেন
+পারি
+পারে
+পরে
+পরেই
+পরেও
+পর
+পেয়ে
+প্রতি
+প্রভৃতি
+প্রায়
+ফের
+ফলে
+ফিরে
+ব্যবহার
+বলতে
+বললেন
+বলেছেন
+বলল
+বলা
+বলেন
+বলে
+বহু
+বসে
+বার
+বা
+বিনা
+বরং
+বদলে
+বাদে
+বার
+বিশেষ
+বিভিন্ন
+বিষয়টি
+ব্যবহার
+ব্যাপারে
+ভাবে
+ভাবেই
+মধ্যে
+মধ্যেই
+মধ্যেও
+মধ্যভাগে
+মাধ্যমে
+মাত্র
+মতো
+মতোই
+মোটেই
+যখন
+যদি
+যদিও
+যাবে
+যায়
+যাকে
+যাওয়া
+যাওয়ার
+যত
+যতটা
+যা
+যার
+যারা
+যাঁর
+যাঁরা
+যাদের
+যান
+যাচ্ছে
+যেতে
+যাতে
+যেন
+যেমন
+যেখানে
+যিনি
+যে
+রেখে
+রাখা
+রয়েছে
+রকম
+শুধু
+সঙ্গে
+সঙ্গেও
+সমস্ত
+সব
+সবার
+সহ
+সুতরাং
+সহিত
+সেই
+সেটা
+সেটি
+সেটাই
+সেটাও
+সম্প্রতি
+সেখান
+সেখানে
+সে
+স্পষ্ট
+স্বয়ং
+হইতে
+হইবে
+হৈলে
+হইয়া
+হচ্ছে
+হত
+হতে
+হতেই
+হবে
+হবেন
+হয়েছিল
+হয়েছে
+হয়েছেন
+হয়ে
+হয়নি
+হয়
+হয়েই
+হয়তো
+হল
+হলে
+হলেই
+হলেও
+হলো
+হিসাবে
+হওয়া
+হওয়ার
+হওয়ায়
+হন
+হোক
+জন
+জনকে
+জনের
+জানতে
+জানায়
+জানিয়ে
+জানানো
+জানিয়েছে
+জন্য
+জন্যওজে
+জে
+বেশ
+দেন
+তুলে
+ছিলেন
+চান
+চায়
+চেয়ে
+মোট
+যথেষ্ট
+টি