RubyGems - wordlist - Versions diffs - 0.1.1 → 1.0.0 - Mend

wordlist 0.1.1 → 1.0.0

Files changed (148) hide show

checksums.yaml +7 -0
data/.github/workflows/ruby.yml +27 -0
data/.gitignore +6 -3
data/ChangeLog.md +45 -1
data/Gemfile +13 -0
data/LICENSE.txt +1 -3
data/README.md +266 -61
data/Rakefile +7 -32
data/benchmarks.rb +115 -0
data/bin/wordlist +4 -7
data/data/stop_words/ar.txt +104 -0
data/data/stop_words/bg.txt +259 -0
data/data/stop_words/bn.txt +363 -0
data/data/stop_words/ca.txt +126 -0
data/data/stop_words/cs.txt +138 -0
data/data/stop_words/da.txt +101 -0
data/data/stop_words/de.txt +129 -0
data/data/stop_words/el.txt +79 -0
data/data/stop_words/en.txt +175 -0
data/data/stop_words/es.txt +178 -0
data/data/stop_words/eu.txt +98 -0
data/data/stop_words/fa.txt +332 -0
data/data/stop_words/fi.txt +747 -0
data/data/stop_words/fr.txt +116 -0
data/data/stop_words/ga.txt +109 -0
data/data/stop_words/gl.txt +160 -0
data/data/stop_words/he.txt +499 -0
data/data/stop_words/hi.txt +97 -0
data/data/stop_words/hr.txt +179 -0
data/data/stop_words/hu.txt +35 -0
data/data/stop_words/hy.txt +45 -0
data/data/stop_words/id.txt +357 -0
data/data/stop_words/it.txt +134 -0
data/data/stop_words/ja.txt +44 -0
data/data/stop_words/ko.txt +677 -0
data/data/stop_words/ku.txt +63 -0
data/data/stop_words/lt.txt +507 -0
data/data/stop_words/lv.txt +163 -0
data/data/stop_words/mr.txt +99 -0
data/data/stop_words/nl.txt +48 -0
data/data/stop_words/no.txt +172 -0
data/data/stop_words/pl.txt +138 -0
data/data/stop_words/pt.txt +147 -0
data/data/stop_words/ro.txt +281 -0
data/data/stop_words/ru.txt +421 -0
data/data/stop_words/sk.txt +173 -0
data/data/stop_words/sv.txt +386 -0
data/data/stop_words/th.txt +115 -0
data/data/stop_words/tr.txt +114 -0
data/data/stop_words/uk.txt +28 -0
data/data/stop_words/ur.txt +513 -0
data/data/stop_words/zh.txt +125 -0
data/gemspec.yml +4 -10
data/lib/wordlist/abstract_wordlist.rb +24 -0
data/lib/wordlist/builder.rb +170 -138
data/lib/wordlist/cli.rb +458 -0
data/lib/wordlist/compression/reader.rb +72 -0
data/lib/wordlist/compression/writer.rb +80 -0
data/lib/wordlist/exceptions.rb +31 -0
data/lib/wordlist/file.rb +176 -0
data/lib/wordlist/format.rb +38 -0
data/lib/wordlist/lexer/lang.rb +32 -0
data/lib/wordlist/lexer/stop_words.rb +68 -0
data/lib/wordlist/lexer.rb +218 -0
data/lib/wordlist/list_methods.rb +462 -0
data/lib/wordlist/modifiers/capitalize.rb +45 -0
data/lib/wordlist/modifiers/downcase.rb +45 -0
data/lib/wordlist/modifiers/gsub.rb +51 -0
data/lib/wordlist/modifiers/modifier.rb +44 -0
data/lib/wordlist/modifiers/mutate.rb +133 -0
data/lib/wordlist/modifiers/mutate_case.rb +25 -0
data/lib/wordlist/modifiers/sub.rb +97 -0
data/lib/wordlist/modifiers/tr.rb +71 -0
data/lib/wordlist/modifiers/upcase.rb +45 -0
data/lib/wordlist/modifiers.rb +8 -0
data/lib/wordlist/operators/binary_operator.rb +38 -0
data/lib/wordlist/operators/concat.rb +47 -0
data/lib/wordlist/operators/intersect.rb +55 -0
data/lib/wordlist/operators/operator.rb +29 -0
data/lib/wordlist/operators/power.rb +72 -0
data/lib/wordlist/operators/product.rb +50 -0
data/lib/wordlist/operators/subtract.rb +54 -0
data/lib/wordlist/operators/unary_operator.rb +29 -0
data/lib/wordlist/operators/union.rb +61 -0
data/lib/wordlist/operators/unique.rb +52 -0
data/lib/wordlist/operators.rb +7 -0
data/lib/wordlist/unique_filter.rb +40 -61
data/lib/wordlist/version.rb +1 -1
data/lib/wordlist/words.rb +71 -0
data/lib/wordlist.rb +103 -2
data/spec/abstract_list_spec.rb +18 -0
data/spec/builder_spec.rb +220 -76
data/spec/cli_spec.rb +801 -0
data/spec/compression/reader_spec.rb +137 -0
data/spec/compression/writer_spec.rb +194 -0
data/spec/file_spec.rb +258 -0
data/spec/fixtures/wordlist.txt +15 -0
data/spec/fixtures/wordlist.txt.bz2 +0 -0
data/spec/fixtures/wordlist.txt.gz +0 -0
data/spec/fixtures/wordlist.txt.xz +0 -0
data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
data/spec/fixtures/wordlist_with_comments.txt +19 -0
data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
data/spec/format_spec.rb +50 -0
data/spec/helpers/text.rb +3 -3
data/spec/helpers/wordlist.rb +2 -2
data/spec/lexer/lang_spec.rb +70 -0
data/spec/lexer/stop_words_spec.rb +77 -0
data/spec/lexer_spec.rb +652 -0
data/spec/list_methods_spec.rb +181 -0
data/spec/modifiers/capitalize_spec.rb +27 -0
data/spec/modifiers/downcase_spec.rb +27 -0
data/spec/modifiers/gsub_spec.rb +59 -0
data/spec/modifiers/modifier_spec.rb +20 -0
data/spec/modifiers/mutate_case_spec.rb +46 -0
data/spec/modifiers/mutate_spec.rb +39 -0
data/spec/modifiers/sub_spec.rb +98 -0
data/spec/modifiers/tr_spec.rb +46 -0
data/spec/modifiers/upcase_spec.rb +27 -0
data/spec/operators/binary_operator_spec.rb +19 -0
data/spec/operators/concat_spec.rb +26 -0
data/spec/operators/intersect_spec.rb +37 -0
data/spec/operators/operator_spec.rb +16 -0
data/spec/operators/power_spec.rb +57 -0
data/spec/operators/product_spec.rb +39 -0
data/spec/operators/subtract_spec.rb +37 -0
data/spec/operators/union_spec.rb +37 -0
data/spec/operators/unique_spec.rb +25 -0
data/spec/spec_helper.rb +2 -1
data/spec/unique_filter_spec.rb +108 -18
data/spec/wordlist_spec.rb +55 -3
data/spec/words_spec.rb +41 -0
metadata +183 -120
data/lib/wordlist/builders/website.rb +0 -216
data/lib/wordlist/builders.rb +0 -1
data/lib/wordlist/flat_file.rb +0 -47
data/lib/wordlist/list.rb +0 -162
data/lib/wordlist/mutator.rb +0 -113
data/lib/wordlist/parsers.rb +0 -74
data/lib/wordlist/runners/list.rb +0 -116
data/lib/wordlist/runners/runner.rb +0 -67
data/lib/wordlist/runners.rb +0 -2
data/scripts/benchmark +0 -59
data/scripts/text/comedy_of_errors.txt +0 -4011
data/spec/flat_file_spec.rb +0 -25
data/spec/list_spec.rb +0 -58
data/spec/mutator_spec.rb +0 -43
data/spec/parsers_spec.rb +0 -118

data/data/stop_words/tr.txt ADDED Viewed

@@ -0,0 +1,114 @@
+acaba
+altmýþ
+altý
+ama
+bana
+bazý
+belki
+ben
+benden
+beni
+benim
+beþ
+bin
+bir
+biri
+birkaç
+birkez
+birþey
+birþeyi
+biz
+bizden
+bizi
+bizim
+bu
+buna
+bunda
+bundan
+bunu
+bunun
+da
+daha
+dahi
+de
+defa
+diye
+doksan
+dokuz
+dört
+elli
+en
+gibi
+hem
+hep
+hepsi
+her
+hiç
+iki
+ile
+INSERmi
+ise
+için
+katrilyon
+kez
+ki
+kim
+kimden
+kime
+kimi
+kýrk
+milyar
+milyon
+mu
+mü
+mý
+nasýl
+ne
+neden
+nerde
+nerede
+nereye
+niye
+niçin
+on
+ona
+ondan
+onlar
+onlardan
+onlari
+onlarýn
+onu
+otuz
+sanki
+sekiz
+seksen
+sen
+senden
+seni
+senin
+siz
+sizden
+sizi
+sizin
+trilyon
+tüm
+ve
+veya
+ya
+yani
+yedi
+yetmiþ
+yirmi
+yüz
+çok
+çünkü
+üç
+þey
+þeyden
+þeyi
+þeyler
+þu
+þuna
+þunda
+þundan
+þunu

data/data/stop_words/uk.txt ADDED Viewed

@@ -0,0 +1,28 @@
+з
+й
+що
+та
+Із
+але
+цей
+коли
+як
+чого
+хоча
+нам
+яко╞
+чи
+це
+в╡д
+про
+╡
+╞х
+╙
+Інших
+ти
+вІн
+вона
+воно
+ми
+ви
+вони

data/data/stop_words/ur.txt ADDED Viewed

@@ -0,0 +1,513 @@
+ثھی
+خو
+گی
+اپٌے
+گئے
+ثہت
+طرف
+ہوبری
+پبئے
+اپٌب
+دوضری
+گیب
+کت
+گب
+ثھی
+ضے
+ہر
+پر
+اش
+دی
+گے
+لگیں
+ہے
+ثعذ
+ضکتے
+وٍ
+تھی
+اى
+دیب
+لئے
+والے
+یہ
+ثدبئے
+ضکتی
+ًے
+تھب
+اًذر
+رریعے
+لگی
+ہوبرا
+ہوًے
+ثبہر
+ضکتب
+ًہیں
+تو
+اور
+رہب
+لگے
+ہوضکتب
+ہوں
+کب
+ہوبرے
+توبم
+کیب
+ایطے
+رہی
+هگر
+ہوضکتی
+ہیں
+کریں
+ہو
+تک
+کی
+ایک
+رہے
+هیں
+ہوضکتے
+کیطے
+ہوًب
+تت
+کہ
+ہوا
+آئے
+ضبتھ
+ًب
+تھے
+کیوں
+ہوتب
+ًہ
+خت
+کے
+پھر
+ثغیر
+خبرہے
+رکھ
+کیطب
+کوئی
+رریعے
+ثبرے
+خب
+اضطرذ
+ثلکہ
+خجکہ
+رکھتب
+کیطرف
+ثراں
+خبرہب
+رریعہ
+کطی
+اضکب
+ثٌذ
+خص
+رکھتبہوں
+کیلئے
+ثبئیں
+توہیں
+دوضرے
+کررہی
+اضکی
+ثیچ
+خوکہ
+رکھتی
+کیوًکہ
+دوًوں
+کررہے
+خبرہی
+ثرآں
+اضکے
+پچھلا
+خیطب
+رکھتے
+کےثعذ
+توہی
+دوراى
+کررہب
+یہبں
+ٓ آش
+اًہیں
+ثي
+پطٌذ
+تھوڑا
+چکے
+زکویہ
+دوضروں
+ضکب
+اة
+اوًچب
+ثٌب
+پل
+تھوڑی
+چلا
+خبهوظ
+دیتب
+ضکٌب
+اخبزت
+اوًچبئی
+ثٌبرہب
+پوچھب
+تھوڑے
+چلو
+ختن
+دیتی
+ضکی
+اچھب
+اوًچی
+ثٌبرہی
+پوچھتب
+تیي
+چلیں
+در
+دیتے
+ضکے
+اچھی
+اوًچے
+ثٌبرہے
+پوچھتی
+خبًب
+چلے
+درخبت
+دیر
+ضلطلہ
+اچھے
+اٹھبًب
+ثٌبًب
+پوچھتے
+خبًتب
+چھوٹب
+درخہ
+دیکھٌب
+ضوچ
+اختتبم
+اہن
+ثٌذ
+پوچھٌب
+خبًتی
+چھوٹوں
+درخے
+دیکھو
+ضوچب
+ادھر
+آئی
+ثٌذکرًب
+پوچھو
+خبًتے
+چھوٹی
+درزقیقت
+دیکھی
+ضوچتب
+ارد
+آئے
+ثٌذکرو
+پوچھوں
+خبًٌب
+چھوٹے
+درضت
+دیکھیں
+ضوچتی
+اردگرد
+آج
+ثٌذی
+پوچھیں
+خططرذ
+چھہ
+دش
+دیٌب
+ضوچتے
+ارکبى
+آخر
+ثڑا
+پورا
+خگہ
+چیسیں
+دفعہ
+دے
+ضوچٌب
+اضتعوبل
+آخرکبر
+ثڑوں
+پہلا
+خگہوں
+زبصل
+دکھبئیں
+راضتوں
+ضوچو
+اضتعوبلات
+آدهی
+ثڑی
+پہلی
+خگہیں
+زبضر
+دکھبتب
+راضتہ
+ضوچی
+اغیب
+آًب
+ثڑے
+پہلےضی
+خلذی
+زبل
+دکھبتی
+راضتے
+ضوچیں
+اطراف
+آٹھ
+ثھر
+پہلےضے
+خٌبة
+زبل
+دکھبتے
+رکي
+ضیذھب
+افراد
+آیب
+ثھرا
+پہلےضےہی
+خواى
+زبلات
+دکھبًب
+رکھب
+ضیذھی
+اکثر
+ثب
+ثھراہوا
+پیع
+خوًہی
+زبلیہ
+دکھبو
+رکھی
+ضیذھے
+اکٹھب
+ثبترتیت
+ثھرپور
+تبزٍ
+خیطبکہ
+زصوں
+دکھبیب
+رکھے
+ضیکٌڈ
+اکٹھی
+ثبری
+ثہتر
+تر
+چبر
+زصہ
+دلچطپ
+زیبدٍ
+غبیذ
+اکٹھے
+ثبلا
+ثہتری
+ترتیت
+چبہب
+زصے
+دلچطپی
+ضبت
+غخص
+اکیلا
+ثبلترتیت
+ثہتریي
+تریي
+چبہٌب
+زقبئق
+دلچطپیبں
+ضبدٍ
+غذ
+اکیلی
+ثرش
+پبش
+تعذاد
+چبہے
+زقیتیں
+هٌبضت
+ضبرا
+غروع
+اکیلے
+ثغیر
+پبًب
+اً
+ب
+ج
+ی
+ر
+ق
+ت
+چکب
+زقیقت
+دو
+ضبرے
+غروعبت
+اگرچہ
+ثلٌذ
+پبًچ
+تن
+چکی
+زکن
+دور
+ضبل
+غے
+الگ
+ثلٌذوثبلا
+پراًب
+تٌہب
+چکیں
+اً
+ب
+و
+ک
+ز
+دوضرا
+ضبلوں
+صبف
+صسیر
+قجیلہ
+کوًطے
+لازهی
+هطئلے
+ًیب
+طریق
+کرتی
+کہتے
+صفر
+قطن
+کھولا
+لگتب
+هطبئل
+وار
+طریقوں
+کرتے
+کہٌب
+صورت
+کئی
+کھولٌب
+لگتی
+هطتعول
+وار
+طریقہ
+کرتےہو
+کہٌب
+صورتسبل
+کئے
+کھولو
+لگتے
+هػتول
+ٹھیک
+طریقے
+کرًب
+کہو
+صورتوں
+کبفی
+کھولی
+لگٌب
+هطلق
+ڈھوًڈا
+طور
+کرو
+کہوں
+صورتیں
+کبم
+کھولیں
+لگی
+هعلوم
+ڈھوًڈلیب
+طورپر
+کریں
+کہی
+ضرور
+کجھی
+کھولے
+لگے
+هکول
+ڈھوًڈًب
+ظبہر
+کرے
+کہیں
+ضرورت
+کرا
+کہب
+لوجب
+هلا
+ڈھوًڈو
+عذد
+کل
+کہیں
+اً
+ب
+ت
+ر
+و
+ر
+ض
+کرتب
+کہتب
+لوجی
+هوکي
+ڈھوًڈی
+عظین
+کن
+کہے
+ضروری
+کرتبہوں
+کہتی
+لوجے
+هوکٌبت
+ڈھوًڈیں
+علاقوں
+کوتر
+کیے
+لوسبت
+هوکٌہ
+ہن
+لے
+ًبپطٌذ
+ہورہے
+علاقہ
+کورا
+کےرریعے
+لوسہ
+هڑا
+ہوئی
+هتعلق
+ًبگسیر
+ہوگئی
+علاقے
+کوروں
+گئی
+لو
+هڑًب
+ہوئے
+هسترم
+ًطجت
+ہوگئے
+علاوٍ
+کورٍ
+گرد
+لوگ
+هڑے
+ہوتی
+هسترهہ
+ًقطہ
+ہوگیب
+اً
+ب
+ه
+و
+و
+ع
+کورے
+گروپ
+لوگوں
+هہرثبى
+ہوتے
+هسطوش
+ًکبلٌب
+ہوًی
+عووهی
+کوطي
+گروٍ
+لڑکپي
+هیرا
+ہوچکب
+هختلف
+ًکتہ
+ہی