RubyGems - wordlist - Versions diffs - 0.1.1 → 1.0.0 - Mend

wordlist 0.1.1 → 1.0.0

Files changed (148) hide show

checksums.yaml +7 -0
data/.github/workflows/ruby.yml +27 -0
data/.gitignore +6 -3
data/ChangeLog.md +45 -1
data/Gemfile +13 -0
data/LICENSE.txt +1 -3
data/README.md +266 -61
data/Rakefile +7 -32
data/benchmarks.rb +115 -0
data/bin/wordlist +4 -7
data/data/stop_words/ar.txt +104 -0
data/data/stop_words/bg.txt +259 -0
data/data/stop_words/bn.txt +363 -0
data/data/stop_words/ca.txt +126 -0
data/data/stop_words/cs.txt +138 -0
data/data/stop_words/da.txt +101 -0
data/data/stop_words/de.txt +129 -0
data/data/stop_words/el.txt +79 -0
data/data/stop_words/en.txt +175 -0
data/data/stop_words/es.txt +178 -0
data/data/stop_words/eu.txt +98 -0
data/data/stop_words/fa.txt +332 -0
data/data/stop_words/fi.txt +747 -0
data/data/stop_words/fr.txt +116 -0
data/data/stop_words/ga.txt +109 -0
data/data/stop_words/gl.txt +160 -0
data/data/stop_words/he.txt +499 -0
data/data/stop_words/hi.txt +97 -0
data/data/stop_words/hr.txt +179 -0
data/data/stop_words/hu.txt +35 -0
data/data/stop_words/hy.txt +45 -0
data/data/stop_words/id.txt +357 -0
data/data/stop_words/it.txt +134 -0
data/data/stop_words/ja.txt +44 -0
data/data/stop_words/ko.txt +677 -0
data/data/stop_words/ku.txt +63 -0
data/data/stop_words/lt.txt +507 -0
data/data/stop_words/lv.txt +163 -0
data/data/stop_words/mr.txt +99 -0
data/data/stop_words/nl.txt +48 -0
data/data/stop_words/no.txt +172 -0
data/data/stop_words/pl.txt +138 -0
data/data/stop_words/pt.txt +147 -0
data/data/stop_words/ro.txt +281 -0
data/data/stop_words/ru.txt +421 -0
data/data/stop_words/sk.txt +173 -0
data/data/stop_words/sv.txt +386 -0
data/data/stop_words/th.txt +115 -0
data/data/stop_words/tr.txt +114 -0
data/data/stop_words/uk.txt +28 -0
data/data/stop_words/ur.txt +513 -0
data/data/stop_words/zh.txt +125 -0
data/gemspec.yml +4 -10
data/lib/wordlist/abstract_wordlist.rb +24 -0
data/lib/wordlist/builder.rb +170 -138
data/lib/wordlist/cli.rb +458 -0
data/lib/wordlist/compression/reader.rb +72 -0
data/lib/wordlist/compression/writer.rb +80 -0
data/lib/wordlist/exceptions.rb +31 -0
data/lib/wordlist/file.rb +176 -0
data/lib/wordlist/format.rb +38 -0
data/lib/wordlist/lexer/lang.rb +32 -0
data/lib/wordlist/lexer/stop_words.rb +68 -0
data/lib/wordlist/lexer.rb +218 -0
data/lib/wordlist/list_methods.rb +462 -0
data/lib/wordlist/modifiers/capitalize.rb +45 -0
data/lib/wordlist/modifiers/downcase.rb +45 -0
data/lib/wordlist/modifiers/gsub.rb +51 -0
data/lib/wordlist/modifiers/modifier.rb +44 -0
data/lib/wordlist/modifiers/mutate.rb +133 -0
data/lib/wordlist/modifiers/mutate_case.rb +25 -0
data/lib/wordlist/modifiers/sub.rb +97 -0
data/lib/wordlist/modifiers/tr.rb +71 -0
data/lib/wordlist/modifiers/upcase.rb +45 -0
data/lib/wordlist/modifiers.rb +8 -0
data/lib/wordlist/operators/binary_operator.rb +38 -0
data/lib/wordlist/operators/concat.rb +47 -0
data/lib/wordlist/operators/intersect.rb +55 -0
data/lib/wordlist/operators/operator.rb +29 -0
data/lib/wordlist/operators/power.rb +72 -0
data/lib/wordlist/operators/product.rb +50 -0
data/lib/wordlist/operators/subtract.rb +54 -0
data/lib/wordlist/operators/unary_operator.rb +29 -0
data/lib/wordlist/operators/union.rb +61 -0
data/lib/wordlist/operators/unique.rb +52 -0
data/lib/wordlist/operators.rb +7 -0
data/lib/wordlist/unique_filter.rb +40 -61
data/lib/wordlist/version.rb +1 -1
data/lib/wordlist/words.rb +71 -0
data/lib/wordlist.rb +103 -2
data/spec/abstract_list_spec.rb +18 -0
data/spec/builder_spec.rb +220 -76
data/spec/cli_spec.rb +801 -0
data/spec/compression/reader_spec.rb +137 -0
data/spec/compression/writer_spec.rb +194 -0
data/spec/file_spec.rb +258 -0
data/spec/fixtures/wordlist.txt +15 -0
data/spec/fixtures/wordlist.txt.bz2 +0 -0
data/spec/fixtures/wordlist.txt.gz +0 -0
data/spec/fixtures/wordlist.txt.xz +0 -0
data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
data/spec/fixtures/wordlist_with_comments.txt +19 -0
data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
data/spec/format_spec.rb +50 -0
data/spec/helpers/text.rb +3 -3
data/spec/helpers/wordlist.rb +2 -2
data/spec/lexer/lang_spec.rb +70 -0
data/spec/lexer/stop_words_spec.rb +77 -0
data/spec/lexer_spec.rb +652 -0
data/spec/list_methods_spec.rb +181 -0
data/spec/modifiers/capitalize_spec.rb +27 -0
data/spec/modifiers/downcase_spec.rb +27 -0
data/spec/modifiers/gsub_spec.rb +59 -0
data/spec/modifiers/modifier_spec.rb +20 -0
data/spec/modifiers/mutate_case_spec.rb +46 -0
data/spec/modifiers/mutate_spec.rb +39 -0
data/spec/modifiers/sub_spec.rb +98 -0
data/spec/modifiers/tr_spec.rb +46 -0
data/spec/modifiers/upcase_spec.rb +27 -0
data/spec/operators/binary_operator_spec.rb +19 -0
data/spec/operators/concat_spec.rb +26 -0
data/spec/operators/intersect_spec.rb +37 -0
data/spec/operators/operator_spec.rb +16 -0
data/spec/operators/power_spec.rb +57 -0
data/spec/operators/product_spec.rb +39 -0
data/spec/operators/subtract_spec.rb +37 -0
data/spec/operators/union_spec.rb +37 -0
data/spec/operators/unique_spec.rb +25 -0
data/spec/spec_helper.rb +2 -1
data/spec/unique_filter_spec.rb +108 -18
data/spec/wordlist_spec.rb +55 -3
data/spec/words_spec.rb +41 -0
metadata +183 -120
data/lib/wordlist/builders/website.rb +0 -216
data/lib/wordlist/builders.rb +0 -1
data/lib/wordlist/flat_file.rb +0 -47
data/lib/wordlist/list.rb +0 -162
data/lib/wordlist/mutator.rb +0 -113
data/lib/wordlist/parsers.rb +0 -74
data/lib/wordlist/runners/list.rb +0 -116
data/lib/wordlist/runners/runner.rb +0 -67
data/lib/wordlist/runners.rb +0 -2
data/scripts/benchmark +0 -59
data/scripts/text/comedy_of_errors.txt +0 -4011
data/spec/flat_file_spec.rb +0 -25
data/spec/list_spec.rb +0 -58
data/spec/mutator_spec.rb +0 -43
data/spec/parsers_spec.rb +0 -118

data/data/stop_words/es.txt ADDED Viewed

@@ -0,0 +1,178 @@
+algún
+alguna
+algunas
+alguno
+algunos
+ambos
+ampleamos
+ante
+antes
+aquel
+aquellas
+aquellos
+aqui
+arriba
+atras
+bajo
+bastante
+bien
+cada
+cierta
+ciertas
+cierto
+ciertos
+como
+con
+conseguimos
+conseguir
+consigo
+consigue
+consiguen
+consigues
+cual
+cuando
+dentro
+desde
+donde
+dos
+el
+ellas
+ellos
+empleais
+emplean
+emplear
+empleas
+empleo
+en
+encima
+entonces
+entre
+era
+eramos
+eran
+eras
+eres
+es
+esta
+estaba
+estado
+estais
+estamos
+estan
+estoy
+fin
+fue
+fueron
+fui
+fuimos
+gueno
+ha
+hace
+haceis
+hacemos
+hacen
+hacer
+haces
+hago
+incluso
+intenta
+intentais
+intentamos
+intentan
+intentar
+intentas
+intento
+ir
+la
+largo
+las
+lo
+los
+mientras
+mio
+modo
+muchos
+muy
+nos
+nosotros
+otro
+para
+pero
+podeis
+podemos
+poder
+podria
+podriais
+podriamos
+podrian
+podrias
+por
+porque
+por qué
+primero
+puede
+pueden
+puedo
+quien
+sabe
+sabeis
+sabemos
+saben
+saber
+sabes
+ser
+si
+siendo
+sin
+sobre
+sois
+solamente
+solo
+somos
+soy
+su
+sus
+también
+teneis
+tenemos
+tener
+tengo
+tiempo
+tiene
+tienen
+todo
+trabaja
+trabajais
+trabajamos
+trabajan
+trabajar
+trabajas
+trabajo
+tras
+tuyo
+ultimo
+un
+una
+unas
+uno
+unos
+usa
+usais
+usamos
+usan
+usar
+usas
+uso
+va
+vais
+valor
+vamos
+van
+vaya
+verdad
+verdadera
+verdadero
+vosotras
+vosotros
+voy
+yo

data/data/stop_words/eu.txt ADDED Viewed

@@ -0,0 +1,98 @@
+al
+anitz
+arabera
+asko
+baina
+bat
+batean
+batek
+bati
+batzuei
+batzuek
+batzuetan
+batzuk
+bera
+beraiek
+berau
+berauek
+bere
+berori
+beroriek
+beste
+bezala
+da
+dago
+dira
+ditu
+du
+dute
+edo
+egin
+ere
+eta
+eurak
+ez
+gainera
+gu
+gutxi
+guzti
+haiei
+haiek
+haietan
+hainbeste
+hala
+han
+handik
+hango
+hara
+hari
+hark
+hartan
+hau
+hauei
+hauek
+hauetan
+hemen
+hemendik
+hemengo
+hi
+hona
+honek
+honela
+honetan
+honi
+hor
+hori
+horiei
+horiek
+horietan
+horko
+horra
+horrek
+horrela
+horretan
+horri
+hortik
+hura
+izan
+ni
+noiz
+nola
+non
+nondik
+nongo
+nor
+nora
+ze
+zein
+zen
+zenbait
+zenbat
+zer
+zergatik
+ziren
+zituen
+zu
+zuek
+zuen
+zuten

data/data/stop_words/fa.txt ADDED Viewed

@@ -0,0 +1,332 @@
+و
+در
+به
+از
+كه
+مي
+اين
+است
+را
+با
+هاي
+براي
+آن
+يك
+شود
+شده
+خود
+ها
+كرد
+شد
+اي
+تا
+كند
+بر
+بود
+گفت
+نيز
+وي
+هم
+كنند
+دارد
+ما
+كرده
+يا
+اما
+بايد
+دو
+اند
+هر
+خواهد
+او
+مورد
+آنها
+باشد
+ديگر
+مردم
+نمي
+بين
+پيش
+پس
+اگر
+همه
+صورت
+يكي
+هستند
+بي
+من
+دهد
+هزار
+نيست
+استفاده
+داد
+داشته
+راه
+داشت
+چه
+همچنين
+كردند
+داده
+بوده
+دارند
+همين
+ميليون
+سوي
+شوند
+بيشتر
+بسيار
+روي
+گرفته
+هايي
+تواند
+اول
+نام
+هيچ
+چند
+جديد
+بيش
+شدن
+كردن
+كنيم
+نشان
+حتي
+اينكه
+ولی
+توسط
+چنين
+برخي
+نه
+ديروز
+دوم
+درباره
+بعد
+مختلف
+گيرد
+شما
+گفته
+آنان
+بار
+طور
+گرفت
+دهند
+گذاري
+بسياري
+طي
+بودند
+ميليارد
+بدون
+تمام
+كل
+تر
+براساس
+شدند
+ترين
+امروز
+باشند
+ندارد
+چون
+قابل
+گويد
+ديگري
+همان
+خواهند
+قبل
+آمده
+اكنون
+تحت
+طريق
+گيري
+جاي
+هنوز
+چرا
+البته
+كنيد
+سازي
+سوم
+كنم
+بلكه
+زير
+توانند
+ضمن
+فقط
+بودن
+حق
+آيد
+وقتي
+اش
+يابد
+نخستين
+مقابل
+خدمات
+امسال
+تاكنون
+مانند
+تازه
+آورد
+فكر
+آنچه
+نخست
+نشده
+شايد
+چهار
+جريان
+پنج
+ساخته
+زيرا
+نزديك
+برداري
+كسي
+ريزي
+رفت
+گردد
+مثل
+آمد
+ام
+بهترين
+دانست
+كمتر
+دادن
+تمامي
+جلوگيري
+بيشتري
+ايم
+ناشي
+چيزي
+آنكه
+بالا
+بنابراين
+ايشان
+بعضي
+دادند
+داشتند
+برخوردار
+نخواهد
+هنگام
+نبايد
+غير
+نبود
+ديده
+وگو
+داريم
+چگونه
+بندي
+خواست
+فوق
+ده
+نوعي
+هستيم
+ديگران
+همچنان
+سراسر
+ندارند
+گروهي
+سعي
+روزهاي
+آنجا
+يكديگر
+كردم
+بيست
+بروز
+سپس
+رفته
+آورده
+نمايد
+باشيم
+گويند
+زياد
+خويش
+همواره
+گذاشته
+شش
+نداشته
+شناسي
+خواهيم
+آباد
+داشتن
+نظير
+همچون
+باره
+نكرده
+شان
+سابق
+هفت
+دانند
+جايي
+بی
+جز
+زیرِ
+رویِ
+سریِ
+تویِ
+جلویِ
+پیشِ
+عقبِ
+بالایِ
+خارجِ
+وسطِ
+بیرونِ
+سویِ
+کنارِ
+پاعینِ
+نزدِ
+نزدیکِ
+دنبالِ
+حدودِ
+برابرِ
+طبقِ
+مانندِ
+ضدِّ
+هنگامِ
+برایِ
+مثلِ
+بارة
+اثرِ
+تولِ
+علّتِ
+سمتِ
+عنوانِ
+قصدِ
+روب
+جدا
+کی
+که
+چیست
+هست
+کجا
+کجاست
+کَی
+چطور
+کدام
+آیا
+مگر
+چندین
+یک
+چیزی
+دیگر
+کسی
+بعری
+هیچ
+چیز
+جا
+کس
+هرگز
+یا
+تنها
+بلکه
+خیاه
+بله
+بلی
+آره
+آری
+مرسی
+البتّه
+لطفاً
+ّه
+انکه
+وقتیکه
+همین
+پیش
+مدّتی
+هنگامی
+مان
+تان