RubyGems - wordlist - Versions diffs - 0.1.1 → 1.0.0 - Mend

wordlist 0.1.1 → 1.0.0

Files changed (148) hide show

checksums.yaml +7 -0
data/.github/workflows/ruby.yml +27 -0
data/.gitignore +6 -3
data/ChangeLog.md +45 -1
data/Gemfile +13 -0
data/LICENSE.txt +1 -3
data/README.md +266 -61
data/Rakefile +7 -32
data/benchmarks.rb +115 -0
data/bin/wordlist +4 -7
data/data/stop_words/ar.txt +104 -0
data/data/stop_words/bg.txt +259 -0
data/data/stop_words/bn.txt +363 -0
data/data/stop_words/ca.txt +126 -0
data/data/stop_words/cs.txt +138 -0
data/data/stop_words/da.txt +101 -0
data/data/stop_words/de.txt +129 -0
data/data/stop_words/el.txt +79 -0
data/data/stop_words/en.txt +175 -0
data/data/stop_words/es.txt +178 -0
data/data/stop_words/eu.txt +98 -0
data/data/stop_words/fa.txt +332 -0
data/data/stop_words/fi.txt +747 -0
data/data/stop_words/fr.txt +116 -0
data/data/stop_words/ga.txt +109 -0
data/data/stop_words/gl.txt +160 -0
data/data/stop_words/he.txt +499 -0
data/data/stop_words/hi.txt +97 -0
data/data/stop_words/hr.txt +179 -0
data/data/stop_words/hu.txt +35 -0
data/data/stop_words/hy.txt +45 -0
data/data/stop_words/id.txt +357 -0
data/data/stop_words/it.txt +134 -0
data/data/stop_words/ja.txt +44 -0
data/data/stop_words/ko.txt +677 -0
data/data/stop_words/ku.txt +63 -0
data/data/stop_words/lt.txt +507 -0
data/data/stop_words/lv.txt +163 -0
data/data/stop_words/mr.txt +99 -0
data/data/stop_words/nl.txt +48 -0
data/data/stop_words/no.txt +172 -0
data/data/stop_words/pl.txt +138 -0
data/data/stop_words/pt.txt +147 -0
data/data/stop_words/ro.txt +281 -0
data/data/stop_words/ru.txt +421 -0
data/data/stop_words/sk.txt +173 -0
data/data/stop_words/sv.txt +386 -0
data/data/stop_words/th.txt +115 -0
data/data/stop_words/tr.txt +114 -0
data/data/stop_words/uk.txt +28 -0
data/data/stop_words/ur.txt +513 -0
data/data/stop_words/zh.txt +125 -0
data/gemspec.yml +4 -10
data/lib/wordlist/abstract_wordlist.rb +24 -0
data/lib/wordlist/builder.rb +170 -138
data/lib/wordlist/cli.rb +458 -0
data/lib/wordlist/compression/reader.rb +72 -0
data/lib/wordlist/compression/writer.rb +80 -0
data/lib/wordlist/exceptions.rb +31 -0
data/lib/wordlist/file.rb +176 -0
data/lib/wordlist/format.rb +38 -0
data/lib/wordlist/lexer/lang.rb +32 -0
data/lib/wordlist/lexer/stop_words.rb +68 -0
data/lib/wordlist/lexer.rb +218 -0
data/lib/wordlist/list_methods.rb +462 -0
data/lib/wordlist/modifiers/capitalize.rb +45 -0
data/lib/wordlist/modifiers/downcase.rb +45 -0
data/lib/wordlist/modifiers/gsub.rb +51 -0
data/lib/wordlist/modifiers/modifier.rb +44 -0
data/lib/wordlist/modifiers/mutate.rb +133 -0
data/lib/wordlist/modifiers/mutate_case.rb +25 -0
data/lib/wordlist/modifiers/sub.rb +97 -0
data/lib/wordlist/modifiers/tr.rb +71 -0
data/lib/wordlist/modifiers/upcase.rb +45 -0
data/lib/wordlist/modifiers.rb +8 -0
data/lib/wordlist/operators/binary_operator.rb +38 -0
data/lib/wordlist/operators/concat.rb +47 -0
data/lib/wordlist/operators/intersect.rb +55 -0
data/lib/wordlist/operators/operator.rb +29 -0
data/lib/wordlist/operators/power.rb +72 -0
data/lib/wordlist/operators/product.rb +50 -0
data/lib/wordlist/operators/subtract.rb +54 -0
data/lib/wordlist/operators/unary_operator.rb +29 -0
data/lib/wordlist/operators/union.rb +61 -0
data/lib/wordlist/operators/unique.rb +52 -0
data/lib/wordlist/operators.rb +7 -0
data/lib/wordlist/unique_filter.rb +40 -61
data/lib/wordlist/version.rb +1 -1
data/lib/wordlist/words.rb +71 -0
data/lib/wordlist.rb +103 -2
data/spec/abstract_list_spec.rb +18 -0
data/spec/builder_spec.rb +220 -76
data/spec/cli_spec.rb +801 -0
data/spec/compression/reader_spec.rb +137 -0
data/spec/compression/writer_spec.rb +194 -0
data/spec/file_spec.rb +258 -0
data/spec/fixtures/wordlist.txt +15 -0
data/spec/fixtures/wordlist.txt.bz2 +0 -0
data/spec/fixtures/wordlist.txt.gz +0 -0
data/spec/fixtures/wordlist.txt.xz +0 -0
data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
data/spec/fixtures/wordlist_with_comments.txt +19 -0
data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
data/spec/format_spec.rb +50 -0
data/spec/helpers/text.rb +3 -3
data/spec/helpers/wordlist.rb +2 -2
data/spec/lexer/lang_spec.rb +70 -0
data/spec/lexer/stop_words_spec.rb +77 -0
data/spec/lexer_spec.rb +652 -0
data/spec/list_methods_spec.rb +181 -0
data/spec/modifiers/capitalize_spec.rb +27 -0
data/spec/modifiers/downcase_spec.rb +27 -0
data/spec/modifiers/gsub_spec.rb +59 -0
data/spec/modifiers/modifier_spec.rb +20 -0
data/spec/modifiers/mutate_case_spec.rb +46 -0
data/spec/modifiers/mutate_spec.rb +39 -0
data/spec/modifiers/sub_spec.rb +98 -0
data/spec/modifiers/tr_spec.rb +46 -0
data/spec/modifiers/upcase_spec.rb +27 -0
data/spec/operators/binary_operator_spec.rb +19 -0
data/spec/operators/concat_spec.rb +26 -0
data/spec/operators/intersect_spec.rb +37 -0
data/spec/operators/operator_spec.rb +16 -0
data/spec/operators/power_spec.rb +57 -0
data/spec/operators/product_spec.rb +39 -0
data/spec/operators/subtract_spec.rb +37 -0
data/spec/operators/union_spec.rb +37 -0
data/spec/operators/unique_spec.rb +25 -0
data/spec/spec_helper.rb +2 -1
data/spec/unique_filter_spec.rb +108 -18
data/spec/wordlist_spec.rb +55 -3
data/spec/words_spec.rb +41 -0
metadata +183 -120
data/lib/wordlist/builders/website.rb +0 -216
data/lib/wordlist/builders.rb +0 -1
data/lib/wordlist/flat_file.rb +0 -47
data/lib/wordlist/list.rb +0 -162
data/lib/wordlist/mutator.rb +0 -113
data/lib/wordlist/parsers.rb +0 -74
data/lib/wordlist/runners/list.rb +0 -116
data/lib/wordlist/runners/runner.rb +0 -67
data/lib/wordlist/runners.rb +0 -2
data/scripts/benchmark +0 -59
data/scripts/text/comedy_of_errors.txt +0 -4011
data/spec/flat_file_spec.rb +0 -25
data/spec/list_spec.rb +0 -58
data/spec/mutator_spec.rb +0 -43
data/spec/parsers_spec.rb +0 -118

data/data/stop_words/sk.txt ADDED Viewed

@@ -0,0 +1,173 @@
+a
+aby
+aj
+ak
+ako
+ale
+alebo
+and
+ani
+áno
+asi
+až
+bez
+bude
+budem
+budeš
+budeme
+budete
+budú
+by
+bol
+bola
+boli
+bolo
+byť
+cez
+čo
+či
+ďalší
+ďalšia
+ďalšie
+dnes
+do
+ho
+ešte
+for
+i
+ja
+je
+jeho
+jej
+ich
+iba
+iné
+iný
+som
+si
+sme
+sú
+k
+kam
+každý
+každá
+každé
+každí
+kde
+keď
+kto
+ktorá
+ktoré
+ktorou
+ktorý
+ktorí
+ku
+lebo
+len
+ma
+mať
+má
+máte
+medzi
+mi
+mna
+mne
+mnou
+musieť
+môcť
+môj
+môže
+my
+na
+nad
+nám
+náš
+naši
+nie
+nech
+než
+nič
+niektorý
+nové
+nový
+nová
+nové
+noví
+o
+od
+odo
+of
+on
+ona
+ono
+oni
+ony
+po
+pod
+podľa
+pokiaľ
+potom
+práve
+pre
+prečo
+preto
+pretože
+prvý
+prvá
+prvé
+prví
+pred
+predo
+pri
+pýta
+s
+sa
+so
+si
+svoje
+svoj
+svojich
+svojím
+svojími
+ta
+tak
+takže
+táto
+teda
+te
+tě
+ten
+tento
+the
+tieto
+tým
+týmto
+tiež
+to
+toto
+toho
+tohoto
+tom
+tomto
+tomuto
+toto
+tu
+tú
+túto
+tvoj
+ty
+tvojími
+už
+v
+vám
+váš
+vaše
+vo
+viac
+však
+všetok
+vy
+z
+za
+zo
+že

data/data/stop_words/sv.txt ADDED Viewed

@@ -0,0 +1,386 @@
+aderton
+adertonde
+adjö
+aldrig
+alla
+allas
+allt
+alltid
+alltså
+än
+andra
+andras
+annan
+annat
+ännu
+artonde
+artonn
+åtminstone
+att
+åtta
+åttio
+åttionde
+åttonde
+av
+även
+båda
+bådas
+bakom
+bara
+bäst
+bättre
+behöva
+behövas
+behövde
+behövt
+beslut
+beslutat
+beslutit
+bland
+blev
+bli
+blir
+blivit
+bort
+borta
+bra
+då
+dag
+dagar
+dagarna
+dagen
+där
+därför
+de
+del
+delen
+dem
+den
+deras
+dess
+det
+detta
+dig
+din
+dina
+dit
+ditt
+dock
+du
+efter
+eftersom
+elfte
+eller
+elva
+en
+enkel
+enkelt
+enkla
+enligt
+er
+era
+ert
+ett
+ettusen
+få
+fanns
+får
+fått
+fem
+femte
+femtio
+femtionde
+femton
+femtonde
+fick
+fin
+finnas
+finns
+fjärde
+fjorton
+fjortonde
+fler
+flera
+flesta
+följande
+för
+före
+förlåt
+förra
+första
+fram
+framför
+från
+fyra
+fyrtio
+fyrtionde
+gå
+gälla
+gäller
+gällt
+går
+gärna
+gått
+genast
+genom
+gick
+gjorde
+gjort
+god
+goda
+godare
+godast
+gör
+göra
+gott
+ha
+hade
+haft
+han
+hans
+har
+här
+heller
+hellre
+helst
+helt
+henne
+hennes
+hit
+hög
+höger
+högre
+högst
+hon
+honom
+hundra
+hundraen
+hundraett
+hur
+i
+ibland
+idag
+igår
+igen
+imorgon
+in
+inför
+inga
+ingen
+ingenting
+inget
+innan
+inne
+inom
+inte
+inuti
+ja
+jag
+jämfört
+kan
+kanske
+knappast
+kom
+komma
+kommer
+kommit
+kr
+kunde
+kunna
+kunnat
+kvar
+länge
+längre
+långsam
+långsammare
+långsammast
+långsamt
+längst
+långt
+lätt
+lättare
+lättast
+legat
+ligga
+ligger
+lika
+likställd
+likställda
+lilla
+lite
+liten
+litet
+man
+många
+måste
+med
+mellan
+men
+mer
+mera
+mest
+mig
+min
+mina
+mindre
+minst
+mitt
+mittemot
+möjlig
+möjligen
+möjligt
+möjligtvis
+mot
+mycket
+någon
+någonting
+något
+några
+när
+nästa
+ned
+nederst
+nedersta
+nedre
+nej
+ner
+ni
+nio
+nionde
+nittio
+nittionde
+nitton
+nittonde
+nödvändig
+nödvändiga
+nödvändigt
+nödvändigtvis
+nog
+noll
+nr
+nu
+nummer
+och
+också
+ofta
+oftast
+olika
+olikt
+om
+oss
+över
+övermorgon
+överst
+övre
+på
+rakt
+rätt
+redan
+så
+sade
+säga
+säger
+sagt
+samma
+sämre
+sämst
+sedan
+senare
+senast
+sent
+sex
+sextio
+sextionde
+sexton
+sextonde
+sig
+sin
+sina
+sist
+sista
+siste
+sitt
+sjätte
+sju
+sjunde
+sjuttio
+sjuttionde
+sjutton
+sjuttonde
+ska
+skall
+skulle
+slutligen
+små
+smått
+snart
+som
+stor
+stora
+större
+störst
+stort
+tack
+tidig
+tidigare
+tidigast
+tidigt
+till
+tills
+tillsammans
+tio
+tionde
+tjugo
+tjugoen
+tjugoett
+tjugonde
+tjugotre
+tjugotvå
+tjungo
+tolfte
+tolv
+tre
+tredje
+trettio
+trettionde
+tretton
+trettonde
+två
+tvåhundra
+under
+upp
+ur
+ursäkt
+ut
+utan
+utanför
+ute
+vad
+vänster
+vänstra
+var
+vår
+vara
+våra
+varför
+varifrån
+varit
+varken
+värre
+varsågod
+vart
+vårt
+vem
+vems
+verkligen
+vi
+vid
+vidare
+viktig
+viktigare
+viktigast
+viktigt
+vilka
+vilken
+vilket
+vill

data/data/stop_words/th.txt ADDED Viewed

@@ -0,0 +1,115 @@
+ไว้
+ไม่
+ไป
+ได้
+ให้
+ใน
+โดย
+แห่ง
+แล้ว
+และ
+แรก
+แบบ
+แต่
+เอง
+เห็น
+เลย
+เริ่ม
+เรา
+เมื่อ
+เพื่อ
+เพราะ
+เป็นการ
+เป็น
+เปิดเผย
+เปิด
+เนื่องจาก
+เดียวกัน
+เดียว
+เช่น
+เฉพาะ
+เคย
+เข้า
+เขา
+อีก
+อาจ
+อะไร
+ออก
+อย่าง
+อยู่
+อยาก
+หาก
+หลาย
+หลังจาก
+หลัง
+หรือ
+หนึ่ง
+ส่วน
+ส่ง
+สุด
+สําหรับ
+ว่า
+วัน
+ลง
+ร่วม
+ราย
+รับ
+ระหว่าง
+รวม
+ยัง
+มี
+มาก
+มา
+พร้อม
+พบ
+ผ่าน
+ผล
+บาง
+น่า
+นี้
+นํา
+นั้น
+นัก
+นอกจาก
+ทุก
+ที่สุด
+ที่
+ทําให้
+ทํา
+ทาง
+ทั้งนี้ง
+้ง
+ถ้า
+ถูก
+ถึง
+ต้อง
+ต่างๆ
+ต่าง
+ต่อ
+ตาม
+ตั้งแต่
+ตั้ง
+ด้าน
+ด้วย
+ดัง
+ซึ่ง
+ช่วง
+จึง
+จาก
+จัด
+จะ
+คือ
+ความ
+ครั้ง
+คง
+ขึ้น
+ของ
+ขอ
+ขณะ
+ก่อน
+ก็
+การ
+กับ
+กัน
+กว่า
+กล่าว