RubyGems - wordlist - Versions diffs - 0.1.1 → 1.0.0 - Mend

wordlist 0.1.1 → 1.0.0

Files changed (148) hide show

checksums.yaml +7 -0
data/.github/workflows/ruby.yml +27 -0
data/.gitignore +6 -3
data/ChangeLog.md +45 -1
data/Gemfile +13 -0
data/LICENSE.txt +1 -3
data/README.md +266 -61
data/Rakefile +7 -32
data/benchmarks.rb +115 -0
data/bin/wordlist +4 -7
data/data/stop_words/ar.txt +104 -0
data/data/stop_words/bg.txt +259 -0
data/data/stop_words/bn.txt +363 -0
data/data/stop_words/ca.txt +126 -0
data/data/stop_words/cs.txt +138 -0
data/data/stop_words/da.txt +101 -0
data/data/stop_words/de.txt +129 -0
data/data/stop_words/el.txt +79 -0
data/data/stop_words/en.txt +175 -0
data/data/stop_words/es.txt +178 -0
data/data/stop_words/eu.txt +98 -0
data/data/stop_words/fa.txt +332 -0
data/data/stop_words/fi.txt +747 -0
data/data/stop_words/fr.txt +116 -0
data/data/stop_words/ga.txt +109 -0
data/data/stop_words/gl.txt +160 -0
data/data/stop_words/he.txt +499 -0
data/data/stop_words/hi.txt +97 -0
data/data/stop_words/hr.txt +179 -0
data/data/stop_words/hu.txt +35 -0
data/data/stop_words/hy.txt +45 -0
data/data/stop_words/id.txt +357 -0
data/data/stop_words/it.txt +134 -0
data/data/stop_words/ja.txt +44 -0
data/data/stop_words/ko.txt +677 -0
data/data/stop_words/ku.txt +63 -0
data/data/stop_words/lt.txt +507 -0
data/data/stop_words/lv.txt +163 -0
data/data/stop_words/mr.txt +99 -0
data/data/stop_words/nl.txt +48 -0
data/data/stop_words/no.txt +172 -0
data/data/stop_words/pl.txt +138 -0
data/data/stop_words/pt.txt +147 -0
data/data/stop_words/ro.txt +281 -0
data/data/stop_words/ru.txt +421 -0
data/data/stop_words/sk.txt +173 -0
data/data/stop_words/sv.txt +386 -0
data/data/stop_words/th.txt +115 -0
data/data/stop_words/tr.txt +114 -0
data/data/stop_words/uk.txt +28 -0
data/data/stop_words/ur.txt +513 -0
data/data/stop_words/zh.txt +125 -0
data/gemspec.yml +4 -10
data/lib/wordlist/abstract_wordlist.rb +24 -0
data/lib/wordlist/builder.rb +170 -138
data/lib/wordlist/cli.rb +458 -0
data/lib/wordlist/compression/reader.rb +72 -0
data/lib/wordlist/compression/writer.rb +80 -0
data/lib/wordlist/exceptions.rb +31 -0
data/lib/wordlist/file.rb +176 -0
data/lib/wordlist/format.rb +38 -0
data/lib/wordlist/lexer/lang.rb +32 -0
data/lib/wordlist/lexer/stop_words.rb +68 -0
data/lib/wordlist/lexer.rb +218 -0
data/lib/wordlist/list_methods.rb +462 -0
data/lib/wordlist/modifiers/capitalize.rb +45 -0
data/lib/wordlist/modifiers/downcase.rb +45 -0
data/lib/wordlist/modifiers/gsub.rb +51 -0
data/lib/wordlist/modifiers/modifier.rb +44 -0
data/lib/wordlist/modifiers/mutate.rb +133 -0
data/lib/wordlist/modifiers/mutate_case.rb +25 -0
data/lib/wordlist/modifiers/sub.rb +97 -0
data/lib/wordlist/modifiers/tr.rb +71 -0
data/lib/wordlist/modifiers/upcase.rb +45 -0
data/lib/wordlist/modifiers.rb +8 -0
data/lib/wordlist/operators/binary_operator.rb +38 -0
data/lib/wordlist/operators/concat.rb +47 -0
data/lib/wordlist/operators/intersect.rb +55 -0
data/lib/wordlist/operators/operator.rb +29 -0
data/lib/wordlist/operators/power.rb +72 -0
data/lib/wordlist/operators/product.rb +50 -0
data/lib/wordlist/operators/subtract.rb +54 -0
data/lib/wordlist/operators/unary_operator.rb +29 -0
data/lib/wordlist/operators/union.rb +61 -0
data/lib/wordlist/operators/unique.rb +52 -0
data/lib/wordlist/operators.rb +7 -0
data/lib/wordlist/unique_filter.rb +40 -61
data/lib/wordlist/version.rb +1 -1
data/lib/wordlist/words.rb +71 -0
data/lib/wordlist.rb +103 -2
data/spec/abstract_list_spec.rb +18 -0
data/spec/builder_spec.rb +220 -76
data/spec/cli_spec.rb +801 -0
data/spec/compression/reader_spec.rb +137 -0
data/spec/compression/writer_spec.rb +194 -0
data/spec/file_spec.rb +258 -0
data/spec/fixtures/wordlist.txt +15 -0
data/spec/fixtures/wordlist.txt.bz2 +0 -0
data/spec/fixtures/wordlist.txt.gz +0 -0
data/spec/fixtures/wordlist.txt.xz +0 -0
data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
data/spec/fixtures/wordlist_with_comments.txt +19 -0
data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
data/spec/format_spec.rb +50 -0
data/spec/helpers/text.rb +3 -3
data/spec/helpers/wordlist.rb +2 -2
data/spec/lexer/lang_spec.rb +70 -0
data/spec/lexer/stop_words_spec.rb +77 -0
data/spec/lexer_spec.rb +652 -0
data/spec/list_methods_spec.rb +181 -0
data/spec/modifiers/capitalize_spec.rb +27 -0
data/spec/modifiers/downcase_spec.rb +27 -0
data/spec/modifiers/gsub_spec.rb +59 -0
data/spec/modifiers/modifier_spec.rb +20 -0
data/spec/modifiers/mutate_case_spec.rb +46 -0
data/spec/modifiers/mutate_spec.rb +39 -0
data/spec/modifiers/sub_spec.rb +98 -0
data/spec/modifiers/tr_spec.rb +46 -0
data/spec/modifiers/upcase_spec.rb +27 -0
data/spec/operators/binary_operator_spec.rb +19 -0
data/spec/operators/concat_spec.rb +26 -0
data/spec/operators/intersect_spec.rb +37 -0
data/spec/operators/operator_spec.rb +16 -0
data/spec/operators/power_spec.rb +57 -0
data/spec/operators/product_spec.rb +39 -0
data/spec/operators/subtract_spec.rb +37 -0
data/spec/operators/union_spec.rb +37 -0
data/spec/operators/unique_spec.rb +25 -0
data/spec/spec_helper.rb +2 -1
data/spec/unique_filter_spec.rb +108 -18
data/spec/wordlist_spec.rb +55 -3
data/spec/words_spec.rb +41 -0
metadata +183 -120
data/lib/wordlist/builders/website.rb +0 -216
data/lib/wordlist/builders.rb +0 -1
data/lib/wordlist/flat_file.rb +0 -47
data/lib/wordlist/list.rb +0 -162
data/lib/wordlist/mutator.rb +0 -113
data/lib/wordlist/parsers.rb +0 -74
data/lib/wordlist/runners/list.rb +0 -116
data/lib/wordlist/runners/runner.rb +0 -67
data/lib/wordlist/runners.rb +0 -2
data/scripts/benchmark +0 -59
data/scripts/text/comedy_of_errors.txt +0 -4011
data/spec/flat_file_spec.rb +0 -25
data/spec/list_spec.rb +0 -58
data/spec/mutator_spec.rb +0 -43
data/spec/parsers_spec.rb +0 -118

data/data/stop_words/he.txt ADDED Viewed

@@ -0,0 +1,499 @@
+את
+לא
+של
+אני
+על
+זה
+עם
+כל
+הוא
+אם
+או
+גם
+יותר
+יש
+לי
+מה
+אבל
+פורום
+אז
+טוב
+רק
+כי
+שלי
+היה
+בפורום
+אין
+עוד
+היא
+אחד
+ב
+ל
+עד
+לך
+כמו
+להיות
+אתה
+כמה
+אנחנו
+הם
+כבר
+אנשים
+אפשר
+תודה
+שלא
+אותו
+ה
+מאוד
+הרבה
+ולא
+ממש
+לו
+א
+מי
+חיים
+בית
+שאני
+יכול
+שהוא
+כך
+הזה
+איך
+היום
+קצת
+עכשיו
+שם
+בכל
+יהיה
+תמיד
+י
+שלך
+הכי
+ש
+בו
+לעשות
+צריך
+כן
+פעם
+לכם
+ואני
+משהו
+אל
+שלו
+שיש
+ו
+וגם
+אתכם
+אחרי
+בנושא
+כדי
+פשוט
+לפני
+שזה
+אותי
+אנו
+למה
+דבר
+כ
+כאן
+אולי
+טובים
+רוצה
+שנה
+בעלי
+החיים
+למען
+אתם
+מ
+בין
+יום
+זאת
+איזה
+ביותר
+לה
+אחת
+הכל
+הפורומים
+לכל
+אלא
+פה
+יודע
+שלום
+דקות
+לנו
+השנה
+דרך
+אדם
+נראה
+זו
+היחידה
+רוצים
+בכלל
+טובה
+שלנו
+האם
+הייתי
+הלב
+היו
+ח
+שדרות
+בלי
+להם
+שאתה
+אותה
+מקום
+ואתם
+חלק
+בן
+בואו
+אחר
+האחת
+אותך
+כמובן
+בגלל
+באמת
+מישהו
+ילדים
+אותם
+הפורום
+טיפוח
+וזה
+ר
+שהם
+אך
+מזמין
+ישראל
+כוס
+זמן
+ועוד
+הילדים
+עדיין
+כזה
+עושה
+שום
+לקחת
+העולם
+תפוז
+לראות
+לפורום
+וכל
+לקבל
+נכון
+יוצא
+לעולם
+גדול
+אפילו
+ניתן
+שני
+אוכל
+קשה
+משחק
+ביום
+ככה
+אמא
+בת
+השבוע
+נוספים
+לגבי
+בבית
+אחרת
+לפי
+ללא
+שנים
+הזמן
+שמן
+מעט
+לפחות
+אף
+שוב
+שלהם
+במקום
+כולם
+נועית
+הבא
+מעל
+לב
+המון
+לדבר
+ע
+אוהב
+מוסיפים
+חצי
+בעיקר
+כפות
+לפעמים
+שהיא
+הנהלת
+ועל
+ק
+אוהבים
+ת
+יודעת
+ד
+גרוע
+שאנחנו
+מים
+לילדים
+בארץ
+מודיע
+אשמח
+שלכם
+פחות
+לכולם
+די
+אהבה
+יכולה
+דברים
+הקהילה
+לעזור
+פרטים
+בדיוק
+מלח
+קל
+הראשי
+שלה
+להוסיף
+השני
+לדעתי
+בר
+למרות
+שגם
+מוזמנים
+לאחר
+במה
+חושב
+מאד
+יפה
+להגשים
+חדש
+קטן
+מחפשים
+שמח
+מדברים
+ואם
+במיוחד
+עבודה
+מדי
+ואז
+חשוב
+שאם
+אוהבת
+פעמים
+מנהלת
+אומר
+מול
+קשר
+מנהל
+שיהיה
+שאין
+שאנו
+האהבה
+ס
+הצטרפו
+כפית
+בשביל
+החגים
+אופן
+לתת
+כף
+בתוך
+סוכר
+גיל
+בהצלחה
+והוא
+מקווה
+סתם
+ויש
+נגד
+כמעט
+שאת
+עולה
+אי
+מספר
+ראשון
+לדרך
+נהיה
+לעצב
+עושים
+ולנהל
+היתה
+עליו
+מזה
+הייתה
+בא
+בפרס
+חלות
+ראש
+מזמינים
+טיפים
+מכבי
+רבה
+הורים
+‡
+מקרה
+קרן
+המוצלח
+להגיע
+גדולה
+כנראה
+החמשיר
+הראשון
+פלפל
+המשחק
+וכאן
+לדעת
+ואת
+גרועים
+ספר
+אגב
+אחרים
+להגיד
+בתפוז
+והעולם
+אופנה
+דווקא
+מספיק
+שעות
+תמונות
+כשאנחנו
+שוקולד
+ולכן
+ג
+לקרוא
+לניהול
+שבוע
+ויופי
+חלום
+בה
+שהיה
+שאלה
+מקומה
+הזו
+בפורומים
+החדש
+מתאמצים
+שחקן
+שמזינים
+נשמת
+בערך
+מכל
+ומה
+רגל
+כסף
+רואה
+קטנה
+בצל
+בעולם
+אינטרנט
+חוץ
+ברור
+הולך
+חושבת
+לזה
+כלום
+הן
+כאלה
+בטוח
+הדבר
+תהיה
+מגיע
+סוף
+האמת
+ממנו
+מיכל
+החדשה
+לתרום
+האנשים
+ועד
+בדרך
+אצלי
+ההורים
+בני
+מתוך
+כאשר
+לבד
+ראיתי
+מצב
+מלא
+לבחור
+נשמח
+החג
+רע
+עוף
+מן
+להביא
+מצאתי
+כתובות
+מעניין
+צריכה
+להכנס
+לחלוטין
+שעה
+מתכון
+קודם
+תשובות
+מדובר
+ניהול
+מזל
+כדאי
+יהיו
+ההודעות
+בוקר
+נילוות
+איפה
+בעיה
+קמח
+ללכת
+פורומים
+אמר
+נושא
+ההכנה
+בבקשה
+שכל
+הזאת
+למשחק
+פנינה
+תחרות
+חבר
+לקנות
+מהם
+רגע
+גרם
+אלו
+עצמו
+מראש
+הכלב
+כולנו
+עדיף
+איתו
+למשל
+לבשל
+למי
+רעיונות
+הבלוג
+רוב
+אביב
+כרגע
+בסוף
+אלה
+לחג
+ערוץ
+שווה
+באופן
+מאמין
+לבן
+בזה
+הכבוד
+לראש
+ם
+ימי
+שחור
+בצורה
+בעמוד
+ועם
+וחצי
+האלה
+תמונה
+בשלב
+משחקים
+נו

data/data/stop_words/hi.txt ADDED Viewed

@@ -0,0 +1,97 @@
+के
+का
+एक
+में
+की
+है
+यह
+और
+से
+हैं
+को
+पर
+इस
+होता
+कि
+जो
+कर
+मे
+गया
+करने
+किया
+लिये
+अपने
+ने
+बनी
+नहीं
+तो
+ही
+या
+एवं
+दिया
+हो
+इसका
+था
+द्वारा
+हुआ
+तक
+साथ
+करना
+वाले
+बाद
+लिए
+आप
+कुछ
+सकते
+किसी
+ये
+इसके
+सबसे
+इसमें
+थे
+दो
+होने
+वह
+वे
+करते
+बहुत
+कहा
+वर्ग
+कई
+करें
+होती
+अपनी
+उनके
+थी
+यदि
+हुई
+जा
+ना
+इसे
+कहते
+जब
+होते
+कोई
+हुए
+व
+न
+अभी
+जैसे
+सभी
+करता
+उनकी
+तरह
+उस
+आदि
+कुल
+एस
+रहा
+इसकी
+सकता
+रहे
+उनका
+इसी
+रखें
+अपना
+पे
+उसके