wordlist 0.1.1 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (148) hide show
  1. checksums.yaml +7 -0
  2. data/.github/workflows/ruby.yml +27 -0
  3. data/.gitignore +6 -3
  4. data/ChangeLog.md +45 -1
  5. data/Gemfile +13 -0
  6. data/LICENSE.txt +1 -3
  7. data/README.md +266 -61
  8. data/Rakefile +7 -32
  9. data/benchmarks.rb +115 -0
  10. data/bin/wordlist +4 -7
  11. data/data/stop_words/ar.txt +104 -0
  12. data/data/stop_words/bg.txt +259 -0
  13. data/data/stop_words/bn.txt +363 -0
  14. data/data/stop_words/ca.txt +126 -0
  15. data/data/stop_words/cs.txt +138 -0
  16. data/data/stop_words/da.txt +101 -0
  17. data/data/stop_words/de.txt +129 -0
  18. data/data/stop_words/el.txt +79 -0
  19. data/data/stop_words/en.txt +175 -0
  20. data/data/stop_words/es.txt +178 -0
  21. data/data/stop_words/eu.txt +98 -0
  22. data/data/stop_words/fa.txt +332 -0
  23. data/data/stop_words/fi.txt +747 -0
  24. data/data/stop_words/fr.txt +116 -0
  25. data/data/stop_words/ga.txt +109 -0
  26. data/data/stop_words/gl.txt +160 -0
  27. data/data/stop_words/he.txt +499 -0
  28. data/data/stop_words/hi.txt +97 -0
  29. data/data/stop_words/hr.txt +179 -0
  30. data/data/stop_words/hu.txt +35 -0
  31. data/data/stop_words/hy.txt +45 -0
  32. data/data/stop_words/id.txt +357 -0
  33. data/data/stop_words/it.txt +134 -0
  34. data/data/stop_words/ja.txt +44 -0
  35. data/data/stop_words/ko.txt +677 -0
  36. data/data/stop_words/ku.txt +63 -0
  37. data/data/stop_words/lt.txt +507 -0
  38. data/data/stop_words/lv.txt +163 -0
  39. data/data/stop_words/mr.txt +99 -0
  40. data/data/stop_words/nl.txt +48 -0
  41. data/data/stop_words/no.txt +172 -0
  42. data/data/stop_words/pl.txt +138 -0
  43. data/data/stop_words/pt.txt +147 -0
  44. data/data/stop_words/ro.txt +281 -0
  45. data/data/stop_words/ru.txt +421 -0
  46. data/data/stop_words/sk.txt +173 -0
  47. data/data/stop_words/sv.txt +386 -0
  48. data/data/stop_words/th.txt +115 -0
  49. data/data/stop_words/tr.txt +114 -0
  50. data/data/stop_words/uk.txt +28 -0
  51. data/data/stop_words/ur.txt +513 -0
  52. data/data/stop_words/zh.txt +125 -0
  53. data/gemspec.yml +4 -10
  54. data/lib/wordlist/abstract_wordlist.rb +24 -0
  55. data/lib/wordlist/builder.rb +170 -138
  56. data/lib/wordlist/cli.rb +458 -0
  57. data/lib/wordlist/compression/reader.rb +72 -0
  58. data/lib/wordlist/compression/writer.rb +80 -0
  59. data/lib/wordlist/exceptions.rb +31 -0
  60. data/lib/wordlist/file.rb +176 -0
  61. data/lib/wordlist/format.rb +38 -0
  62. data/lib/wordlist/lexer/lang.rb +32 -0
  63. data/lib/wordlist/lexer/stop_words.rb +68 -0
  64. data/lib/wordlist/lexer.rb +218 -0
  65. data/lib/wordlist/list_methods.rb +462 -0
  66. data/lib/wordlist/modifiers/capitalize.rb +45 -0
  67. data/lib/wordlist/modifiers/downcase.rb +45 -0
  68. data/lib/wordlist/modifiers/gsub.rb +51 -0
  69. data/lib/wordlist/modifiers/modifier.rb +44 -0
  70. data/lib/wordlist/modifiers/mutate.rb +133 -0
  71. data/lib/wordlist/modifiers/mutate_case.rb +25 -0
  72. data/lib/wordlist/modifiers/sub.rb +97 -0
  73. data/lib/wordlist/modifiers/tr.rb +71 -0
  74. data/lib/wordlist/modifiers/upcase.rb +45 -0
  75. data/lib/wordlist/modifiers.rb +8 -0
  76. data/lib/wordlist/operators/binary_operator.rb +38 -0
  77. data/lib/wordlist/operators/concat.rb +47 -0
  78. data/lib/wordlist/operators/intersect.rb +55 -0
  79. data/lib/wordlist/operators/operator.rb +29 -0
  80. data/lib/wordlist/operators/power.rb +72 -0
  81. data/lib/wordlist/operators/product.rb +50 -0
  82. data/lib/wordlist/operators/subtract.rb +54 -0
  83. data/lib/wordlist/operators/unary_operator.rb +29 -0
  84. data/lib/wordlist/operators/union.rb +61 -0
  85. data/lib/wordlist/operators/unique.rb +52 -0
  86. data/lib/wordlist/operators.rb +7 -0
  87. data/lib/wordlist/unique_filter.rb +40 -61
  88. data/lib/wordlist/version.rb +1 -1
  89. data/lib/wordlist/words.rb +71 -0
  90. data/lib/wordlist.rb +103 -2
  91. data/spec/abstract_list_spec.rb +18 -0
  92. data/spec/builder_spec.rb +220 -76
  93. data/spec/cli_spec.rb +801 -0
  94. data/spec/compression/reader_spec.rb +137 -0
  95. data/spec/compression/writer_spec.rb +194 -0
  96. data/spec/file_spec.rb +258 -0
  97. data/spec/fixtures/wordlist.txt +15 -0
  98. data/spec/fixtures/wordlist.txt.bz2 +0 -0
  99. data/spec/fixtures/wordlist.txt.gz +0 -0
  100. data/spec/fixtures/wordlist.txt.xz +0 -0
  101. data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
  102. data/spec/fixtures/wordlist_with_comments.txt +19 -0
  103. data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
  104. data/spec/format_spec.rb +50 -0
  105. data/spec/helpers/text.rb +3 -3
  106. data/spec/helpers/wordlist.rb +2 -2
  107. data/spec/lexer/lang_spec.rb +70 -0
  108. data/spec/lexer/stop_words_spec.rb +77 -0
  109. data/spec/lexer_spec.rb +652 -0
  110. data/spec/list_methods_spec.rb +181 -0
  111. data/spec/modifiers/capitalize_spec.rb +27 -0
  112. data/spec/modifiers/downcase_spec.rb +27 -0
  113. data/spec/modifiers/gsub_spec.rb +59 -0
  114. data/spec/modifiers/modifier_spec.rb +20 -0
  115. data/spec/modifiers/mutate_case_spec.rb +46 -0
  116. data/spec/modifiers/mutate_spec.rb +39 -0
  117. data/spec/modifiers/sub_spec.rb +98 -0
  118. data/spec/modifiers/tr_spec.rb +46 -0
  119. data/spec/modifiers/upcase_spec.rb +27 -0
  120. data/spec/operators/binary_operator_spec.rb +19 -0
  121. data/spec/operators/concat_spec.rb +26 -0
  122. data/spec/operators/intersect_spec.rb +37 -0
  123. data/spec/operators/operator_spec.rb +16 -0
  124. data/spec/operators/power_spec.rb +57 -0
  125. data/spec/operators/product_spec.rb +39 -0
  126. data/spec/operators/subtract_spec.rb +37 -0
  127. data/spec/operators/union_spec.rb +37 -0
  128. data/spec/operators/unique_spec.rb +25 -0
  129. data/spec/spec_helper.rb +2 -1
  130. data/spec/unique_filter_spec.rb +108 -18
  131. data/spec/wordlist_spec.rb +55 -3
  132. data/spec/words_spec.rb +41 -0
  133. metadata +183 -120
  134. data/lib/wordlist/builders/website.rb +0 -216
  135. data/lib/wordlist/builders.rb +0 -1
  136. data/lib/wordlist/flat_file.rb +0 -47
  137. data/lib/wordlist/list.rb +0 -162
  138. data/lib/wordlist/mutator.rb +0 -113
  139. data/lib/wordlist/parsers.rb +0 -74
  140. data/lib/wordlist/runners/list.rb +0 -116
  141. data/lib/wordlist/runners/runner.rb +0 -67
  142. data/lib/wordlist/runners.rb +0 -2
  143. data/scripts/benchmark +0 -59
  144. data/scripts/text/comedy_of_errors.txt +0 -4011
  145. data/spec/flat_file_spec.rb +0 -25
  146. data/spec/list_spec.rb +0 -58
  147. data/spec/mutator_spec.rb +0 -43
  148. data/spec/parsers_spec.rb +0 -118
@@ -0,0 +1,499 @@
1
+ את
2
+ לא
3
+ של
4
+ אני
5
+ על
6
+ זה
7
+ עם
8
+ כל
9
+ הוא
10
+ אם
11
+ או
12
+ גם
13
+ יותר
14
+ יש
15
+ לי
16
+ מה
17
+ אבל
18
+ פורום
19
+ אז
20
+ טוב
21
+ רק
22
+ כי
23
+ שלי
24
+ היה
25
+ בפורום
26
+ אין
27
+ עוד
28
+ היא
29
+ אחד
30
+ ב
31
+ ל
32
+ עד
33
+ לך
34
+ כמו
35
+ להיות
36
+ אתה
37
+ כמה
38
+ אנחנו
39
+ הם
40
+ כבר
41
+ אנשים
42
+ אפשר
43
+ תודה
44
+ שלא
45
+ אותו
46
+ ה
47
+ מאוד
48
+ הרבה
49
+ ולא
50
+ ממש
51
+ לו
52
+ א
53
+ מי
54
+ חיים
55
+ בית
56
+ שאני
57
+ יכול
58
+ שהוא
59
+ כך
60
+ הזה
61
+ איך
62
+ היום
63
+ קצת
64
+ עכשיו
65
+ שם
66
+ בכל
67
+ יהיה
68
+ תמיד
69
+ י
70
+ שלך
71
+ הכי
72
+ ש
73
+ בו
74
+ לעשות
75
+ צריך
76
+ כן
77
+ פעם
78
+ לכם
79
+ ואני
80
+ משהו
81
+ אל
82
+ שלו
83
+ שיש
84
+ ו
85
+ וגם
86
+ אתכם
87
+ אחרי
88
+ בנושא
89
+ כדי
90
+ פשוט
91
+ לפני
92
+ שזה
93
+ אותי
94
+ אנו
95
+ למה
96
+ דבר
97
+ כ
98
+ כאן
99
+ אולי
100
+ טובים
101
+ רוצה
102
+ שנה
103
+ בעלי
104
+ החיים
105
+ למען
106
+ אתם
107
+ מ
108
+ בין
109
+ יום
110
+ זאת
111
+ איזה
112
+ ביותר
113
+ לה
114
+ אחת
115
+ הכל
116
+ הפורומים
117
+ לכל
118
+ אלא
119
+ פה
120
+ יודע
121
+ שלום
122
+ דקות
123
+ לנו
124
+ השנה
125
+ דרך
126
+ אדם
127
+ נראה
128
+ זו
129
+ היחידה
130
+ רוצים
131
+ בכלל
132
+ טובה
133
+ שלנו
134
+ האם
135
+ הייתי
136
+ הלב
137
+ היו
138
+ ח
139
+ שדרות
140
+ בלי
141
+ להם
142
+ שאתה
143
+ אותה
144
+ מקום
145
+ ואתם
146
+ חלק
147
+ בן
148
+ בואו
149
+ אחר
150
+ האחת
151
+ אותך
152
+ כמובן
153
+ בגלל
154
+ באמת
155
+ מישהו
156
+ ילדים
157
+ אותם
158
+ הפורום
159
+ טיפוח
160
+ וזה
161
+ ר
162
+ שהם
163
+ אך
164
+ מזמין
165
+ ישראל
166
+ כוס
167
+ זמן
168
+ ועוד
169
+ הילדים
170
+ עדיין
171
+ כזה
172
+ עושה
173
+ שום
174
+ לקחת
175
+ העולם
176
+ תפוז
177
+ לראות
178
+ לפורום
179
+ וכל
180
+ לקבל
181
+ נכון
182
+ יוצא
183
+ לעולם
184
+ גדול
185
+ אפילו
186
+ ניתן
187
+ שני
188
+ אוכל
189
+ קשה
190
+ משחק
191
+ ביום
192
+ ככה
193
+ אמא
194
+ בת
195
+ השבוע
196
+ נוספים
197
+ לגבי
198
+ בבית
199
+ אחרת
200
+ לפי
201
+ ללא
202
+ שנים
203
+ הזמן
204
+ שמן
205
+ מעט
206
+ לפחות
207
+ אף
208
+ שוב
209
+ שלהם
210
+ במקום
211
+ כולם
212
+ נועית
213
+ הבא
214
+ מעל
215
+ לב
216
+ המון
217
+ לדבר
218
+ ע
219
+ אוהב
220
+ מוסיפים
221
+ חצי
222
+ בעיקר
223
+ כפות
224
+ לפעמים
225
+ שהיא
226
+ הנהלת
227
+ ועל
228
+ ק
229
+ אוהבים
230
+ ת
231
+ יודעת
232
+ ד
233
+ גרוע
234
+ שאנחנו
235
+ מים
236
+ לילדים
237
+ בארץ
238
+ מודיע
239
+ אשמח
240
+ שלכם
241
+ פחות
242
+ לכולם
243
+ די
244
+ אהבה
245
+ יכולה
246
+ דברים
247
+ הקהילה
248
+ לעזור
249
+ פרטים
250
+ בדיוק
251
+ מלח
252
+ קל
253
+ הראשי
254
+ שלה
255
+ להוסיף
256
+ השני
257
+ לדעתי
258
+ בר
259
+ למרות
260
+ שגם
261
+ מוזמנים
262
+ לאחר
263
+ במה
264
+ חושב
265
+ מאד
266
+ יפה
267
+ להגשים
268
+ חדש
269
+ קטן
270
+ מחפשים
271
+ שמח
272
+ מדברים
273
+ ואם
274
+ במיוחד
275
+ עבודה
276
+ מדי
277
+ ואז
278
+ חשוב
279
+ שאם
280
+ אוהבת
281
+ פעמים
282
+ מנהלת
283
+ אומר
284
+ מול
285
+ קשר
286
+ מנהל
287
+ שיהיה
288
+ שאין
289
+ שאנו
290
+ האהבה
291
+ ס
292
+ הצטרפו
293
+ כפית
294
+ בשביל
295
+ החגים
296
+ אופן
297
+ לתת
298
+ כף
299
+ בתוך
300
+ סוכר
301
+ גיל
302
+ בהצלחה
303
+ והוא
304
+ מקווה
305
+ סתם
306
+ ויש
307
+ נגד
308
+ כמעט
309
+ שאת
310
+ עולה
311
+ אי
312
+ מספר
313
+ ראשון
314
+ לדרך
315
+ נהיה
316
+ לעצב
317
+ עושים
318
+ ולנהל
319
+ היתה
320
+ עליו
321
+ מזה
322
+ הייתה
323
+ בא
324
+ בפרס
325
+ חלות
326
+ ראש
327
+ מזמינים
328
+ טיפים
329
+ מכבי
330
+ רבה
331
+ הורים
332
+
333
+ מקרה
334
+ קרן
335
+ המוצלח
336
+ להגיע
337
+ גדולה
338
+ כנראה
339
+ החמשיר
340
+ הראשון
341
+ פלפל
342
+ המשחק
343
+ וכאן
344
+ לדעת
345
+ ואת
346
+ גרועים
347
+ ספר
348
+ אגב
349
+ אחרים
350
+ להגיד
351
+ בתפוז
352
+ והעולם
353
+ אופנה
354
+ דווקא
355
+ מספיק
356
+ שעות
357
+ תמונות
358
+ כשאנחנו
359
+ שוקולד
360
+ ולכן
361
+ ג
362
+ לקרוא
363
+ לניהול
364
+ שבוע
365
+ ויופי
366
+ חלום
367
+ בה
368
+ שהיה
369
+ שאלה
370
+ מקומה
371
+ הזו
372
+ בפורומים
373
+ החדש
374
+ מתאמצים
375
+ שחקן
376
+ שמזינים
377
+ נשמת
378
+ בערך
379
+ מכל
380
+ ומה
381
+ רגל
382
+ כסף
383
+ רואה
384
+ קטנה
385
+ בצל
386
+ בעולם
387
+ אינטרנט
388
+ חוץ
389
+ ברור
390
+ הולך
391
+ חושבת
392
+ לזה
393
+ כלום
394
+ הן
395
+ כאלה
396
+ בטוח
397
+ הדבר
398
+ תהיה
399
+ מגיע
400
+ סוף
401
+ האמת
402
+ ממנו
403
+ מיכל
404
+ החדשה
405
+ לתרום
406
+ האנשים
407
+ ועד
408
+ בדרך
409
+ אצלי
410
+ ההורים
411
+ בני
412
+ מתוך
413
+ כאשר
414
+ לבד
415
+ ראיתי
416
+ מצב
417
+ מלא
418
+ לבחור
419
+ נשמח
420
+ החג
421
+ רע
422
+ עוף
423
+ מן
424
+ להביא
425
+ מצאתי
426
+ כתובות
427
+ מעניין
428
+ צריכה
429
+ להכנס
430
+ לחלוטין
431
+ שעה
432
+ מתכון
433
+ קודם
434
+ תשובות
435
+ מדובר
436
+ ניהול
437
+ מזל
438
+ כדאי
439
+ יהיו
440
+ ההודעות
441
+ בוקר
442
+ נילוות
443
+ איפה
444
+ בעיה
445
+ קמח
446
+ ללכת
447
+ פורומים
448
+ אמר
449
+ נושא
450
+ ההכנה
451
+ בבקשה
452
+ שכל
453
+ הזאת
454
+ למשחק
455
+ פנינה
456
+ תחרות
457
+ חבר
458
+ לקנות
459
+ מהם
460
+ רגע
461
+ גרם
462
+ אלו
463
+ עצמו
464
+ מראש
465
+ הכלב
466
+ כולנו
467
+ עדיף
468
+ איתו
469
+ למשל
470
+ לבשל
471
+ למי
472
+ רעיונות
473
+ הבלוג
474
+ רוב
475
+ אביב
476
+ כרגע
477
+ בסוף
478
+ אלה
479
+ לחג
480
+ ערוץ
481
+ שווה
482
+ באופן
483
+ מאמין
484
+ לבן
485
+ בזה
486
+ הכבוד
487
+ לראש
488
+ ם
489
+ ימי
490
+ שחור
491
+ בצורה
492
+ בעמוד
493
+ ועם
494
+ וחצי
495
+ האלה
496
+ תמונה
497
+ בשלב
498
+ משחקים
499
+ נו
@@ -0,0 +1,97 @@
1
+ के
2
+ का
3
+ एक
4
+ में
5
+ की
6
+ है
7
+ यह
8
+ और
9
+ से
10
+ हैं
11
+ को
12
+ पर
13
+ इस
14
+ होता
15
+ कि
16
+ जो
17
+ कर
18
+ मे
19
+ गया
20
+ करने
21
+ किया
22
+ लिये
23
+ अपने
24
+ ने
25
+ बनी
26
+ नहीं
27
+ तो
28
+ ही
29
+ या
30
+ एवं
31
+ दिया
32
+ हो
33
+ इसका
34
+ था
35
+ द्वारा
36
+ हुआ
37
+ तक
38
+ साथ
39
+ करना
40
+ वाले
41
+ बाद
42
+ लिए
43
+ आप
44
+ कुछ
45
+ सकते
46
+ किसी
47
+ ये
48
+ इसके
49
+ सबसे
50
+ इसमें
51
+ थे
52
+ दो
53
+ होने
54
+ वह
55
+ वे
56
+ करते
57
+ बहुत
58
+ कहा
59
+ वर्ग
60
+ कई
61
+ करें
62
+ होती
63
+ अपनी
64
+ उनके
65
+ थी
66
+ यदि
67
+ हुई
68
+ जा
69
+ ना
70
+ इसे
71
+ कहते
72
+ जब
73
+ होते
74
+ कोई
75
+ हुए
76
+
77
+
78
+ अभी
79
+ जैसे
80
+ सभी
81
+ करता
82
+ उनकी
83
+ तरह
84
+ उस
85
+ आदि
86
+ कुल
87
+ एस
88
+ रहा
89
+ इसकी
90
+ सकता
91
+ रहे
92
+ उनका
93
+ इसी
94
+ रखें
95
+ अपना
96
+ पे
97
+ उसके