wordlist 0.1.1 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (148) hide show
  1. checksums.yaml +7 -0
  2. data/.github/workflows/ruby.yml +27 -0
  3. data/.gitignore +6 -3
  4. data/ChangeLog.md +45 -1
  5. data/Gemfile +13 -0
  6. data/LICENSE.txt +1 -3
  7. data/README.md +266 -61
  8. data/Rakefile +7 -32
  9. data/benchmarks.rb +115 -0
  10. data/bin/wordlist +4 -7
  11. data/data/stop_words/ar.txt +104 -0
  12. data/data/stop_words/bg.txt +259 -0
  13. data/data/stop_words/bn.txt +363 -0
  14. data/data/stop_words/ca.txt +126 -0
  15. data/data/stop_words/cs.txt +138 -0
  16. data/data/stop_words/da.txt +101 -0
  17. data/data/stop_words/de.txt +129 -0
  18. data/data/stop_words/el.txt +79 -0
  19. data/data/stop_words/en.txt +175 -0
  20. data/data/stop_words/es.txt +178 -0
  21. data/data/stop_words/eu.txt +98 -0
  22. data/data/stop_words/fa.txt +332 -0
  23. data/data/stop_words/fi.txt +747 -0
  24. data/data/stop_words/fr.txt +116 -0
  25. data/data/stop_words/ga.txt +109 -0
  26. data/data/stop_words/gl.txt +160 -0
  27. data/data/stop_words/he.txt +499 -0
  28. data/data/stop_words/hi.txt +97 -0
  29. data/data/stop_words/hr.txt +179 -0
  30. data/data/stop_words/hu.txt +35 -0
  31. data/data/stop_words/hy.txt +45 -0
  32. data/data/stop_words/id.txt +357 -0
  33. data/data/stop_words/it.txt +134 -0
  34. data/data/stop_words/ja.txt +44 -0
  35. data/data/stop_words/ko.txt +677 -0
  36. data/data/stop_words/ku.txt +63 -0
  37. data/data/stop_words/lt.txt +507 -0
  38. data/data/stop_words/lv.txt +163 -0
  39. data/data/stop_words/mr.txt +99 -0
  40. data/data/stop_words/nl.txt +48 -0
  41. data/data/stop_words/no.txt +172 -0
  42. data/data/stop_words/pl.txt +138 -0
  43. data/data/stop_words/pt.txt +147 -0
  44. data/data/stop_words/ro.txt +281 -0
  45. data/data/stop_words/ru.txt +421 -0
  46. data/data/stop_words/sk.txt +173 -0
  47. data/data/stop_words/sv.txt +386 -0
  48. data/data/stop_words/th.txt +115 -0
  49. data/data/stop_words/tr.txt +114 -0
  50. data/data/stop_words/uk.txt +28 -0
  51. data/data/stop_words/ur.txt +513 -0
  52. data/data/stop_words/zh.txt +125 -0
  53. data/gemspec.yml +4 -10
  54. data/lib/wordlist/abstract_wordlist.rb +24 -0
  55. data/lib/wordlist/builder.rb +170 -138
  56. data/lib/wordlist/cli.rb +458 -0
  57. data/lib/wordlist/compression/reader.rb +72 -0
  58. data/lib/wordlist/compression/writer.rb +80 -0
  59. data/lib/wordlist/exceptions.rb +31 -0
  60. data/lib/wordlist/file.rb +176 -0
  61. data/lib/wordlist/format.rb +38 -0
  62. data/lib/wordlist/lexer/lang.rb +32 -0
  63. data/lib/wordlist/lexer/stop_words.rb +68 -0
  64. data/lib/wordlist/lexer.rb +218 -0
  65. data/lib/wordlist/list_methods.rb +462 -0
  66. data/lib/wordlist/modifiers/capitalize.rb +45 -0
  67. data/lib/wordlist/modifiers/downcase.rb +45 -0
  68. data/lib/wordlist/modifiers/gsub.rb +51 -0
  69. data/lib/wordlist/modifiers/modifier.rb +44 -0
  70. data/lib/wordlist/modifiers/mutate.rb +133 -0
  71. data/lib/wordlist/modifiers/mutate_case.rb +25 -0
  72. data/lib/wordlist/modifiers/sub.rb +97 -0
  73. data/lib/wordlist/modifiers/tr.rb +71 -0
  74. data/lib/wordlist/modifiers/upcase.rb +45 -0
  75. data/lib/wordlist/modifiers.rb +8 -0
  76. data/lib/wordlist/operators/binary_operator.rb +38 -0
  77. data/lib/wordlist/operators/concat.rb +47 -0
  78. data/lib/wordlist/operators/intersect.rb +55 -0
  79. data/lib/wordlist/operators/operator.rb +29 -0
  80. data/lib/wordlist/operators/power.rb +72 -0
  81. data/lib/wordlist/operators/product.rb +50 -0
  82. data/lib/wordlist/operators/subtract.rb +54 -0
  83. data/lib/wordlist/operators/unary_operator.rb +29 -0
  84. data/lib/wordlist/operators/union.rb +61 -0
  85. data/lib/wordlist/operators/unique.rb +52 -0
  86. data/lib/wordlist/operators.rb +7 -0
  87. data/lib/wordlist/unique_filter.rb +40 -61
  88. data/lib/wordlist/version.rb +1 -1
  89. data/lib/wordlist/words.rb +71 -0
  90. data/lib/wordlist.rb +103 -2
  91. data/spec/abstract_list_spec.rb +18 -0
  92. data/spec/builder_spec.rb +220 -76
  93. data/spec/cli_spec.rb +801 -0
  94. data/spec/compression/reader_spec.rb +137 -0
  95. data/spec/compression/writer_spec.rb +194 -0
  96. data/spec/file_spec.rb +258 -0
  97. data/spec/fixtures/wordlist.txt +15 -0
  98. data/spec/fixtures/wordlist.txt.bz2 +0 -0
  99. data/spec/fixtures/wordlist.txt.gz +0 -0
  100. data/spec/fixtures/wordlist.txt.xz +0 -0
  101. data/spec/fixtures/wordlist_with_ambiguous_format +3 -0
  102. data/spec/fixtures/wordlist_with_comments.txt +19 -0
  103. data/spec/fixtures/wordlist_with_empty_lines.txt +19 -0
  104. data/spec/format_spec.rb +50 -0
  105. data/spec/helpers/text.rb +3 -3
  106. data/spec/helpers/wordlist.rb +2 -2
  107. data/spec/lexer/lang_spec.rb +70 -0
  108. data/spec/lexer/stop_words_spec.rb +77 -0
  109. data/spec/lexer_spec.rb +652 -0
  110. data/spec/list_methods_spec.rb +181 -0
  111. data/spec/modifiers/capitalize_spec.rb +27 -0
  112. data/spec/modifiers/downcase_spec.rb +27 -0
  113. data/spec/modifiers/gsub_spec.rb +59 -0
  114. data/spec/modifiers/modifier_spec.rb +20 -0
  115. data/spec/modifiers/mutate_case_spec.rb +46 -0
  116. data/spec/modifiers/mutate_spec.rb +39 -0
  117. data/spec/modifiers/sub_spec.rb +98 -0
  118. data/spec/modifiers/tr_spec.rb +46 -0
  119. data/spec/modifiers/upcase_spec.rb +27 -0
  120. data/spec/operators/binary_operator_spec.rb +19 -0
  121. data/spec/operators/concat_spec.rb +26 -0
  122. data/spec/operators/intersect_spec.rb +37 -0
  123. data/spec/operators/operator_spec.rb +16 -0
  124. data/spec/operators/power_spec.rb +57 -0
  125. data/spec/operators/product_spec.rb +39 -0
  126. data/spec/operators/subtract_spec.rb +37 -0
  127. data/spec/operators/union_spec.rb +37 -0
  128. data/spec/operators/unique_spec.rb +25 -0
  129. data/spec/spec_helper.rb +2 -1
  130. data/spec/unique_filter_spec.rb +108 -18
  131. data/spec/wordlist_spec.rb +55 -3
  132. data/spec/words_spec.rb +41 -0
  133. metadata +183 -120
  134. data/lib/wordlist/builders/website.rb +0 -216
  135. data/lib/wordlist/builders.rb +0 -1
  136. data/lib/wordlist/flat_file.rb +0 -47
  137. data/lib/wordlist/list.rb +0 -162
  138. data/lib/wordlist/mutator.rb +0 -113
  139. data/lib/wordlist/parsers.rb +0 -74
  140. data/lib/wordlist/runners/list.rb +0 -116
  141. data/lib/wordlist/runners/runner.rb +0 -67
  142. data/lib/wordlist/runners.rb +0 -2
  143. data/scripts/benchmark +0 -59
  144. data/scripts/text/comedy_of_errors.txt +0 -4011
  145. data/spec/flat_file_spec.rb +0 -25
  146. data/spec/list_spec.rb +0 -58
  147. data/spec/mutator_spec.rb +0 -43
  148. data/spec/parsers_spec.rb +0 -118
@@ -0,0 +1,114 @@
1
+ acaba
2
+ altmýþ
3
+ altý
4
+ ama
5
+ bana
6
+ bazý
7
+ belki
8
+ ben
9
+ benden
10
+ beni
11
+ benim
12
+ beþ
13
+ bin
14
+ bir
15
+ biri
16
+ birkaç
17
+ birkez
18
+ birþey
19
+ birþeyi
20
+ biz
21
+ bizden
22
+ bizi
23
+ bizim
24
+ bu
25
+ buna
26
+ bunda
27
+ bundan
28
+ bunu
29
+ bunun
30
+ da
31
+ daha
32
+ dahi
33
+ de
34
+ defa
35
+ diye
36
+ doksan
37
+ dokuz
38
+ dört
39
+ elli
40
+ en
41
+ gibi
42
+ hem
43
+ hep
44
+ hepsi
45
+ her
46
+ hiç
47
+ iki
48
+ ile
49
+ INSERmi
50
+ ise
51
+ için
52
+ katrilyon
53
+ kez
54
+ ki
55
+ kim
56
+ kimden
57
+ kime
58
+ kimi
59
+ kýrk
60
+ milyar
61
+ milyon
62
+ mu
63
+
64
+
65
+ nasýl
66
+ ne
67
+ neden
68
+ nerde
69
+ nerede
70
+ nereye
71
+ niye
72
+ niçin
73
+ on
74
+ ona
75
+ ondan
76
+ onlar
77
+ onlardan
78
+ onlari
79
+ onlarýn
80
+ onu
81
+ otuz
82
+ sanki
83
+ sekiz
84
+ seksen
85
+ sen
86
+ senden
87
+ seni
88
+ senin
89
+ siz
90
+ sizden
91
+ sizi
92
+ sizin
93
+ trilyon
94
+ tüm
95
+ ve
96
+ veya
97
+ ya
98
+ yani
99
+ yedi
100
+ yetmiþ
101
+ yirmi
102
+ yüz
103
+ çok
104
+ çünkü
105
+ üç
106
+ þey
107
+ þeyden
108
+ þeyi
109
+ þeyler
110
+ þu
111
+ þuna
112
+ þunda
113
+ þundan
114
+ þunu
@@ -0,0 +1,28 @@
1
+ з
2
+ й
3
+ що
4
+ та
5
+ Із
6
+ але
7
+ цей
8
+ коли
9
+ як
10
+ чого
11
+ хоча
12
+ нам
13
+ яко╞
14
+ чи
15
+ це
16
+ в╡д
17
+ про
18
+
19
+ ╞х
20
+
21
+ Інших
22
+ ти
23
+ вІн
24
+ вона
25
+ воно
26
+ ми
27
+ ви
28
+ вони
@@ -0,0 +1,513 @@
1
+ ثھی
2
+ خو
3
+ گی
4
+ اپٌے
5
+ گئے
6
+ ثہت
7
+ طرف
8
+ ہوبری
9
+ پبئے
10
+ اپٌب
11
+ دوضری
12
+ گیب
13
+ کت
14
+ گب
15
+ ثھی
16
+ ضے
17
+ ہر
18
+ پر
19
+ اش
20
+ دی
21
+ گے
22
+ لگیں
23
+ ہے
24
+ ثعذ
25
+ ضکتے
26
+ وٍ
27
+ تھی
28
+ اى
29
+ دیب
30
+ لئے
31
+ والے
32
+ یہ
33
+ ثدبئے
34
+ ضکتی
35
+ ًے
36
+ تھب
37
+ اًذر
38
+ رریعے
39
+ لگی
40
+ ہوبرا
41
+ ہوًے
42
+ ثبہر
43
+ ضکتب
44
+ ًہیں
45
+ تو
46
+ اور
47
+ رہب
48
+ لگے
49
+ ہوضکتب
50
+ ہوں
51
+ کب
52
+ ہوبرے
53
+ توبم
54
+ کیب
55
+ ایطے
56
+ رہی
57
+ هگر
58
+ ہوضکتی
59
+ ہیں
60
+ کریں
61
+ ہو
62
+ تک
63
+ کی
64
+ ایک
65
+ رہے
66
+ هیں
67
+ ہوضکتے
68
+ کیطے
69
+ ہوًب
70
+ تت
71
+ کہ
72
+ ہوا
73
+ آئے
74
+ ضبتھ
75
+ ًب
76
+ تھے
77
+ کیوں
78
+ ہوتب
79
+ ًہ
80
+ خت
81
+ کے
82
+ پھر
83
+ ثغیر
84
+ خبرہے
85
+ رکھ
86
+ کیطب
87
+ کوئی
88
+ رریعے
89
+ ثبرے
90
+ خب
91
+ اضطرذ
92
+ ثلکہ
93
+ خجکہ
94
+ رکھتب
95
+ کیطرف
96
+ ثراں
97
+ خبرہب
98
+ رریعہ
99
+ کطی
100
+ اضکب
101
+ ثٌذ
102
+ خص
103
+ رکھتبہوں
104
+ کیلئے
105
+ ثبئیں
106
+ توہیں
107
+ دوضرے
108
+ کررہی
109
+ اضکی
110
+ ثیچ
111
+ خوکہ
112
+ رکھتی
113
+ کیوًکہ
114
+ دوًوں
115
+ کررہے
116
+ خبرہی
117
+ ثرآں
118
+ اضکے
119
+ پچھلا
120
+ خیطب
121
+ رکھتے
122
+ کےثعذ
123
+ توہی
124
+ دوراى
125
+ کررہب
126
+ یہبں
127
+ ٓ آش
128
+ اًہیں
129
+ ثي
130
+ پطٌذ
131
+ تھوڑا
132
+ چکے
133
+ زکویہ
134
+ دوضروں
135
+ ضکب
136
+ اة
137
+ اوًچب
138
+ ثٌب
139
+ پل
140
+ تھوڑی
141
+ چلا
142
+ خبهوظ
143
+ دیتب
144
+ ضکٌب
145
+ اخبزت
146
+ اوًچبئی
147
+ ثٌبرہب
148
+ پوچھب
149
+ تھوڑے
150
+ چلو
151
+ ختن
152
+ دیتی
153
+ ضکی
154
+ اچھب
155
+ اوًچی
156
+ ثٌبرہی
157
+ پوچھتب
158
+ تیي
159
+ چلیں
160
+ در
161
+ دیتے
162
+ ضکے
163
+ اچھی
164
+ اوًچے
165
+ ثٌبرہے
166
+ پوچھتی
167
+ خبًب
168
+ چلے
169
+ درخبت
170
+ دیر
171
+ ضلطلہ
172
+ اچھے
173
+ اٹھبًب
174
+ ثٌبًب
175
+ پوچھتے
176
+ خبًتب
177
+ چھوٹب
178
+ درخہ
179
+ دیکھٌب
180
+ ضوچ
181
+ اختتبم
182
+ اہن
183
+ ثٌذ
184
+ پوچھٌب
185
+ خبًتی
186
+ چھوٹوں
187
+ درخے
188
+ دیکھو
189
+ ضوچب
190
+ ادھر
191
+ آئی
192
+ ثٌذکرًب
193
+ پوچھو
194
+ خبًتے
195
+ چھوٹی
196
+ درزقیقت
197
+ دیکھی
198
+ ضوچتب
199
+ ارد
200
+ آئے
201
+ ثٌذکرو
202
+ پوچھوں
203
+ خبًٌب
204
+ چھوٹے
205
+ درضت
206
+ دیکھیں
207
+ ضوچتی
208
+ اردگرد
209
+ آج
210
+ ثٌذی
211
+ پوچھیں
212
+ خططرذ
213
+ چھہ
214
+ دش
215
+ دیٌب
216
+ ضوچتے
217
+ ارکبى
218
+ آخر
219
+ ثڑا
220
+ پورا
221
+ خگہ
222
+ چیسیں
223
+ دفعہ
224
+ دے
225
+ ضوچٌب
226
+ اضتعوبل
227
+ آخرکبر
228
+ ثڑوں
229
+ پہلا
230
+ خگہوں
231
+ زبصل
232
+ دکھبئیں
233
+ راضتوں
234
+ ضوچو
235
+ اضتعوبلات
236
+ آدهی
237
+ ثڑی
238
+ پہلی
239
+ خگہیں
240
+ زبضر
241
+ دکھبتب
242
+ راضتہ
243
+ ضوچی
244
+ اغیب
245
+ آًب
246
+ ثڑے
247
+ پہلےضی
248
+ خلذی
249
+ زبل
250
+ دکھبتی
251
+ راضتے
252
+ ضوچیں
253
+ اطراف
254
+ آٹھ
255
+ ثھر
256
+ پہلےضے
257
+ خٌبة
258
+ زبل
259
+ دکھبتے
260
+ رکي
261
+ ضیذھب
262
+ افراد
263
+ آیب
264
+ ثھرا
265
+ پہلےضےہی
266
+ خواى
267
+ زبلات
268
+ دکھبًب
269
+ رکھب
270
+ ضیذھی
271
+ اکثر
272
+ ثب
273
+ ثھراہوا
274
+ پیع
275
+ خوًہی
276
+ زبلیہ
277
+ دکھبو
278
+ رکھی
279
+ ضیذھے
280
+ اکٹھب
281
+ ثبترتیت
282
+ ثھرپور
283
+ تبزٍ
284
+ خیطبکہ
285
+ زصوں
286
+ دکھبیب
287
+ رکھے
288
+ ضیکٌڈ
289
+ اکٹھی
290
+ ثبری
291
+ ثہتر
292
+ تر
293
+ چبر
294
+ زصہ
295
+ دلچطپ
296
+ زیبدٍ
297
+ غبیذ
298
+ اکٹھے
299
+ ثبلا
300
+ ثہتری
301
+ ترتیت
302
+ چبہب
303
+ زصے
304
+ دلچطپی
305
+ ضبت
306
+ غخص
307
+ اکیلا
308
+ ثبلترتیت
309
+ ثہتریي
310
+ تریي
311
+ چبہٌب
312
+ زقبئق
313
+ دلچطپیبں
314
+ ضبدٍ
315
+ غذ
316
+ اکیلی
317
+ ثرش
318
+ پبش
319
+ تعذاد
320
+ چبہے
321
+ زقیتیں
322
+ هٌبضت
323
+ ضبرا
324
+ غروع
325
+ اکیلے
326
+ ثغیر
327
+ پبًب
328
+ اً
329
+ ب
330
+ ج
331
+ ی
332
+ ر
333
+ ق
334
+ ت
335
+ چکب
336
+ زقیقت
337
+ دو
338
+ ضبرے
339
+ غروعبت
340
+ اگرچہ
341
+ ثلٌذ
342
+ پبًچ
343
+ تن
344
+ چکی
345
+ زکن
346
+ دور
347
+ ضبل
348
+ غے
349
+ الگ
350
+ ثلٌذوثبلا
351
+ پراًب
352
+ تٌہب
353
+ چکیں
354
+ اً
355
+ ب
356
+ و
357
+ ک
358
+ ز
359
+ دوضرا
360
+ ضبلوں
361
+ صبف
362
+ صسیر
363
+ قجیلہ
364
+ کوًطے
365
+ لازهی
366
+ هطئلے
367
+ ًیب
368
+ طریق
369
+ کرتی
370
+ کہتے
371
+ صفر
372
+ قطن
373
+ کھولا
374
+ لگتب
375
+ هطبئل
376
+ وار
377
+ طریقوں
378
+ کرتے
379
+ کہٌب
380
+ صورت
381
+ کئی
382
+ کھولٌب
383
+ لگتی
384
+ هطتعول
385
+ وار
386
+ طریقہ
387
+ کرتےہو
388
+ کہٌب
389
+ صورتسبل
390
+ کئے
391
+ کھولو
392
+ لگتے
393
+ هػتول
394
+ ٹھیک
395
+ طریقے
396
+ کرًب
397
+ کہو
398
+ صورتوں
399
+ کبفی
400
+ کھولی
401
+ لگٌب
402
+ هطلق
403
+ ڈھوًڈا
404
+ طور
405
+ کرو
406
+ کہوں
407
+ صورتیں
408
+ کبم
409
+ کھولیں
410
+ لگی
411
+ هعلوم
412
+ ڈھوًڈلیب
413
+ طورپر
414
+ کریں
415
+ کہی
416
+ ضرور
417
+ کجھی
418
+ کھولے
419
+ لگے
420
+ هکول
421
+ ڈھوًڈًب
422
+ ظبہر
423
+ کرے
424
+ کہیں
425
+ ضرورت
426
+ کرا
427
+ کہب
428
+ لوجب
429
+ هلا
430
+ ڈھوًڈو
431
+ عذد
432
+ کل
433
+ کہیں
434
+ اً
435
+ ب
436
+ ت
437
+ ر
438
+ و
439
+ ر
440
+ ض
441
+ کرتب
442
+ کہتب
443
+ لوجی
444
+ هوکي
445
+ ڈھوًڈی
446
+ عظین
447
+ کن
448
+ کہے
449
+ ضروری
450
+ کرتبہوں
451
+ کہتی
452
+ لوجے
453
+ هوکٌبت
454
+ ڈھوًڈیں
455
+ علاقوں
456
+ کوتر
457
+ کیے
458
+ لوسبت
459
+ هوکٌہ
460
+ ہن
461
+ لے
462
+ ًبپطٌذ
463
+ ہورہے
464
+ علاقہ
465
+ کورا
466
+ کےرریعے
467
+ لوسہ
468
+ هڑا
469
+ ہوئی
470
+ هتعلق
471
+ ًبگسیر
472
+ ہوگئی
473
+ علاقے
474
+ کوروں
475
+ گئی
476
+ لو
477
+ هڑًب
478
+ ہوئے
479
+ هسترم
480
+ ًطجت
481
+ ہوگئے
482
+ علاوٍ
483
+ کورٍ
484
+ گرد
485
+ لوگ
486
+ هڑے
487
+ ہوتی
488
+ هسترهہ
489
+ ًقطہ
490
+ ہوگیب
491
+ اً
492
+ ب
493
+ ه
494
+ و
495
+ و
496
+ ع
497
+ کورے
498
+ گروپ
499
+ لوگوں
500
+ هہرثبى
501
+ ہوتے
502
+ هسطوش
503
+ ًکبلٌب
504
+ ہوًی
505
+ عووهی
506
+ کوطي
507
+ گروٍ
508
+ لڑکپي
509
+ هیرا
510
+ ہوچکب
511
+ هختلف
512
+ ًکتہ
513
+ ہی