scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 20952
2
- _ 19292
3
- 11326
4
- _� 5935
5
- 5736
6
- ا 5735
7
- 4782
8
- 4678
9
- ی 3708
10
- 3595
11
- ر 3407
12
- 3061
13
- 2996
14
- ن 2916
15
- د 2581
16
- _ 2508
17
- ه 2212
18
- 2212
19
- �� 2142
20
- ا� 2142
21
- 2129
22
- و 2129
23
- ا� 2113
24
- �� 2113
25
- 1821
26
- م 1821
27
- �_ 1800
28
- 1732
29
- ت 1689
30
- �� 1628
31
- ب 1520
32
- 1520
33
- �� 1497
34
- ر� 1497
35
- 1422
36
- 1418
37
- 1373
38
- ی� 1333
39
- س 1309
40
- ی_ 1266
41
- �ن 1192
42
- �� 1190
43
- _ 1171
44
- ن_ 1165
45
- _ 1077
46
- ه_ 1077
47
- 1051
48
- 1037
49
- �� 1019
50
- و� 1019
51
- 999
52
- ش 997
53
- _ 986
54
- �� 962
55
- ر_ 961
56
- د� 954
57
- �� 951
58
- �ی 951
59
- ا� 951
60
- ن� 943
61
- �� 908
62
- 904
63
- ل 904
64
- ز 885
65
- ک 836
66
- 836
67
- �_ 822
68
- �� 817
69
- 815
70
- س� 811
71
- م� 790
72
- �� 790
73
- د_ 785
74
- �ا 727
75
- ی� 704
76
- _م 701
77
- �� 688
78
- ب� 688
79
- �� 683
80
- _ 655
81
- 640
82
- د� 617
83
- �ر 616
84
- _ 612
85
- �� 609
86
- ت� 609
87
- ه� 602
88
- �� 602
89
- �� 597
90
- ب� 597
91
- �_ 575
92
- و_ 575
93
- ت_ 569
94
- 555
95
- 555
96
- 555
97
- �� 541
98
- 541
99
- �ر 535
100
- ، 533
101
- ،_ 533
102
- �� 501
103
- �ا 498
104
- �� 487
105
- ر� 478
106
- ا_ 471
107
- _ 471
108
- _ 468
109
- 466
110
- خ 465
111
- �� 462
112
- ش� 461
113
- �_ 459
114
- �� 452
115
- �ر 444
116
- �ز 443
117
- ق 442
118
- 442
119
- 441
120
- ز_ 434
121
- �ت 413
122
- گ 412
123
- �� 412
124
- ک� 412
125
- 411
126
- ف 409
127
- _ت 408
128
- _س 397
129
- 395
130
- �� 380
131
- و� 380
132
- �ه 380
133
- �د 375
134
- �ن 362
135
- 361
136
- �ا 353
137
- م� 352
138
- �ی 352
139
- �� 352
140
- ن� 350
141
- 350
142
- �س 349
143
- �ی 347
144
- ر� 347
145
- ج 342
146
- 341
147
- م� 337
148
- �� 337
149
- ع 336
150
- ت� 333
151
- �� 333
152
- �ا 330
153
- پ 326
154
- 326
155
- _ر 303
156
- �م 302
157
- _ 297
158
- ل_ 297
159
- �ی 296
160
- �� 296
161
- ��� 295
162
- �� 291
163
- ه� 291
164
- �� 290
165
- ل� 290
166
- �� 290
167
- ف� 289
168
- ن� 287
169
- �د 283
170
- �ا 282
171
- �ا 277
172
- �ر 275
173
- �_ 274
174
- �� 274
175
- خ� 274
176
- م_ 274
177
- �� 261
178
- ک� 261
179
- 258
180
- _پ 255
181
- ح 254
182
- 254
183
- �� 251
184
- �� 250
185
- �ی 250
186
- آ 248
187
- 248
188
- �ل 245
189
- �� 238
190
- 236
191
- گ� 236
192
- �د 235
193
- س� 235
194
- �ه 234
195
- �ا 232
196
- �� 230
197
- �ه 229
198
- ش� 226
199
- �د 224
200
- �ا 221
201
- _ه 219
202
- �� 218
203
- ق� 218
204
- � 217
205
- �ا 215
206
- _آ 212
207
- �ا 212
208
- ز� 209
209
- �� 209
210
- �ر 207
211
- ��� 204
212
- �ه 204
213
- �� 203
214
- پ� 203
215
- �و 201
216
- _، 200
217
- ۱ 188
218
- د� 188
219
- �� 184
220
- �� 184
221
- ه� 184
222
- �� 184
223
- ی� 176
224
- �� 176
225
- �� 176
226
- �� 174
227
- ج� 174
228
- ص 173
229
- �_ 171
230
- �� 170
231
- _ق 169
232
- س� 168
233
- �ی 168
234
- ط 167
235
- �و 165
236
- �ر 164
237
- آ� 163
238
- �� 163
239
- ۰ 162
240
- _خ 160
241
- �� 158
242
- ل� 158
243
- �ه 157
244
- �ن 157
245
- �د 156
246
- �� 155
247
- _ج 154
248
- ۱� 154
249
- ز� 153
250
- �ا 150
251
- _ی 148
252
- ی� 147
253
- �ا 146
254
- ش_ 146
255
- چ 145
256
- �ش 145
257
- �� 145
258
- ع� 144
259
- �و 143
260
- �ه 141
261
- �و 140
262
- ل� 138
263
- �� 138
264
- �ی 138
265
- _ف 137
266
- �ل 134
267
- �� 133
268
- ج� 133
269
- _۱ 133
270
- _گ 132
271
- _ح 129
272
- ت� 128
273
- �ی 128
274
- �� 128
275
- � 122
276
- �� 122
277
- ر� 122
278
- _ز 122
279
- � 121
280
- �ی 121
281
- و� 121
282
- �ه 121
283
- �� 121
284
- �ن 119
285
- �ک 118
286
- �د 117
287
- �� 116
288
- ح� 116
289
- �� 115
290
- ۲ 114
291
- �م 114
292
- ۳ 113
293
- ب� 111
294
- �� 111
295
- �ی 111
296
- �ه 110
297
- ع� 110
298
- �س 110
299
- �ت 109
300
- � 108
301
- �ب 108
302
- �� 108
303
- �� 107
304
- ق� 107
305
- �ر 105
306
- �� 104
307
- خ� 104
308
- �ر 103
309
- �ت 103
310
- چ� 102
311
- �� 100
312
- �ل 100
313
- �_ 99
314
- �ت 97
1
+ _ 19492
2
+ ا 5786
3
+ ی 3765
4
+ ر 3442
5
+ ن 2941
6
+ د 2618
7
+ ه 2259
8
+ و 2161
9
+ م 1835
10
+ ت 1706
11
+ ب 1523
12
+ 1376
13
+ س 1320
14
+ ی_ 1305
15
+ ان 1199
16
+ ن_ 1171
17
+ ه_ 1088
18
+ 1046
19
+ ش 1008
20
+ ر_ 979
21
+ ای 967
22
+ ل 909
23
+ ز 903
24
+ ک 857
25
+ 825
26
+ د_ 794
27
+ را 736
28
+ ان_ 716
29
+ 708
30
+ 642
31
+ و_ 584
32
+ ت_ 568
33
+ 544
34
+ ار 541
35
+ ، 539
36
+ ،_ 536
37
+ در 522
38
+ _و_ 521
39
+ ا_ 474
40
+ _در 468
41
+ خ 464
42
+ _ای 457
43
+ _ک 453
44
+ از 448
45
+ ز_ 440
46
+ در_ 435
47
+ یر 429
48
+ ق 428
49
+ گ 427
50
+ ست 420
51
+ ف 410
52
+ 408
53
+ _ت 405
54
+ ران 401
55
+ ند 385
56
+ به 382
57
+ ها 375
58
+ از_ 370
59
+ یا 369
60
+ 365
61
+ _به 362
62
+ به_ 357
63
+ می 356
64
+ ین 354
65
+ _از 353
66
+ ج 352
67
+ اس 349
68
+ ری 349
69
+ پ 341
70
+ 334
71
+ ع 331
72
+ ایر 325
73
+ یرا 314
74
+ 308
75
+ ام 306
76
+ ای_ 301
77
+ ل_ 301
78
+ ود 291
79
+ نی 290
80
+ ین_ 289
81
+ ور 280
82
+ با 279
83
+ ما 277
84
+ م_ 276
85
+ 271
86
+ دا 263
87
+ ح 252
88
+ آ 250
89
+ ال 249
90
+ ند_ 249
91
+ اد 238
92
+ ده 238
93
+ سا 238
94
+ 232
95
+ ست_ 228
96
+ رد 225
97
+ است 221
98
+ تا 221
99
+ 214
100
+ _می 213
101
+ های 212
102
+ وا 212
103
+ که 212
104
+ بر 210
105
+ 203
106
+ _،_ 203
107
+ که_ 199
108
+ _که 197
109
+ نا 195
110
+ ه‌ 187
111
+ _اس 185
112
+ دی 184
113
+ ۱ 179
114
+ _با 176
115
+ ‌ه 176
116
+ ود_ 175
117
+ ‌ها 175
118
+ ص 174
119
+ ی‌ 173
120
+ _سا 172
121
+ تر 168
122
+ _بر 166
123
+ ط 166
124
+ سی 165
125
+ 165
126
+ دو 163
127
+ _ق 163
128
+ _ی 160
129
+ 160
130
+ اه 159
131
+ یان 157
132
+ نی_ 156
133
+ دن 155
134
+ ش_ 154
135
+ شد 154
136
+ ۰ 152
137
+ ار_ 151
138
+ لا 150
139
+ شا 148
140
+ بو 148
141
+ چ 146
142
+ انی 146
143
+ رو 145
144
+ ال_ 144
145
+ 142
146
+ ره 140
147
+ می‌ 140
148
+ لی 138
149
+ _را 137
150
+ تی 137
151
+ نو 135
152
+ 135
153
+ یل 134
154
+ 131
155
+ را_ 130
156
+ _تا 129
157
+ _بو 127
158
+ _۱ 127
159
+ ‌ا 127
160
+ این 125
161
+ ری_ 125
162
+ وی 123
163
+ بود 123
164
+ _دو 123
165
+ _شد 122
166
+ مان 122
167
+ 121
168
+ اری 121
169
+ ون 118
170
+ ده_ 116
171
+ ام_ 115
172
+ بی 113
173
+ ه‌ا 112
174
+ ته 112
175
+ دند 111
176
+ ۳ 111
177
+ ۲ 110
178
+ رس 110
179
+ فت 110
180
+ _دا 110
181
+ هم 110
182
+ ید 109
183
+ اب 107
184
+ سال 106
185
+ مر 106
186
+ هر 104
187
+ شت 104
188
+ گر 102
189
+ یک 102
190
+ نه 101
191
+ ات 101
192
+ سل 100
193
+ مد 99
315
194
  ب_ 96
316
- �_ 96
317
- �و 95
195
+ وم 96
196
+ شو 95
197
+ یش 95
318
198
  _ع 95
319
- �م 95
320
- �د 94
321
- 93
322
- �ت 93
323
- 92
324
- ن� 92
325
- �ن 92
326
- �ت 92
327
- �و 91
328
- غ 91
329
- �ر 91
330
- �ا 90
331
- �ی 89
332
- ک� 89
333
- �� 89
334
- �ر 88
335
- �ا 87
336
- �و 87
337
- �ه 86
338
- �و 86
339
- �گ 86
340
- �ی 85
341
- ش� 85
342
- �ی 85
343
- �� 85
344
- ۵ 84
345
- �� 84
346
- ۰� 83
347
- ۳� 83
348
- �ی 83
349
- ز� 83
350
- �ت 82
351
- �م 82
352
- �ر 82
353
- �ش 82
354
- ی� 81
199
+ خا 94
200
+ مو 94
201
+ دار 93
202
+ غ 93
203
+ آن 93
204
+ فر 93
205
+ _آن 92
206
+ مت 92
207
+ کی 92
208
+ پا 90
209
+ پی 89
210
+ ها_ 88
211
+ سر 87
212
+ کو 87
213
+ خو 86
214
+ کر 85
215
+ زی 85
216
+ اش 84
217
+ شی 84
218
+ رد_ 83
219
+ مه 83
220
+ او 83
221
+ نگ 82
222
+ نام 82
223
+ رت 82
224
+ ۵ 81
225
+ بر_ 81
355
226
  _چ 81
356
- �ت 80
357
- پ� 80
358
- �ن 80
359
- �� 80
360
- �ی 80
361
- �و 79
362
- س_ 79
363
- �ا 79
364
- �� 78
365
- �ل 78
366
- ص� 77
367
- �� 77
368
- ۸ 76
369
- ط� 76
370
- �� 76
371
- �ز 75
372
- آ� 74
373
- �� 74
374
- �ن 73
375
- ق_ 73
376
- �م 73
377
- _ 73
378
- �� 73
379
- �_ 72
380
- ۲� 72
381
- �خ 70
382
- ۷ 69
383
- ص� 69
384
- �س 68
385
- �� 68
386
- _� 68
387
- غ� 68
388
- �، 67
389
- �ا 67
390
- �و 67
391
- ۰_ 67
392
- �ف 66
393
- گ� 66
394
- �ا 66
395
- �ف 65
396
- _ 65
397
- ک_ 65
398
- �ع 65
399
- �، 63
400
- �ا 63
227
+ _خو 81
228
+ _فر 79
229
+ شد_ 79
230
+ _پی 79
231
+ خت 79
232
+ س_ 78
233
+ با_ 78
234
+ ول 78
235
+ یی 77
236
+ یم 77
237
+ رز 77
238
+ گا 76
239
+ هن 76
240
+ _نا 75
241
+ زم 75
242
+ ۸ 74
243
+ _هم 74
244
+ قا 74
245
+ _پا 73
246
+ اد_ 73
247
+ کرد 70
248
+ _یا 69
249
+ ک_ 69
250
+ زا 68
251
+ ات_ 68
252
+ پس 68
253
+ مع 68
254
+ ‌اس 68
255
+ اخ 68
256
+ تا_ 67
257
+ ده‌ 67
258
+ کا 67
259
+ ن، 67
260
+ ن،_ 67
261
+ اف 67
262
+ _مر 67
263
+ تو 67
264
+ ایی 67
265
+ ق_ 67
266
+ _کر 67
267
+ دی_ 66
268
+ ته_ 66
269
+ یت 66
270
+ جا 66
271
+ شاه 66
272
+ رف 65
273
+ لی_ 65
274
+ ۷ 65
275
+ گی 64
276
+ ۰_ 64
277
+ ن‌ 63
278
+ » 63
279
+ _« 63
280
+ کن 63
281
+ ستا 63
282
+ « 63
283
+ ی،_ 62
284
+ ی، 62
285
+ کش 62
286
+ ور_ 61
287
+ تی_ 61
288
+ _ص 61
289
+ رک 60
290
+ _سر 60
291
+ می_ 60
292
+ رب 60
293
+ د،_ 59
294
+ رش 59
295
+ ‌ش 59
296
+ یخ 59
297
+ _پس 59
298
+ د، 59
299
+ نش 59
300
+ هٔ 58
301
+ هٔ_ 58
302
+ من 58
303
+ مل 58
304
+ _یک 58
305
+ تان 58
306
+ تن 58
307
+ ٔ 58
308
+ ذ 58
309
+ ٔ_ 58
310
+ ۹ 58
311
+ _کش 57
312
+ تار 57
313
+ ۱۳ 56
314
+ _۲ 55
315
+ رین 55
316
+ _ام 55
317
+ یه 55
318
+ یر_ 55
319
+ یی_ 54
320
+ _ما 54
321
+ دور 54
322
+ ی‌ش 54
323
+ ریخ 54
324
+ جم 54
325
+ یز 54
326
+ رگ 54
327
+ _شا 53
328
+ زن 53
329
+ اند 53
330
+ »_ 53
331
+ تری 53
332
+ اخت 52
333
+ _نی 52
334
+ وان 52
335
+ ید_ 52
336
+ وس 51
337
+ حک 51
338
+ مت_ 51
339
+ ه‌ه 51
340
+ وره 51
341
+ یل_ 51
342
+ شه 51
343
+ یو 51
344
+ ارا 51
345
+ کی_ 51
346
+ جه 51
347
+ شده 50
348
+ رای 50
349
+ ارد 50
350
+ ره_ 50
351
+ تم 50
352
+ یش_ 50
353
+ شم 50
354
+ اه_ 50
355
+ فا 50
356
+ ۶ 49
357
+ _خا 49
358
+ هی 49
359
+ _حک 49
360
+ خ_ 49
361
+ رم 49
362
+ _۱۳ 49
363
+ _او 49
364
+ رسی 49
365
+ ان، 49
366
+ اق 49
367
+ ریا 48
368
+ ومت 48
369
+ نوا 48
370
+ دود 48
371
+ شک 48
372
+ آن_ 48
373
+ _بی 48
374
+ نیا 47
375
+ _ط 47
376
+ کوم 47
377
+ _سل 47
378
+ ۴ 47
379
+ سی_ 47
380
+ برا 47
381
+ _گر 47
382
+ چن 47
383
+ سیا 46
384
+ پس_ 46
385
+ حکو 46
386
+ امی 46
387
+ _دی 46
388
+ شود 46
389
+ _رو 46
390
+ قو 46
391
+ _غ 45
392
+ ف_ 45
393
+ گو 45
394
+ له 45
395
+ وی_ 45
396
+ _تر 45
397
+ تر_ 44
398
+ _رس 44
399
+ خان 44
400
+ _مع 44