scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 13411
2
- 11301
3
- _ 9980
4
- ا 3641
5
- 3641
6
- _� 3002
7
- ل 2925
8
- 2925
9
- �� 2278
10
- ا� 2278
11
- _� 1985
12
- ي 1827
13
- 1827
14
- �ل 1820
15
- 1736
16
- م 1736
17
- ل� 1566
18
- �� 1566
19
- 1506
20
- و 1420
21
- 1420
22
- ر 1140
23
- 1140
24
- �� 1114
25
- ل� 1114
26
- ا� 1075
27
- �� 1075
28
- ن 1065
29
- 1065
30
- 1061
31
- ت 1061
32
- 994
33
- ة 993
34
- �_ 955
35
- ة_ 954
36
- ع 913
37
- 913
38
- �� 904
39
- ي� 904
40
- �� 861
41
- و� 861
42
- ب 851
43
- 851
44
- 804
45
- د 804
46
- م� 750
47
- �� 750
48
- م� 696
49
- �� 696
50
- _و 651
51
- 575
52
- س 575
53
- ف 547
54
- 547
55
- 536
56
- ه 509
57
- 509
58
- ر� 497
59
- �� 497
60
- ي_ 494
61
- �_ 494
62
- �� 492
63
- ع� 492
64
- 480
65
- ق 480
66
- و� 472
67
- �� 472
68
- ن_ 469
69
- �_ 469
70
- �� 450
71
- ت� 450
72
- ب� 444
73
- �� 444
74
- ك 434
75
- 434
76
- ي� 429
77
- �� 429
78
- ح 406
79
- 406
80
- 394
81
- أ 394
82
- �ة 391
83
- �� 368
84
- ن� 368
85
- �� 352
86
- ر� 352
87
- د� 345
88
- �� 345
89
- �� 342
90
- ت� 342
91
- �م 331
92
- �� 313
93
- ع� 313
94
- ط 309
95
- 309
96
- �� 307
97
- ف� 307
98
- �� 303
99
- ب� 303
100
- �� 302
101
- س� 302
102
- ج 301
103
- 301
104
- 298
105
- �ا 295
106
- �� 294
107
- ق� 294
108
- ر_ 291
109
- �_ 291
110
- �_ 288
111
- ا_ 288
112
- م_ 286
113
- _ 286
114
- �ن 283
115
- ت_ 269
116
- �_ 269
117
- 255
118
- �ي 252
119
- 252
120
- ص 252
121
- �_ 247
122
- د_ 247
123
- ل_ 245
124
- _ 245
125
- �� 238
126
- ه� 238
127
- �� 235
128
- س� 235
129
- �� 230
130
- ك� 230
131
- �� 228
132
- ن� 228
133
- 228
134
- 223
135
- إ 223
136
- �ت 220
137
- 218
138
- ش 218
139
- �� 215
140
- أ� 215
141
- د� 212
142
- �� 212
143
- خ 204
144
- 204
145
- ح� 201
146
- �� 201
147
- 199
148
- �ي 198
149
- �ا 190
150
- ى 190
151
- 190
152
- ى_ 189
153
- 189
154
- �_ 189
155
- ض 189
156
- �ر 188
157
- 186
158
- 186
159
- ز 182
160
- �� 176
161
- أ� 176
162
- 174
163
- ، 174
164
- ،_ 172
165
- _ 172
166
- ج� 171
167
- �� 171
168
- �� 168
169
- ح� 168
170
- �ي 167
171
- �ا 165
172
- ف� 158
173
- �� 158
174
- إ� 154
175
- �� 154
176
- �ل 154
177
- �� 152
178
- ه� 152
179
- �ع 152
180
- �ا 150
181
- �� 148
182
- ك� 148
183
- ش� 145
184
- �� 145
185
- 145
186
- �ا 144
187
- �ا 141
188
- �م 140
189
- ط� 138
190
- �� 138
191
- �س 137
192
- �ي 135
193
- �� 134
194
- ص� 134
195
- �ك 134
196
- �د 133
197
- ث 132
198
- 132
199
- �ا 129
200
- �� 128
201
- �ن 128
202
- خ� 128
203
- �� 127
204
- ط� 127
205
- ق� 126
206
- �� 126
207
- �ى 125
208
- �أ 124
209
- 124
210
- �ي 122
211
- �ا 121
212
- �_ 119
213
- ه_ 119
214
- �ن 117
215
- �ي 116
216
- 112
217
- ذ 112
218
- �ت 108
219
- _ 108
220
- ع_ 108
221
- ص� 107
222
- �� 107
223
- ج� 106
224
- �� 106
225
- _ 104
226
- ب_ 104
227
- _ي 103
228
- �ي 100
229
- �د 99
230
- غ 98
231
- 98
232
- �ل 93
233
- �ع 93
234
- �و 93
235
- �ب 91
236
- ض� 89
237
- �� 89
238
- و_ 87
239
- _ 87
240
- �إ 85
241
- � 85
242
- ئ 85
243
- �د 85
244
- �ب 85
245
- �ل 83
246
- �ر 83
247
- �ر 83
248
- �_ 82
249
- ف_ 82
250
- �ا 81
251
- _ه 80
252
- �ل 80
253
- �ر 79
254
- _ك 79
255
- �ي 78
256
- �ت 78
257
- �ع 77
258
- �ة 77
259
- �م 77
260
- �ر 76
261
- �ر 76
262
- �ل 75
263
- �ق 75
264
- �ت 75
265
- �ش 73
266
- �ل 72
267
- �ة 72
268
- �� 71
269
- �ا 71
270
- ز� 70
271
- إ� 69
272
- �ح 69
273
- � 69
274
- �� 69
275
- ء 69
276
- �ع 68
277
- �ي 67
278
- _ن 67
279
- _س 67
280
- �� 67
281
- �م 67
282
- ش� 67
283
- �س 67
284
- خ� 66
285
- �� 66
286
- �� 65
287
- ذ� 65
288
- �ا 65
289
- _ق 65
290
- �م 65
291
- _ح 64
292
- ء_ 63
293
- �ا 63
294
- �_ 63
295
- �� 63
296
- ز� 63
297
- �ص 62
298
- �ء 61
299
- �ن 61
300
- �م 60
301
- �م 60
302
- ق_ 60
303
- �ا 60
304
- �_ 60
305
- �ج 59
306
- ً 59
307
- � 59
308
- �ن 58
309
- ئ� 57
310
- �ئ 57
311
- �� 57
312
- �غ 56
313
- ك_ 56
314
- �_ 56
315
- �و 55
316
- �و 55
317
- �ي 54
318
- �و 54
319
- �� 54
320
- �ر 54
321
- �ة 54
322
- ض� 54
323
- �ة 54
324
- �ع 54
325
- �� 53
326
- �ح 53
327
- �ع 53
328
- �ب 53
329
- �ت 53
330
- ث� 53
331
- �ا 53
332
- �د 52
333
- �ت 52
334
- �_ 52
335
- �ر 52
336
- �ن 51
337
- �ه 51
338
- �ي 51
339
- �ر 50
340
- �ة 50
341
- �و 50
342
- �� 49
343
- ث� 49
344
- �ا 49
345
- ز_ 49
346
- �س 49
347
- �د 49
348
- �خ 48
349
- �ل 48
350
- �ا 48
1
+ _ 10168
2
+ ا 3663
3
+ ل 2972
4
+ ي 1852
5
+ ال 1849
6
+ م 1794
7
+ 1551
8
+ _ال 1496
9
+ و 1431
10
+ ر 1149
11
+ ت 1066
12
+ ن 1064
13
+ ة 1009
14
+ ة_ 972
15
+ ع 924
16
+ ب 839
17
+ د 780
18
+ 656
19
+ س 586
20
+ 562
21
+ ف 544
22
+ ي_ 502
23
+ ه 501
24
+ ن_ 478
25
+ ق 477
26
+ ك 443
27
+ ح 417
28
+ ية 399
29
+ أ 387
30
+ ية_ 380
31
+ لم 349
32
+ ط 330
33
+ الم 316
34
+ ج 303
35
+ ر_ 302
36
+ وا 297
37
+ م_ 296
38
+ من 294
39
+ ا_ 293
40
+ 287
41
+ ت_ 267
42
+ ل_ 266
43
+ ص 262
44
+ 261
45
+ في 260
46
+ 250
47
+ د_ 229
48
+ _في 225
49
+ ات 222
50
+ _من 219
51
+ إ 214
52
+ في_ 214
53
+ خ 213
54
+ ش 212
55
+ لي 204
56
+ من_ 203
57
+ ى 197
58
+ ى_ 196
59
+ 195
60
+ _ت 192
61
+ ار 191
62
+ ض 190
63
+ _وا 188
64
+ ز 183
65
+ وال 183
66
+ ات_ 183
67
+ لا 173
68
+ دي 170
69
+ ، 169
70
+ ما 168
71
+ ،_ 167
72
+ مل 163
73
+ عا 156
74
+ ها 150
75
+ لع 147
76
+ 137
77
+ لس 137
78
+ را 136
79
+ لك 136
80
+ ام 136
81
+ الع 136
82
+ يا 133
83
+ ود 132
84
+ بي 131
85
+ ين 131
86
+ ري 130
87
+ ث 128
88
+ لى_ 127
89
+ لى 127
90
+ ها_ 127
91
+ الس 126
92
+ با 120
93
+ لأ 119
94
+ مي 119
95
+ ه_ 117
96
+ 115
97
+ ع_ 113
98
+ لت 108
99
+ غ 107
100
+ ذ 105
101
+ الأ 105
102
+ 104
103
+ و_ 102
104
+ سع 101
105
+ عو 101
106
+ وي 98
107
+ اد 98
108
+ رب 97
109
+ ول 97
110
+ عل 97
111
+ ئ 96
112
+ ان 93
113
+ ب_ 93
114
+ لب 90
115
+ ام_ 89
116
+ عود 89
117
+ ودي 89
118
+ سعو 86
119
+ دية 86
120
+ ين_ 86
121
+ لإ 84
122
+ الت 84
123
+ رة 83
124
+ ار_ 83
125
+ رة_ 81
126
+ 81
127
+ ف_ 81
128
+ ير 81
129
+ عر 81
130
+ الب 80
131
+ 80
132
+ مر 80
133
+ كة 79
134
+ سي 79
135
+ نا 79
136
+ وت 78
137
+ الإ 78
138
+ ملك 77
139
+ كة_ 76
140
+ لسع 76
141
+ وم 76
142
+ اع 76
143
+ _وت 75
144
+ لر 75
145
+ شر 74
146
+ عد 74
147
+ إل 73
148
+ 72
149
+ نت 72
150
+ يم 72
151
+ لق 72
152
+ الر 71
153
+ بل 71
154
+ ء 71
155
+ _إل 70
156
+ عام 70
157
+ لل 70
158
+ مم 69
159
+ طا 68
160
+ لج 68
161
+ لن 68
162
+ ائ 67
163
+ 67
164
+ لح 66
165
+ _عا 66
166
+ لش 66
167
+ سم 65
168
+ مع 65
169
+ ما_ 65
170
+ كا 65
171
+ ني 64
172
+ الج 64
173
+ 64
174
+ ء_ 64
175
+ _عل 64
176
+ الق 63
177
+ در 63
178
+ إلى 63
179
+ الش 62
180
+ لكة 62
181
+ لغ 62
182
+ لص 62
183
+ ممل 62
184
+ سا 62
185
+ لمم 62
186
+ اس 62
187
+ بر 61
188
+ ق_ 61
189
+ ً 61
190
+ اح 61
191
+ ون 60
192
+ مت 60
193
+ 60
194
+ تم 60
195
+ الح 59
196
+ اء 59
197
+ على 59
198
+ جا 59
199
+ يو 58
200
+ نو 57
201
+ وب 57
202
+ الص 56
203
+ _وي 56
204
+ لخ 56
205
+ لعر 56
206
+ لي_ 56
207
+ ربي 55
208
+ ز_ 55
209
+ لة 55
210
+ الخ 55
211
+ الن 54
212
+ عي 53
213
+ ك_ 53
214
+ لة_ 53
215
+ مس 53
216
+ بع 53
217
+ لد 53
218
+ دو 53
219
+ اء_ 53
220
+ بال 52
221
+ تع 52
222
+ _لل 52
223
+ تي 52
224
+ ون_ 52
225
+ _مل 52
226
+ مة 51
227
+ _با 51
228
+ نه 51
229
+ ال_ 50
230
+ مة_ 50
231
+ ط_ 50
232
+ تر 50
233
+ أن 50
234
+ الي 50
235
+ ست 50
236
+ _و_ 49
237
+ تو 49
238
+ صا 49
239
+ ض_ 49
351
240
  _ش 48
352
- �و 48
353
- �ر 48
354
- �� 47
355
- غ� 47
356
- �ف 47
357
- �و 46
358
- �_ 46
359
- ض_ 46
360
- �ع 45
361
- 45
362
- ّ 45
363
- ط_ 44
364
- �د 44
365
- _ 44
366
- �م 44
367
- �ف 44
368
- 44
369
- �ب 44
370
- �ي 43
371
- �ي 43
372
- �ل 43
373
- �و 42
374
- �ر 42
375
- �ط 42
376
- �ق 42
377
- �ا 41
378
- �ف 41
379
- �و 41
380
- �ق 40
381
- �ص 40
382
- �ن 40
383
- �، 39
384
- �د 39
385
- �ر 39
386
- �� 39
387
- �ي 39
388
- �و 39
389
- ة� 39
390
- �ح 39
391
- _ 38
392
- �د 38
393
- �ه 38
394
- س_ 38
395
- �م 38
396
- �ة 37
397
- ح_ 37
398
- �م 37
399
- �_ 37
400
- �ت 37
241
+ دا 48
242
+ بية 48
243
+ الد 48
244
+ الا 47
245
+ تص 47
246
+ مو 47
247
+ عرب 46
248
+ عة 46
249
+ لو 46
250
+ ور 46
251
+ اف 46
252
+ حل 45
253
+ كم 45
254
+ عة_ 45
255
+ لف 45
256
+ ير_ 45
257
+ ئي 45
258
+ تق 44
259
+ يد 44
260
+ زي 44
261
+ خا 44
262
+ قد 44
263
+ قا 44
264
+ مط 44
265
+ حو 44
266
+ لية 44
267
+ قر 43
268
+ يل 43
269
+ مد 43
270
+ ملي 43
271
+ اد_ 43
272
+ يع 42
273
+ 42
274
+ حد 42
275
+ رق 41
276
+ طار 41
277
+ ّ 41
278
+ رو 40
279
+ ول_ 40
280
+ س_ 40
281
+ مطا 40
282
+ تب 40
283
+ نها 39
284
+ ضا 39
285
+ اق 39
286
+ حر 39
287
+ وف 38
288
+ يت 38
289
+ رم 38
290
+ ح_ 38
291
+ ارة 38
292
+ مح 37
293
+ ان_ 37
294
+ ة، 37
295
+ لعا 37
296
+ ة،_ 37
297
+ يس 37
298
+ رات 37
299
+ قي 36
300
+ أو 36
301
+ أس 36
302
+ مال 36
303
+ _وم 36
304
+ اب 36
305
+ إن 36
306
+ وع 35
307
+ _ر 35
308
+ حي 35
309
+ فا 35
310
+ قة 35
311
+ لك_ 35
312
+ ته 35
313
+ بين 34
314
+ له 34
315
+ تح 34
316
+ هم 34
317
+ طق 34
318
+ دم 34
319
+ اض 34
320
+ خل 34
321
+ قة_ 34
322
+ قل 34
323
+ طو 34
324
+ أم 33
325
+ لمن 33
326
+ جد 33
327
+ _ط 33
328
+ نة 33
329
+ لشر 33
330
+ يه 33
331
+ نية 33
332
+ _، 33
333
+ صل 33
334
+ تت 33
335
+ _بي 32
336
+ _كم 32
337
+ تا 32
338
+ _مع 32
339
+ _مط 32
340
+ يق 31
341
+ نة_ 31
342
+ از 31
343
+ دة 31
344
+ رت 31
345
+ ث_ 31
346
+ _،_ 31
347
+ ظ 31
348
+ هي 31
349
+ _أن 31
350
+ نف 31
351
+ وس 31
352
+ لط 31
353
+ الغ 31
354
+ ليم 31
355
+ شم 31
356
+ رية 31
357
+ كان 31
358
+ كو 30
359
+ دول 30
360
+ بة_ 30
361
+ ً_ 30
362
+ أك 30
363
+ لذ 30
364
+ در_ 30
365
+ بر_ 30
366
+ اً 30
367
+ _د 30
368
+ عن 30
369
+ رك 30
370
+ بة 30
371
+ طن 29
372
+ اص 29
373
+ الو 29
374
+ عب 29
375
+ ائي 29
376
+ رض 29
377
+ دة_ 29
378
+ _م_ 29
379
+ حلي 29
380
+ نط 29
381
+ _عن 29
382
+ سب 29
383
+ لخا 29
384
+ حت 29
385
+ يد_ 28
386
+ هو 28
387
+ حا 28
388
+ ليو 28
389
+ دن 28
390
+ سل 28
391
+ _مر 28
392
+ اً_ 28
393
+ عية 28
394
+ يم_ 28
395
+ ود_ 28
396
+ ًا 28
397
+ _بع 28
398
+ بد 28
399
+ ميا 28
400
+ ساح 28