scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 13411
2
- 11301
3
- _ 9980
4
- ا 3641
5
- 3641
6
- _� 3002
7
- ل 2925
8
- 2925
9
- �� 2278
10
- ا� 2278
11
- _� 1985
12
- ي 1827
13
- 1827
14
- �ل 1820
15
- 1736
16
- م 1736
17
- ل� 1566
18
- �� 1566
19
- 1506
20
- و 1420
21
- 1420
22
- ر 1140
23
- 1140
24
- �� 1114
25
- ل� 1114
26
- ا� 1075
27
- �� 1075
28
- ن 1065
29
- 1065
30
- 1061
31
- ت 1061
32
- 994
33
- ة 993
34
- �_ 955
35
- ة_ 954
36
- ع 913
37
- 913
38
- �� 904
39
- ي� 904
40
- �� 861
41
- و� 861
42
- ب 851
43
- 851
44
- 804
45
- د 804
46
- م� 750
47
- �� 750
48
- م� 696
49
- �� 696
50
- _و 651
51
- 575
52
- س 575
53
- ف 547
54
- 547
55
- 536
56
- ه 509
57
- 509
58
- ر� 497
59
- �� 497
60
- ي_ 494
61
- �_ 494
62
- �� 492
63
- ع� 492
64
- 480
65
- ق 480
66
- و� 472
67
- �� 472
68
- ن_ 469
69
- �_ 469
70
- �� 450
71
- ت� 450
72
- ب� 444
73
- �� 444
74
- ك 434
75
- 434
76
- ي� 429
77
- �� 429
78
- ح 406
79
- 406
80
- 394
81
- أ 394
82
- �ة 391
83
- �� 368
84
- ن� 368
85
- �� 352
86
- ر� 352
87
- د� 345
88
- �� 345
89
- �� 342
90
- ت� 342
91
- �م 331
92
- �� 313
93
- ع� 313
94
- ط 309
95
- 309
96
- �� 307
97
- ف� 307
98
- �� 303
99
- ب� 303
100
- �� 302
101
- س� 302
102
- ج 301
103
- 301
104
- 298
105
- �ا 295
106
- �� 294
107
- ق� 294
108
- ر_ 291
109
- �_ 291
110
- �_ 288
111
- ا_ 288
112
- م_ 286
113
- _ 286
114
- �ن 283
115
- ت_ 269
116
- �_ 269
117
- 255
118
- �ي 252
119
- 252
120
- ص 252
121
- �_ 247
122
- د_ 247
123
- ل_ 245
124
- _ 245
125
- �� 238
126
- ه� 238
127
- �� 235
128
- س� 235
129
- �� 230
130
- ك� 230
131
- �� 228
132
- ن� 228
133
- 228
134
- 223
135
- إ 223
136
- �ت 220
137
- 218
138
- ش 218
139
- �� 215
140
- أ� 215
141
- د� 212
142
- �� 212
143
- خ 204
144
- 204
145
- ح� 201
146
- �� 201
147
- 199
148
- �ي 198
149
- �ا 190
150
- ى 190
151
- 190
152
- ى_ 189
153
- 189
154
- �_ 189
155
- ض 189
156
- �ر 188
157
- 186
158
- 186
159
- ز 182
160
- �� 176
161
- أ� 176
162
- 174
163
- ، 174
164
- ،_ 172
165
- _ 172
166
- ج� 171
167
- �� 171
168
- �� 168
169
- ح� 168
170
- �ي 167
171
- �ا 165
172
- ف� 158
173
- �� 158
174
- إ� 154
175
- �� 154
176
- �ل 154
177
- �� 152
178
- ه� 152
179
- �ع 152
180
- �ا 150
181
- �� 148
182
- ك� 148
183
- ش� 145
184
- �� 145
185
- 145
186
- �ا 144
187
- �ا 141
188
- �م 140
189
- ط� 138
190
- �� 138
191
- �س 137
192
- �ي 135
193
- �� 134
194
- ص� 134
195
- �ك 134
196
- �د 133
197
- ث 132
198
- 132
199
- �ا 129
200
- �� 128
201
- �ن 128
202
- خ� 128
203
- �� 127
204
- ط� 127
205
- ق� 126
206
- �� 126
207
- �ى 125
208
- �أ 124
209
- 124
210
- �ي 122
211
- �ا 121
212
- �_ 119
213
- ه_ 119
214
- �ن 117
215
- �ي 116
216
- 112
217
- ذ 112
218
- �ت 108
219
- _ 108
220
- ع_ 108
221
- ص� 107
222
- �� 107
223
- ج� 106
224
- �� 106
225
- _ 104
226
- ب_ 104
227
- _ي 103
228
- �ي 100
229
- �د 99
230
- غ 98
231
- 98
232
- �ل 93
233
- �ع 93
234
- �و 93
235
- �ب 91
236
- ض� 89
237
- �� 89
238
- و_ 87
239
- _ 87
240
- �إ 85
241
- � 85
242
- ئ 85
243
- �د 85
244
- �ب 85
245
- �ل 83
246
- �ر 83
247
- �ر 83
248
- �_ 82
249
- ف_ 82
250
- �ا 81
251
- _ه 80
252
- �ل 80
253
- �ر 79
254
- _ك 79
255
- �ي 78
256
- �ت 78
257
- �ع 77
258
- �ة 77
259
- �م 77
260
- �ر 76
261
- �ر 76
262
- �ل 75
263
- �ق 75
264
- �ت 75
265
- �ش 73
266
- �ل 72
267
- �ة 72
268
- �� 71
269
- �ا 71
270
- ز� 70
271
- إ� 69
272
- �ح 69
273
- � 69
274
- �� 69
275
- ء 69
276
- �ع 68
277
- �ي 67
278
- _ن 67
279
- _س 67
280
- �� 67
281
- �م 67
282
- ش� 67
283
- �س 67
284
- خ� 66
285
- �� 66
286
- �� 65
287
- ذ� 65
288
- �ا 65
289
- _ق 65
290
- �م 65
291
- _ح 64
292
- ء_ 63
293
- �ا 63
294
- �_ 63
295
- �� 63
296
- ز� 63
297
- �ص 62
298
- �ء 61
299
- �ن 61
300
- �م 60
301
- �م 60
302
- ق_ 60
303
- �ا 60
304
- �_ 60
305
- �ج 59
306
- ً 59
307
- � 59
308
- �ن 58
309
- ئ� 57
310
- �ئ 57
311
- �� 57
312
- �غ 56
313
- ك_ 56
314
- �_ 56
315
- �و 55
316
- �و 55
317
- �ي 54
318
- �و 54
319
- �� 54
320
- �ر 54
321
- �ة 54
322
- ض� 54
323
- �ة 54
324
- �ع 54
325
- �� 53
326
- �ح 53
327
- �ع 53
328
- �ب 53
329
- �ت 53
330
- ث� 53
331
- �ا 53
332
- �د 52
333
- �ت 52
334
- �_ 52
335
- �ر 52
336
- �ن 51
337
- �ه 51
338
- �ي 51
339
- �ر 50
340
- �ة 50
341
- �و 50
342
- �� 49
343
- ث� 49
344
- �ا 49
345
- ز_ 49
346
- �س 49
347
- �د 49
348
- �خ 48
349
- �ل 48
350
- �ا 48
1
+ _ 10168
2
+ ا 3663
3
+ ل 2972
4
+ ي 1852
5
+ ال 1849
6
+ م 1794
7
+ 1551
8
+ _ال 1496
9
+ و 1431
10
+ ر 1149
11
+ ت 1066
12
+ ن 1064
13
+ ة 1009
14
+ ة_ 972
15
+ ع 924
16
+ ب 839
17
+ د 780
18
+ 656
19
+ س 586
20
+ 562
21
+ ف 544
22
+ ي_ 502
23
+ ه 501
24
+ ن_ 478
25
+ ق 477
26
+ ك 443
27
+ ح 417
28
+ ية 399
29
+ أ 387
30
+ ية_ 380
31
+ لم 349
32
+ ط 330
33
+ الم 316
34
+ ج 303
35
+ ر_ 302
36
+ وا 297
37
+ م_ 296
38
+ من 294
39
+ ا_ 293
40
+ 287
41
+ ت_ 267
42
+ ل_ 266
43
+ ص 262
44
+ 261
45
+ في 260
46
+ 250
47
+ د_ 229
48
+ _في 225
49
+ ات 222
50
+ _من 219
51
+ إ 214
52
+ في_ 214
53
+ خ 213
54
+ ش 212
55
+ لي 204
56
+ من_ 203
57
+ ى 197
58
+ ى_ 196
59
+ 195
60
+ _ت 192
61
+ ار 191
62
+ ض 190
63
+ _وا 188
64
+ ز 183
65
+ وال 183
66
+ ات_ 183
67
+ لا 173
68
+ دي 170
69
+ ، 169
70
+ ما 168
71
+ ،_ 167
72
+ مل 163
73
+ عا 156
74
+ ها 150
75
+ لع 147
76
+ 137
77
+ لس 137
78
+ را 136
79
+ لك 136
80
+ ام 136
81
+ الع 136
82
+ يا 133
83
+ ود 132
84
+ بي 131
85
+ ين 131
86
+ ري 130
87
+ ث 128
88
+ لى_ 127
89
+ لى 127
90
+ ها_ 127
91
+ الس 126
92
+ با 120
93
+ لأ 119
94
+ مي 119
95
+ ه_ 117
96
+ 115
97
+ ع_ 113
98
+ لت 108
99
+ غ 107
100
+ ذ 105
101
+ الأ 105
102
+ 104
103
+ و_ 102
104
+ سع 101
105
+ عو 101
106
+ وي 98
107
+ اد 98
108
+ رب 97
109
+ ول 97
110
+ عل 97
111
+ ئ 96
112
+ ان 93
113
+ ب_ 93
114
+ لب 90
115
+ ام_ 89
116
+ عود 89
117
+ ودي 89
118
+ سعو 86
119
+ دية 86
120
+ ين_ 86
121
+ لإ 84
122
+ الت 84
123
+ رة 83
124
+ ار_ 83
125
+ رة_ 81
126
+ 81
127
+ ف_ 81
128
+ ير 81
129
+ عر 81
130
+ الب 80
131
+ 80
132
+ مر 80
133
+ كة 79
134
+ سي 79
135
+ نا 79
136
+ وت 78
137
+ الإ 78
138
+ ملك 77
139
+ كة_ 76
140
+ لسع 76
141
+ وم 76
142
+ اع 76
143
+ _وت 75
144
+ لر 75
145
+ شر 74
146
+ عد 74
147
+ إل 73
148
+ 72
149
+ نت 72
150
+ يم 72
151
+ لق 72
152
+ الر 71
153
+ بل 71
154
+ ء 71
155
+ _إل 70
156
+ عام 70
157
+ لل 70
158
+ مم 69
159
+ طا 68
160
+ لج 68
161
+ لن 68
162
+ ائ 67
163
+ 67
164
+ لح 66
165
+ _عا 66
166
+ لش 66
167
+ سم 65
168
+ مع 65
169
+ ما_ 65
170
+ كا 65
171
+ ني 64
172
+ الج 64
173
+ 64
174
+ ء_ 64
175
+ _عل 64
176
+ الق 63
177
+ در 63
178
+ إلى 63
179
+ الش 62
180
+ لكة 62
181
+ لغ 62
182
+ لص 62
183
+ ممل 62
184
+ سا 62
185
+ لمم 62
186
+ اس 62
187
+ بر 61
188
+ ق_ 61
189
+ ً 61
190
+ اح 61
191
+ ون 60
192
+ مت 60
193
+ 60
194
+ تم 60
195
+ الح 59
196
+ اء 59
197
+ على 59
198
+ جا 59
199
+ يو 58
200
+ نو 57
201
+ وب 57
202
+ الص 56
203
+ _وي 56
204
+ لخ 56
205
+ لعر 56
206
+ لي_ 56
207
+ ربي 55
208
+ ز_ 55
209
+ لة 55
210
+ الخ 55
211
+ الن 54
212
+ عي 53
213
+ ك_ 53
214
+ لة_ 53
215
+ مس 53
216
+ بع 53
217
+ لد 53
218
+ دو 53
219
+ اء_ 53
220
+ بال 52
221
+ تع 52
222
+ _لل 52
223
+ تي 52
224
+ ون_ 52
225
+ _مل 52
226
+ مة 51
227
+ _با 51
228
+ نه 51
229
+ ال_ 50
230
+ مة_ 50
231
+ ط_ 50
232
+ تر 50
233
+ أن 50
234
+ الي 50
235
+ ست 50
236
+ _و_ 49
237
+ تو 49
238
+ صا 49
239
+ ض_ 49
351
240
  _ش 48
352
- �و 48
353
- �ر 48
354
- �� 47
355
- غ� 47
356
- �ف 47
357
- �و 46
358
- �_ 46
359
- ض_ 46
360
- �ع 45
361
- 45
362
- ّ 45
363
- ط_ 44
364
- �د 44
365
- _ 44
366
- �م 44
367
- �ف 44
368
- 44
369
- �ب 44
370
- �ي 43
371
- �ي 43
372
- �ل 43
373
- �و 42
374
- �ر 42
375
- �ط 42
376
- �ق 42
377
- �ا 41
378
- �ف 41
379
- �و 41
380
- �ق 40
381
- �ص 40
382
- �ن 40
383
- �، 39
384
- �د 39
385
- �ر 39
386
- �� 39
387
- �ي 39
388
- �و 39
389
- ة� 39
390
- �ح 39
391
- _ 38
392
- �د 38
393
- �ه 38
394
- س_ 38
395
- �م 38
396
- �ة 37
397
- ح_ 37
398
- �م 37
399
- �_ 37
400
- �ت 37
241
+ دا 48
242
+ بية 48
243
+ الد 48
244
+ الا 47
245
+ تص 47
246
+ مو 47
247
+ عرب 46
248
+ عة 46
249
+ لو 46
250
+ ور 46
251
+ اف 46
252
+ حل 45
253
+ كم 45
254
+ عة_ 45
255
+ لف 45
256
+ ير_ 45
257
+ ئي 45
258
+ تق 44
259
+ يد 44
260
+ زي 44
261
+ خا 44
262
+ قد 44
263
+ قا 44
264
+ مط 44
265
+ حو 44
266
+ لية 44
267
+ قر 43
268
+ يل 43
269
+ مد 43
270
+ ملي 43
271
+ اد_ 43
272
+ يع 42
273
+ 42
274
+ حد 42
275
+ رق 41
276
+ طار 41
277
+ ّ 41
278
+ رو 40
279
+ ول_ 40
280
+ س_ 40
281
+ مطا 40
282
+ تب 40
283
+ نها 39
284
+ ضا 39
285
+ اق 39
286
+ حر 39
287
+ وف 38
288
+ يت 38
289
+ رم 38
290
+ ح_ 38
291
+ ارة 38
292
+ مح 37
293
+ ان_ 37
294
+ ة، 37
295
+ لعا 37
296
+ ة،_ 37
297
+ يس 37
298
+ رات 37
299
+ قي 36
300
+ أو 36
301
+ أس 36
302
+ مال 36
303
+ _وم 36
304
+ اب 36
305
+ إن 36
306
+ وع 35
307
+ _ر 35
308
+ حي 35
309
+ فا 35
310
+ قة 35
311
+ لك_ 35
312
+ ته 35
313
+ بين 34
314
+ له 34
315
+ تح 34
316
+ هم 34
317
+ طق 34
318
+ دم 34
319
+ اض 34
320
+ خل 34
321
+ قة_ 34
322
+ قل 34
323
+ طو 34
324
+ أم 33
325
+ لمن 33
326
+ جد 33
327
+ _ط 33
328
+ نة 33
329
+ لشر 33
330
+ يه 33
331
+ نية 33
332
+ _، 33
333
+ صل 33
334
+ تت 33
335
+ _بي 32
336
+ _كم 32
337
+ تا 32
338
+ _مع 32
339
+ _مط 32
340
+ يق 31
341
+ نة_ 31
342
+ از 31
343
+ دة 31
344
+ رت 31
345
+ ث_ 31
346
+ _،_ 31
347
+ ظ 31
348
+ هي 31
349
+ _أن 31
350
+ نف 31
351
+ وس 31
352
+ لط 31
353
+ الغ 31
354
+ ليم 31
355
+ شم 31
356
+ رية 31
357
+ كان 31
358
+ كو 30
359
+ دول 30
360
+ بة_ 30
361
+ ً_ 30
362
+ أك 30
363
+ لذ 30
364
+ در_ 30
365
+ بر_ 30
366
+ اً 30
367
+ _د 30
368
+ عن 30
369
+ رك 30
370
+ بة 30
371
+ طن 29
372
+ اص 29
373
+ الو 29
374
+ عب 29
375
+ ائي 29
376
+ رض 29
377
+ دة_ 29
378
+ _م_ 29
379
+ حلي 29
380
+ نط 29
381
+ _عن 29
382
+ سب 29
383
+ لخا 29
384
+ حت 29
385
+ يد_ 28
386
+ هو 28
387
+ حا 28
388
+ ليو 28
389
+ دن 28
390
+ سل 28
391
+ _مر 28
392
+ اً_ 28
393
+ عية 28
394
+ يم_ 28
395
+ ود_ 28
396
+ ًا 28
397
+ _بع 28
398
+ بد 28
399
+ ميا 28
400
+ ساح 28