scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 12654
2
- a 4311
3
- e 3626
4
- i 3499
5
- r 2969
6
- l 2917
7
- n 2846
8
- 2198
9
- k 2054
10
- 1862
11
- ı 1860
12
- t 1812
13
- 1780
14
- d 1667
15
- m 1338
16
- y 1279
17
- u 1221
18
- s 1132
19
- 1115
20
- ü 1115
21
- e_ 1102
22
- 992
23
- n_ 941
24
- o 849
25
- b 808
26
- r_ 733
27
- ar 730
28
- i_ 709
29
- a_ 696
30
- la 694
31
- an 666
32
- ş 654
33
- 654
34
- _b 606
35
- er 593
36
- _d 585
37
- le 582
38
- in 552
39
- _t 537
40
- k_ 522
41
- ı_ 500
42
- �_ 500
43
- _k 486
44
- da 486
45
- v 468
46
- ın 455
47
- �n 455
48
- de 453
49
- il 443
50
- _a 442
51
- g 437
52
- _y 416
53
- ir 409
54
- _i 401
55
- nd 387
56
- en 386
57
- ri 380
58
- ra 373
59
- t� 367
60
- ür 366
61
- �r 366
62
- ye 354
63
- li 348
64
- z 347
65
- 342
66
- 340
67
- ç 339
68
- ğ 338
69
- h 337
70
- ya 329
71
- _s 329
72
- lar 323
73
- ki 319
74
- ta 316
75
- rk 316
76
- al 306
77
- _o 303
78
- ler 303
79
- ti 303
80
- ö 299
81
- 299
82
- _g 299
83
- _� 299
84
- ni 295
85
- p 294
86
- ve 292
87
- _v 291
88
- iy 290
89
- et 290
90
- ak 286
91
- c 280
92
- _t� 279
93
- an_ 275
94
- ma 272
95
- �rk 267
96
- da_ 265
97
- _ve 264
98
- ka 264
99
- ol 264
1
+ _ 12982
2
+ a 4456
3
+ e 3736
4
+ i 3575
5
+ r 3059
6
+ l 2999
7
+ n 2935
8
+ k 2103
9
+ ı 1918
10
+ t 1851
11
+ d 1729
12
+ m 1382
13
+ y 1310
14
+ u 1245
15
+ s 1164
16
+ ü 1149
17
+ e_ 1135
18
+ n_ 968
19
+ o 875
20
+ b 822
21
+ r_ 756
22
+ ar 751
23
+ a_ 721
24
+ i_ 717
25
+ la 711
26
+ an 697
27
+ ş 674
28
+ _b 619
29
+ _d 607
30
+ er 603
31
+ le 598
32
+ in 566
33
+ _t 547
34
+ k_ 539
35
+ ı_ 514
36
+ da 503
37
+ _k 491
38
+ v 484
39
+ de 477
40
+ ın 463
41
+ _a 463
42
+ il 461
43
+ g 448
44
+ _y 421
45
+ ir 420
46
+ _i 411
47
+ en 405
48
+ nd 394
49
+ ra 383
50
+ ri 383
51
+ ür 380
52
+ ye 360
53
+ z 357
54
+ li 354
55
+ ç 353
56
+ 349
57
+ h 348
58
+ ğ 344
59
+ ya 342
60
+ _s 339
61
+ lar 328
62
+ rk 327
63
+ ki 326
64
+ ta 320
65
+ tür 314
66
+ ni 312
67
+ al 312
68
+ _o 311
69
+ ti 308
70
+ ö 307
71
+ _g 306
72
+ p 306
73
+ ler 304
74
+ ve 300
75
+ _v 300
76
+ iy 295
77
+ et 293
78
+ ak 289
79
+ an_ 288
80
+ c 285
81
+ ma 284
82
+ _tü 282
83
+ ol 275
84
+ ürk 274
85
+ da_ 273
86
+ ka 271
87
+ _ve 271
100
88
  bi 262
101
- ir_ 250
102
- _e 247
103
- in_ 242
104
- di 241
105
- el 239
106
- ve_ 239
107
- ay 238
108
- me 233
109
- ara 233
110
- f 230
111
- eri 225
112
- as 224
113
- ur 222
114
- ek 219
115
- _m 219
116
- iye 218
117
- ne 216
118
- re 216
119
- 215
120
- r� 215
121
- �l 214
122
- ıl 214
123
- de_ 212
124
- n� 209
125
- 209
126
- si 207
127
- ır 207
128
- �r 207
129
- mi 206
130
- _bi 204
131
- l� 203
132
- 202
133
- d� 202
134
- lı 202
135
- nda 202
89
+ ir_ 259
90
+ el 249
91
+ ay 248
92
+ di 246
93
+ ve_ 245
94
+ in_ 244
95
+ _e 242
96
+ ara 238
97
+ me 237
98
+ f 235
99
+ _m 232
100
+ as 230
101
+ ur 228
102
+ ek 228
103
+ eri 226
104
+ re 226
105
+ ıl 226
106
+ ne 223
107
+ de_ 223
108
+ 222
109
+ iye 221
110
+ ır 216
111
+ 213
112
+ si 213
113
+ mi 212
114
+ 212
115
+ nda 210
116
+ 209
117
+ _bi 205
118
+ _n 203
119
+ na 200
120
+ ba 200
136
121
  ye_ 199
137
- _n 197
122
+ te 199
123
+ u_ 197
124
+ _de 197
125
+ sı 195
138
126
  ul 195
139
- _ol 191
140
- te 191
141
- u_ 191
142
- ba 191
143
- na 191
144
- 190
145
- s� 190
146
- en_ 187
147
- ik 185
148
- ad 185
149
- _de 185
150
- sa 182
151
- kl 181
152
- at 180
153
- şt 176
154
- �t 176
155
- ke 175
156
- l_ 174
157
- �nd 172
158
- ar� 170
159
- t� 170
160
- 170
161
- lan 169
162
- 163
163
- _ka 163
164
- a� 163
165
- lm 163
166
- 159
167
- y� 159
168
- un 158
169
- g� 155
170
- bir 153
171
- ge 153
172
- ll 152
173
- kiy 151
174
- _da 149
175
- _ba 148
176
- rki 147
177
- _ya 147
178
- es 146
179
- _h 146
180
- �� 143
181
- �ı 143
182
- er_ 141
183
- �r_ 141
184
- or 139
185
- nl 139
186
- �n 138
187
- ün 138
188
- �n_ 137
189
- _il 136
190
- m_ 134
191
- se 134
192
- ha 134
193
- on 133
194
- lu 133
195
- i� 133
196
- nde 133
197
- 133
198
- im 133
199
- nin 132
200
- as� 132
201
- is 131
202
- am 131
203
- _g� 130
204
- bu 130
205
- em 130
206
- �� 129
207
- �ş 129
208
- ı� 129
209
- ru 127
210
- rd 124
211
- _ta 124
212
- eti 124
213
- �i 123
214
- t_ 123
215
- y� 121
216
- ile 119
217
- _ge 119
218
- ku 118
127
+ en_ 193
128
+ _ol 192
129
+ ad 191
130
+ ik 189
131
+ kl 187
132
+ at 184
133
+ sa 183
134
+ şt 182
135
+ ınd 180
136
+ lan 176
137
+ 176
138
+ ke 176
139
+ l_ 175
140
+ arı 175
141
+ 171
142
+ lm 169
143
+ _ka 164
144
+ 164
145
+ un 160
146
+ bir 157
147
+ ge 157
148
+ _ba 155
149
+ ll 154
150
+ kiy 154
151
+ _da 151
152
+ rki 151
153
+ es 150
154
+ _h 150
155
+ _ya 149
156
+ ır_ 148
157
+ _il 145
158
+ er_ 144
159
+ nl 143
160
+ or 143
161
+ ün 142
162
+ m_ 141
163
+ ın_ 140
164
+ lu 140
165
+ am 138
166
+ ha 138
167
+ on 137
168
+ is 136
169
+ se 136
170
+ ası 136
171
+ nin 135
172
+ 135
173
+ im 134
174
+ ış 134
175
+ nde 132
176
+ bu 131
177
+ rd 130
178
+ ru 129
179
+ em 129
180
+ _ta 127
181
+ eti 126
182
+ ku 124
183
+ ile 122
184
+ _ge 122
185
+ lk 121
186
+ ed 120
187
+ 120
188
+ t_ 119
219
189
  _sa 117
220
- ak_ 116
221
- 116
222
- lk 115
223
- rl 115
224
- ed 113
225
- ri_ 112
226
- kt 112
227
- ld 111
228
- ola 111
229
- _bu 110
230
- m� 110
231
- 110
232
- le_ 108
233
- _ku 108
234
- k� 108
235
- rin 106
190
+ ak_ 117
191
+ kt 117
192
+ rl 116
193
+ ola 115
194
+ le_ 114
195
+ 114
196
+ ld 114
197
+ _bu 113
198
+ _ku 112
199
+ 111
200
+ ri_ 110
201
+ dir 109
202
+ rin 108
236
203
  ar_ 105
237
- ül 103
238
- �l 103
239
- dir 103
240
- 103
241
- d� 101
242
- b� 97
243
- �_ 97
204
+ ül 105
205
+ _f 100
206
+ ş_ 99
207
+ yıl 97
208
+ esi 97
244
209
  ind 97
245
- _f 97
246
- ş_ 96
247
- st 94
210
+ st 96
211
+ ği 95
212
+ tir 94
213
+ ini 94
214
+ rak 94
215
+ ön 93
248
216
  _ha 93
249
- �n 92
250
- rak 92
217
+ it 92
251
218
  mu 92
252
- �u 92
253
- ön 92
254
- esi 91
255
- tir 91
219
+ dır 91
220
+ eni 91
256
221
  rt 90
222
+ ana 90
223
+ ık 90
224
+ ala 90
257
225
  du 90
258
- ği 89
259
- ala 89
260
- l� 88
261
- ini 88
226
+ den 89
262
227
  yü 88
263
- �n� 88
264
- �k 87
265
- it 87
266
- ık 87
267
- _b� 86
268
- den 86
269
- ne_ 85
270
- _di 85
271
- _ni 85
272
- uru 84
273
- ad� 84
274
- 84
275
- �l 84
276
- u� 84
277
- eni 83
278
- ana 82
279
- ük 82
280
- �k 82
281
- rk_ 81
282
- 81
283
- an� 81
284
- _c 81
228
+ _ni 87
229
+ ını 87
230
+ ne_ 87
231
+ _di 87
232
+ ük 86
233
+ ni_ 86
234
+ rın 86
235
+ _gö 85
236
+ adı 85
237
+ ev 85
238
+ 85
239
+ ele 84
240
+ rk_ 84
241
+ aya 83
242
+ anı 83
243
+ uru 83
244
+ 83
245
+ nın 83
246
+ nı_ 82
247
+ az 82
248
+ 81
249
+ dan 81
250
+ baş 81
251
+ sın 81
252
+ _yı 81
253
+ mış 81
254
+ iğ 80
285
255
  _ye 80
286
- ele 80
287
- ev 80
288
- _d� 80
289
- aya 78
290
- li_ 78
291
- ni_ 78
292
- 78
256
+ li_ 80
257
+ um 79
258
+ ya_ 79
259
+ _c 79
260
+ fa 79
261
+ çe 79
262
+ ili 78
263
+ _al 78
293
264
  ko 78
294
- ğ� 77
295
- um 77
296
- tar 77
297
- ik_ 77
298
- ili 77
299
- dan 77
265
+ ik_ 78
266
+ kle 78
267
+ ok 77
268
+ sı_ 77
269
+ ey 77
300
270
  kı 77
301
- ki_ 77
302
- ba� 77
303
- k� 77
304
- _y� 76
305
- fa 76
306
- 76
307
- i� 76
308
- kle 75
309
- az 75
310
- ya_ 75
311
- �_ 75
312
- _y� 75
313
- a� 75
271
+ 77
272
+ tar 76
273
+ ki_ 76
274
+ ü_ 76
275
+ tır 75
276
+ ğı 75
277
+ üz 75
278
+ ılı 75
314
279
  ağ 75
315
- ü_ 75
316
- �e 74
317
- ey 74
318
- çe 74
319
- 74
320
- ok 74
321
- si_ 73
322
- _al 73
280
+ ör 75
281
+ ştı 74
282
+ si_ 74
283
+ nu 74
284
+ nm 73
323
285
  na_ 73
324
- r� 72
325
- üz 71
326
- �t� 71
327
- nu 71
328
- �r 71
329
- ör 71
330
- �z 71
331
- lik 70
332
- �ne 69
333
- dü 69
286
+ lik 72
287
+ _an 71
288
+ ere 71
289
+ 71
290
+ kur 70
291
+ ml 70
292
+ öne 70
293
+ _p 70
294
+ şı 69
334
295
  lü 69
335
- nm 69
336
- ere 69
337
- ml 69
338
- kur 68
339
- çi 68
296
+ lı_ 69
297
+ ine 69
298
+ _or 68
340
299
  af 68
341
- �i 68
342
- cu 68
343
- eli 67
344
- m� 67
345
- lt 67
346
- �l� 67
347
- _p 66
300
+ şti 68
301
+ çi 68
302
+ 68
303
+ üy 68
304
+ eli 68
305
+ ah 68
306
+ tu 67
307
+ cu 67
308
+ yl 67
309
+ ğu 66
310
+ ze 66
348
311
  yet 66
349
- ş� 66
350
- ine 65
351
- �ti 65
352
- _or 65
353
- 65
354
- ğu 65
355
- ah 65
356
- edi 65
357
- yl 65
358
- üy 64
359
- tu 64
360
- pa 64
361
- re_ 64
362
- _an 64
363
- ay� 64
364
- nla 64
365
- �y 64
366
- �m 63
367
- 63
368
- _te 63
369
- mi� 63
370
- let 62
371
- hi 62
372
- ill 62
373
- ze 62
374
- �a 61
375
- _u 61
376
- gi 61
377
- � 60
378
- tl 60
379
- va 60
380
- � 59
381
- _en 59
382
- yo 59
383
- _me 59
384
- to 59
385
- ̇ 59
386
- i̇ 59
387
- i� 59
312
+ lt 66
313
+ edi 66
314
+ nla 65
315
+ _te 65
316
+ re_ 65
317
+ rı_ 65
318
+ pa 65
319
+ va 64
320
+ miş 64
321
+ 64
322
+ hi 64
323
+ ayı 64
324
+ let 63
325
+ be 63
326
+ do 63
327
+ _u 62
328
+ ill 61
329
+ iği 61
330
+ _me 61
331
+ ışt 61
332
+ kar 61
333
+ _mi 60
334
+ şm 60
335
+ to 60
336
+ anl 59
337
+ ap 59
338
+ ulu 59
388
339
  ti_ 59
389
- ras 58
390
- 58
391
- şm 58
392
- kar 58
393
- ulu 58
394
- �la 57
395
- rm 57
340
+ yo 59
341
+ ras 59
342
+ tl 59
343
+ şl 59
344
+ lle 58
345
+ _en 58
346
+ rm 58
347
+ gi 58
348
+ i̇ 57
396
349
  us 57
397
- be 57
398
- şl 57
399
- _i� 57
400
- �o 56
350
+ mil 57
351
+ ço 57
352
+ ̇ 57
353
+ so 57
354
+ _bü 57
355
+ z_ 57
356
+ _i̇ 56
357
+ ca 56
358
+ za 56
359
+ rul 56
360
+ ard 55
361
+ ama 55
362
+ _so 55
363
+ _ar 55
364
+ işt 55
365
+ _ko 55
366
+ yan 54
367
+ ada 54
368
+ ilm 54
369
+ ıs 54
370
+ oğ 54
371
+ olu 53
372
+ nc 53
373
+ _ad 53
374
+ kla 52
375
+ tur 52
376
+ lam 52
377
+ mak 52
378
+ ük_ 52
379
+ se_ 52
380
+ dı_ 52
381
+ sin 52
382
+ lke 51
383
+ ım 51
384
+ mas 51
385
+ lla 51
386
+ yük 51
387
+ _gü 51
388
+ gör 51
389
+ ek_ 50
390
+ eş 50
391
+ lma 50
392
+ im_ 50
393
+ rü 50
394
+ ur_ 50
395
+ _is 50
396
+ ede 50
397
+ şa 50
398
+ akt 49
399
+ bul 49
400
+ ra_ 49