scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 12654
2
- a 4311
3
- e 3626
4
- i 3499
5
- r 2969
6
- l 2917
7
- n 2846
8
- 2198
9
- k 2054
10
- 1862
11
- ı 1860
12
- t 1812
13
- 1780
14
- d 1667
15
- m 1338
16
- y 1279
17
- u 1221
18
- s 1132
19
- 1115
20
- ü 1115
21
- e_ 1102
22
- 992
23
- n_ 941
24
- o 849
25
- b 808
26
- r_ 733
27
- ar 730
28
- i_ 709
29
- a_ 696
30
- la 694
31
- an 666
32
- ş 654
33
- 654
34
- _b 606
35
- er 593
36
- _d 585
37
- le 582
38
- in 552
39
- _t 537
40
- k_ 522
41
- ı_ 500
42
- �_ 500
43
- _k 486
44
- da 486
45
- v 468
46
- ın 455
47
- �n 455
48
- de 453
49
- il 443
50
- _a 442
51
- g 437
52
- _y 416
53
- ir 409
54
- _i 401
55
- nd 387
56
- en 386
57
- ri 380
58
- ra 373
59
- t� 367
60
- ür 366
61
- �r 366
62
- ye 354
63
- li 348
64
- z 347
65
- 342
66
- 340
67
- ç 339
68
- ğ 338
69
- h 337
70
- ya 329
71
- _s 329
72
- lar 323
73
- ki 319
74
- ta 316
75
- rk 316
76
- al 306
77
- _o 303
78
- ler 303
79
- ti 303
80
- ö 299
81
- 299
82
- _g 299
83
- _� 299
84
- ni 295
85
- p 294
86
- ve 292
87
- _v 291
88
- iy 290
89
- et 290
90
- ak 286
91
- c 280
92
- _t� 279
93
- an_ 275
94
- ma 272
95
- �rk 267
96
- da_ 265
97
- _ve 264
98
- ka 264
99
- ol 264
1
+ _ 12982
2
+ a 4456
3
+ e 3736
4
+ i 3575
5
+ r 3059
6
+ l 2999
7
+ n 2935
8
+ k 2103
9
+ ı 1918
10
+ t 1851
11
+ d 1729
12
+ m 1382
13
+ y 1310
14
+ u 1245
15
+ s 1164
16
+ ü 1149
17
+ e_ 1135
18
+ n_ 968
19
+ o 875
20
+ b 822
21
+ r_ 756
22
+ ar 751
23
+ a_ 721
24
+ i_ 717
25
+ la 711
26
+ an 697
27
+ ş 674
28
+ _b 619
29
+ _d 607
30
+ er 603
31
+ le 598
32
+ in 566
33
+ _t 547
34
+ k_ 539
35
+ ı_ 514
36
+ da 503
37
+ _k 491
38
+ v 484
39
+ de 477
40
+ ın 463
41
+ _a 463
42
+ il 461
43
+ g 448
44
+ _y 421
45
+ ir 420
46
+ _i 411
47
+ en 405
48
+ nd 394
49
+ ra 383
50
+ ri 383
51
+ ür 380
52
+ ye 360
53
+ z 357
54
+ li 354
55
+ ç 353
56
+ 349
57
+ h 348
58
+ ğ 344
59
+ ya 342
60
+ _s 339
61
+ lar 328
62
+ rk 327
63
+ ki 326
64
+ ta 320
65
+ tür 314
66
+ ni 312
67
+ al 312
68
+ _o 311
69
+ ti 308
70
+ ö 307
71
+ _g 306
72
+ p 306
73
+ ler 304
74
+ ve 300
75
+ _v 300
76
+ iy 295
77
+ et 293
78
+ ak 289
79
+ an_ 288
80
+ c 285
81
+ ma 284
82
+ _tü 282
83
+ ol 275
84
+ ürk 274
85
+ da_ 273
86
+ ka 271
87
+ _ve 271
100
88
  bi 262
101
- ir_ 250
102
- _e 247
103
- in_ 242
104
- di 241
105
- el 239
106
- ve_ 239
107
- ay 238
108
- me 233
109
- ara 233
110
- f 230
111
- eri 225
112
- as 224
113
- ur 222
114
- ek 219
115
- _m 219
116
- iye 218
117
- ne 216
118
- re 216
119
- 215
120
- r� 215
121
- �l 214
122
- ıl 214
123
- de_ 212
124
- n� 209
125
- 209
126
- si 207
127
- ır 207
128
- �r 207
129
- mi 206
130
- _bi 204
131
- l� 203
132
- 202
133
- d� 202
134
- lı 202
135
- nda 202
89
+ ir_ 259
90
+ el 249
91
+ ay 248
92
+ di 246
93
+ ve_ 245
94
+ in_ 244
95
+ _e 242
96
+ ara 238
97
+ me 237
98
+ f 235
99
+ _m 232
100
+ as 230
101
+ ur 228
102
+ ek 228
103
+ eri 226
104
+ re 226
105
+ ıl 226
106
+ ne 223
107
+ de_ 223
108
+ 222
109
+ iye 221
110
+ ır 216
111
+ 213
112
+ si 213
113
+ mi 212
114
+ 212
115
+ nda 210
116
+ 209
117
+ _bi 205
118
+ _n 203
119
+ na 200
120
+ ba 200
136
121
  ye_ 199
137
- _n 197
122
+ te 199
123
+ u_ 197
124
+ _de 197
125
+ sı 195
138
126
  ul 195
139
- _ol 191
140
- te 191
141
- u_ 191
142
- ba 191
143
- na 191
144
- 190
145
- s� 190
146
- en_ 187
147
- ik 185
148
- ad 185
149
- _de 185
150
- sa 182
151
- kl 181
152
- at 180
153
- şt 176
154
- �t 176
155
- ke 175
156
- l_ 174
157
- �nd 172
158
- ar� 170
159
- t� 170
160
- 170
161
- lan 169
162
- 163
163
- _ka 163
164
- a� 163
165
- lm 163
166
- 159
167
- y� 159
168
- un 158
169
- g� 155
170
- bir 153
171
- ge 153
172
- ll 152
173
- kiy 151
174
- _da 149
175
- _ba 148
176
- rki 147
177
- _ya 147
178
- es 146
179
- _h 146
180
- �� 143
181
- �ı 143
182
- er_ 141
183
- �r_ 141
184
- or 139
185
- nl 139
186
- �n 138
187
- ün 138
188
- �n_ 137
189
- _il 136
190
- m_ 134
191
- se 134
192
- ha 134
193
- on 133
194
- lu 133
195
- i� 133
196
- nde 133
197
- 133
198
- im 133
199
- nin 132
200
- as� 132
201
- is 131
202
- am 131
203
- _g� 130
204
- bu 130
205
- em 130
206
- �� 129
207
- �ş 129
208
- ı� 129
209
- ru 127
210
- rd 124
211
- _ta 124
212
- eti 124
213
- �i 123
214
- t_ 123
215
- y� 121
216
- ile 119
217
- _ge 119
218
- ku 118
127
+ en_ 193
128
+ _ol 192
129
+ ad 191
130
+ ik 189
131
+ kl 187
132
+ at 184
133
+ sa 183
134
+ şt 182
135
+ ınd 180
136
+ lan 176
137
+ 176
138
+ ke 176
139
+ l_ 175
140
+ arı 175
141
+ 171
142
+ lm 169
143
+ _ka 164
144
+ 164
145
+ un 160
146
+ bir 157
147
+ ge 157
148
+ _ba 155
149
+ ll 154
150
+ kiy 154
151
+ _da 151
152
+ rki 151
153
+ es 150
154
+ _h 150
155
+ _ya 149
156
+ ır_ 148
157
+ _il 145
158
+ er_ 144
159
+ nl 143
160
+ or 143
161
+ ün 142
162
+ m_ 141
163
+ ın_ 140
164
+ lu 140
165
+ am 138
166
+ ha 138
167
+ on 137
168
+ is 136
169
+ se 136
170
+ ası 136
171
+ nin 135
172
+ 135
173
+ im 134
174
+ ış 134
175
+ nde 132
176
+ bu 131
177
+ rd 130
178
+ ru 129
179
+ em 129
180
+ _ta 127
181
+ eti 126
182
+ ku 124
183
+ ile 122
184
+ _ge 122
185
+ lk 121
186
+ ed 120
187
+ 120
188
+ t_ 119
219
189
  _sa 117
220
- ak_ 116
221
- 116
222
- lk 115
223
- rl 115
224
- ed 113
225
- ri_ 112
226
- kt 112
227
- ld 111
228
- ola 111
229
- _bu 110
230
- m� 110
231
- 110
232
- le_ 108
233
- _ku 108
234
- k� 108
235
- rin 106
190
+ ak_ 117
191
+ kt 117
192
+ rl 116
193
+ ola 115
194
+ le_ 114
195
+ 114
196
+ ld 114
197
+ _bu 113
198
+ _ku 112
199
+ 111
200
+ ri_ 110
201
+ dir 109
202
+ rin 108
236
203
  ar_ 105
237
- ül 103
238
- �l 103
239
- dir 103
240
- 103
241
- d� 101
242
- b� 97
243
- �_ 97
204
+ ül 105
205
+ _f 100
206
+ ş_ 99
207
+ yıl 97
208
+ esi 97
244
209
  ind 97
245
- _f 97
246
- ş_ 96
247
- st 94
210
+ st 96
211
+ ği 95
212
+ tir 94
213
+ ini 94
214
+ rak 94
215
+ ön 93
248
216
  _ha 93
249
- �n 92
250
- rak 92
217
+ it 92
251
218
  mu 92
252
- �u 92
253
- ön 92
254
- esi 91
255
- tir 91
219
+ dır 91
220
+ eni 91
256
221
  rt 90
222
+ ana 90
223
+ ık 90
224
+ ala 90
257
225
  du 90
258
- ği 89
259
- ala 89
260
- l� 88
261
- ini 88
226
+ den 89
262
227
  yü 88
263
- �n� 88
264
- �k 87
265
- it 87
266
- ık 87
267
- _b� 86
268
- den 86
269
- ne_ 85
270
- _di 85
271
- _ni 85
272
- uru 84
273
- ad� 84
274
- 84
275
- �l 84
276
- u� 84
277
- eni 83
278
- ana 82
279
- ük 82
280
- �k 82
281
- rk_ 81
282
- 81
283
- an� 81
284
- _c 81
228
+ _ni 87
229
+ ını 87
230
+ ne_ 87
231
+ _di 87
232
+ ük 86
233
+ ni_ 86
234
+ rın 86
235
+ _gö 85
236
+ adı 85
237
+ ev 85
238
+ 85
239
+ ele 84
240
+ rk_ 84
241
+ aya 83
242
+ anı 83
243
+ uru 83
244
+ 83
245
+ nın 83
246
+ nı_ 82
247
+ az 82
248
+ 81
249
+ dan 81
250
+ baş 81
251
+ sın 81
252
+ _yı 81
253
+ mış 81
254
+ iğ 80
285
255
  _ye 80
286
- ele 80
287
- ev 80
288
- _d� 80
289
- aya 78
290
- li_ 78
291
- ni_ 78
292
- 78
256
+ li_ 80
257
+ um 79
258
+ ya_ 79
259
+ _c 79
260
+ fa 79
261
+ çe 79
262
+ ili 78
263
+ _al 78
293
264
  ko 78
294
- ğ� 77
295
- um 77
296
- tar 77
297
- ik_ 77
298
- ili 77
299
- dan 77
265
+ ik_ 78
266
+ kle 78
267
+ ok 77
268
+ sı_ 77
269
+ ey 77
300
270
  kı 77
301
- ki_ 77
302
- ba� 77
303
- k� 77
304
- _y� 76
305
- fa 76
306
- 76
307
- i� 76
308
- kle 75
309
- az 75
310
- ya_ 75
311
- �_ 75
312
- _y� 75
313
- a� 75
271
+ 77
272
+ tar 76
273
+ ki_ 76
274
+ ü_ 76
275
+ tır 75
276
+ ğı 75
277
+ üz 75
278
+ ılı 75
314
279
  ağ 75
315
- ü_ 75
316
- �e 74
317
- ey 74
318
- çe 74
319
- 74
320
- ok 74
321
- si_ 73
322
- _al 73
280
+ ör 75
281
+ ştı 74
282
+ si_ 74
283
+ nu 74
284
+ nm 73
323
285
  na_ 73
324
- r� 72
325
- üz 71
326
- �t� 71
327
- nu 71
328
- �r 71
329
- ör 71
330
- �z 71
331
- lik 70
332
- �ne 69
333
- dü 69
286
+ lik 72
287
+ _an 71
288
+ ere 71
289
+ 71
290
+ kur 70
291
+ ml 70
292
+ öne 70
293
+ _p 70
294
+ şı 69
334
295
  lü 69
335
- nm 69
336
- ere 69
337
- ml 69
338
- kur 68
339
- çi 68
296
+ lı_ 69
297
+ ine 69
298
+ _or 68
340
299
  af 68
341
- �i 68
342
- cu 68
343
- eli 67
344
- m� 67
345
- lt 67
346
- �l� 67
347
- _p 66
300
+ şti 68
301
+ çi 68
302
+ 68
303
+ üy 68
304
+ eli 68
305
+ ah 68
306
+ tu 67
307
+ cu 67
308
+ yl 67
309
+ ğu 66
310
+ ze 66
348
311
  yet 66
349
- ş� 66
350
- ine 65
351
- �ti 65
352
- _or 65
353
- 65
354
- ğu 65
355
- ah 65
356
- edi 65
357
- yl 65
358
- üy 64
359
- tu 64
360
- pa 64
361
- re_ 64
362
- _an 64
363
- ay� 64
364
- nla 64
365
- �y 64
366
- �m 63
367
- 63
368
- _te 63
369
- mi� 63
370
- let 62
371
- hi 62
372
- ill 62
373
- ze 62
374
- �a 61
375
- _u 61
376
- gi 61
377
- � 60
378
- tl 60
379
- va 60
380
- � 59
381
- _en 59
382
- yo 59
383
- _me 59
384
- to 59
385
- ̇ 59
386
- i̇ 59
387
- i� 59
312
+ lt 66
313
+ edi 66
314
+ nla 65
315
+ _te 65
316
+ re_ 65
317
+ rı_ 65
318
+ pa 65
319
+ va 64
320
+ miş 64
321
+ 64
322
+ hi 64
323
+ ayı 64
324
+ let 63
325
+ be 63
326
+ do 63
327
+ _u 62
328
+ ill 61
329
+ iği 61
330
+ _me 61
331
+ ışt 61
332
+ kar 61
333
+ _mi 60
334
+ şm 60
335
+ to 60
336
+ anl 59
337
+ ap 59
338
+ ulu 59
388
339
  ti_ 59
389
- ras 58
390
- 58
391
- şm 58
392
- kar 58
393
- ulu 58
394
- �la 57
395
- rm 57
340
+ yo 59
341
+ ras 59
342
+ tl 59
343
+ şl 59
344
+ lle 58
345
+ _en 58
346
+ rm 58
347
+ gi 58
348
+ i̇ 57
396
349
  us 57
397
- be 57
398
- şl 57
399
- _i� 57
400
- �o 56
350
+ mil 57
351
+ ço 57
352
+ ̇ 57
353
+ so 57
354
+ _bü 57
355
+ z_ 57
356
+ _i̇ 56
357
+ ca 56
358
+ za 56
359
+ rul 56
360
+ ard 55
361
+ ama 55
362
+ _so 55
363
+ _ar 55
364
+ işt 55
365
+ _ko 55
366
+ yan 54
367
+ ada 54
368
+ ilm 54
369
+ ıs 54
370
+ oğ 54
371
+ olu 53
372
+ nc 53
373
+ _ad 53
374
+ kla 52
375
+ tur 52
376
+ lam 52
377
+ mak 52
378
+ ük_ 52
379
+ se_ 52
380
+ dı_ 52
381
+ sin 52
382
+ lke 51
383
+ ım 51
384
+ mas 51
385
+ lla 51
386
+ yük 51
387
+ _gü 51
388
+ gör 51
389
+ ek_ 50
390
+ eş 50
391
+ lma 50
392
+ im_ 50
393
+ rü 50
394
+ ur_ 50
395
+ _is 50
396
+ ede 50
397
+ şa 50
398
+ akt 49
399
+ bul 49
400
+ ra_ 49