scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 12654
2
- a 4311
3
- e 3626
4
- i 3499
5
- r 2969
6
- l 2917
7
- n 2846
8
- 2198
9
- k 2054
10
- 1862
11
- ı 1860
12
- t 1812
13
- 1780
14
- d 1667
15
- m 1338
16
- y 1279
17
- u 1221
18
- s 1132
19
- 1115
20
- ü 1115
21
- e_ 1102
22
- 992
23
- n_ 941
24
- o 849
25
- b 808
26
- r_ 733
27
- ar 730
28
- i_ 709
29
- a_ 696
30
- la 694
31
- an 666
32
- ş 654
33
- 654
34
- _b 606
35
- er 593
36
- _d 585
37
- le 582
38
- in 552
39
- _t 537
40
- k_ 522
41
- ı_ 500
42
- �_ 500
43
- _k 486
44
- da 486
45
- v 468
46
- ın 455
47
- �n 455
48
- de 453
49
- il 443
50
- _a 442
51
- g 437
52
- _y 416
53
- ir 409
54
- _i 401
55
- nd 387
56
- en 386
57
- ri 380
58
- ra 373
59
- t� 367
60
- ür 366
61
- �r 366
62
- ye 354
63
- li 348
64
- z 347
65
- 342
66
- 340
67
- ç 339
68
- ğ 338
69
- h 337
70
- ya 329
71
- _s 329
72
- lar 323
73
- ki 319
74
- ta 316
75
- rk 316
76
- al 306
77
- _o 303
78
- ler 303
79
- ti 303
80
- ö 299
81
- 299
82
- _g 299
83
- _� 299
84
- ni 295
85
- p 294
86
- ve 292
87
- _v 291
88
- iy 290
89
- et 290
90
- ak 286
91
- c 280
92
- _t� 279
93
- an_ 275
94
- ma 272
95
- �rk 267
96
- da_ 265
97
- _ve 264
98
- ka 264
1
+ _ 12940
2
+ a 4416
3
+ e 3746
4
+ i 3571
5
+ r 3052
6
+ l 2994
7
+ n 2915
8
+ k 2095
9
+ ı 1914
10
+ t 1821
11
+ d 1728
12
+ m 1378
13
+ y 1311
14
+ u 1240
15
+ ü 1160
16
+ s 1156
17
+ e_ 1139
18
+ n_ 967
19
+ o 829
20
+ b 817
21
+ r_ 761
22
+ ar 750
23
+ i_ 723
24
+ la 716
25
+ a_ 714
26
+ an 703
27
+ ş 671
28
+ _b 621
29
+ _d 605
30
+ er 604
31
+ le 600
32
+ in 566
33
+ _t 549
34
+ k_ 528
35
+ ı_ 514
36
+ da 505
37
+ _k 491
38
+ v 481
39
+ de 478
40
+ il 462
41
+ ın 458
42
+ _a 455
43
+ g 446
44
+ _y 424
45
+ ir 423
46
+ _i 413
47
+ en 403
48
+ nd 395
49
+ ri 383
50
+ ür 381
51
+ ra 374
52
+ ye 363
53
+ z 356
54
+ 351
55
+ h 351
56
+ li 350
57
+ ç 350
58
+ ğ 346
59
+ ya 339
60
+ _s 335
61
+ ki 333
62
+ lar 329
63
+ rk 326
64
+ tür 316
65
+ ta 313
66
+ ö 312
67
+ ni 311
68
+ al 308
69
+ _o 307
70
+ _g 304
71
+ ler 304
72
+ ti 302
73
+ _v 299
74
+ ve 299
75
+ p 298
76
+ iy 296
77
+ an_ 293
78
+ et 292
79
+ _tü 288
80
+ ak 288
81
+ ma 283
82
+ c 277
83
+ ürk 273
84
+ da_ 272
85
+ _ve 271
86
+ ka 269
99
87
  ol 264
88
+ ir_ 263
100
89
  bi 262
101
- ir_ 250
102
- _e 247
103
- in_ 242
104
- di 241
105
- el 239
106
- ve_ 239
107
- ay 238
108
- me 233
109
- ara 233
110
- f 230
111
- eri 225
112
- as 224
113
- ur 222
114
- ek 219
115
- _m 219
116
- iye 218
117
- ne 216
118
- re 216
119
- 215
120
- r� 215
121
- �l 214
122
- ıl 214
123
- de_ 212
124
- n� 209
125
- 209
126
- si 207
127
- ır 207
128
- �r 207
129
- mi 206
130
- _bi 204
131
- l� 203
132
- 202
133
- d� 202
134
- 202
135
- nda 202
136
- ye_ 199
137
- _n 197
138
- ul 195
139
- _ol 191
140
- te 191
141
- u_ 191
142
- ba 191
143
- na 191
144
- 190
145
- s� 190
146
- en_ 187
147
- ik 185
148
- ad 185
149
- _de 185
150
- sa 182
151
- kl 181
152
- at 180
153
- şt 176
154
- �t 176
155
- ke 175
90
+ di 247
91
+ _e 246
92
+ ay 246
93
+ el 245
94
+ ve_ 244
95
+ in_ 244
96
+ me 239
97
+ ara 236
98
+ ek 231
99
+ re 229
100
+ eri 228
101
+ ur 228
102
+ f 227
103
+ _m 227
104
+ ne 227
105
+ ıl 226
106
+ de_ 225
107
+ iye 223
108
+ 220
109
+ as 217
110
+ ır 217
111
+ si 217
112
+ 215
113
+ 214
114
+ mi 210
115
+ 209
116
+ nda 209
117
+ _bi 207
118
+ _n 202
119
+ ye_ 202
120
+ ba 201
121
+ ul 201
122
+ _de 198
123
+ u_ 196
124
+ en_ 195
125
+ na 193
126
+ _ol 192
127
+ ad 191
128
+ te 190
129
+ 188
130
+ kl 186
131
+ ik 184
132
+ şt 184
133
+ sa 183
134
+ lan 177
135
+ ınd 176
136
+ 174
156
137
  l_ 174
157
- �nd 172
158
- ar� 170
159
- t� 170
160
- 170
161
- lan 169
162
- 163
138
+ ke 173
139
+ arı 172
140
+ 172
141
+ lm 169
142
+ at 167
143
+ 166
163
144
  _ka 163
164
- a� 163
165
- lm 163
166
- 159
167
- y� 159
168
- un 158
169
- g� 155
170
- bir 153
171
- ge 153
172
- ll 152
173
- kiy 151
174
- _da 149
175
- _ba 148
176
- rki 147
177
- _ya 147
178
- es 146
179
- _h 146
180
- �� 143
181
- �ı 143
182
- er_ 141
183
- �r_ 141
184
- or 139
185
- nl 139
186
- �n 138
187
- ün 138
188
- �n_ 137
189
- _il 136
190
- m_ 134
191
- se 134
192
- ha 134
193
- on 133
194
- lu 133
195
- i� 133
196
- nde 133
197
- 133
198
- im 133
199
- nin 132
200
- as� 132
201
- is 131
202
- am 131
203
- _g� 130
204
- bu 130
205
- em 130
206
- �� 129
207
- �ş 129
208
- ı� 129
209
- ru 127
210
- rd 124
145
+ ge 161
146
+ bir 157
147
+ kiy 156
148
+ un 155
149
+ _ba 154
150
+ es 154
151
+ rki 153
152
+ _da 153
153
+ _h 150
154
+ ır_ 149
155
+ _ya 149
156
+ _il 148
157
+ ll 146
158
+ nl 146
159
+ er_ 143
160
+ lu 142
161
+ m_ 140
162
+ ün 140
163
+ se 139
164
+ ın_ 138
165
+ 137
166
+ am 137
167
+ nin 137
168
+ is 136
169
+ ha 135
170
+ or 135
171
+ nde 134
172
+ ış 132
173
+ rd 132
174
+ em 131
175
+ bu 131
176
+ im 130
177
+ ru 130
178
+ ku 127
179
+ ası 127
180
+ on 126
181
+ ile 124
211
182
  _ta 124
212
- eti 124
213
- �i 123
214
- t_ 123
215
- y� 121
216
- ile 119
217
- _ge 119
218
- ku 118
219
- _sa 117
220
- ak_ 116
221
- 116
222
- lk 115
223
- rl 115
224
- ed 113
225
- ri_ 112
226
- kt 112
183
+ _ge 124
184
+ eti 123
185
+ lk 123
186
+ 121
187
+ ed 121
188
+ t_ 120
189
+ _sa 116
190
+ rl 116
191
+ kt 116
192
+ ak_ 115
193
+ ola 114
194
+ 114
195
+ le_ 114
196
+ _ku 113
197
+ _bu 113
227
198
  ld 111
228
- ola 111
229
- _bu 110
230
- m� 110
231
- 110
232
- le_ 108
233
- _ku 108
234
- k� 108
235
- rin 106
236
- ar_ 105
237
- ül 103
238
- �l 103
239
- dir 103
240
- 103
241
- d� 101
242
- b� 97
243
- �_ 97
244
- ind 97
245
- _f 97
246
- ş_ 96
247
- st 94
248
- _ha 93
249
- �n 92
250
- rak 92
251
- mu 92
252
- �u 92
253
- ön 92
254
- esi 91
255
- tir 91
256
- rt 90
199
+ 111
200
+ ri_ 111
201
+ dir 110
202
+ ar_ 109
203
+ rin 107
204
+ ül 104
205
+ esi 101
206
+ ind 98
207
+ yıl 98
208
+ ş_ 97
209
+ ini 97
210
+ ön 95
211
+ st 95
212
+ ği 95
213
+ rak 94
214
+ tir 94
215
+ _f 93
216
+ it 93
217
+ ana 92
218
+ dır 92
219
+ mu 91
220
+ _ha 91
257
221
  du 90
258
- ği 89
222
+ ne_ 90
223
+ ük 90
259
224
  ala 89
260
- l� 88
261
- ini 88
225
+ ını 89
226
+ rt 89
262
227
  yü 88
263
- �n� 88
264
- �k 87
265
- it 87
266
- ık 87
267
- _b� 86
268
- den 86
269
- ne_ 85
228
+ _ni 88
229
+ den 88
230
+ eni 87
231
+ ev 87
232
+ ni_ 87
233
+ ık 86
270
234
  _di 85
271
- _ni 85
235
+ rın 85
236
+ adı 85
237
+ ele 85
238
+ nı_ 84
239
+ anı 84
272
240
  uru 84
273
- ad� 84
274
- 84
275
- �l 84
276
- u� 84
277
- eni 83
278
- ana 82
279
- ük 82
280
- �k 82
281
- rk_ 81
282
- 81
283
- an� 81
241
+ az 83
242
+ 83
243
+ _yı 83
244
+ baş 83
245
+ nın 82
246
+ 82
247
+ aya 82
248
+ _gö 82
249
+ 82
250
+ dan 82
284
251
  _c 81
252
+ rk_ 81
253
+ um 81
254
+ mış 81
255
+ iğ 80
285
256
  _ye 80
286
- ele 80
287
- ev 80
288
- _d� 80
289
- aya 78
290
- li_ 78
291
- ni_ 78
292
- 78
293
- ko 78
294
- ğ� 77
295
- um 77
296
- tar 77
297
- ik_ 77
257
+ çe 80
258
+ li_ 80
259
+ ko 79
260
+ sın 79
261
+ ya_ 78
262
+ ki_ 78
263
+ 78
264
+ ü_ 77
298
265
  ili 77
299
- dan 77
300
- 77
301
- ki_ 77
302
- ba� 77
303
- k� 77
304
- _y� 76
266
+ _al 77
267
+ ey 77
268
+ kle 77
269
+ ğı 77
270
+ 77
305
271
  fa 76
306
- 76
307
- i� 76
308
- kle 75
309
- az 75
310
- ya_ 75
311
- �_ 75
312
- _y� 75
313
- a� 75
314
- 75
315
- ü_ 75
316
- �e 74
317
- ey 74
318
- çe 74
319
- 74
320
- ok 74
321
- si_ 73
322
- _al 73
323
- na_ 73
324
- r� 72
325
- üz 71
326
- �t� 71
327
- nu 71
328
- �r 71
329
- ör 71
330
- �z 71
272
+ 76
273
+ tar 76
274
+ si_ 75
275
+ ik_ 75
276
+ tır 75
277
+ ml 74
278
+ lı_ 74
279
+ üz 74
280
+ ör 74
281
+ nm 73
282
+ ştı 73
283
+ ok 73
284
+ ere 72
285
+ sı_ 72
286
+ ılı 72
287
+ öne 72
288
+ na_ 72
289
+ _an 71
290
+ şı 71
291
+ 71
292
+ 70
331
293
  lik 70
332
- �ne 69
333
- 69
334
- 69
335
- nm 69
336
- ere 69
337
- ml 69
338
- kur 68
294
+ nu 70
295
+ ine 70
296
+ kur 70
297
+ yl 69
298
+ şti 69
299
+ 69
300
+ üy 69
339
301
  çi 68
340
- af 68
341
- �i 68
342
- cu 68
343
- eli 67
344
- m� 67
345
- lt 67
346
- �l� 67
347
- _p 66
302
+ edi 68
303
+ ah 68
304
+ _or 67
305
+ _p 67
306
+ 67
307
+ cu 67
308
+ ze 66
348
309
  yet 66
349
- ş� 66
350
- ine 65
351
- �ti 65
352
- _or 65
353
- 65
310
+ af 66
311
+ eli 66
312
+ re_ 66
313
+ hi 65
314
+ miş 65
315
+ ayı 65
316
+ _u 65
354
317
  ğu 65
355
- ah 65
356
- edi 65
357
- yl 65
358
- üy 64
359
- tu 64
360
318
  pa 64
361
- re_ 64
362
- _an 64
363
- ay� 64
364
319
  nla 64
365
- �y 64
366
- �m 63
367
- 63
368
- _te 63
369
- mi� 63
370
- let 62
371
- hi 62
372
- ill 62
373
- ze 62
374
- �a 61
375
- _u 61
376
- gi 61
377
- 60
378
- tl 60
379
- va 60
380
- � 59
381
- _en 59
382
- yo 59
383
- _me 59
384
- to 59
385
- ̇ 59
386
- i̇ 59
387
- i� 59
320
+ tu 64
321
+ us 63
322
+ rı_ 63
323
+ va 63
324
+ ulu 62
325
+ lt 62
326
+ _me 62
327
+ anl 62
328
+ _te 62
329
+ ışt 61
330
+ be 61
331
+ iği 61
332
+ let 60
333
+ gi 60
334
+ şl 59
388
335
  ti_ 59
389
- ras 58
390
- 58
336
+ rm 59
337
+ do 59
338
+ ap 59
339
+ kar 59
340
+ _bü 58
341
+ i̇ 58
342
+ ̇ 58
343
+ z_ 58
391
344
  şm 58
392
- kar 58
393
- ulu 58
394
- �la 57
395
- rm 57
396
- us 57
397
- be 57
398
- şl 57
399
- _i� 57
400
- �o 56
345
+ ill 57
346
+ rul 57
347
+ yo 57
348
+ za 57
349
+ tl 57
350
+ _mi 57
351
+ _i̇ 57
352
+ _en 57
353
+ ama 56
354
+ ca 56
355
+ işt 56
356
+ sin 56
357
+ ço 56
358
+ to 55
359
+ lle 55
360
+ _ar 55
361
+ oğ 55
362
+ ard 55
363
+ lam 55
364
+ ras 54
365
+ ük_ 54
366
+ yük 54
367
+ _ko 54
368
+ ada 54
369
+ ıs 54
370
+ ilm 54
371
+ ım 53
372
+ se_ 53
373
+ _ad 53
374
+ olu 53
375
+ yan 53
376
+ mak 53
377
+ mil 53
378
+ dı_ 52
379
+ kla 52
380
+ lke 51
381
+ _gü 51
382
+ ek_ 51
383
+ tur 51
384
+ so 51
385
+ nc 51
386
+ lma 51
387
+ lla 51
388
+ üm 51
389
+ eş 50
390
+ _is 50
391
+ _so 50
392
+ ra_ 50
393
+ gör 50
394
+ ıla 49
395
+ ari 49
396
+ nü 49
397
+ bul 49
398
+ ur_ 49
399
+ mas 49
400
+ ede 49