scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -0,0 +1,400 @@
1
+ _ 3048
2
+ า 2217
3
+ น 1791
4
+ ร 1709
5
+ ก 1289
6
+ ่ 1205
7
+ ง 1140
8
+ อ 1117
9
+ เ 1085
10
+ ม 1082
11
+ ั 1052
12
+ ท 962
13
+ ย 959
14
+ ้ 860
15
+ ล 740
16
+ ะ 712
17
+ ป 706
18
+ ี 704
19
+ ต 665
20
+ ว 620
21
+ ส 613
22
+ ด 591
23
+ ิ 560
24
+ บ 537
25
+ แ 478
26
+ ค 458
27
+ ไ 443
28
+ ห 429
29
+ จ 384
30
+ าร 374
31
+ ช 371
32
+ ศ 369
33
+ ระ 347
34
+ ใ 347
35
+ ื 344
36
+ ข 343
37
+ พ 334
38
+ อง 323
39
+ กา 315
40
+ การ 282
41
+ ปร 271
42
+ ็ 257
43
+ ประ 254
44
+ น_ 243
45
+ ุ 242
46
+ ำ 232
47
+ ทย 229
48
+ ่า 226
49
+ ี่ 221
50
+ ละ 220
51
+ ไท 216
52
+ แล 216
53
+ ไทย 216
54
+ เป 212
55
+ ใน 212
56
+ ะเ 208
57
+ ที 207
58
+ ่อ 206
59
+ และ 203
60
+ าก 203
61
+ ็น 200
62
+ ที่ 199
63
+ ู 198
64
+ เป็ 194
65
+ ป็ 194
66
+ เท 194
67
+ ป็น 194
68
+ ้า 192
69
+ ์ 190
70
+ าง 181
71
+ ับ 180
72
+ ่ง 178
73
+ มี 174
74
+ โ 173
75
+ ึ 173
76
+ าม 170
77
+ มา 166
78
+ ัน 162
79
+ ระเ 160
80
+ ทศ 158
81
+ ด้ 157
82
+ ะเท 156
83
+ ขอ 155
84
+ เทศ 155
85
+ ของ 154
86
+ ือ 152
87
+ ษ 149
88
+ _แ 148
89
+ าน 146
90
+ ภ 144
91
+ รั 144
92
+ ้น 143
93
+ กร 142
94
+ ถ 138
95
+ _เ 138
96
+ าย 136
97
+ า_ 135
98
+ ได 124
99
+ ได้ 124
100
+ ต่ 123
101
+ อย 123
102
+ ธ 123
103
+ ื่ 120
104
+ รา 119
105
+ ย_ 118
106
+ ัก 116
107
+ ง_ 115
108
+ งเ 114
109
+ ภา 112
110
+ ั้ 111
111
+ ื่อ 107
112
+ ชา 107
113
+ _แล 106
114
+ นา 105
115
+ นต 105
116
+ ณ 101
117
+ ติ 101
118
+ ัง 100
119
+ _ส 100
120
+ รร 98
121
+ ตร 98
122
+ ว่ 93
123
+ ว่า 93
124
+ ศไ 92
125
+ ่าง 92
126
+ ทศไ 92
127
+ ผ 92
128
+ นั 91
129
+ นป 91
130
+ นเ 90
131
+ จา 90
132
+ ญ 89
133
+ ศไท 88
134
+ _พ 88
135
+ เม 87
136
+ ้อ 87
137
+ กั 86
138
+ นท 86
139
+ _ป 86
140
+ ่ว 85
141
+ ้ง 85
142
+ จาก 84
143
+ วั 84
144
+ หน 84
145
+ _ก 82
146
+ คร 82
147
+ าว 81
148
+ ม_ 80
149
+ ศ_ 80
150
+ ี_ 79
151
+ ซ 79
152
+ ีย 79
153
+ อน 79
154
+ ลา 79
155
+ ่น 78
156
+ ั้ง 77
157
+ ่_ 77
158
+ ยน 75
159
+ งก 74
160
+ เร 73
161
+ อก 73
162
+ ฐ 73
163
+ อา 72
164
+ _ศ 71
165
+ หล 71
166
+ าค 70
167
+ หา 70
168
+ นก 70
169
+ พ_ 69
170
+ ให 69
171
+ รม 69
172
+ มื 68
173
+ งป 68
174
+ ริ 68
175
+ ยม 67
176
+ วน 67
177
+ น้ 67
178
+ ก_ 66
179
+ เข 66
180
+ ปี 66
181
+ ึ่ 65
182
+ ัย 65
183
+ ลั 65
184
+ นอ 65
185
+ เมื 65
186
+ ึ่ง 65
187
+ ่ม 64
188
+ ส่ 64
189
+ โด 62
190
+ ะ_ 62
191
+ _พ_ 61
192
+ ทั 61
193
+ าต 61
194
+ _ม 61
195
+ ดย 61
196
+ _ศ_ 61
197
+ ข้ 61
198
+ โดย 61
199
+ รเ 61
200
+ าจ 61
201
+ ทย_ 60
202
+ นปร 59
203
+ _ปร 59
204
+ ยา 59
205
+ ะก 58
206
+ าช 58
207
+ จั 58
208
+ กษ 57
209
+ สม 57
210
+ งไ 57
211
+ งแ 56
212
+ ซึ่ 56
213
+ ยเ 56
214
+ ู่ 56
215
+ ซึ 56
216
+ รี 55
217
+ สา 55
218
+ รรม 55
219
+ ารเ 55
220
+ าส 55
221
+ กิ 54
222
+ าเ 54
223
+ ีก 54
224
+ แต 54
225
+ _ใ 54
226
+ มั 54
227
+ _ค 54
228
+ งค 54
229
+ ละ_ 53
230
+ คม 53
231
+ ษา 53
232
+ เล 53
233
+ ข้า 52
234
+ วา 52
235
+ ทา 52
236
+ ต้ 52
237
+ กล 52
238
+ ช่ 52
239
+ เช 52
240
+ รับ 52
241
+ ในป 51
242
+ _ไ 51
243
+ แต่ 51
244
+ สำ 51
245
+ งท 50
246
+ นร 50
247
+ ร์ 50
248
+ ้ว 50
249
+ นที 50
250
+ ้เ 49
251
+ บร 49
252
+ _โ 49
253
+ งปร 49
254
+ ทาง 48
255
+ _ห 48
256
+ ร_ 48
257
+ ้น_ 48
258
+ บา 48
259
+ _ใน 48
260
+ กับ 47
261
+ สั 47
262
+ ัด 47
263
+ _อ 47
264
+ บั 47
265
+ ่อง 47
266
+ ึง 47
267
+ ิน 47
268
+ ห้ 47
269
+ นตร 47
270
+ ล่ 46
271
+ ตา 46
272
+ งส 46
273
+ ปี_ 46
274
+ ำน 46
275
+ ี่_ 46
276
+ _โด 45
277
+ าท 45
278
+ ่ส 45
279
+ ิด 45
280
+ เข้ 45
281
+ _ร 45
282
+ ์_ 45
283
+ รอ 45
284
+ แห 45
285
+ ต่อ 44
286
+ ส่ว 44
287
+ ่วน 44
288
+ รื 44
289
+ ัต 44
290
+ อั 44
291
+ _กา 44
292
+ งม 43
293
+ ให้ 43
294
+ ตั 43
295
+ าติ 43
296
+ ยู 42
297
+ ้าน 42
298
+ ะม 42
299
+ วัน 42
300
+ ภาค 42
301
+ ย่ 42
302
+ _น 42
303
+ _ต 42
304
+ ัฐ 42
305
+ คว 42
306
+ รัฐ 42
307
+ ชาต 42
308
+ ย่า 42
309
+ อยู 41
310
+ ล้ 41
311
+ ยู่ 41
312
+ สื 41
313
+ นแ 41
314
+ ตาม 41
315
+ าพ 41
316
+ อย่ 41
317
+ ม่ 40
318
+ ยมี 40
319
+ นส 40
320
+ วง 40
321
+ วาม 40
322
+ สุ 40
323
+ ควา 40
324
+ ่ย 40
325
+ อ_ 40
326
+ ู้ 39
327
+ มก 39
328
+ น้า 39
329
+ หน้ 39
330
+ นว 39
331
+ ยก 39
332
+ ช้ 38
333
+ _ท 38
334
+ เด 38
335
+ กเ 38
336
+ ราช 38
337
+ มน 38
338
+ _ซ 38
339
+ นช 38
340
+ อเ 38
341
+ ัญ 38
342
+ นธ 38
343
+ _ซึ 38
344
+ ิจ 38
345
+ ่น_ 37
346
+ ดั 37
347
+ อม 37
348
+ วม 37
349
+ ใช 37
350
+ ะว 37
351
+ ี่ส 37
352
+ โล 37
353
+ ี่ย 37
354
+ นค 37
355
+ นใ 36
356
+ มีก 36
357
+ สิ 36
358
+ _มี 36
359
+ อง_ 36
360
+ หาร 36
361
+ าณ 36
362
+ ทำ 36
363
+ ตร์ 36
364
+ งร 36
365
+ ะวั 36
366
+ สมั 35
367
+ พื 35
368
+ คน 35
369
+ ่า_ 35
370
+ ามา 35
371
+ ใช้ 35
372
+ บค 35
373
+ ชน 35
374
+ ื้ 35
375
+ กว 35
376
+ ้า_ 35
377
+ องเ 35
378
+ มื่ 35
379
+ งห 35
380
+ ค้ 35
381
+ าล 34
382
+ ภาพ 34
383
+ นิ 34
384
+ กอ 34
385
+ ก่ 34
386
+ รว 34
387
+ _ได 34
388
+ ธิ 34
389
+ มเ 34
390
+ ิต 34
391
+ ือง 34
392
+ เก 34
393
+ ุด 34
394
+ พร 34
395
+ ยั 34
396
+ ิ่ 34
397
+ ถึ 34
398
+ ั้น 34
399
+ ถึง 34
400
+ มาก 34
@@ -0,0 +1,400 @@
1
+ _ 12982
2
+ a 4456
3
+ e 3736
4
+ i 3575
5
+ r 3059
6
+ l 2999
7
+ n 2935
8
+ k 2103
9
+ ı 1918
10
+ t 1851
11
+ d 1729
12
+ m 1382
13
+ y 1310
14
+ u 1245
15
+ s 1164
16
+ ü 1149
17
+ e_ 1135
18
+ n_ 968
19
+ o 875
20
+ b 822
21
+ r_ 756
22
+ ar 751
23
+ a_ 721
24
+ i_ 717
25
+ la 711
26
+ an 697
27
+ ş 674
28
+ _b 619
29
+ _d 607
30
+ er 603
31
+ le 598
32
+ in 566
33
+ _t 547
34
+ k_ 539
35
+ ı_ 514
36
+ da 503
37
+ _k 491
38
+ v 484
39
+ de 477
40
+ ın 463
41
+ _a 463
42
+ il 461
43
+ g 448
44
+ _y 421
45
+ ir 420
46
+ _i 411
47
+ en 405
48
+ nd 394
49
+ ra 383
50
+ ri 383
51
+ ür 380
52
+ ye 360
53
+ z 357
54
+ li 354
55
+ ç 353
56
+ tü 349
57
+ h 348
58
+ ğ 344
59
+ ya 342
60
+ _s 339
61
+ lar 328
62
+ rk 327
63
+ ki 326
64
+ ta 320
65
+ tür 314
66
+ ni 312
67
+ al 312
68
+ _o 311
69
+ ti 308
70
+ ö 307
71
+ _g 306
72
+ p 306
73
+ ler 304
74
+ ve 300
75
+ _v 300
76
+ iy 295
77
+ et 293
78
+ ak 289
79
+ an_ 288
80
+ c 285
81
+ ma 284
82
+ _tü 282
83
+ ol 275
84
+ ürk 274
85
+ da_ 273
86
+ ka 271
87
+ _ve 271
88
+ bi 262
89
+ ir_ 259
90
+ el 249
91
+ ay 248
92
+ di 246
93
+ ve_ 245
94
+ in_ 244
95
+ _e 242
96
+ ara 238
97
+ me 237
98
+ f 235
99
+ _m 232
100
+ as 230
101
+ ur 228
102
+ ek 228
103
+ eri 226
104
+ re 226
105
+ ıl 226
106
+ ne 223
107
+ de_ 223
108
+ rı 222
109
+ iye 221
110
+ ır 216
111
+ lı 213
112
+ si 213
113
+ mi 212
114
+ nı 212
115
+ nda 210
116
+ dı 209
117
+ _bi 205
118
+ _n 203
119
+ na 200
120
+ ba 200
121
+ ye_ 199
122
+ te 199
123
+ u_ 197
124
+ _de 197
125
+ sı 195
126
+ ul 195
127
+ en_ 193
128
+ _ol 192
129
+ ad 191
130
+ ik 189
131
+ kl 187
132
+ at 184
133
+ sa 183
134
+ şt 182
135
+ ınd 180
136
+ lan 176
137
+ tı 176
138
+ ke 176
139
+ l_ 175
140
+ arı 175
141
+ aş 171
142
+ lm 169
143
+ _ka 164
144
+ yı 164
145
+ un 160
146
+ bir 157
147
+ ge 157
148
+ _ba 155
149
+ ll 154
150
+ kiy 154
151
+ _da 151
152
+ rki 151
153
+ es 150
154
+ _h 150
155
+ _ya 149
156
+ ır_ 148
157
+ _il 145
158
+ er_ 144
159
+ nl 143
160
+ or 143
161
+ ün 142
162
+ m_ 141
163
+ ın_ 140
164
+ lu 140
165
+ am 138
166
+ ha 138
167
+ on 137
168
+ is 136
169
+ se 136
170
+ ası 136
171
+ nin 135
172
+ iş 135
173
+ im 134
174
+ ış 134
175
+ nde 132
176
+ bu 131
177
+ rd 130
178
+ ru 129
179
+ em 129
180
+ _ta 127
181
+ eti 126
182
+ ku 124
183
+ ile 122
184
+ _ge 122
185
+ lk 121
186
+ ed 120
187
+ _ü 120
188
+ t_ 119
189
+ _sa 117
190
+ ak_ 117
191
+ kt 117
192
+ rl 116
193
+ ola 115
194
+ le_ 114
195
+ mı 114
196
+ ld 114
197
+ _bu 113
198
+ _ku 112
199
+ _ç 111
200
+ ri_ 110
201
+ dir 109
202
+ rin 108
203
+ ar_ 105
204
+ ül 105
205
+ _f 100
206
+ ş_ 99
207
+ yıl 97
208
+ esi 97
209
+ ind 97
210
+ st 96
211
+ ği 95
212
+ tir 94
213
+ ini 94
214
+ rak 94
215
+ ön 93
216
+ _ha 93
217
+ it 92
218
+ mu 92
219
+ dır 91
220
+ eni 91
221
+ rt 90
222
+ ana 90
223
+ ık 90
224
+ ala 90
225
+ du 90
226
+ den 89
227
+ yü 88
228
+ _ni 87
229
+ ını 87
230
+ ne_ 87
231
+ _di 87
232
+ ük 86
233
+ ni_ 86
234
+ rın 86
235
+ _gö 85
236
+ adı 85
237
+ ev 85
238
+ gö 85
239
+ ele 84
240
+ rk_ 84
241
+ aya 83
242
+ anı 83
243
+ uru 83
244
+ uş 83
245
+ nın 83
246
+ nı_ 82
247
+ az 82
248
+ _ö 81
249
+ dan 81
250
+ baş 81
251
+ sın 81
252
+ _yı 81
253
+ mış 81
254
+ iğ 80
255
+ _ye 80
256
+ li_ 80
257
+ um 79
258
+ ya_ 79
259
+ _c 79
260
+ fa 79
261
+ çe 79
262
+ ili 78
263
+ _al 78
264
+ ko 78
265
+ ik_ 78
266
+ kle 78
267
+ ok 77
268
+ sı_ 77
269
+ ey 77
270
+ kı 77
271
+ gü 77
272
+ tar 76
273
+ ki_ 76
274
+ ü_ 76
275
+ tır 75
276
+ ğı 75
277
+ üz 75
278
+ ılı 75
279
+ ağ 75
280
+ ör 75
281
+ ştı 74
282
+ si_ 74
283
+ nu 74
284
+ nm 73
285
+ na_ 73
286
+ lik 72
287
+ _an 71
288
+ ere 71
289
+ dü 71
290
+ kur 70
291
+ ml 70
292
+ öne 70
293
+ _p 70
294
+ şı 69
295
+ lü 69
296
+ lı_ 69
297
+ ine 69
298
+ _or 68
299
+ af 68
300
+ şti 68
301
+ çi 68
302
+ bü 68
303
+ üy 68
304
+ eli 68
305
+ ah 68
306
+ tu 67
307
+ cu 67
308
+ yl 67
309
+ ğu 66
310
+ ze 66
311
+ yet 66
312
+ lt 66
313
+ edi 66
314
+ nla 65
315
+ _te 65
316
+ re_ 65
317
+ rı_ 65
318
+ pa 65
319
+ va 64
320
+ miş 64
321
+ mü 64
322
+ hi 64
323
+ ayı 64
324
+ let 63
325
+ be 63
326
+ do 63
327
+ _u 62
328
+ ill 61
329
+ iği 61
330
+ _me 61
331
+ ışt 61
332
+ kar 61
333
+ _mi 60
334
+ şm 60
335
+ to 60
336
+ anl 59
337
+ ap 59
338
+ ulu 59
339
+ ti_ 59
340
+ yo 59
341
+ ras 59
342
+ tl 59
343
+ şl 59
344
+ lle 58
345
+ _en 58
346
+ rm 58
347
+ gi 58
348
+ i̇ 57
349
+ us 57
350
+ mil 57
351
+ ço 57
352
+ ̇ 57
353
+ so 57
354
+ _bü 57
355
+ z_ 57
356
+ _i̇ 56
357
+ ca 56
358
+ za 56
359
+ rul 56
360
+ ard 55
361
+ ama 55
362
+ _so 55
363
+ _ar 55
364
+ işt 55
365
+ _ko 55
366
+ yan 54
367
+ ada 54
368
+ ilm 54
369
+ ıs 54
370
+ oğ 54
371
+ olu 53
372
+ nc 53
373
+ _ad 53
374
+ kla 52
375
+ tur 52
376
+ lam 52
377
+ mak 52
378
+ ük_ 52
379
+ se_ 52
380
+ dı_ 52
381
+ sin 52
382
+ lke 51
383
+ ım 51
384
+ mas 51
385
+ lla 51
386
+ yük 51
387
+ _gü 51
388
+ gör 51
389
+ ek_ 50
390
+ eş 50
391
+ lma 50
392
+ im_ 50
393
+ rü 50
394
+ ur_ 50
395
+ _is 50
396
+ ede 50
397
+ şa 50
398
+ akt 49
399
+ bul 49
400
+ ra_ 49