scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 10796
2
- 2788
3
- n 2370
4
- 2042
5
- 2040
6
- h 1583
7
- 1430
8
- t 1337
9
- c 1281
10
- i 1097
11
- _t 949
12
- g 880
13
- 776
14
- ng 751
15
- 748
16
- _n 727
17
- n_ 713
18
- _c 704
19
- a 656
20
- 606
21
- g_ 606
22
- ng_ 605
23
- 586
24
- v 531
25
- _v 521
26
- c_ 504
27
- m 497
28
- u 470
29
- đ 459
30
- 459
31
- 459
32
- _� 459
33
- nh 457
34
- h� 456
35
- i� 446
36
- 427
37
- i_ 427
38
- 421
39
- à 418
40
- i� 397
41
- o 383
42
- h� 372
43
- m_ 359
44
- 338
45
- t_ 337
46
- ư 336
47
- r 330
48
- h� 330
49
- h_ 328
50
- _h 316
51
- th 294
52
- _th 293
53
- l 281
54
- �� 280
55
- 280
56
- 280
57
- nh_ 275
58
- ch 267
59
- _t� 266
60
- t� 266
61
- _l 260
62
- đ� 257
63
- �� 257
64
- 254
65
- �� 253
66
- �� 253
67
- ư� 253
68
- a_ 251
69
- p 243
70
- tr 241
71
- á 240
72
- _tr 239
73
- �_ 236
74
- à_ 236
75
- 224
76
- _ch 216
77
- c� 212
78
- 211
79
- _c� 211
80
- y 209
81
- 205
82
- 205
83
- �� 205
84
- 203
85
- s 203
86
- 203
87
- �� 203
88
- na 200
89
- k 200
90
- _k 197
91
- b 193
92
- d 192
93
- vi 188
94
- 187
95
- _na 187
96
- ế 187
97
- �� 187
98
- _vi 186
99
- v� 186
100
- _v� 186
101
- _nh 182
102
- c� 182
103
- _c� 182
104
- am 178
105
- _b 177
106
- o_ 176
107
- am_ 176
108
- nam 173
109
- u_ 172
110
- 169
111
- _s 164
112
- 162
113
- �� 162
114
- t� 161
115
- 159
116
- vi� 159
117
- �� 159
118
- _d 159
119
- 159
120
- ��t 155
121
- �t_ 155
122
- �t 155
123
- 154
124
- hi 152
125
- 147
126
- �� 147
127
- _ng 143
128
- e 142
129
- 142
130
- q 137
131
- �c 137
132
- qu 137
133
- _q 137
134
- _qu 137
135
- ác 135
136
- �� 134
137
- y_ 132
138
- c� 129
139
- h� 126
140
- �� 125
141
- 125
142
- �c_ 124
143
- ó 124
144
- _g 124
145
- �� 123
146
- _m 122
147
- _p 121
148
- 120
149
- 119
150
- �� 119
151
- p_ 119
152
- _l� 119
153
- l� 119
154
- _h� 119
155
- u� 117
156
- í 115
157
- ă 114
158
- th� 114
159
- v� 113
160
- _v� 113
161
- _ph 112
162
- ph 112
163
- �_ 112
164
- hi� 112
165
- 109
166
- 109
167
- â 109
168
- ê 109
169
- 108
170
- v� 106
171
- t� 105
172
- �� 101
173
- 101
174
- ên 101
175
- �n 101
176
- 101
177
- s� 100
178
- _s� 100
179
- �n 99
180
- kh 99
181
- _kh 99
182
- �n_ 97
183
- 97
184
- ó_ 96
185
- àn 94
186
- �n 94
187
- �i_ 93
188
- �m_ 93
189
- �m 93
190
- �� 93
191
- ��i 93
192
- 93
193
- �i 93
194
- �a 92
195
- �n 92
196
- b� 92
197
- ��a 92
198
- _b� 92
199
- an 92
200
- �a_ 92
201
- ơ 91
202
- 90
203
- 89
204
- 89
205
- �� 89
206
- 89
207
- 88
208
- 88
209
- �� 87
210
- đ� 87
211
- 86
212
- �� 86
213
- �n_ 85
214
- �n 85
215
- ��n 85
216
- ô 84
217
- 84
218
- �n 83
219
- uy 83
220
- ăm 83
221
- ch� 83
222
- 82
223
- gi 82
224
- �� 82
225
- 82
226
- ch� 82
227
- 81
228
- s� 81
229
- 81
230
- n� 81
231
- _n� 81
232
- _l� 80
233
- _h� 80
234
- l� 80
235
- _gi 80
236
- 80
237
- on 79
238
- ��_ 78
239
- nh� 78
240
- �_ 78
241
- h� 77
242
- �i_ 77
243
- �i 77
244
- �n 76
245
- ôn 76
246
- th� 76
247
- ��n 75
248
- u� 74
249
- 73
250
- �n 73
251
- �n_ 73
252
- �� 73
253
- ân 73
254
- ��c 72
255
- �c 72
256
- �c_ 72
257
- i� 71
258
- ��i 70
259
- ã 68
260
- �� 67
261
- in 67
262
- 67
263
- �� 66
264
- đ� 66
265
- �_ 66
266
- qu� 66
267
- 66
268
- ín 65
269
- ��n 65
270
- �n 65
271
- �nh 65
272
- �n_ 64
273
- ho 64
274
- �ng 64
275
- �nh 64
276
- ��_ 63
277
- �_ 63
278
- ong 62
279
- �� 62
280
- 62
281
- �_ 62
282
- ��_ 62
283
- �n 61
284
- �ư 61
285
- ph� 60
286
- y� 60
287
- _n� 60
288
- �_ 60
289
- ��n 60
290
- �n 60
291
- n� 60
292
- 59
293
- ro 58
294
- 58
295
- �i 57
296
- �i_ 57
297
- ��i 57
298
- �n_ 57
299
- 56
300
- 56
301
- �� 56
302
- m� 55
303
- 55
304
- b� 55
305
- �� 55
306
- _m� 55
307
- _� 54
308
- ron 54
309
- tro 54
310
- 53
311
- �� 53
312
- �t 53
313
- uy� 53
314
- _d� 53
315
- �t_ 53
316
- c� 53
317
- d� 53
318
- _c� 52
319
- c� 52
320
- �i_ 52
321
- ã_ 52
322
- �ng 52
323
- ��i 52
324
- �i 52
325
- 51
326
- �n_ 51
327
- ch_ 51
328
- ��t 51
329
- x 50
330
- 50
331
- �c 50
332
- �� 50
333
- �c_ 50
334
- o� 50
335
- o� 50
336
- ��c 50
337
- t� 49
338
- i� 49
339
- r� 49
340
- _hi 49
341
- l� 49
342
- �ng 49
343
- _t� 49
344
- �c_ 48
345
- �n 48
346
- �c 48
347
- ��c 48
348
- _� 47
349
- 47
350
- m� 47
351
- an_ 47
352
- inh 46
353
- ��_ 46
354
- 46
355
- �_ 46
356
- ơ_ 46
357
- _x 46
358
- �� 46
359
- �c_ 45
360
- �c 45
361
- �ng 45
362
- 45
363
- ��c 45
364
- 45
365
- hu 45
366
- he 43
367
- ơn 43
368
- u� 43
369
- g� 43
370
- �_ 43
371
- _mi 42
372
- mi 42
373
- _k� 42
374
- k� 42
375
- ua 42
376
- ��_ 42
377
- �_ 42
378
- 42
379
- qua 42
380
- r� 41
381
- ��_ 40
382
- _d� 40
383
- �_ 40
384
- r� 40
385
- tr� 40
386
- the 40
387
- d� 40
388
- �o_ 39
389
- ti 39
390
- �u 39
391
- �i 39
392
- �u_ 39
393
- ng� 39
394
- ��n 39
395
- �o 39
396
- ��u 39
397
- ù 39
398
- ��n 39
399
- �n 39
400
- b� 38
1
+ _ 12634
2
+ n 2771
3
+ h 1840
4
+ t 1558
5
+ c 1468
6
+ i 1263
7
+ _t 1100
8
+ g 1047
9
+ ng 883
10
+ _n 858
11
+ n_ 823
12
+ _c 806
13
+ a 767
14
+ g_ 707
15
+ ng_ 705
16
+ m 608
17
+ v 608
18
+ _v 595
19
+ c_ 577
20
+ u 554
21
+ nh 553
22
+ 538
23
+ đ 538
24
+ i_ 504
25
+ à 488
26
+ o 444
27
+ m_ 420
28
+ ư 394
29
+ t_ 392
30
+ h_ 386
31
+ r 376
32
+ _h 348
33
+ th 346
34
+ _th 345
35
+ nh_ 327
36
+ l 322
37
+ 313
38
+ p 306
39
+ ch 299
40
+ _l 295
41
+ a_ 293
42
+ á 289
43
+ iệ 276
44
+ à_ 274
45
+ tr 266
46
+ _tr 262
47
+ d 262
48
+ y 247
49
+ _ch 242
50
+ s 238
51
+ 235
52
+ 235
53
+ b 234
54
+ k 228
55
+ _nh 226
56
+ na 223
57
+ vi 216
58
+ _vi 214
59
+ _k 212
60
+ o_ 212
61
+ _b 211
62
+ ế 209
63
+ _na 209
64
+ u_ 204
65
+ am 201
66
+ am_ 199
67
+ _d 197
68
+ nam 194
69
+ _s 190
70
+ e 184
71
+ 182
72
+ việ 180
73
+ ệt_ 178
74
+ ệt 178
75
+ 178
76
+ iệt 177
77
+ 176
78
+ _ng 175
79
+ _và 173
80
+ 173
81
+ _m 168
82
+ hi 167
83
+ y_ 161
84
+ qu 161
85
+ q 161
86
+ _qu 161
87
+ _q 161
88
+ ác 159
89
+ _g 157
90
+ p_ 150
91
+ 150
92
+ và_ 147
93
+ ác_ 145
94
+ _p 145
95
+ ó 142
96
+ â 138
97
+ 133
98
+ ph 131
99
+ _ph 131
100
+ ă 130
101
+ í 129
102
+ _cá 125
103
+ 125
104
+ ê 125
105
+ các 119
106
+ 119
107
+ ướ 116
108
+ _kh 115
109
+ kh 115
110
+ àn 115
111
+ ên 111
112
+ ới_ 110
113
+ ới 110
114
+ 110
115
+ an 107
116
+ ên_ 106
117
+ ó_ 106
118
+ ô 105
119
+ 105
120
+ củ 103
121
+ _củ 103
122
+ của 102
123
+ ủa_ 102
124
+ ủa 102
125
+ ơ 100
126
+ gi 99
127
+ 99
128
+ _là 98
129
+ 98
130
+ _gi 97
131
+ ôn 96
132
+ ăm 95
133
+ ăm_ 95
134
+ ân 94
135
+ 94
136
+ ân_ 93
137
+ 93
138
+ 92
139
+ 92
140
+ _nă 92
141
+ uy 90
142
+ năm 90
143
+ ền_ 89
144
+ ền 89
145
+ ườ 89
146
+ là_ 88
147
+ ế_ 88
148
+ 87
149
+ có_ 87
150
+ on 86
151
+ _có 86
152
+ ớc 85
153
+ ớc_ 85
154
+ ước 85
155
+ 85
156
+ 84
157
+ iề 83
158
+ ản 82
159
+ 80
160
+ 79
161
+ in 78
162
+ ại_ 76
163
+ ành 76
164
+ ông 76
165
+ ại 76
166
+ ã 76
167
+ hàn 74
168
+ ính 72
169
+ ho 72
170
+ ín 72
171
+ ở_ 71
172
+ chí 70
173
+ 70
174
+ ến 69
175
+ ượ 69
176
+ 68
177
+ 68
178
+ _vớ 68
179
+ hủ 68
180
+ với 68
181
+ nướ 68
182
+ 68
183
+ _nư 68
184
+ vớ 68
185
+ ội 67
186
+ đư 67
187
+ _đư 67
188
+ ời 67
189
+ ến_ 67
190
+ ong 67
191
+ ội_ 67
192
+ ời_ 67
193
+ uố 65
194
+ ủ_ 65
195
+ hủ_ 64
196
+ 63
197
+ ro 63
198
+ x 63
199
+ 63
200
+ tế 62
201
+ tế_ 62
202
+ ện 62
203
+ _tế 62
204
+ ốc 61
205
+ ốc_ 61
206
+ hiệ 60
207
+ ất 59
208
+ ện_ 59
209
+ ron 59
210
+ tro 59
211
+ ất_ 59
212
+ ã_ 59
213
+ uốc 58
214
+ quố 58
215
+ ố_ 58
216
+ _x 57
217
+ ch_ 57
218
+ 56
219
+ _dâ 56
220
+ hín 56
221
+ iện 55
222
+ dân 53
223
+ an_ 53
224
+ ì 52
225
+ iế 52
226
+ inh 52
227
+ _hi 51
228
+ ư_ 50
229
+ 50
230
+ 50
231
+ 50
232
+ he 50
233
+ hu 50
234
+ ngư 50
235
+ ược 49
236
+ ơn 49
237
+ ững 49
238
+ hộ 49
239
+ _hộ 49
240
+ iên 49
241
+ ữn 49
242
+ hữ 49
243
+ ười 49
244
+ gườ 49
245
+ ợc_ 49
246
+ ợc 49
247
+ ều 48
248
+ hội 48
249
+ ều_ 48
250
+ ộc_ 48
251
+ hữn 48
252
+ iể 48
253
+ nhữ 48
254
+ _cơ 48
255
+ 48
256
+ ộc 48
257
+ cơ_ 47
258
+ ơ_ 47
259
+ qua 47
260
+ _ở 47
261
+ _ở_ 47
262
+ ua 47
263
+ the 47
264
+ nhi 47
265
+ ức_ 46
266
+ ừ_ 46
267
+ ti 46
268
+ ức 46
269
+ từ 46
270
+ _từ 46
271
+ từ_ 45
272
+ hứ 45
273
+ _số 45
274
+ số 45
275
+ ao_ 44
276
+ _ 44
277
+ _r 44
278
+ _hà 44
279
+ ao 44
280
+ ộn 43
281
+ ò 43
282
+ iền 43
283
+ uan 43
284
+ ù 43
285
+ mi 43
286
+ _mi 43
287
+ đượ 43
288
+ gh 42
289
+ hấ 42
290
+ ộng 42
291
+ ru 42
292
+ ần 41
293
+ số_ 41
294
+ _ki 41
295
+ ộ_ 41
296
+ ảng 41
297
+ ki 41
298
+ ờn 40
299
+ ườn 40
300
+ ờng 40
301
+ tru 40
302
+ ớn 39
303
+ ực_ 39
304
+ ực 39
305
+ ia 39
306
+ án 39
307
+ ầu_ 39
308
+ 39
309
+ trư 39
310
+ ốn 39
311
+ ay 39
312
+ tổ 39
313
+ _tổ 39
314
+ ầu 39
315
+ như 38
316
+ ú 38
317
+ 38
318
+ 38
319
+ ay_ 38
320
+ thà 38
321
+ ri 38
322
+ ần_ 38
323
+ hố 37
324
+ ngh 37
325
+ iều 37
326
+ tạ 37
327
+ ùn 37
328
+ _tạ 37
329
+ ề_ 37
330
+ ổ_ 37
331
+ ùng 37
332
+ _đạ 37
333
+ đạ 37
334
+ _ti 36
335
+ ột_ 36
336
+ hức 36
337
+ ột 36
338
+ _độ 36
339
+ eo 36
340
+ mộ 36
341
+ _mộ 36
342
+ ị_ 36
343
+ ìn 36
344
+ độ 36
345
+ miề 35
346
+ đã_ 35
347
+ eo_ 35
348
+ một 35
349
+ _đã 35
350
+ 35
351
+ đã 35
352
+ ha 35
353
+ heo 35
354
+ ăn 35
355
+ chủ 34
356
+ ngà 33
357
+ ập 33
358
+ ển_ 33
359
+ ển 33
360
+ ài_ 33
361
+ 33
362
+ 33
363
+ ài 33
364
+ ập_ 33
365
+ ca 33
366
+ hôn 33
367
+ đầ 32
368
+ _đầ 32
369
+ bi 32
370
+ _ca 32
371
+ ra 32
372
+ hậ 32
373
+ đế 32
374
+ ấp_ 32
375
+ hư_ 32
376
+ ấp 32
377
+ kin 32
378
+ 32
379
+ _đế 32
380
+ ống 32
381
+ ươ 31
382
+ ình 31
383
+ _bi 31
384
+ _tư 31
385
+ ơng 31
386
+ ạn 31
387
+ đến 31
388
+ ản_ 31
389
+ đầu 31
390
+ 31
391
+ hà_ 31
392
+ ươn 31
393
+ yề 30
394
+ yền 30
395
+ un 30
396
+ vùn 30
397
+ 30
398
+ ịc 30
399
+ _vù 30
400
+ hiế 30