scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- _ 10796
2
- 2788
3
- n 2370
4
- 2042
5
- 2040
6
- h 1583
7
- 1430
8
- t 1337
9
- c 1281
10
- i 1097
11
- _t 949
12
- g 880
13
- 776
14
- ng 751
15
- 748
16
- _n 727
17
- n_ 713
18
- _c 704
19
- a 656
20
- 606
21
- g_ 606
22
- ng_ 605
23
- 586
24
- v 531
25
- _v 521
26
- c_ 504
27
- m 497
28
- u 470
29
- đ 459
30
- 459
31
- 459
32
- _� 459
33
- nh 457
34
- h� 456
35
- i� 446
36
- 427
37
- i_ 427
38
- 421
39
- à 418
40
- i� 397
41
- o 383
42
- h� 372
43
- m_ 359
44
- 338
45
- t_ 337
46
- ư 336
47
- r 330
48
- h� 330
49
- h_ 328
50
- _h 316
51
- th 294
52
- _th 293
53
- l 281
54
- �� 280
55
- 280
56
- 280
57
- nh_ 275
58
- ch 267
59
- _t� 266
60
- t� 266
61
- _l 260
62
- đ� 257
63
- �� 257
64
- 254
65
- �� 253
66
- �� 253
67
- ư� 253
68
- a_ 251
69
- p 243
70
- tr 241
71
- á 240
72
- _tr 239
73
- �_ 236
74
- à_ 236
75
- 224
76
- _ch 216
77
- c� 212
78
- 211
79
- _c� 211
80
- y 209
81
- ộ 205
82
- � 205
83
- �� 205
84
- � 203
85
- s 203
86
- ớ 203
87
- �� 203
88
- na 200
89
- k 200
90
- _k 197
91
- b 193
92
- d 192
93
- vi 188
94
- � 187
95
- _na 187
96
- ế 187
97
- �� 187
98
- _vi 186
99
- v� 186
100
- _v� 186
101
- _nh 182
102
- c� 182
103
- _c� 182
104
- am 178
105
- _b 177
106
- o_ 176
107
- am_ 176
108
- nam 173
109
- u_ 172
110
- � 169
111
- _s 164
112
- ủ 162
113
- �� 162
114
- t� 161
115
- ề 159
116
- vi� 159
117
- �� 159
118
- _d 159
119
- � 159
120
- ��t 155
121
- �t_ 155
122
- �t 155
1
+ _ 11190
2
+ n 2470
3
+ h 1626
4
+ t 1373
5
+ c 1297
6
+ i 1123
7
+ _t 972
8
+ g 935
9
+ ng 789
10
+ _n 757
11
+ n_ 738
12
+ _c 714
13
+ a 684
14
+ g_ 631
15
+ ng_ 630
16
+ v 536
17
+ _v 526
18
+ m 514
19
+ c_ 509
20
+ u 494
21
+ 477
22
+ đ 477
23
+ nh 475
24
+ i_ 442
25
+ à 427
26
+ o 392
27
+ m_ 372
28
+ ư 351
29
+ t_ 347
30
+ h_ 344
31
+ r 337
32
+ _h 325
33
+ th 299
34
+ _th 298
35
+ nh_ 290
36
+ l 289
37
+ 283
38
+ p 275
39
+ ch 271
40
+ _l 267
41
+ a_ 259
42
+ iệ 252
43
+ á 247
44
+ tr 244
45
+ à_ 242
46
+ _tr 242
47
+ d 230
48
+ _ch 219
49
+ s 218
50
+ y 213
51
+ 210
52
+ 209
53
+ k 204
54
+ na 203
55
+ _k 200
56
+ b 200
57
+ ế 192
58
+ vi 190
59
+ _na 190
60
+ _vi 188
61
+ _nh 185
62
+ _b 184
63
+ o_ 183
64
+ u_ 181
65
+ am 180
66
+ am_ 178
67
+ _d 177
68
+ nam 175
69
+ _s 175
70
+ 163
71
+ 161
72
+ 160
73
+ việ 160
74
+ ệt 157
75
+ ệt_ 157
76
+ _ng 156
77
+ iệt 156
78
+ _và 154
123
79
  và 154
124
80
  hi 152
125
- 147
126
- �� 147
127
- _ng 143
128
- e 142
129
- 142
130
- q 137
131
- �c 137
132
- qu 137
133
- _q 137
134
- _qu 137
81
+ e 150
82
+ _q 142
83
+ qu 142
84
+ q 142
85
+ _qu 142
86
+ p_ 140
87
+ _g 140
135
88
  ác 135
136
- �� 134
137
- y_ 132
138
- c� 129
139
- h� 126
140
- �� 125
141
- ạ 125
142
- �c_ 124
89
+ y_ 134
90
+ 132
91
+ và_ 131
92
+ _p 127
93
+ _m 126
143
94
  ó 124
144
- _g 124
145
- �� 123
146
- _m 122
147
- _p 121
148
- 120
149
- 119
150
- �� 119
151
- p_ 119
152
- _l� 119
153
- l� 119
154
- _h� 119
155
- u� 117
156
- í 115
157
- ă 114
158
- th� 114
159
- v� 113
160
- _v� 113
161
- _ph 112
162
- ph 112
163
- �_ 112
164
- hi� 112
165
- � 109
166
- � 109
167
- â 109
95
+ ác_ 124
96
+ â 124
97
+ ă 122
98
+ 120
99
+ í 119
100
+ _ph 113
101
+ ph 113
168
102
  ê 109
103
+ _cá 108
169
104
  cá 108
170
- v� 106
171
- t� 105
172
- �� 101
173
- 101
174
- ên 101
175
- �n 101
176
- 101
177
- s� 100
178
- _s� 100
179
- �n 99
180
- kh 99
181
- _kh 99
182
- �n_ 97
183
- � 97
105
+ 107
106
+ ướ 106
107
+ các 104
108
+ an 100
109
+ kh 100
110
+ _kh 100
111
+ ên 100
112
+ àn 97
113
+ ên_ 96
184
114
  ó_ 96
185
- àn 94
186
- �n 94
187
- �i_ 93
188
- �m_ 93
189
- �m 93
190
- �� 93
191
- ��i 93
192
- 93
193
- �i 93
194
- �a 92
195
- �n 92
196
- b� 92
197
- ��a 92
198
- _b� 92
199
- an 92
200
- �a_ 92
201
- ơ 91
115
+ ới_ 94
116
+ 94
117
+ ới 94
118
+ ủa_ 93
119
+ _củ 93
120
+ củ 93
121
+ của 93
122
+ ủa 93
123
+ ơ 93
124
+ 92
125
+ ăm_ 91
126
+ ăm 91
202
127
  hí 90
203
- � 89
204
- � 89
205
- �� 89
206
128
  ị 89
207
- 88
208
- 88
209
- �� 87
210
- đ� 87
129
+ 89
130
+ _nă 89
131
+ ân 88
132
+ ân_ 88
133
+ năm 87
134
+ ô 87
135
+ gi 86
211
136
  ự 86
212
- �� 86
213
- �n_ 85
214
- �n 85
215
- ��n 85
216
- ô 84
217
- � 84
218
- �n 83
137
+ ền_ 85
138
+ _là 85
139
+ ền 85
140
+ 85
141
+ _gi 84
219
142
  uy 83
220
- ăm 83
221
- ch� 83
222
- 82
223
- gi 82
224
- �� 82
225
- ở 82
226
- ch� 82
227
- nă 81
228
- s� 81
229
- là 81
230
- n� 81
231
- _n� 81
232
- _l� 80
233
- _h� 80
234
- l� 80
235
- _gi 80
143
+ 83
144
+ ườ 80
145
+ có_ 80
236
146
  có 80
147
+ ôn 79
148
+ _có 79
237
149
  on 79
238
- ��_ 78
239
- nh� 78
240
- �_ 78
241
- h� 77
242
- �i_ 77
243
- �i 77
244
- �n 76
245
- ôn 76
246
- th� 76
247
- ��n 75
248
- u� 74
249
- 73
250
- �n 73
251
- �n_ 73
252
- �� 73
253
- ân 73
254
- ��c 72
255
- �c 72
256
- �c_ 72
257
- i� 71
258
- ��i 70
150
+ ế_ 78
151
+ ớc 77
152
+ ước 77
153
+ ớc_ 77
154
+ ản 76
155
+ là_ 76
156
+ 76
157
+ iề 74
158
+ in 71
159
+ ại_ 70
160
+ 70
161
+ 70
162
+ ại 70
163
+ ín 68
164
+ ính 68
259
165
  ã 68
260
- �� 67
261
- in 67
262
- ợ 67
263
- �� 66
264
- đ� 66
265
- �_ 66
266
- qu� 66
166
+ ông 67
167
+ chí 67
267
168
  hư 66
268
- ín 65
269
- ��n 65
270
- �n 65
271
- �nh 65
272
- �n_ 64
273
- ho 64
274
- �ng 64
275
- �nh 64
276
- ��_ 63
277
- �_ 63
169
+ ến 66
170
+ ho 65
171
+ hủ 65
172
+ ến_ 65
173
+ ượ 65
174
+ ở_ 64
175
+ ành 64
176
+ hàn 62
177
+ _ 62
178
+ 62
278
179
  ong 62
279
- �� 62
280
- 62
281
- _ 62
282
- ��_ 62
283
- �n 61
284
- �ư 61
285
- ph� 60
286
- y� 60
287
- _n� 60
288
- �_ 60
289
- ��n 60
290
- �n 60
291
- n� 60
292
- nư 59
180
+ nướ 61
181
+ 61
182
+ _đư 61
183
+ hủ_ 61
184
+ đư 61
185
+ ện 61
186
+ _nư 61
187
+ _vớ 59
188
+ với 59
189
+ vớ 59
190
+ ội_ 58
191
+ ội 58
192
+ 58
293
193
  ro 58
294
- 58
295
- �i 57
296
- �i_ 57
297
- ��i 57
298
- �n_ 57
299
- 56
300
- 56
301
- �� 56
302
- m� 55
303
- ể 55
304
- b� 55
305
- �� 55
306
- _m� 55
307
- _� 54
308
- ron 54
194
+ hiệ 58
195
+ ện_ 58
196
+ x 57
197
+ ời_ 57
198
+ ời 57
199
+ ố_ 56
200
+ 56
201
+ hín 55
309
202
  tro 54
203
+ iện 54
204
+ ron 54
205
+ uố 53
206
+ tế_ 53
207
+ tế 53
208
+ ứ 53
209
+ _tế 53
310
210
  ữ 53
311
- �� 53
312
- �t 53
313
- uy� 53
314
- _d� 53
315
- �t_ 53
316
- c� 53
317
- d� 53
318
- _c� 52
319
- c� 52
320
- �i_ 52
211
+ _x 52
212
+ ch_ 52
213
+ 52
214
+ dân 52
215
+ ất 52
216
+ ất_ 52
217
+ _dâ 52
321
218
  ã_ 52
322
- �ng 52
323
- ��i 52
324
- �i 52
325
- � 51
326
- �n_ 51
327
- ch_ 51
328
- ��t 51
329
- x 50
330
- ứ 50
331
- �c 50
332
- �� 50
333
- �c_ 50
334
- o� 50
335
- o� 50
336
- ��c 50
337
- t� 49
338
- i� 49
339
- r� 49
219
+ ốc 50
220
+ ốc_ 50
340
221
  _hi 49
341
- l� 49
342
- �ng 49
343
- _t� 49
344
- c_ 48
345
- �n 48
346
- �c 48
347
- ��c 48
348
- _� 47
349
- cơ 47
350
- m� 47
351
- an_ 47
222
+ an_ 49
223
+ 48
224
+ _cơ 48
225
+ c_ 48
226
+ ộc 48
227
+ 47
228
+ quố 47
229
+ uốc 47
230
+ _ 47
231
+ ơ_ 47
352
232
  inh 46
353
- ��_ 46
354
- 46
355
- �_ 46
356
- ơ_ 46
357
- _x 46
358
- �� 46
359
- �c_ 45
360
- �c 45
361
- �ng 45
233
+ iế 46
234
+ ợc_ 45
235
+ he 45
236
+ _hộ 45
362
237
  iê 45
363
- ��c 45
364
- � 45
238
+ hộ 45
365
239
  hu 45
366
- he 43
367
- ơn 43
368
- u� 43
369
- g� 43
370
- �_ 43
371
- _mi 42
240
+ ược 45
241
+ ợc 45
242
+ iên 44
243
+ ơn 44
244
+ hội 44
245
+ _ở_ 43
246
+ ừ_ 43
247
+ iể 43
248
+ _số 43
249
+ từ 43
250
+ _từ 43
251
+ số 43
252
+ _ở 43
253
+ ua 43
254
+ qua 43
255
+ the 42
256
+ gư 42
257
+ ì 42
258
+ ngư 42
372
259
  mi 42
373
- _k� 42
374
- k� 42
375
- ua 42
376
- ��_ 42
377
- �_ 42
378
- 42
379
- qua 42
380
- r� 41
381
- ��_ 40
382
- _d� 40
383
- �_ 40
384
- r� 40
385
- tr� 40
386
- the 40
387
- d� 40
388
- �o_ 39
260
+ từ_ 42
261
+ _mi 42
262
+ iền 41
263
+ gườ 41
264
+ ười 41
265
+ ều 40
266
+ ều_ 40
267
+ ảng 40
268
+ _ 40
269
+ ờn 39
270
+ ữn 39
271
+ ờng 39
272
+ ru 39
273
+ uan 39
389
274
  ti 39
390
- �u 39
391
- �i 39
392
- �u_ 39
393
- ng� 39
394
- ��n 39
395
- �o 39
396
- ��u 39
275
+ số_ 39
276
+ đượ 39
277
+ ườn 39
278
+ hữ 39
279
+ ững 39
280
+ ộn 39
397
281
  ù 39
398
- ��n 39
399
- �n 39
400
- b� 38
282
+ _ki 38
283
+ ộng 38
284
+ ư_ 38
285
+ hữn 38
286
+ nhữ 38
287
+ _hà 38
288
+ ki 38
289
+ ọ 37
290
+ ực 37
291
+ rư 37
292
+ trư 37
293
+ đạ 37
294
+ nhi 37
295
+ _đạ 37
296
+ hứ 37
297
+ ực_ 37
298
+ ay 37
299
+ gh 37
300
+ ớn 37
301
+ tru 37
302
+ _tổ 36
303
+ ắ 36
304
+ ay_ 36
305
+ hấ 36
306
+ tổ 36
307
+ ao 35
308
+ ộ_ 35
309
+ tạ 35
310
+ ao_ 35
311
+ _r 35
312
+ ần 35
313
+ _tạ 35
314
+ ức 34
315
+ ức_ 34
316
+ miề 34
317
+ ồ 34
318
+ ùn 34
319
+ ùng 34
320
+ ị_ 34
321
+ chủ 33
322
+ ổ_ 33
323
+ ìn 33
324
+ eo 33
325
+ ốn 33
326
+ ri 33
327
+ ngh 32
328
+ án 32
329
+ ra 32
330
+ ò 32
331
+ eo_ 32
332
+ _đế 32
333
+ thà 32
334
+ ần_ 32
335
+ heo 32
336
+ đế 32
337
+ hố 31
338
+ ầu 31
339
+ ầu_ 31
340
+ ăn 31
341
+ ài 31
342
+ ài_ 31
343
+ đến 31
344
+ ề_ 31
345
+ ển 30
346
+ ển_ 30
347
+ ấp 30
348
+ gà 30
349
+ _đã 30
350
+ đã 30
351
+ đã_ 30
352
+ tư 30
353
+ ập_ 30
354
+ ột 30
355
+ ột_ 30
356
+ ập 30
357
+ ngà 30
358
+ _tư 30
359
+ hà_ 30
360
+ hức 30
361
+ iều 30
362
+ ấp_ 30
363
+ vù 29
364
+ ịch 29
365
+ bi 29
366
+ ca 29
367
+ kin 29
368
+ ình 29
369
+ vùn 29
370
+ ia 29
371
+ một 29
372
+ _ti 29
373
+ mộ 29
374
+ ản_ 29
375
+ yền 29
376
+ _vù 29
377
+ _mộ 29
378
+ hô 29
379
+ yề 29
380
+ _độ 29
381
+ độ 29
382
+ hậ 29
383
+ uyề 29
384
+ hôn 29
385
+ ịc 29
386
+ hâ 28
387
+ như 28
388
+ ú 28
389
+ un 28
390
+ _ca 28
391
+ _bi 28
392
+ hiế 28
393
+ tại 27
394
+ ạn 27
395
+ ơng 27
396
+ phá 27
397
+ ụ 27
398
+ _đi 27
399
+ ọc_ 27
400
+ đi 27