scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 6178
2
- a 3506
3
- n 2158
4
- g 1432
5
- i 1276
6
- ng 952
7
- an 885
8
- g_ 854
9
- o 847
10
- s 845
11
- ng_ 814
12
- t 773
13
- a_ 750
14
- l 728
15
- p 683
16
- m 591
17
- _n 517
18
- u 515
19
- ang 507
20
- k 473
21
- _a 448
22
- y 411
23
- na 411
24
- e 409
25
- r 398
26
- sa 367
1
+ _ 6166
2
+ a 3486
3
+ n 2146
4
+ g 1430
5
+ i 1282
6
+ ng 949
7
+ an 875
8
+ g_ 851
9
+ s 844
10
+ o 841
11
+ ng_ 811
12
+ t 777
13
+ a_ 745
14
+ l 729
15
+ p 686
16
+ m 581
17
+ u 520
18
+ _n 514
19
+ ang 501
20
+ k 469
21
+ _a 442
22
+ e 424
23
+ y 410
24
+ na 408
25
+ r 406
26
+ sa 363
27
27
  _p 361
28
- n_ 336
29
- in 332
30
- _m 330
31
- _s 328
28
+ n_ 335
29
+ in 333
30
+ _s 327
31
+ _m 323
32
32
  at 309
33
- la 295
34
- ka 295
35
33
  b 294
36
- ga 285
37
- pa 279
38
- o_ 269
39
- h 263
40
- d 260
41
- al 251
42
- sa_ 247
43
- _ng 239
44
- on 235
45
- ma 230
46
- _sa 227
47
- _na 215
48
- t_ 197
49
- _an 196
50
- pi 194
34
+ ka 292
35
+ la 291
36
+ ga 281
37
+ pa 280
38
+ h 267
39
+ d 265
40
+ o_ 264
41
+ al 249
42
+ sa_ 246
43
+ _ng 238
44
+ on 234
45
+ ma 228
46
+ _sa 226
47
+ _na 212
48
+ ta 196
49
+ _an 195
51
50
  an_ 194
52
- ta 192
53
- _pa 192
54
- ag 189
55
- ay 189
56
- _k 186
57
- li 171
51
+ t_ 193
52
+ _pa 193
53
+ pi 191
54
+ ag 190
55
+ ay 186
56
+ _k 184
57
+ li 170
58
+ il 159
58
59
  as 159
59
- ga_ 158
60
- il 158
61
- mga 151
62
- mg 151
63
- _mg 151
64
- y_ 148
60
+ ga_ 156
61
+ mg 149
62
+ _mg 149
63
+ mga 149
64
+ y_ 145
65
65
  _ka 143
66
- at_ 142
67
- ul 138
66
+ at_ 138
67
+ ul 137
68
+ ti 132
68
69
  _i 129
69
- ba 129
70
- na_ 128
71
- ala 127
72
- ti 127
73
- s_ 126
74
- it 125
75
- is 121
76
- no 121
77
- ay_ 121
78
- _ma 120
79
- ina 119
80
- _at 118
81
- _b 115
82
- ya 115
83
- ha 115
84
- ra 114
70
+ ba 128
71
+ s_ 127
72
+ na_ 126
73
+ ala 125
74
+ it 123
75
+ is 120
76
+ _ma 119
77
+ ay_ 118
78
+ ina 117
79
+ ya 116
80
+ ra 115
81
+ no 115
82
+ _at 114
83
+ _b 114
84
+ ha 113
85
+ _t 110
85
86
  am 110
86
- _t 109
87
- pin 106
88
- ar 105
87
+ ar 106
88
+ pin 105
89
89
  un 105
90
90
  ong 103
91
- yo 101
91
+ yo 102
92
92
  ah 101
93
- w 100
94
- si 98
93
+ w 99
95
94
  ip 97
95
+ si 96
96
96
  on_ 95
97
- ak 90
98
- hi 90
99
- ap 88
97
+ hi 93
98
+ ak 88
99
+ ap 87
100
+ _d 87
100
101
  ili 87
101
- _pi 86
102
- lo 82
103
- _d 82
104
- ipi 81
105
- ni 80
102
+ c 85
103
+ lo 84
104
+ _pi 83
105
+ ipi 80
106
106
  lip 80
107
- pan 79
107
+ i_ 80
108
+ ni 80
108
109
  ik 79
109
- _ay 79
110
- i_ 78
111
- c 78
112
- ata 76
110
+ pan 78
111
+ ata 78
112
+ _ay 77
113
+ st 77
113
114
  to 74
114
- st 73
115
+ ing 72
115
116
  yon 72
116
- tu 71
117
- ula 70
118
- ama 70
117
+ tu 72
119
118
  _h 69
120
119
  mi 69
121
- gan 68
122
- ing 68
123
- _ba 67
124
- l_ 67
125
- as_ 67
120
+ ama 69
121
+ ula 68
122
+ re 68
123
+ l_ 68
124
+ ri 67
126
125
  ab 67
127
- re 66
128
- ri 66
129
- ns 64
130
- pag 64
131
- lan 63
132
- ko 62
133
- aha 62
134
- er 62
135
- san 61
136
- pil 61
137
- pu 60
138
- iy 60
126
+ as_ 67
127
+ gan 66
128
+ pag 66
129
+ _ba 66
130
+ pu 63
131
+ e_ 63
132
+ er 63
133
+ ns 63
134
+ _r 62
135
+ lan 62
136
+ iy 61
137
+ aha 61
138
+ ko 60
139
139
  _e 60
140
- _r 59
141
- _o 58
140
+ san 59
141
+ pil 59
142
142
  di 58
143
- _l 57
144
- e_ 57
143
+ en 58
144
+ _o 57
145
+ da 57
145
146
  ara 56
146
147
  nas 56
147
- en 55
148
- no_ 55
149
- da 55
150
- aka 55
151
- mu 55
148
+ _l 56
152
149
  sy 55
153
- d_ 54
154
- ban 54
155
- po 54
156
- ad 53
157
- la_ 53
158
- es 52
159
- nga 52
150
+ es 54
151
+ ban 53
152
+ po 53
153
+ d_ 53
154
+ aka 53
155
+ la_ 52
156
+ mu 52
157
+ ad 52
160
158
  wa 51
159
+ or 50
161
160
  _si 50
161
+ nga 50
162
+ no_ 50
162
163
  ila 49
163
- ika 49
164
+ ika 48
164
165
  lu 48
165
166
  aw 48
166
167
  aa 48
167
- or 48
168
168
  yan 48
169
169
  bu 47
170
+ ati 47
171
+ nd 46
170
172
  al_ 46
171
- ans 46
172
- um 46
173
- ati 45
173
+ ans 45
174
+ um 45
174
175
  te 45
175
- asa 44
176
- nsa 44
176
+ nt 44
177
177
  op 44
178
178
  ig 44
179
- nd 44
180
- nt 44
181
- _is 43
182
- oo 42
183
- ro 42
184
- pul 42
185
- bi 42
179
+ asa 43
180
+ nsa 43
181
+ ro 43
182
+ _re 42
186
183
  gk 42
187
- nan 42
188
- ino 41
184
+ bi 42
185
+ pul 42
186
+ _is 42
189
187
  han 41
188
+ to_ 41
189
+ oo 41
190
+ nan 41
191
+ tan 40
190
192
  kas 40
193
+ apa 40
191
194
  _ta 40
192
- tan 40
193
195
  ana 40
194
- apa 40
195
- kan 40
196
- to_ 39
197
- kal 39
198
196
  pam 39
199
- _re 39
200
- ya_ 38
197
+ kan 39
198
+ ya_ 39
201
199
  ito 38
202
- _o_ 37
200
+ kal 38
201
+ gu 37
202
+ ino 37
203
+ _g 37
204
+ man 37
205
+ kat 37
206
+ in_ 36
203
207
  nag 36
204
- man 36
205
- kat 36
206
208
  aga 36
207
- gu 35
208
- in_ 35
209
+ gi 35
209
210
  su 35
210
- _g 35
211
- ali 35
212
- _no 34
213
- isa 34
214
- gi 33
215
- awa 33
216
- ku 33
217
- oon 33
218
- syo 33
219
- _ha 33
211
+ f 35
212
+ _o_ 35
213
+ ali 34
214
+ _no 33
220
215
  os 33
221
- ran 32
222
- aan 32
216
+ ku 33
217
+ awa 33
218
+ isa 33
219
+ ub 33
223
220
  do 32
221
+ aan 32
222
+ syo 32
223
+ r_ 32
224
+ oon 32
225
+ _ha 32
226
+ _di 32
224
227
  aya 32
225
- hal 31
226
- p_ 31
227
- nak 31
228
- ub 31
229
- _di 31
228
+ ran 32
229
+ ulo 31
230
230
  gka 31
231
- om 30
231
+ p_ 31
232
+ _c 31
233
+ tin 30
234
+ wi 30
232
235
  _po 30
233
- ulo 30
234
236
  _u 30
235
- wi 30
236
- r_ 30
237
+ hal 30
237
238
  im 30
238
- f 30
239
- ung 29
240
- ol 29
239
+ nak 30
240
+ de 29
241
241
  aba 29
242
242
  _w 29
243
- _c 29
244
- tin 28
243
+ ung 29
244
+ ol 29
245
+ om 29
245
246
  tag 28
246
- mul 28
247
- _mu 28
247
+ iyo 28
248
+ iya 28
248
249
  ngg 28
249
250
  hiy 28
251
+ _da 28
250
252
  gg 28
251
- mah 28
252
253
  ur 28
253
- iyo 28
254
- it_ 27
255
- ra_ 27
254
+ eh 27
256
255
  ehi 27
256
+ mah 27
257
257
  uk 27
258
- nu 27
259
- ist 27
260
- eh 27
261
- iya 27
262
258
  ne 27
263
- noo 27
264
- bo 26
259
+ ist 27
260
+ nu 27
261
+ ra_ 27
262
+ noo 26
265
263
  mat 26
264
+ mul 26
266
265
  se 26
267
- sta 26
266
+ it_ 26
267
+ ahi 26
268
268
  _es 26
269
- mal 25
270
- _da 25
271
- may 25
272
- ahi 25
273
- ka_ 25
269
+ sti 26
270
+ sta 26
271
+ bo 26
272
+ _mu 26
274
273
  nat 25
275
- reh 25
276
274
  lo_ 25
277
275
  _it 25
276
+ ta_ 25
277
+ reh 25
278
278
  ita 25
279
- de 25
280
- ta_ 24
281
- ag_ 24
282
- me 24
279
+ ka_ 24
280
+ k_ 24
283
281
  ny 24
282
+ may 24
283
+ ag_ 24
284
+ ent 24
284
285
  gga 24
285
- ye 24
286
286
  so 24
287
+ mal 24
288
+ v 24
289
+ _bi 23
290
+ agk 23
291
+ us 23
292
+ una 23
293
+ ye 23
294
+ ki 23
287
295
  ib 23
288
- uma 23
289
- hin 23
290
296
  _la 23
291
- ki 23
292
- k_ 23
293
- agk 23
294
- sti 23
295
- v 23
296
- ent 23
297
- ani 23
298
- _bi 23
299
- lit 22
300
- una 22
297
+ me 23
298
+ uma 23
299
+ he 23
300
+ ca 22
301
+ ut 22
302
+ ani 22
303
+ _tu 22
304
+ hin 22
305
+ _ni 22
301
306
  atu 22
307
+ tr 22
302
308
  go 22
303
309
  nah 22
304
- _ti 21
305
- _tu 21
306
- os_ 21
307
- ek 21
308
- ut 21
309
310
  _su 21
311
+ os_ 21
312
+ est 21
313
+ ngu 21
310
314
  min 21
311
- us 21
312
- tr 21
313
- laa 20
315
+ _ti 21
316
+ lit 21
317
+ ek 21
314
318
  rin 20
315
- ca 20
316
- mb 20
317
- _ni 20
318
- ad_ 20
319
- he 20
320
- est 20
321
319
  asy 20
322
- ngu 20
323
- lak 20
324
320
  gs 20
325
- et 19
326
- omi 19
327
- din 19
328
- kar 19
321
+ din 20
322
+ laa 20
323
+ nap 20
324
+ gd 19
325
+ mb 19
326
+ nit 19
327
+ _mi 19
329
328
  ngk 19
330
- kap 19
329
+ lak 19
330
+ kar 19
331
+ yo_ 19
331
332
  du 19
332
- kon 19
333
- lat 19
334
- _mi 19
335
- gd 19
336
- nap 19
337
333
  te_ 19
338
- nit 19
334
+ kap 19
339
335
  od 19
340
- sya 18
341
- _bu 18
342
- lin 18
343
- gp 18
344
- tul 18
345
- opu 18
346
- gl 18
347
- ir 18
348
- ro_ 18
349
- bin 18
350
- ia 18
351
- gr 18
352
- ii 18
353
- pop 18
354
- ao 18
336
+ ad_ 19
337
+ et 19
338
+ gl 19
339
+ ia 19
340
+ kon 19
341
+ pat 19
342
+ omi 19
343
+ lat 19
355
344
  nom 18
356
- kab 18
357
- sin 18
358
- yo_ 18
345
+ pop 18
359
346
  mo 18
360
- ai 18
347
+ pe 18
348
+ bin 18
361
349
  ry 18
350
+ lin 18
362
351
  wan 18
363
- em 18
352
+ ir 18
353
+ ic 18
354
+ tul 18
355
+ kab 18
356
+ opu 18
357
+ ai 18
358
+ sya 18
359
+ gr 18
364
360
  isy 18
365
- pat 18
366
- ari 17
367
- ua 17
368
- ini 17
369
- pe 17
361
+ _bu 18
362
+ ao 18
363
+ gp 18
364
+ wik 17
370
365
  lal 17
371
- ags 17
372
366
  _wi 17
367
+ ua 17
368
+ any 17
369
+ _pu 17
370
+ ags 17
373
371
  agp 17
374
- ob 17
375
372
  ok 17
373
+ ro_ 17
374
+ le 17
375
+ ari 17
376
+ em 17
377
+ ii 17
378
+ tal 17
379
+ ini 17
376
380
  lay 17
381
+ lon 17
382
+ _in 17
383
+ ind 17
384
+ agi 17
377
385
  gal 17
378
386
  ulu 17
379
- wik 17
380
- any 17
387
+ ob 17
388
+ buo 16
389
+ hil 16
390
+ apu 16
391
+ uo 16
392
+ alo 16
381
393
  law 16
382
- gay 16
383
- lon 16
384
- ind 16
385
- uan 16
386
- ado 16
387
394
  up 16
388
- tal 16
389
- uo 16
390
- iko 16
391
- tat 16
395
+ _hi 16
396
+ ayo 16
392
397
  _se 16
393
- alo 16
394
- agi 16
395
398
  par 16
396
- _ko 16
397
- _hi 16
398
- ura 16
399
- apu 16
400
- nya 16
399
+ ph 16
400
+ tat 16