scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- _ 5514
2
- o 1351
3
- e 1215
4
- 1119
5
- n 1108
6
- a 1022
7
- s 894
8
- t 790
9
- l 788
10
- v 770
11
- i 714
12
- k 665
13
- r 538
14
- d 528
15
- p 474
16
- m 473
17
- 470
18
- 460
19
- 423
20
- u 392
21
- c 392
22
- í 374
23
- 374
24
- a_ 368
25
- á 363
26
- z 358
27
- y 337
28
- n� 323
29
- _p 314
30
- _s 310
31
- h 291
32
- _v 275
33
- _n 260
34
- b 259
35
- o_ 255
36
- st 254
37
- 240
38
- ě 237
39
- e_ 217
40
- j 217
41
- ov 209
42
- en 206
43
- í_ 202
44
- �_ 202
45
- é 184
46
- 184
47
- 177
48
- č 177
49
- sk 177
50
- i_ 175
51
- po 167
52
- ko 165
53
- ý 162
54
- _z 162
55
- 162
56
- u_ 161
57
- ro 160
58
- na 159
59
- 158
60
- y_ 157
61
- _a 153
62
- _o 150
63
- lo 145
64
- 144
65
- ř 144
66
- k� 142
67
- li 141
68
- m_ 138
69
- v_ 138
70
- _d 134
71
- _k 132
72
- os 125
73
- _po 124
74
- od 124
75
- ž 123
76
- 123
77
- v� 122
78
- ch 121
79
- sl 116
80
- é_ 116
81
- �_ 116
82
- la 116
83
- ve 115
84
- _b 115
85
- al 115
86
- pr 115
87
- t� 112
88
- te 111
89
- _a_ 111
90
- le 111
91
- l_ 109
92
- _v_ 109
93
- _r 108
94
- š 107
95
- n� 106
96
- em 105
97
- es 103
98
- na_ 103
99
- by 102
100
- 101
101
- _t 99
102
- _pr 98
103
- no 96
104
- _� 96
105
- _j 95
106
- 95
107
- če 90
108
- ho 90
109
- ce 90
110
- �e 90
111
- ra 89
112
- do 86
113
- ti 86
114
- va 86
115
- ni 86
116
- _na 85
117
- ch_ 84
118
- h_ 84
119
- 84
120
- �_ 83
121
- ou 83
122
- _by 82
123
- yl 82
124
- ze 82
125
- ě_ 82
126
- byl 82
127
- de 81
128
- an 80
129
- ta 78
130
- �e 77
131
- ře 77
132
- ic 76
133
- 76
134
- _m 76
135
- ed 75
136
- lov 74
137
- se 73
138
- _st 73
139
- p� 73
140
- ne 72
141
- ů 72
142
- 72
143
- to 71
144
- slo 70
145
- ak 70
146
- sk� 70
147
- 69
148
- ven 68
149
- je 68
150
- sko 67
151
- ck 67
152
- ol 66
153
- dn 65
154
- ns 65
155
- t_ 65
156
- _p� 65
157
- �t 64
158
- is 64
159
- ove 64
160
- _n� 63
161
- k_ 63
162
- vo 63
163
- ce_ 63
164
- re 63
165
- 62
166
- r� 62
167
- il 62
168
- _se 62
169
- el 62
170
- nsk 61
171
- za 61
172
- la_ 61
173
- _do 61
174
- st� 61
175
- in 60
176
- ob 60
177
- esk 60
178
- �es 59
179
- at 59
180
- ens 59
181
- se_ 57
182
- ci 57
183
- em_ 56
184
- át 56
185
- �n 55
186
- ka 55
187
- �_ 55
188
- ý_ 55
189
- �l 54
190
- n_ 54
191
- it 54
192
- lo_ 54
193
- _ne 53
194
- osl 52
195
- _za 52
196
- ho_ 52
197
- ný 52
198
- m� 52
199
- ost 51
200
- _ro 51
201
- án 51
202
- tn 51
203
- pro 50
204
- me 50
205
- on 50
206
- ck� 50
207
- ik 49
208
- _od 49
209
- ec 49
210
- l� 48
211
- ej 48
212
- ick 48
213
- ova 48
214
- ad 47
215
- ou_ 47
216
- o� 47
217
- tá 47
218
- ov� 47
219
- er 47
220
- ž_ 47
221
- �_ 47
222
- ýc 47
223
- �c 47
224
- sta 47
225
- li_ 46
226
- ký 46
227
- �ch 46
228
- kos 45
229
- kt 44
230
- ja 44
231
- vy 44
232
- ku 43
233
- ím 43
234
- �m 43
235
- mu 43
236
- �_ 42
237
- mi 42
238
- ky 42
239
- oc 42
240
- ál 42
241
- _re 41
242
- et 41
243
- ot 41
244
- s_ 41
245
- e� 40
246
- av 40
247
- pol 39
248
- _ja 39
249
- om 39
250
- or 39
251
- ky_ 38
1
+ _ 4744
2
+ o 1165
3
+ e 1074
4
+ n 951
5
+ a 883
6
+ s 778
7
+ l 695
8
+ v 686
9
+ t 684
10
+ i 617
11
+ k 583
12
+ r 494
13
+ d 480
14
+ p 408
15
+ m 396
16
+ c 352
17
+ u 335
18
+ í 329
19
+ á 329
20
+ a_ 321
21
+ z 321
22
+ y 282
23
+ _p 279
24
+ h 262
25
+ _s 252
26
+ _v 249
27
+ o_ 221
28
+ b 216
29
+ st 215
30
+ _n 209
31
+ ě 207
32
+ e_ 192
33
+ en 188
34
+ ov 186
35
+ j 181
36
+ í_ 179
37
+ sk 155
38
+ é 152
39
+ č 152
40
+ po 148
41
+ _z 145
42
+ 142
43
+ ko 140
44
+ lo 136
45
+ ro 136
46
+ i_ 135
47
+ u_ 132
48
+ na 131
49
+ _a 130
50
+ v_ 129
51
+ ý 126
52
+ y_ 124
53
+ li 123
54
+ ř 120
55
+ _o 119
56
+ _d 119
57
+ ch 118
58
+ m_ 116
59
+ _po 116
60
+ _k 116
61
+ od 116
62
+ _r 107
63
+ sl 107
64
+ os 106
65
+ le 105
66
+ ve 103
67
+ al 101
68
+ _v_ 101
69
+ ž 99
70
+ pr 99
71
+ é_ 97
72
+ l_ 97
73
+ la 96
74
+ te 96
75
+ _b 96
76
+ š 95
77
+ _a_ 94
78
+ es 93
79
+ em 93
80
+ _ 91
81
+ na_ 91
82
+ _t 89
83
+ _pr 83
84
+ ce 83
85
+ ch_ 83
86
+ h_ 83
87
+ 82
88
+ by 81
89
+ no 80
90
+ ze 79
91
+ ra 78
92
+ če 77
93
+ ti 77
94
+ 77
95
+ 76
96
+ de 75
97
+ ho 74
98
+ _na 73
99
+ _j 73
100
+ do 72
101
+ re 71
102
+ ů 71
103
+ ě_ 71
104
+ byl 70
105
+ _by 70
106
+ ni 70
107
+ yl 70
108
+ ta 69
109
+ ou 68
110
+ ed 68
111
+ is 68
112
+ va 67
113
+ lov 66
114
+ se 66
115
+ slo 65
116
+ ře 65
117
+ _m 64
118
+ ven 62
119
+ _če 62
120
+ ic 62
121
+ sko 61
122
+ an 61
123
+ to 61
124
+ 61
125
+ ove 60
126
+ ak 60
127
+ ce_ 59
128
+ 59
129
+ vo 58
130
+ ns 58
131
+ n_ 57
132
+ 56
133
+ ne 56
134
+ _st 56
135
+ _se 55
136
+ ka 54
137
+ dn 54
138
+ ens 54
139
+ k_ 54
140
+ t_ 54
141
+ ci 54
142
+ _př 54
143
+ _ná 54
144
+ nsk 53
145
+ lo_ 53
146
+ el 53
147
+ čes 53
148
+ esk 53
149
+ za 52
150
+ il 52
151
+ je 52
152
+ ck 51
153
+ ol 51
154
+ at 51
155
+ se_ 50
156
+ in 50
157
+ án 49
158
+ _do 49
159
+ em_ 49
160
+ _ro 48
161
+ osl 48
162
+ ýc 48
163
+ er 48
164
+ ých 47
165
+ la_ 47
166
+ _od 46
167
+ ál 45
168
+ it 45
169
+ _re 44
170
+ ik 44
171
+ on 43
172
+ ho_ 43
173
+ oc 43
174
+ át 42
175
+ ick 42
176
+ ob 42
177
+ 41
178
+ _za 41
179
+ _ne 41
180
+ ej 41
181
+ sta 41
182
+ kos 41
183
+ ad 41
184
+ ké_ 40
185
+ kt 40
186
+ et 40
187
+ ost 40
188
+ ý_ 40
189
+ mu 39
190
+ vy 39
191
+ pro 39
192
+ 38
193
+ om 38
194
+ tr 38
252
195
  ist 38
253
- tic 37
254
- en� 37
255
- ez 37
256
- ok 37
257
- so 37
258
- á_ 37
259
- v� 37
260
- ac 37
261
- _je 37
262
- tr 37
263
- 37
264
- �t 36
265
- 36
266
- 36
267
- ko_ 36
268
- ět 36
269
- vi 36
270
- _n� 36
271
- 36
272
- t� 36
273
- 36
274
- ln 36
275
- vn 36
276
- �_ 35
277
- ev 35
278
- _vy 35
279
- _ob 35
280
- ů_ 35
281
- �ho 34
282
- �h 34
283
- nov 34
284
- nt 34
285
- 34
286
- _l 34
287
- éh 34
288
- ým 34
289
- ka_ 34
290
- �m 34
291
- kon 34
292
- tu 34
293
- _u 34
294
- ú 33
295
- m� 33
296
- val 33
297
- 33
298
- id 33
299
- d� 33
300
- da 33
301
- ep 33
302
- _i 33
303
- ci_ 33
304
- _� 32
305
- f 32
306
- _ú 32
307
- mí 32
308
- mě 32
309
- z� 32
310
- odn 32
311
- sp 32
312
- oj 32
313
- _� 32
314
- _h 32
315
- zn 31
316
- _v� 31
317
- up 31
318
- d_ 31
319
- vý 31
320
- ter 31
321
- �n� 31
322
- �m_ 30
323
- iv 30
324
- íc 30
325
- lá 30
326
- pu 30
327
- yl_ 30
328
- mo 30
329
- �c 30
330
- rod 30
331
- sti 30
332
- al_ 30
333
- hl 30
334
- kte 29
335
- op 29
336
- er� 29
337
- _kt 29
338
- _s_ 29
339
- ár 29
340
- az 29
341
- ěm 29
342
- nu 29
343
- ož 29
344
- �m 29
345
- �r 29
196
+ ja 37
197
+ ně_ 37
198
+ ova 37
199
+ _l 37
200
+ ky 37
201
+ ů_ 36
202
+ ot 36
203
+ 36
204
+ li_ 36
205
+ ím 36
206
+ so 36
207
+ ku 35
208
+ ka_ 35
209
+ pře 35
210
+ or 35
211
+ ž_ 35
212
+ vn 35
213
+ ou_ 34
214
+ av 34
215
+ á_ 34
216
+ ln 34
217
+ ět 34
218
+ tic 33
219
+ ky_ 33
220
+ ev 33
221
+ tu 33
222
+ ep 32
223
+ _ja 32
224
+ mi 32
225
+ ac 32
226
+ _vy 32
227
+ 32
228
+ nt 32
229
+ 32
230
+ tn 31
231
+ ec 31
232
+ _i 31
233
+ ko_ 31
234
+ f 30
235
+ d_ 30
236
+ ter 30
237
+ vi 30
238
+ da 30
239
+ s_ 29
240
+ stá 29
346
241
  ar 29
347
- am 29
348
- ji 29
349
- oz 28
350
- zem 28
351
- vn� 28
352
- _ve 28
353
- a� 28
354
- 28
355
- bo 28
356
- �ro 28
357
- ny 28
358
- ny_ 27
359
- �í 27
360
- as 27
361
- �� 27
362
- _sl 27
363
- ř� 27
364
- dy 27
365
- tn� 26
366
- z_ 26
367
- vl 26
368
- g 26
369
- _z� 26
370
- kr 26
371
- _so 26
372
- ech 26
373
- mi_ 25
374
- roc 25
375
- ali 25
242
+ ci_ 29
243
+ _u 29
244
+ id 29
245
+ me 29
246
+ 29
247
+ _so 28
248
+ nov 28
249
+ ého 28
250
+ éh 28
251
+ ez 28
252
+ kon 28
253
+ r_ 28
254
+ oj 28
255
+ ová 28
256
+ 28
257
+ ny 27
258
+ ím_ 27
259
+ _h 27
260
+ pol 27
261
+ al_ 27
262
+ íc 27
263
+ odn 27
264
+ ok 27
265
+ ú 27
266
+ zem 26
267
+ _ob 26
268
+ ny_ 26
269
+ sti 26
270
+ 26
271
+ bo 26
272
+ ské 26
273
+ az 26
274
+ ali 26
275
+ _je 26
276
+ ání 26
277
+ ší 26
376
278
  ku_ 25
377
- ma 25
378
- spo 25
379
- tv 25
380
- ly 25
381
- dn� 25
382
- _ko 25
383
- �v 25
384
- to_ 25
385
- oli 25
386
- nos 25
387
- r_ 25
388
- ži 25
389
- �i 25
390
- sa 25
391
- ly_ 25
392
- vat 24
393
- _k_ 24
394
- jak 24
395
- tel 24
396
- oce 24
397
- zi 24
398
- š� 24
399
- čn 24
400
- c� 24
279
+ kte 25
280
+ iv 25
281
+ ek 25
282
+ mo 25
283
+ ván 25
284
+ un 25
285
+ up 25
286
+ yl_ 25
287
+ pu 25
288
+ rod 25
289
+ 25
290
+ ár 25
291
+ 25
292
+ g 25
293
+ _sl 24
294
+ vět 24
295
+ 24
296
+ cké 24
297
+ val 24
298
+ roc 24
299
+ 24
300
+ nu 24
301
+ áro 24
302
+ vl 24
303
+ oz 24
304
+ ěn 24
305
+ kr 24
306
+ ma 23
307
+ ub 23
308
+ ži 23
309
+ ož 23
310
+ den 23
311
+ sa 23
312
+ di 23
313
+ op 23
314
+ _ze 23
315
+ oce 23
316
+ zn 23
317
+ _kt 23
318
+ hl 23
319
+ ří 23
320
+ ním 23
321
+ _ně 22
322
+ nár 22
323
+ nis 22
324
+ pra 22
325
+ en_ 22
326
+ zv 22
327
+ str 22
328
+ _ko 22
329
+ _ve 22
330
+ _c 22
331
+ dy 21
332
+ tv 21
333
+ as 21
334
+ to_ 21
335
+ z_ 21
336
+ am 21
337
+ ent 21
338
+ zi 21
339
+ _de 21
340
+ ji 21
341
+ zá 21
342
+ ení 21
343
+ _vl 21
344
+ lik 21
345
+ pod 21
346
+ le_ 21
347
+ dl 21
348
+ dě 21
349
+ dá 20
350
+ dní 20
351
+ ým 20
352
+ tě 20
353
+ áv 20
354
+ _k_ 20
355
+ tí_ 20
356
+ _s_ 20
357
+ _zá 20
358
+ bl 20
359
+ ech 20
360
+ řed 20
361
+ jak 20
362
+ cí 20
363
+ po_ 20
364
+ let 20
365
+ _le 20
366
+ ád 20
367
+ rep 20
368
+ tát 19
369
+ _ta 19
370
+ sp 19
371
+ ylo 19
372
+ jm 19
373
+ ds 19
374
+ ys 19
375
+ ský 19
376
+ áz 19
377
+ oli 19
378
+ vat 19
379
+ tel 19
380
+ vní 19
381
+ ká 19
382
+ du 19
383
+ do_ 18
384
+ lit 18
385
+ edn 18
386
+ nos 18
387
+ omu 18
388
+ bli 18
389
+ té 18
390
+ ás 18
391
+ še 18
392
+ dy_ 18
393
+ ubl 18
394
+ pa 18
395
+ pub 18
396
+ el_ 18
397
+ ako 18
398
+ ři 18
399
+ ům 17
400
+ epu 17