scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
1
  _ 1600
2
- a 445
3
- e 436
4
- i 391
2
+ a 446
3
+ e 430
4
+ i 393
5
5
  o 380
6
- n 326
6
+ n 325
7
7
  v 261
8
- s 261
8
+ s 260
9
9
  r 232
10
- l 213
10
+ l 212
11
11
  j 199
12
- a_ 191
13
- t 170
14
- d 165
12
+ a_ 192
13
+ t 169
14
+ d 164
15
15
  p 140
16
- e_ 133
17
- _s 122
18
- i_ 119
19
- k 118
20
- m 104
16
+ e_ 132
17
+ i_ 122
18
+ _s 121
19
+ k 119
20
+ m 103
21
21
  _p 98
22
22
  z 95
23
23
  je 92
24
- u 81
25
24
  o_ 81
26
- ov 75
25
+ u 81
27
26
  na 75
28
- st 72
27
+ ov 74
28
+ ni 73
29
29
  _n 72
30
- ni 72
31
- � 70
30
+ st 72
32
31
  je_ 67
33
- _v 63
32
+ _v 64
34
33
  ve 63
35
34
  en 63
35
+ g 60
36
36
  ra 59
37
- g 59
38
- _i 56
37
+ _i 55
39
38
  b 55
40
- pr 54
41
39
  _j 54
42
- in 54
43
- v_ 53
40
+ pr 54
44
41
  _d 53
42
+ in 53
43
+ v_ 52
45
44
  _na 50
46
45
  lo 48
47
- n_ 47
48
- _o 46
49
46
  _pr 46
47
+ n_ 46
48
+ _o 46
50
49
  na_ 45
51
- 44
50
+ _je 44
52
51
  sk 44
53
- č 44
54
52
  po 44
55
- _je 44
56
- � 44
57
- la 42
58
- no 42
53
+ č 44
59
54
  sl 42
55
+ la 42
60
56
  ne 41
57
+ no 41
61
58
  _v_ 40
62
59
  lov 39
63
- va 38
64
- � 38
65
- _po 38
66
60
  š 38
67
- ro 37
68
- in_ 37
69
- _in 37
61
+ _po 38
62
+ va 38
70
63
  os 37
64
+ ro 37
71
65
  h 37
72
66
  _sl 37
73
- le 37
74
- ja 36
67
+ le 36
75
68
  li 36
76
- an 36
69
+ ja 36
70
+ _in 36
77
71
  slo 36
72
+ in_ 36
73
+ an 36
78
74
  _z 35
79
75
  ij 35
80
76
  av 35
81
77
  ven 33
82
- ed 33
83
78
  ove 33
84
- ž 32
85
- � 32
86
- el 32
79
+ od 32
87
80
  vi 32
88
81
  ta 31
82
+ el 31
83
+ ž 31
84
+ ed 31
89
85
  re 31
90
- de 31
91
- od 31
92
86
  ev 30
93
87
  eni 30
94
88
  t_ 30
89
+ de 29
95
90
  lj 29
96
- ki 28
97
- ri 28
91
+ ki 29
98
92
  al 28
93
+ ri 28
99
94
  ja_ 28
100
- _r 27
101
95
  u_ 27
102
- se 27
96
+ _r 27
97
+ ost 26
103
98
  et 26
99
+ se 26
100
+ _k 26
104
101
  ti 26
105
- ost 26
106
- em 25
107
- h_ 25
108
- dn 25
109
- _k 25
110
102
  nij 25
103
+ dn 25
104
+ ni_ 25
105
+ h_ 25
111
106
  ar 24
112
- ni_ 24
113
- m_ 23
114
- it 23
115
- ih_ 23
116
- ad 23
107
+ vo 24
108
+ em 24
117
109
  ih 23
118
110
  me 23
119
- vo 23
120
111
  ko 23
112
+ ih_ 23
113
+ ad 23
114
+ it 23
121
115
  ol 22
116
+ aj 22
122
117
  ik 22
123
118
  _l 22
124
- aj 22
125
- c 21
126
- az 21
119
+ m_ 22
127
120
  la_ 21
128
- za 21
129
- raz 21
130
121
  ka 21
122
+ za 21
131
123
  ob 21
124
+ c 21
125
+ raz 21
126
+ az 21
127
+ di 20
132
128
  del 20
133
129
  dr 20
134
- _se 20
135
- nj 19
136
- _ra 19
130
+ ki_ 20
137
131
  no_ 19
138
- _t 19
139
- ki_ 19
140
- r� 19
141
- di 19
142
- pre 19
132
+ nj 19
143
133
  om 19
144
- _m 18
145
- ji 18
134
+ pre 19
135
+ _se 19
136
+ _ra 19
137
+ ma 18
146
138
  to 18
147
- _� 18
139
+ ji 18
148
140
  _le 18
149
- ma 18
150
141
  _za 18
142
+ _g 18
143
+ _m 18
144
+ _t 18
145
+ as 17
146
+ ga 17
151
147
  let 17
152
- ne_ 17
153
- er 17
154
- _g 17
155
148
  _ob 17
156
- te 17
157
- as 17
149
+ er 17
158
150
  da 17
159
- _dr 16
160
- vr 16
151
+ ne_ 17
152
+ jo 16
161
153
  vn 16
162
- _de 16
154
+ ija 16
163
155
  so 16
164
- jo 16
165
- ga 16
156
+ _dr 16
166
157
  rs 16
167
- ija 16
168
- st_ 15
169
- jo_ 15
158
+ vr 16
159
+ te 16
160
+ _de 15
161
+ ta_ 15
162
+ di_ 15
170
163
  mo 15
171
- o� 15
172
- �a 15
164
+ 15
173
165
  pro 15
166
+ st_ 15
167
+ ga_ 15
168
+ ža 15
174
169
  red 15
175
- 15
170
+ jo_ 15
176
171
  or 15
177
- ža 15
178
- ta_ 15
179
172
  tv 15
173
+ rž 14
180
174
  do 14
175
+ žav 14
176
+ im 14
177
+ drž 14
181
178
  ke 14
182
- di_ 14
183
- �av 14
184
179
  iv 14
185
- dr� 14
180
+ _so 14
186
181
  bl 14
187
- rž 14
188
- im 14
189
182
  _u 14
190
- _so 14
191
- ga_ 14
192
- nsk 13
193
- nos 13
183
+ rža 14
184
+ so_ 13
185
+ sta 13
194
186
  s_ 13
195
187
  ova 13
196
- il 13
197
- sta 13
198
188
  avn 13
189
+ ns 13
190
+ nsk 13
199
191
  ka_ 13
192
+ nos 13
193
+ oz 13
200
194
  ju 13
201
- so_ 13
202
- ns 13
203
195
  is 13
204
- oz 13
196
+ il 13
205
197
  f 12
206
- _š 12
207
- go 12
208
- eg 12
209
198
  ru 12
210
- ot 12
199
+ va_ 12
211
200
  lje 12
212
- iz 12
213
- sti 12
214
201
  val 12
215
- va_ 12
202
+ go 12
203
+ sti 12
204
+ eg 12
205
+ ot 12
216
206
  ze 12
217
- jen 12
207
+ 12
218
208
  pa 12
219
- nje 12
220
209
  ma_ 12
221
- ti_ 11
210
+ jen 12
211
+ nje 12
212
+ iz 12
222
213
  iva 11
223
- _st 11
214
+ ti_ 11
224
215
  d_ 11
225
- sa 11
226
- i� 11
227
216
  ros 11
217
+ _st 11
228
218
  kr 11
219
+ sa 11
220
+ bli 10
221
+ op 10
222
+ vi_ 10
223
+ elj 10
224
+ ud 10
225
+ pod 10
229
226
  li_ 10
230
227
  _ne 10
231
- vi_ 10
232
- r_ 10
228
+ ske 10
229
+ tu 10
230
+ ir 10
231
+ ski 10
232
+ sto 10
233
+ zem 10
234
+ lja 10
235
+ ega 10
233
236
  ej 10
237
+ tr 10
234
238
  se_ 10
235
239
  ic 10
236
- lja 10
237
- bli 10
238
- i� 10
239
- ske 10
240
- bi 10
241
- zem 10
242
- ir 10
243
- pod 10
244
- op 10
245
- ije 10
246
- em_ 10
247
240
  ič 10
248
- ega 10
249
- ud 10
250
- elj 10
251
- tu 10
241
+ bi 10
252
242
  am 10
253
- tr 10
254
- sto 10
255
- ski 10
243
+ ije 10
244
+ r_ 10
245
+ kih 9
246
+ či 9
247
+ ji_ 9
256
248
  iš 9
257
- og 9
258
- _tu 9
259
- men 9
260
- lik 9
261
- ča 9
262
- �i 9
249
+ _iz 9
263
250
  stv 9
264
- udi 9
265
- ji_ 9
266
- et_ 9
267
- edn 9
268
- zn 9
269
- dan 9
270
- či 9
251
+ mi 9
252
+ ča 9
271
253
  _oz 9
272
- ge 9
273
- kih 9
274
- �i 9
275
- ovi 9
276
- rad 9
277
- ži 9
278
- _e 9
254
+ pri 9
279
255
  ve_ 9
280
- _sk 9
256
+ zn 9
281
257
  vl 9
282
- mi 9
283
- �a 9
284
258
  _a 9
285
- pri 9
286
- _iz 9
259
+ ge 9
260
+ dan 9
261
+ _e 9
262
+ lik 9
263
+ rad 9
264
+ _ki 9
265
+ _tu 9
266
+ et_ 9
267
+ ovi 9
268
+ _sk 9
269
+ udi 9
270
+ men 9
271
+ ži 9
272
+ em_ 9
273
+ og 9
274
+ tud 8
275
+ še 8
276
+ ala 8
277
+ ela 8
278
+ k_ 8
279
+ pol 8
280
+ ska 8
281
+ dne 8
282
+ nar 8
287
283
  nik 8
284
+ edn 8
285
+ tav 8
288
286
  ke_ 8
289
- k_ 8
290
- ela 8
287
+ ajo 8
288
+ _pa 8
291
289
  bo 8
290
+ up 8
291
+ dni 8
292
+ ep 8
292
293
  eta 8
293
- _b 8
294
- ajo 8
295
- še 8
296
- ska 8
297
- es 8
298
- gr 8
294
+ iti 8
299
295
  ok 8
300
- pol 8
301
- ep 8
302
296
  zv 8
303
- tav 8
304
- _ki 8
305
- dne 8
306
- nar 8
307
- �e 8
308
- iti 8
309
- ala 8
310
- up 8
311
- _pa 8
297
+ es 8
312
298
  _s_ 8
313
- tud 8
314
- sv 7
315
- rsk 7
316
- pu 7
299
+ _b 8
300
+ gr 8
301
+ pra 7
302
+ pi 7
317
303
  rav 7
318
- j_ 7
319
- zd 7
320
- ede 7
321
- anj 7
304
+ van 7
305
+ pu 7
306
+ sv 7
322
307
  odn 7
323
- vni 7
308
+ zg 7
309
+ gl 7
324
310
  ši 7
325
- 7
326
- �č 7
327
- van 7
328
- �i 7
329
- �j 7
330
- jih 7
331
- sed 7
311
+ ur 7
332
312
  ani 7
313
+ vni 7
314
+ jih 7
315
+ _me 7
316
+ ez 7
317
+ pa_ 7
318
+ eb 7
319
+ zi 7
333
320
  čj 7
334
- _do 7
335
- _da 7
336
- dni 7
337
- eo 7
338
- a� 7
321
+ 7
339
322
  iki 7
323
+ j_ 7
340
324
  ko_ 7
341
- zi 7
342
- zg 7
325
+ ars 7
326
+ rst 7
327
+ rsk 7
328
+ anj 7
343
329
  ci 7
344
330
  pe 7
345
- _me 7
346
- ur 7
347
- pa_ 7
348
- ez 7
349
- eb 7
350
- nov 7
351
- š� 7
352
- �� 7
353
- rst 7
354
331
  ev_ 7
355
- ars 7
356
- pi 7
357
332
  eno 7
358
- 7
359
- pra 7
360
- gl 7
361
- obl 6
362
- oma 6
363
- ub 6
364
- tn 6
365
- om_ 6
366
- _sv 6
367
- �n 6
368
- ov_ 6
369
- ima 6
370
- rit 6
333
+ zd 7
334
+ _da 7
335
+ _do 7
336
+ eo 7
337
+ šč 7
371
338
  ogr 6
372
- ubl 6
373
- ug 6
374
- tev 6
339
+ tn 6
340
+ ru_ 6
341
+ eve 6
342
+ sr 6
343
+ še_ 6
375
344
  ava 6
376
- jn 6
377
- vo_ 6
378
- str 6
379
- št 6
380
- e� 6
345
+ ak 6
381
346
  tvo 6
382
- ave 6
347
+ iji 6
383
348
  eli 6
384
- ine 6
385
- _al 6
386
- �t 6
349
+ ug 6
350
+ _sv 6
351
+ 6
352
+ jn 6
353
+ ho 6
354
+ ast 6
355
+ du 6
356
+ ave 6
357
+ kra 6
358
+ om_ 6
359
+ lad 6
360
+ eds 6
361
+ vo_ 6
362
+ ds 6
363
+ at 6
364
+ als 6
365
+ ls 6
387
366
  _ka 6
388
- ali 6
389
367
  ver 6
368
+ z_ 6
369
+ str 6
370
+ rit 6
371
+ gla 6
372
+ nov 6
373
+ ubl 6
390
374
  vro 6
391
- _ur 6
392
- eds 6
393
- �e_ 6
394
- at 6
395
- gra 6
396
- _ni 6
375
+ _bi 6
376
+ ub 6
377
+ sn 6
378
+ sed 6
379
+ _al 6
380
+ 6
381
+ ura 6
382
+ sko 6
383
+ kov 6
384
+ obl 6
385
+ št 6
386
+ ml 6
387
+ oze 6
388
+ tev 6
397
389
  pov 6
398
390
  evi 6
391
+ _ur 6
392
+ ima 6
393
+ ali 6
394
+ oma 6
399
395
  čn 6
400
- du 6
396
+ gra 6
397
+ ine 6
398
+ _ni 6
399
+ ede 6
400
+ očj 5