scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 23939
2
- _ 12760
3
- 8880
4
- _� 4704
5
- 4078
6
- а 4077
7
- 3183
8
- и 3183
9
- о 2877
10
- 2877
11
- 2700
12
- е 2700
13
- 2572
14
- т 2572
15
- 2449
16
- н 2449
17
- 2128
18
- �� 2102
19
- н� 2102
20
- р 1924
21
- т� 1817
22
- �� 1817
23
- с 1742
24
- 1742
25
- _ 1724
26
- а_ 1723
27
- р� 1613
28
- �� 1613
29
- 1585
30
- в 1583
31
- _ 1538
32
- �� 1380
33
- е� 1380
34
- л 1259
35
- 1259
36
- �� 1256
37
- а� 1256
38
- о� 1225
39
- �� 1225
40
- �� 1108
41
- в� 1108
42
- �� 1084
43
- и� 1084
44
- �� 1061
45
- л� 1061
46
- �_ 1057
47
- и_ 1057
48
- �� 1055
49
- а� 1055
50
- и� 1038
51
- �� 1038
52
- к 1015
53
- 1015
54
- �а 971
55
- 949
56
- д 949
57
- с� 943
58
- �� 943
59
- п 933
60
- 933
61
- �� 852
62
- о� 852
63
- о_ 799
64
- �_ 799
65
- 774
66
- к� 773
67
- �� 773
68
- _н 772
69
- 724
70
- з 724
71
- е_ 706
72
- �_ 706
73
- д� 692
74
- �� 692
75
- �� 668
76
- с� 668
77
- г 654
78
- 654
79
- _п 634
80
- ъ 625
81
- 625
82
- е� 613
83
- �� 613
84
- 597
85
- я 597
86
- 583
87
- б 582
88
- з� 568
89
- �� 568
90
- �и 540
91
- 539
92
- м 538
93
- �о 532
94
- 514
95
- 503
96
- п� 497
97
- �� 497
98
- �т 494
99
- г� 481
100
- �� 481
101
- 474
102
- �_ 469
103
- т_ 469
104
- �а 467
105
- �т 467
106
- м� 439
107
- �� 439
108
- �е 434
109
- п� 425
110
- �а 425
111
- �� 425
112
- �а 405
113
- �н 383
114
- �т 380
115
- �� 377
116
- ъ� 377
117
- 364
118
- у 364
119
- �е 364
120
- �и 353
121
- �р 349
122
- �н 342
123
- ч 334
124
- 334
125
- �т 331
126
- �о 329
127
- �р 324
128
- ч� 319
129
- �� 319
130
- 313
131
- �я 309
132
- б� 302
133
- �� 302
134
- т� 286
135
- �� 286
136
- �а 271
137
- 270
138
- 268
139
- �� 267
140
- б� 267
141
- �о 266
142
- 263
143
- 255
144
- я_ 249
145
- _ 249
146
- ъ� 248
147
- �� 248
148
- �к 246
149
- �_ 245
150
- �и 245
151
- в_ 243
152
- �а 232
153
- �� 231
154
- 231
155
- в� 231
156
- �� 231
157
- ц 231
158
- р� 229
159
- �о 224
160
- �т 222
161
- �а 221
162
- �и 220
163
- �е 216
164
- ж 215
165
- 215
166
- �л 214
167
- �л 213
168
- �в 213
169
- �е 213
170
- �е 213
171
- �о 213
172
- �в 211
173
- н� 204
174
- _з 204
175
- �� 204
176
- �д 204
177
- �� 204
178
- ж� 204
179
- 201
180
- й 201
181
- 200
182
- 200
183
- �е 198
184
- �� 197
185
- �и 197
186
- ц� 197
187
- 193
188
- �ъ 191
189
- �г 190
190
- 187
191
- я� 186
192
- �� 186
193
- �о 183
194
- �� 176
195
- у� 176
196
- �н 173
197
- �с 171
198
- �л 168
199
- �д 167
200
- �з 167
201
- �р 165
202
- �и 165
203
- �� 165
204
- к� 165
205
- �а 164
206
- �л 162
207
- �� 159
208
- �� 159
209
- д� 159
210
- я� 159
211
- �� 157
212
- у� 157
213
- �р 156
214
- �� 151
215
- 151
216
- л� 151
217
- �и 148
218
- �а 147
219
- �р 146
220
- н_ 142
221
- �_ 142
222
- �с 140
223
- ф 135
224
- 135
225
- �с 135
226
- �р 134
227
- �е 134
228
- �б 133
229
- _� 130
230
- _� 130
231
- �_ 129
232
- с_ 129
233
- �о 127
234
- �з 127
235
- �е 123
236
- �а 121
237
- г_ 117
238
- �� 117
239
- �а 117
240
- _ 117
241
- ф� 117
242
- �т 115
243
- �в 113
244
- �и 112
245
- �и 111
246
- �е 109
247
- х 109
248
- 109
249
- �з 108
250
- �д 108
251
- �н 107
252
- �к 106
253
- �с 106
254
- щ 104
255
- 104
256
- �м 104
257
- �е 103
258
- �ч 103
259
- �с 103
260
- �о 102
261
- _а 101
262
- �ъ 100
263
- д_ 98
264
- �_ 98
265
- �н 97
266
- �к 96
267
- �ъ 96
268
- �л 95
269
- �н 94
270
- _ 92
271
- з_ 92
272
- �о 92
273
- �и 90
274
- �� 90
275
- щ� 90
276
- �л 87
277
- �_ 84
278
- 82
279
- ш 82
280
- р_ 82
281
- �р 81
282
- �в 81
283
- �т 79
284
- ш� 79
285
- �� 79
286
- �а 78
287
- х� 78
288
- �� 78
289
- �й 78
290
- �ц 76
291
- �к 76
292
- 75
293
- к_ 75
294
- _ 75
295
- й_ 75
296
- �_ 75
297
- �в 74
298
- �а 72
299
- й� 70
300
- �м 70
301
- �� 70
302
- �и 70
303
- �ф 70
304
- �е 70
305
- �_ 69
306
- 69
307
- �� 69
308
- �р 69
309
- ��_ 69
310
- 69
311
- 68
312
- �� 68
313
- 68
314
- �и 68
315
- �ж 66
316
- �н 66
317
- �п 65
318
- �в 65
319
- _у 65
320
- �в 64
321
- �д 64
322
- з� 64
323
- �с 64
324
- 64
325
- �� 64
326
- �я 62
327
- �о 62
328
- �и 61
329
- 60
330
- ю 60
331
- �� 59
332
- 59
333
- м� 59
334
- 59
335
- _ 59
336
- ��_ 59
337
- �� 59
338
- �м 58
339
- �к 58
340
- �о 58
341
- �т 57
342
- �в 57
343
- �� 56
344
- й� 56
345
- �� 56
346
- ��� 56
347
- �� 56
348
- г� 56
349
- �й 56
350
- �ъ 55
351
- �р 55
352
- �и 54
353
- �а 53
354
- �н 53
355
- �у 52
356
- �о 52
357
- �л 50
358
- �р 50
359
- �г 49
360
- �а 49
361
- �у 48
362
- �р 48
363
- л_ 47
364
- �_ 47
365
- �л 47
366
- �с 47
367
- �л 46
368
- �р 46
369
- �ъ 46
370
- �м 46
371
- �г 45
372
- �н 44
373
- �и 44
374
- �з 44
375
- �с 43
376
- �п 43
377
- �в 43
378
- �н 42
379
- а� 41
380
- 41
381
- �� 41
382
- �с 41
383
- �� 41
384
- �п 40
385
- �� 40
386
- ю� 40
387
- �_ 39
388
- �а 39
389
- �ч 38
390
- �я 38
391
- �а 38
392
- �о 38
393
- �е 38
394
- м_ 38
395
- �р 37
396
- �я 37
397
- �у 37
398
- �ъ 36
399
- �к 36
400
- �ъ 36
1
+ _ 13746
2
+ а 4467
3
+ и 3576
4
+ о 3045
5
+ е 2935
6
+ т 2830
7
+ н 2738
8
+ р 2149
9
+ с 1924
10
+ а_ 1921
11
+ в 1720
12
+ л 1376
13
+ и_ 1211
14
+ к 1123
15
+ на 1103
16
+ д 1052
17
+ п 996
18
+ 853
19
+ 840
20
+ о_ 811
21
+ з 784
22
+ е_ 771
23
+ _на 714
24
+ ъ 713
25
+ на_ 709
26
+ _п 671
27
+ г 663
28
+ я 643
29
+ б 638
30
+ м 618
31
+ _и 608
32
+ ни 596
33
+ 568
34
+ то 542
35
+ ст 535
36
+ ат 533
37
+ ра 532
38
+ т_ 517
39
+ та 481
40
+ те 476
41
+ 453
42
+ ва 432
43
+ ит 421
44
+ ен 410
45
+ ре 400
46
+ у 400
47
+ _и_ 389
48
+ ри 386
49
+ ч 386
50
+ пр 379
51
+ ан 378
52
+ но 369
53
+ то_ 363
54
+ ар 362
55
+ та_ 362
56
+ от 360
57
+ ия 342
58
+ 339
59
+ _пр 321
60
+ ка 318
61
+ 302
62
+ 298
63
+ по 289
64
+ ск 285
65
+ ите 283
66
+ 282
67
+ я_ 277
68
+ в_ 269
69
+ 266
70
+ ли 265
71
+ ко 262
72
+ ата 257
73
+ ти 256
74
+ га 255
75
+ ни_ 253
76
+ ия_ 247
77
+ ъл 245
78
+ ет 242
79
+ те_ 240
80
+ ле 238
81
+ ж 237
82
+ ц 236
83
+ ел 232
84
+ ед 232
85
+ ро 228
86
+ _от 227
87
+ се 224
88
+ ав 224
89
+ _в_ 224
90
+ ве 222
91
+ не 221
92
+ за 220
93
+ _по 217
94
+ лг 216
95
+ ълг 214
96
+ бъ 214
97
+ ов 213
98
+ лга 212
99
+ 211
100
+ 209
101
+ бъл 209
102
+ гар 209
103
+ _з 209
104
+ ки 208
105
+ ин 205
106
+ _бъ 204
107
+ й 203
108
+ ос 194
109
+ от_ 194
110
+ ва_ 192
111
+ из 189
112
+ ор 186
113
+ да 184
114
+ ди 183
115
+ од 181
116
+ ви 181
117
+ ол 181
118
+ во 180
119
+ пре 178
120
+ ал 174
121
+ тр 168
122
+ 166
123
+ но_ 164
124
+ _се 163
125
+ ер 162
126
+ об 159
127
+ ени 157
128
+ _за 157
129
+ ес 157
130
+ ие 155
131
+ ас 155
132
+ _е_ 154
133
+ че 151
134
+ н_ 149
135
+ го 145
136
+ са 144
137
+ ла 144
138
+ ър 142
139
+ ми 141
140
+ ез 140
141
+ ма 138
142
+ рия 137
143
+ ски 136
144
+ ари 135
145
+ с_ 132
146
+ се_ 132
147
+ тв 132
148
+ ето 130
149
+ х 127
150
+ лн 126
151
+ ки_ 125
152
+ ис 125
153
+ кат 124
154
+ ка_ 123
155
+ ят 123
156
+ де 122
157
+ аз 120
158
+ ем 119
159
+ рс 118
160
+ щ 117
161
+ съ 116
162
+ ци 116
163
+ _ст 114
164
+ ич 113
165
+ ад 112
166
+ _са 112
167
+ ме 109
168
+ до 109
169
+ са_ 109
170
+ 108
171
+ въ 107
172
+ он 107
173
+ ик 107
174
+ ат_ 105
175
+ ек 105
176
+ р_ 104
177
+ _ко 104
178
+ д_ 104
179
+ _ра 103
180
+ си 103
181
+ ние 103
182
+ ран 103
183
+ ств 103
184
+ нат 103
185
+ ска 101
186
+ рск 101
187
+ арс 100
188
+ дн 100
189
+ з_ 100
190
+ ват 99
191
+ рез 98
192
+ да_ 98
193
+ ост 98
194
+ ава 97
195
+ _го 96
196
+ _из 96
197
+ ане 96
198
+ раз 95
199
+ _с_ 95
200
+ тел 93
201
+ стр 93
202
+ ил 93
203
+ _съ 92
204
+ сл 92
205
+ вн 92
206
+ ло 92
207
+ _об 92
208
+ ез_ 90
209
+ про 89
210
+ ш 89
211
+ 88
212
+ лен 88
213
+ ото 87
214
+ тра 87
215
+ ред 87
216
+ ие_ 87
217
+ нит 86
218
+ ир 85
219
+ ив 85
220
+ нс 85
221
+ оди 84
222
+ яв 84
223
+ _ка 84
224
+ ф 83
225
+ ен_ 83
226
+ ван 82
227
+ _до 82
228
+ ай 82
229
+ бр 82
230
+ ок 81
231
+ дин 80
232
+ ият 80
233
+ не_ 79
234
+ би 79
235
+ _въ 79
236
+ им 79
237
+ за_ 79
238
+ ани 78
239
+ зв 77
240
+ й_ 77
241
+ _те 77
242
+ ато 76
243
+ нт 76
244
+ ина 75
245
+ аст 75
246
+ пе 74
247
+ жд 73
248
+ ча 73
249
+ ли_ 73
250
+ оп 73
251
+ ом 73
252
+ иц 72
253
+ ява 72
254
+ св 72
255
+ по_ 71
256
+ ти_ 71
257
+ 71
258
+ еж 70
259
+ чес 70
260
+ ест 70
261
+ г_ 70
262
+ па 70
263
+ ля 70
264
+ тн 70
265
+ ст_ 69
266
+ ят_ 69
267
+ еле 67
268
+ дъ 67
269
+ 67
270
+ к_ 67
271
+ ста 67
272
+ сти 65
273
+ иче 65
274
+ бо 65
275
+ лед 65
276
+ ги 64
277
+ ана 64
278
+ вр 64
279
+ зи 64
280
+ сто 63
281
+ при 63
282
+ ои 63
283
+ мо 63
284
+ _ви 62
285
+ ай_ 62
286
+ рат 62
287
+ кт 62
288
+ _ре 62
289
+ най 61
290
+ год 61
291
+ ту 61
292
+ едн 60
293
+ ира 59
294
+ _ос 59
295
+ сле 59
296
+ рав 58
297
+ лно 58
298
+ тор 58
299
+ _г_ 57
300
+ ори 57
301
+ 57
302
+ _то 57
303
+ —_ 57
304
+ _сл 57
305
+ жа 57
306
+ ог 56
307
+ ю 56
308
+ л_ 56
309
+ ур 56
310
+ ср 56
311
+ нов 56
312
+ елн 55
313
+ _не 55
314
+ вл 55
315
+ ели 55
316
+ ио 55
317
+ _ср 55
318
+ ери 54
319
+ ра_ 54
320
+ иет 54
321
+ ъс 54
322
+ ак 54
323
+ ри_ 54
324
+ пъ 53
325
+ ам 53
326
+ ове 53
327
+ ой 53
328
+ _дъ 52
329
+ тво 52
330
+ _да 52
331
+ м_ 52
332
+ ния 51
333
+ _—_ 51
334
+ оч 51
335
+ ед_ 51
336
+ _ 51
337
+ ца 51
338
+ ъз 51
339
+ чи 50
340
+ нос 50
341
+ _а_ 50
342
+ _ве 50
343
+ еск 50
344
+ гр 50
345
+ ев 50
346
+ ова 49
347
+ жда 49
348
+ ист 49
349
+ ру 49
350
+ бл 49
351
+ ика 49
352
+ кон 48
353
+ _си 48
354
+ рн 48
355
+ др 48
356
+ рит 47
357
+ 47
358
+ ма_ 47
359
+ йс 47
360
+ нас 47
361
+ жав 46
362
+ _пъ 46
363
+ или 45
364
+ зн 45
365
+ тер 45
366
+ авн 44
367
+ ду 44
368
+ лит 44
369
+ пол 44
370
+ чн 44
371
+ ап 44
372
+ вет 44
373
+ нск 43
374
+ алн 43
375
+ оя 43
376
+ ско 43
377
+ со 43
378
+ ици 43
379
+ тур 43
380
+ еди 43
381
+ ена 42
382
+ ден 42
383
+ во_ 42
384
+ пл 42
385
+ нет 42
386
+ ач 42
387
+ ид 42
388
+ ежд 42
389
+ сп 42
390
+ ща 41
391
+ ът 41
392
+ кр 41
393
+ _св 41
394
+ рв 41
395
+ еме 40
396
+ _ма 40
397
+ ито 40
398
+ асе 40
399
+ ърж 40
400
+ ко_ 40