scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 52650
2
- _ 25266
3
- 24176
4
- о 8331
5
- 8331
6
- _� 8230
7
- и 6466
8
- 6466
9
- е 6346
10
- 6346
11
- 5698
12
- а 5682
13
- 5594
14
- с 5588
15
- н 5091
16
- 5091
17
- �� 4856
18
- о� 4856
19
- 4804
20
- р 4480
21
- т 4242
22
- 4242
23
- 3935
24
- в 3904
25
- _� 3869
26
- �� 3744
27
- н� 3744
28
- р� 3540
29
- �� 3540
30
- е� 3313
31
- �� 3313
32
- 3222
33
- л 3121
34
- �� 2912
35
- и� 2912
36
- �� 2871
37
- с� 2867
38
- т� 2702
39
- �� 2702
40
- а� 2629
41
- �� 2629
42
- 2506
43
- к 2506
44
- �� 2456
45
- с� 2455
46
- �� 2337
47
- о� 2337
48
- в� 2258
49
- �� 2258
50
- д 2217
51
- 2217
52
- м 2076
53
- 2076
54
- л� 2058
55
- �� 2058
56
- 2022
57
- п 2022
58
- �� 1918
59
- и� 1918
60
- к� 1868
61
- �� 1868
62
- �� 1802
63
- а� 1802
64
- е� 1706
65
- �� 1706
66
- я 1685
67
- 1685
68
- 1644
69
- у 1643
70
- д� 1635
71
- �� 1635
72
- и_ 1591
73
- _ 1591
74
- 1472
75
- ы 1472
76
- �т 1448
77
- _в 1444
78
- _п 1352
79
- �_ 1289
80
- е_ 1289
81
- 1287
82
- г 1265
83
- _с 1246
84
- �� 1245
85
- м� 1245
86
- �_ 1228
87
- �� 1220
88
- п� 1220
89
- а_ 1213
90
- з 1155
91
- 1155
92
- н� 1145
93
- �� 1145
94
- т� 1131
95
- �� 1131
96
- �с 1126
97
- �_ 1115
98
- о_ 1115
99
- �_ 1107
100
- �� 1078
101
- г� 1078
102
- в_ 1077
103
- �о 1069
104
- 1039
105
- й 1039
106
- �о 1011
107
- �_ 982
108
- я_ 982
109
- �а 981
110
- 974
111
- ь 974
112
- ч 959
113
- 959
114
- �а 949
115
- 940
116
- б 939
117
- 938
118
- л� 932
119
- �� 932
120
- з� 907
121
- �� 907
122
- �н 905
123
- �в 868
124
- 862
125
- 839
126
- х 839
127
- �и 838
128
- ч� 830
129
- �� 830
130
- р� 825
131
- �� 825
132
- 817
133
- �о 813
134
- 788
135
- �� 763
136
- п� 763
137
- _ 761
138
- й_ 761
139
- 732
140
- �о 729
141
- �� 722
142
- у� 722
143
- �е 708
144
- �д 678
145
- �р 677
146
- �о 667
147
- �к 651
148
- �� 647
149
- ы� 647
150
- �о 633
151
- �н 621
152
- у� 616
153
- �� 616
154
- �р 606
155
- �ы 605
156
- �о 598
157
- _к 598
158
- �с 582
159
- �� 560
160
- в� 560
161
- �е 556
162
- х_ 548
163
- �_ 548
164
- �л 544
165
- �и 540
166
- _ 533
167
- м_ 533
168
- �с 525
169
- 518
170
-   518
171
- �е 515
172
- �а 515
173
- �л 515
174
- �е 511
175
- �ь 509
176
- �� 492
177
- б� 492
178
- 490
179
- ж 490
180
- �и 484
181
- ы� 477
182
- �� 477
183
- 469
184
- 465
185
- ц 465
186
- �� 458
187
- д� 458
188
- �� 454
189
- �� 454
190
- ж� 454
191
- �р 454
192
- я� 454
193
- �а 448
194
- _� 445
195
- �и 443
196
- �и 442
197
- ц� 438
198
- �� 438
199
- �о 437
200
- б� 435
201
- �� 435
202
- ю 434
203
- 434
204
- 433
205
- �л 430
206
- �в 424
207
- �й 420
208
- 419
209
- �е 415
210
- �г 414
211
- �а 414
212
- 411
213
- �т 410
214
- �и 405
215
- �д 404
216
- �е 403
217
- �_ 402
218
- т_ 402
219
- �а 400
220
- �м 396
221
- �т 393
222
- �н 392
223
- �с 390
224
- �о 386
225
- �е 385
226
- �� 382
227
- к� 382
228
- 378
229
- ш 376
230
- �е 372
231
- �б 371
232
- _ 370
233
- ь_ 370
234
- �и 369
235
- �т 368
236
- �я 365
237
- �а 360
238
- �е 358
239
- �н 358
240
- ь� 349
241
- �и 349
242
- �� 349
243
- �� 347
244
- ш� 347
245
- �_ 343
246
- ы_ 343
247
- 334
248
- �т 330
249
- _  326
250
- �р 325
251
- 324
252
- �а 320
253
- �в 318
254
- �р 314
255
- 313
256
- �� 313
257
- 313
258
- 304
259
- 304
260
- �_ 303
261
- �н 303
262
- ��_ 303
263
- 302
264
- �с 299
265
- �м 296
266
- ф 294
267
- 292
268
- �_ 291
269
- у_ 291
270
- �о 287
271
- �я 287
272
- 287
273
- щ 286
274
- 277
275
- _б 273
276
- �у 273
277
- �� 270
278
- щ� 270
279
- �л 269
280
- �и 268
281
- �й 267
282
- �з 266
283
- �_ 266
284
- с_ 266
285
- �н 263
286
- к_ 253
287
- _ 253
288
- �с 252
289
- �м 251
290
- �х 250
291
- �� 245
292
- �� 245
293
-  � 245
294
- ь� 245
295
- �� 245
296
- �� 244
297
- ф� 244
298
- �з 242
299
- �к 242
300
- �я 240
301
- �и 240
302
- �� 238
303
- м� 238
304
- я� 238
305
- �� 238
306
- �ч 235
307
- �к 233
308
- �_ 229
309
- �л 228
310
- �� 226
311
- х� 226
312
- �е 225
313
- �е 225
314
- �о 222
315
- �и 220
316
- �е 218
317
- �н 218
318
- �х 216
319
- �� 212
320
- й� 212
321
- �ь 209
322
- �я 203
323
- �й 202
324
- �к 202
325
- �л 202
326
- �� 201
327
- ю� 201
328
- �ы 200
329
- 199
330
- э 199
331
- �с 199
332
- �_ 194
333
- н_ 194
334
- ё 188
335
- 188
336
- �р 183
337
- �и 180
338
- �с 180
339
- �о 178
340
- �а 173
341
- �м 170
342
- �� 169
343
- з� 169
344
- �а 168
345
- �е 167
346
- �в 166
347
- ю_ 164
348
- �_ 164
349
- �у 161
350
- 161
351
- �у 160
352
- �п 160
353
- �к 157
354
- �д 153
355
- �е 151
356
- �у 149
357
- �в 144
358
- �ы 144
359
- _ф 144
360
- �н 143
361
- г� 143
362
- �� 143
363
- �ы 142
364
- �и 141
365
- �о 141
366
-  _ 139
367
- �м 139
368
- _ 139
369
- �т 134
370
- �ь 133
371
- �с 133
372
- �о 131
373
- л_ 131
374
- �р 130
375
- �с 129
376
- �д 129
377
- �е 127
378
- �ц 127
379
- �е 126
380
- �р 126
381
- �т 125
382
- �р 123
383
- �_ 123
384
- �в 123
385
- д_ 123
386
- �е 122
387
- �о 121
388
- �е 121
389
- �с 120
390
- 119
391
- �р 119
392
- �а 117
393
- �з 116
394
- �р 116
395
- �н 115
396
- �х 115
397
- �г 114
398
- ё� 113
399
- �� 113
400
- �_ 112
1
+ _ 31034
2
+ о 10426
3
+ и 7891
4
+ е 7661
5
+ а 7095
6
+ с 6969
7
+ н 6412
8
+ р 5688
9
+ т 5402
10
+ в 4732
11
+ л 3850
12
+ к 3168
13
+ д 2745
14
+ м 2663
15
+ п 2472
16
+ я 2174
17
+ у 2015
18
+ и_ 1954
19
+ ы 1887
20
+ ст 1819
21
+ 1702
22
+ _п 1631
23
+ 1569
24
+ з 1566
25
+ г 1564
26
+ е_ 1450
27
+ а_ 1433
28
+ й 1419
29
+ ро 1401
30
+ ос 1374
31
+ о_ 1357
32
+ я_ 1274
33
+ в_ 1235
34
+ но 1227
35
+ б 1223
36
+ на 1155
37
+ 1144
38
+ ра 1144
39
+ ч 1130
40
+ ь 1110
41
+ х 1109
42
+ ов 1096
43
+ 1095
44
+ ен 1084
45
+ ко 1031
46
+ й_ 988
47
+ ни 987
48
+ 969
49
+ ск 927
50
+ го 908
51
+ 899
52
+ _в_ 888
53
+ ны 843
54
+ ре 837
55
+ то 829
56
+ по 814
57
+ од 795
58
+ пр 783
59
+ ан 780
60
+ сс 747
61
+ ер 742
62
+ м_ 724
63
+ во 721
64
+ 720
65
+   715
66
+ х_ 706
67
+ ле 701
68
+ ор 695
69
+ ж 685
70
+ _пр 675
71
+ ол 663
72
+ ли 652
73
+ _на 651
74
+ те 647
75
+ та 631
76
+ ел 618
77
+ _по 617
78
+ ес 613
79
+ ве 608
80
+ си 601
81
+ _и_ 600
82
+ ль 590
83
+ _т 569
84
+ 559
85
+ ка 557
86
+ ой 550
87
+ ал 549
88
+ ц 546
89
+ ти 546
90
+ ю 543
91
+ ва 543
92
+ 541
93
+ не 537
94
+ ри 534
95
+ 531
96
+ т_ 531
97
+ рос 506
98
+ ост 506
99
+ ит 505
100
+ да 501
101
+ тв 497
102
+ ог 495
103
+ ет 492
104
+ нн 489
105
+ _ро 487
106
+ от 485
107
+ ки 485
108
+ ии 481
109
+ об 479
110
+ ло 478
111
+ ед 478
112
+ _  475
113
+ ия 472
114
+ ом 471
115
+ ой_ 468
116
+ де 466
117
+ ми 464
118
+ ы_ 461
119
+ ии_ 458
120
+ сси 455
121
+ со 450
122
+ ас 449
123
+ ств 448
124
+ он 445
125
+ тр 444
126
+ ш 440
127
+ ат 437
128
+ осс 436
129
+ ла 432
130
+ ие 430
131
+ ме 428
132
+ че 418
133
+ ин 418
134
+ за 412
135
+ го_ 412
136
+ ав 409
137
+ ь_ 409
138
+ на_ 409
139
+ ар 405
140
+ ско 402
141
+ ф 396
142
+ ени 392
143
+ 388
144
+ _го 387
145
+ ия_ 384
146
+ —_ 373
147
+ 367
148
+ до 365
149
+ 364
150
+ ий 362
151
+ _со 361
152
+ ых 359
153
+ ру 357
154
+ им 354
155
+ ся 353
156
+ аз 351
157
+ _б 349
158
+ ис 348
159
+ ых_ 343
160
+ ая 337
161
+ ие_ 337
162
+ с_ 331
163
+ ого 330
164
+ ем 326
165
+  — 325
166
+  —_ 325
167
+ из 325
168
+ тс 321
169
+ у_ 320
170
+ ци 319
171
+ ая_ 319
172
+ 318
173
+ ся_ 314
174
+ ски 309
175
+ ил 305
176
+ щ 301
177
+ ьн 297
178
+ льн 297
179
+ 295
180
+ енн 293
181
+ ви 293
182
+ ста 293
183
+ ак 290
184
+ ей 286
185
+ про 282
186
+ н_ 280
187
+ бо 276
188
+ ля 275
189
+ _об 273
190
+ пе 268
191
+ йс 267
192
+ ич 265
193
+ _ко 264
194
+ ест 264
195
+ вл 263
196
+ се 262
197
+ дн 261
198
+ _ст 259
199
+ _за 258
200
+ год 258
201
+ ова 257
202
+ ов_ 257
203
+ ани 257
204
+ вы 254
205
+ ть 254
206
+ _ра 250
207
+ к_ 249
208
+ их 248
209
+ ных 247
210
+ ек 246
211
+ ди 246
212
+ тор 241
213
+ ое 241
214
+ ния 240
215
+ _во 240
216
+ ир 239
217
+ ам 239
218
+ ми_ 237
219
+ ю_ 236
220
+ ом_ 236
221
+ сти 235
222
+ ик 235
223
+ э 233
224
+ ча 232
225
+ лен 230
226
+ сто 229
227
+ мо 228
228
+ же 226
229
+ ев 226
230
+ ние 225
231
+ тся 225
232
+ но_ 222
233
+ раз 221
234
+ нно 219
235
+ сл 219
236
+ тел 219
237
+ их_ 218
238
+ ма 218
239
+ сии 214
240
+ стр 214
241
+ при 210
242
+ чес 210
243
+ ус 209
244
+ ым 208
245
+ ё 206
246
+ ий_ 206
247
+ пол 206
248
+ йск 205
249
+ ые 204
250
+ тра 203
251
+ ые_ 203
252
+ рс 202
253
+ нс 202
254
+ вн 199
255
+ кой 199
256
+ ред 199
257
+ ли_ 198
258
+ зо 197
259
+ ок 197
260
+ су 197
261
+ уд 196
262
+ нны 196
263
+ д_ 196
264
+  _ 195
265
+ 195
266
+ _с_ 195
267
+ сп 194
268
+ ду 194
269
+ иче 190
270
+ 187
271
+ пре 187
272
+ _ _ 187
273
+ ть_ 185
274
+ кт 185
275
+ _ре 184
276
+ аль 183
277
+ нос 183
278
+ хо 182
279
+ оро 182
280
+ ет_ 182
281
+ ной 181
282
+ чи 181
283
+ ров 180
284
+ ад 180
285
+ ей_ 180
286
+ аст 179
287
+ _до 179
288
+ кон 178
289
+ ран 178
290
+ па 178
291
+ еск 177
292
+ ту 176
293
+ ны_ 176
294
+ _не 174
295
+ етс 174
296
+ нов 173
297
+ ван 173
298
+ ель 173
299
+ ове 171
300
+ ным 169
301
+ пер 168
302
+ оз 168
303
+ ти_ 167
304
+ л_ 166
305
+ ты 165
306
+ _от 163
307
+ ив 163
308
+ бы 163
309
+ нт 162
310
+ тве 162
311
+ ур 161
312
+ бр 160
313
+ ое_ 160
314
+ тн 160
315
+ _ме 159
316
+ ги 159
317
+ ср 159
318
+ тер 159
319
+ ац 158
320
+ зн 158
321
+ аци 158
322
+ ло_ 158
323
+ ног 157
324
+ ите 157
325
+ еле 156
326
+ _а_ 155
327
+ ще 155
328
+ _пе 154
329
+ кр 153
330
+ _из 152
331
+ тво 151
332
+ ег 150
333
+ ийс 150
334
+ сть 149
335
+ ио 149
336
+ 149
337
+ оп 148
338
+ ьно 148
339
+ ные 147
340
+ ее 147
341
+ са 146
342
+ » 146
343
+ ода 145
344
+ ае 144
345
+ по_ 144
346
+ »_ 143
347
+ гр 143
348
+ « 143
349
+ ера 143
350
+ тав 142
351
+ зв 142
352
+ 141
353
+ бл 141
354
+ ах 141
355
+ одн 140
356
+ оль 140
357
+ ез 139
358
+ _те 139
359
+ _л 139
360
+ сь 138
361
+ лн 138
362
+ да_ 137
363
+ еде 137
364
+ вен 135
365
+ _ру 134
366
+ сий 134
367
+ сос 134
368
+ _ка 133
369
+ фе 133
370
+ вля 133
371
+ чн 133
372
+ ый 132
373
+ _бы 132
374
+ ска 131
375
+ кая 131
376
+ сь_ 130
377
+ оло 129
378
+ мл 129
379
+ ач 129
380
+ ры 128
381
+ мен 128
382
+ бол 128
383
+ рн 127
384
+ ном 126
385
+ ког 126
386
+ ыл 126
387
+ ше 126
388
+ ый_ 126
389
+ р_ 125
390
+ осу 125
391
+ ую 125
392
+ вс 124
393
+ род 124
394
+ ере 123
395
+ з_ 123
396
+ му 123
397
+ ате 123
398
+ рст 122
399
+ сле 122
400
+ лас 122