scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 23939
2
- _ 12760
3
- 8880
4
- _� 4704
5
- 4078
6
- а 4077
7
- 3183
8
- и 3183
9
- о 2877
10
- 2877
11
- 2700
12
- е 2700
13
- 2572
14
- т 2572
15
- 2449
16
- н 2449
17
- 2128
18
- �� 2102
19
- н� 2102
20
- р 1924
21
- т� 1817
22
- �� 1817
23
- с 1742
24
- 1742
25
- �_ 1724
26
- а_ 1723
27
- р� 1613
28
- �� 1613
29
- 1585
30
- в 1583
31
- _ 1538
32
- �� 1380
33
- е� 1380
34
- л 1259
35
- 1259
36
- �� 1256
37
- а� 1256
38
- о� 1225
39
- �� 1225
40
- �� 1108
41
- в� 1108
42
- �� 1084
43
- и� 1084
44
- �� 1061
45
- л� 1061
46
- �_ 1057
47
- и_ 1057
48
- �� 1055
49
- а� 1055
50
- и� 1038
51
- �� 1038
52
- к 1015
53
- 1015
54
- �а 971
55
- 949
56
- д 949
57
- с� 943
58
- �� 943
59
- п 933
60
- 933
61
- �� 852
62
- о� 852
63
- о_ 799
64
- _ 799
65
- 774
66
- к� 773
67
- �� 773
68
- _н 772
69
- 724
70
- з 724
71
- е_ 706
72
- �_ 706
73
- д� 692
74
- �� 692
75
- �� 668
76
- с� 668
77
- г 654
78
- 654
79
- _п 634
80
- ъ 625
81
- 625
82
- е� 613
83
- �� 613
84
- 597
85
- я 597
86
- 583
87
- б 582
88
- з� 568
89
- �� 568
90
- �и 540
91
- 539
92
- м 538
93
- �о 532
94
- 514
95
- 503
96
- п� 497
97
- �� 497
98
- �т 494
99
- г� 481
100
- �� 481
101
- 474
102
- �_ 469
103
- т_ 469
104
- �а 467
105
- �т 467
106
- м� 439
107
- �� 439
108
- �е 434
109
- п� 425
110
- �а 425
111
- �� 425
112
- �а 405
113
- �н 383
114
- �т 380
115
- �� 377
116
- ъ� 377
117
- 364
118
- у 364
119
- �е 364
120
- �и 353
121
- �р 349
122
- �н 342
123
- ч 334
124
- 334
125
- �т 331
126
- �о 329
127
- �р 324
128
- ч� 319
129
- �� 319
130
- 313
131
- �я 309
132
- б� 302
133
- �� 302
134
- т� 286
135
- �� 286
136
- �а 271
137
- 270
138
- 268
139
- �� 267
140
- б� 267
141
- �о 266
142
- 263
143
- 255
144
- я_ 249
145
- _ 249
146
- ъ� 248
147
- �� 248
148
- �к 246
149
- �_ 245
150
- �и 245
151
- в_ 243
152
- �а 232
153
- �� 231
154
- 231
155
- в� 231
156
- �� 231
157
- ц 231
158
- р� 229
159
- �о 224
160
- �т 222
161
- �а 221
162
- �и 220
163
- �е 216
164
- ж 215
165
- 215
166
- �л 214
167
- �л 213
168
- �в 213
169
- �е 213
170
- �е 213
171
- �о 213
172
- �в 211
173
- н� 204
174
- 204
175
- �� 204
176
- �д 204
177
- �� 204
178
- ж� 204
179
- 201
180
- й 201
181
- 200
182
- 200
183
- �е 198
184
- �� 197
185
- �и 197
186
- ц� 197
187
- _г 193
188
- �ъ 191
189
- �г 190
190
- 187
191
- я� 186
192
- �� 186
193
- �о 183
194
- �� 176
195
- у� 176
196
- �н 173
197
- �с 171
198
- �л 168
199
- �д 167
200
- �з 167
201
- �р 165
202
- �и 165
203
- �� 165
204
- к� 165
205
- �а 164
206
- �л 162
207
- �� 159
208
- �� 159
209
- д� 159
210
- я� 159
211
- �� 157
212
- у� 157
213
- �р 156
214
- �� 151
215
- _м 151
216
- л� 151
217
- �и 148
218
- �а 147
219
- �р 146
220
- н_ 142
221
- �_ 142
222
- �с 140
223
- ф 135
224
- 135
225
- �с 135
226
- �р 134
227
- �е 134
228
- �б 133
229
- _� 130
230
- _ 130
231
- �_ 129
232
- с_ 129
233
- �о 127
234
- �з 127
235
- �е 123
236
- �а 121
237
- г_ 117
238
- �� 117
239
- �а 117
240
- �_ 117
241
- ф� 117
242
- �т 115
243
- �в 113
244
- �и 112
245
- �и 111
246
- �е 109
247
- х 109
248
- 109
249
- �з 108
250
- �д 108
251
- �н 107
252
- �к 106
253
- �с 106
254
- щ 104
255
- 104
256
- �м 104
257
- �е 103
258
- �ч 103
259
- �с 103
260
- �о 102
261
- 101
262
- �ъ 100
263
- д_ 98
264
- �_ 98
265
- �н 97
266
- �к 96
267
- �ъ 96
268
- �л 95
269
- �н 94
270
- _ 92
271
- з_ 92
272
- �о 92
273
- �и 90
274
- �� 90
275
- щ� 90
276
- �л 87
277
- �_ 84
278
- 82
279
- ш 82
280
- р_ 82
281
- �р 81
282
- �в 81
283
- �т 79
284
- ш� 79
285
- �� 79
286
- �а 78
287
- х� 78
288
- �� 78
289
- �й 78
290
- �ц 76
291
- �к 76
292
- 75
293
- к_ 75
294
- �_ 75
295
- й_ 75
296
- �_ 75
297
- �в 74
298
- �а 72
299
- й� 70
300
- �м 70
301
- �� 70
302
- �и 70
303
- �ф 70
304
- �е 70
305
- �_ 69
306
- 69
307
- �� 69
308
- �р 69
309
- ��_ 69
310
- 69
311
- 68
312
- �� 68
313
- 68
314
- �и 68
315
- �ж 66
316
- �н 66
317
- �п 65
318
- �в 65
319
- _у 65
320
- �в 64
321
- �д 64
322
- з� 64
323
- �с 64
324
- 64
325
- �� 64
326
- �я 62
327
- �о 62
328
- �и 61
329
- 60
330
- ю 60
331
- �� 59
332
- 59
333
- м� 59
334
- 59
335
- �_ 59
336
- ��_ 59
337
- �� 59
338
- �м 58
339
- �к 58
340
- �о 58
341
- �т 57
342
- �в 57
343
- �� 56
344
- й� 56
345
- �� 56
346
- ��� 56
347
- �� 56
348
- г� 56
349
- �й 56
350
- �ъ 55
351
- �р 55
352
- �и 54
353
- �а 53
354
- �н 53
355
- �у 52
356
- �о 52
357
- �л 50
358
- �р 50
359
- �г 49
360
- �а 49
361
- �у 48
362
- �р 48
363
- л_ 47
364
- �_ 47
365
- �л 47
366
- �с 47
367
- �л 46
368
- �р 46
369
- �ъ 46
370
- �м 46
371
- �г 45
372
- �н 44
373
- �и 44
374
- �з 44
375
- �с 43
376
- �п 43
377
- �в 43
378
- �н 42
379
- а� 41
380
- 41
381
- �� 41
382
- �с 41
383
- �� 41
384
- �п 40
385
- �� 40
386
- ю� 40
387
- �_ 39
388
- �а 39
389
- �ч 38
390
- �я 38
391
- �а 38
392
- �о 38
393
- �е 38
394
- м_ 38
395
- �р 37
396
- �я 37
397
- �у 37
398
- �ъ 36
399
- �к 36
400
- �ъ 36
1
+ _ 13700
2
+ а 4459
3
+ и 3567
4
+ о 3044
5
+ е 2931
6
+ т 2805
7
+ н 2742
8
+ р 2147
9
+ а_ 1928
10
+ с 1913
11
+ в 1711
12
+ л 1371
13
+ и_ 1199
14
+ к 1125
15
+ на 1109
16
+ д 1052
17
+ п 994
18
+ 851
19
+ 830
20
+ о_ 814
21
+ з 777
22
+ е_ 767
23
+ на_ 716
24
+ _на 713
25
+ ъ 711
26
+ _п 672
27
+ г 663
28
+ я 644
29
+ б 635
30
+ м 618
31
+ _и 604
32
+ ни 593
33
+ 566
34
+ то 537
35
+ ст 530
36
+ ат 528
37
+ ра 527
38
+ т_ 512
39
+ та 478
40
+ те 469
41
+ 452
42
+ ва 426
43
+ ит 417
44
+ ен 411
45
+ ре 401
46
+ у 398
47
+ _и_ 387
48
+ ри 385
49
+ ч 382
50
+ пр 379
51
+ ан 379
52
+ но 369
53
+ та_ 362
54
+ то_ 361
55
+ ар 360
56
+ от 358
57
+ ия 342
58
+ 339
59
+ _пр 321
60
+ ка 321
61
+ 302
62
+ 294
63
+ по 288
64
+ _е 286
65
+ ск 285
66
+ ите 279
67
+ я_ 279
68
+ в_ 267
69
+ 264
70
+ ли 262
71
+ ко 261
72
+ ата 256
73
+ га 255
74
+ ти 254
75
+ ни_ 251
76
+ ия_ 249
77
+ ъл 245
78
+ ет 242
79
+ ле 237
80
+ ц 237
81
+ ж 237
82
+ те_ 235
83
+ ел 231
84
+ ед 230
85
+ ро 229
86
+ _от 228
87
+ ав 223
88
+ _в_ 222
89
+ се 222
90
+ не 221
91
+ ве 221
92
+ за 219
93
+ _по 218
94
+ лг 216
95
+ ълг 214
96
+ бъ 214
97
+ ин 213
98
+ лга 212
99
+ 211
100
+ ов 211
101
+ бъл 209
102
+ гар 209
103
+ _р 208
104
+ ки 207
105
+ 207
106
+ _бъ 203
107
+ й 202
108
+ от_ 195
109
+ ос 193
110
+ ди 190
111
+ ва_ 189
112
+ од 188
113
+ из 187
114
+ ор 186
115
+ да 184
116
+ ол 181
117
+ ви 181
118
+ во 180
119
+ пре 178
120
+ ал 174
121
+ тр 168
122
+ 168
123
+ но_ 167
124
+ ер 165
125
+ _се 160
126
+ ес 158
127
+ ени 158
128
+ _за 156
129
+ ие 156
130
+ об 156
131
+ _е_ 155
132
+ ас 153
133
+ че 152
134
+ го 152
135
+ н_ 149
136
+ ла 143
137
+ ър 142
138
+ са 142
139
+ ми 141
140
+ ез 140
141
+ ма 140
142
+ рия 137
143
+ ари 135
144
+ ски 135
145
+ с_ 133
146
+ ето 131
147
+ тв 131
148
+ се_ 130
149
+ х 127
150
+ лн 125
151
+ ка_ 125
152
+ ки_ 125
153
+ кат 125
154
+ ис 124
155
+ ят 121
156
+ де 120
157
+ рс 118
158
+ ем 118
159
+ щ 117
160
+ аз 117
161
+ ци 116
162
+ съ 116
163
+ _ст 112
164
+ ич 112
165
+ ад 112
166
+ _са 110
167
+ ме 109
168
+ до 108
169
+ 108
170
+ са_ 107
171
+ въ 107
172
+ ик 107
173
+ он 106
174
+ ек 105
175
+ си 104
176
+ _го 104
177
+ ние 104
178
+ _ко 103
179
+ р_ 103
180
+ ств 103
181
+ ран 103
182
+ д_ 102
183
+ ат_ 102
184
+ ска 102
185
+ нат 102
186
+ рск 101
187
+ _ра 101
188
+ дн 101
189
+ з_ 100
190
+ арс 100
191
+ да_ 99
192
+ рез 98
193
+ ост 97
194
+ ане 96
195
+ _с_ 95
196
+ ват 95
197
+ ил 95
198
+ ава 95
199
+ _из 94
200
+ стр 93
201
+ тел 93
202
+ ло 93
203
+ вн 92
204
+ раз 92
205
+ _съ 92
206
+ оди 92
207
+ сл 91
208
+ ез_ 90
209
+ про 89
210
+ _об 89
211
+ дин 88
212
+ 88
213
+ лен 88
214
+ тра 87
215
+ ие_ 87
216
+ ш 86
217
+ ото 86
218
+ нс 86
219
+ яв 85
220
+ ред 85
221
+ ир 85
222
+ ив 85
223
+ нит 84
224
+ ен_ 84
225
+ _ка 84
226
+ ван 83
227
+ ина 83
228
+ ф 83
229
+ ок 82
230
+ _до 81
231
+ ай 81
232
+ бр 81
233
+ би 80
234
+ им 79
235
+ _въ 79
236
+ ани 79
237
+ не_ 79
238
+ за_ 78
239
+ ият 78
240
+ зв 77
241
+ _те 76
242
+ нт 76
243
+ й_ 76
244
+ ато 75
245
+ пе 74
246
+ жд 73
247
+ ява 73
248
+ оп 73
249
+ ом 72
250
+ по_ 72
251
+ иц 72
252
+ аст 72
253
+ ли_ 72
254
+ 71
255
+ па 71
256
+ св 70
257
+ ча 70
258
+ ест 70
259
+ тн 70
260
+ ля 70
261
+ еж 70
262
+ чес 70
263
+ ти_ 69
264
+ год 69
265
+ ст_ 68
266
+ к_ 67
267
+ 67
268
+ дъ 67
269
+ еле 67
270
+ ят_ 67
271
+ иче 65
272
+ мо 65
273
+ ста 65
274
+ сти 64
275
+ ги 64
276
+ зи 64
277
+ ана 64
278
+ лед 64
279
+ вр 64
280
+ сто 63
281
+ при 63
282
+ ои 63
283
+ бо 63
284
+ кт 62
285
+ рат 62
286
+ _ре 62
287
+ _ви 62
288
+ едн 61
289
+ г_ 61
290
+ ай_ 61
291
+ ту 61
292
+ най 60
293
+ _ос 59
294
+ ира 59
295
+ сле 58
296
+ тор 58
297
+ рав 58
298
+ лно 58
299
+ жа 57
300
+ —_ 57
301
+ 57
302
+ ори 56
303
+ _то 56
304
+ л_ 56
305
+ ур 56
306
+ _сл 56
307
+ ср 56
308
+ ог 56
309
+ елн 55
310
+ нов 55
311
+ иет 55
312
+ ио 55
313
+ _ср 55
314
+ вл 55
315
+ ели 54
316
+ ю 54
317
+ ак 54
318
+ ъс 54
319
+ ра_ 54
320
+ ери 54
321
+ _не 54
322
+ ове 53
323
+ ам 53
324
+ ой 53
325
+ пъ 53
326
+ _дъ 52
327
+ тво 52
328
+ ри_ 52
329
+ м_ 52
330
+ ца 51
331
+ _— 51
332
+ _да 51
333
+ _—_ 51
334
+ ъз 51
335
+ ния 51
336
+ ев 51
337
+ чи 50
338
+ _ве 50
339
+ нос 50
340
+ гр 50
341
+ _а_ 50
342
+ еск 50
343
+ рн 49
344
+ ед_ 49
345
+ жда 49
346
+ ика 49
347
+ ист 49
348
+ ру 49
349
+ оч 49
350
+ _си 48
351
+ кон 48
352
+ бл 48
353
+ др 48
354
+ _г_ 48
355
+ ова 48
356
+ ма_ 48
357
+ нас 48
358
+ рит 47
359
+ 47
360
+ йс 47
361
+ _пъ 46
362
+ жав 46
363
+ или 45
364
+ зн 45
365
+ тер 45
366
+ пол 44
367
+ ап 44
368
+ авн 44
369
+ ско 43
370
+ алн 43
371
+ оя 43
372
+ ици 43
373
+ лит 43
374
+ еди 43
375
+ вет 43
376
+ со 43
377
+ тур 43
378
+ нск 43
379
+ пл 42
380
+ ид 42
381
+ во_ 42
382
+ ден 42
383
+ ач 42
384
+ нет 42
385
+ чн 42
386
+ ду 42
387
+ ежд 42
388
+ до_ 41
389
+ асе 41
390
+ кр 41
391
+ рв 41
392
+ ена 41
393
+ сп 41
394
+ ща 41
395
+ ърж 40
396
+ оли 40
397
+ ито 40
398
+ рж 40
399
+ _ма 40
400
+ _св 40