scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 17513
2
- 14373
3
- 13336
4
- _ 8372
5
- 4357
6
- _� 4183
7
- 4177
8
- _� 4016
9
- 1527
10
- �� 1527
11
- 1527
12
- 1294
13
- �� 1294
14
- 1294
15
- 1132
16
- 1132
17
- �� 1132
18
- 1095
19
- �� 1092
20
- 1092
21
- �� 1089
22
- �� 1089
23
- ��� 1086
24
- �� 1078
25
- ��� 1078
26
- �� 1049
27
- 989
28
- ��� 958
29
- �� 958
30
- �� 950
31
- ��� 950
32
- �� 934
33
- 934
34
- �� 793
35
- 793
36
- 777
37
- �� 745
38
- 745
39
- 745
40
- ि 704
41
- �� 704
42
- 704
43
- ��� 692
44
- �� 692
45
- 666
46
- �� 666
47
- �� 630
48
- 607
49
- �� 603
50
- �� 603
51
- ��� 603
52
- �� 566
53
- 566
54
- 559
55
- �� 551
56
- 549
57
- 545
58
- �� 545
59
- 536
60
- �� 536
61
- �� 532
62
- ��� 532
63
- 530
64
- ��_ 525
65
- �_ 525
66
- �� 508
67
- 508
68
- 508
69
- _ 505
70
- �� 499
71
- ��� 487
72
- 484
73
- �� 479
74
- 479
75
- ��� 478
76
- �� 478
77
- �� 467
78
- �� 467
79
- 467
80
- �� 464
81
- �� 452
82
- ��_ 449
83
- _ 449
84
- _ 440
85
- �� 440
86
- ��� 438
87
- ��_ 436
88
- ��� 432
89
- �� 421
90
- 421
91
- 421
92
- ��� 409
93
- �� 399
94
- 389
95
- �� 387
96
- 380
97
- �� 379
98
- �� 364
99
- �� 360
100
- ��� 359
101
- �� 359
102
- �� 354
103
- 354
104
- 353
105
- 350
106
- �� 350
107
- ��� 348
108
- �� 337
109
- ��_ 336
110
- �_ 336
111
- ��� 334
112
- ��_ 330
113
- �_ 330
114
- 328
115
- �� 328
116
- �� 328
117
- �� 323
118
- 320
119
- �� 319
120
- �� 314
121
- �� 305
122
- �� 303
123
- �� 290
124
- �� 290
125
- ��� 290
126
- �� 289
127
- ��� 287
128
- �� 285
129
- �� 268
130
- 265
131
- �� 265
132
- ��_ 261
133
- �� 248
134
- 248
135
- 248
136
- ��_ 244
137
- �� 244
138
- 244
139
- �� 240
140
- 237
141
- �� 232
142
- �� 231
143
- ��� 230
144
- 228
145
- ��� 223
146
- �� 218
147
- �� 217
148
- �� 215
149
- ��� 215
150
- �� 209
151
- 203
152
- �� 203
153
- 203
154
- �� 203
155
- 203
156
- �� 203
157
- �� 202
158
- 202
159
- 202
160
- �� 202
161
- �� 201
162
- 201
163
- 201
164
- �� 199
165
- 198
166
- �� 198
167
- �� 196
168
- �� 196
169
- 191
170
- �� 188
171
- ��� 188
172
- ��� 188
173
- ��� 187
174
- �� 187
175
- ��_ 182
176
- �_ 182
177
- �� 180
178
- 180
179
- ��� 179
180
- �� 176
181
- _� 167
182
- ��� 166
183
- �� 166
184
- ��� 158
185
- �� 158
186
- 157
187
- �� 157
188
- 157
189
- �� 155
190
- 155
191
- ��� 155
192
- �� 155
193
- �� 155
194
- 155
195
- �� 154
196
- �� 153
197
- _ 151
198
- �� 147
199
- ��_ 145
200
- �� 143
201
- ��� 143
202
- �_ 140
203
- �� 129
204
- �� 128
205
- ��_ 128
206
- �� 127
207
- 127
208
- �� 122
209
- 121
210
- �� 121
211
- ��� 121
212
- 121
213
- �� 121
214
- �� 121
215
- �� 118
216
- ��� 117
217
- �� 117
218
- �� 115
219
- �� 112
220
- 111
221
- �� 111
222
- ��� 107
223
- ��� 104
224
- �� 102
225
- 100
226
- ��_ 100
227
- �_ 100
228
- �� 100
229
- 100
230
- 95
231
- 95
232
- �� 95
233
- �� 92
234
- 92
235
- 92
236
- 88
237
- �� 87
238
- 87
239
- 85
240
- �� 85
241
- �� 85
242
- 85
243
- �� 84
244
- ��� 84
245
- �� 82
246
- ��� 82
247
- �� 81
248
- _ 80
249
- �� 80
250
- �� 79
251
- �� 78
252
- �� 78
253
- �� 78
254
- 78
255
- 78
256
- �� 77
257
- �� 77
258
- ��� 77
259
- 76
260
- �� 76
261
- �� 76
262
- �� 76
263
- �� 76
264
- ��� 74
265
- �� 74
266
- 73
267
- �� 73
268
- 73
269
- �� 72
270
- �� 70
271
- �_ 70
272
- �� 69
273
- ��� 69
274
- �� 67
275
- ��� 67
276
- 67
277
- �� 65
278
- �� 64
279
- 64
280
- �� 63
281
- �� 63
282
- 63
283
- _ 63
284
- ��_ 63
285
- 63
286
- ��_ 62
287
- �_ 62
288
- ��_ 61
289
- ��_ 61
290
- 61
291
- _ 61
292
- �� 61
293
- �_ 61
294
- _ 60
295
- ��� 59
296
- �� 59
297
- �� 59
298
- 55
299
- �� 55
300
- �� 55
301
- ��� 55
302
- 55
303
- ��_ 53
304
- �_ 53
305
- 53
306
- �� 52
307
- 51
308
- �� 51
309
- ��_ 49
310
- ��� 49
311
- ��� 49
312
- �� 49
313
- �� 48
314
- ��� 45
315
- �_ 45
316
- ��_ 45
317
- �� 44
318
- �_ 44
319
- �� 43
320
- 43
321
- ��_ 42
322
- �� 41
323
- 41
324
- �� 41
325
- _ 41
326
- ��_ 40
327
- �_ 40
328
- 39
329
- �� 39
330
- ��_ 38
331
- �� 38
332
- _ 38
333
- �� 38
334
- 38
335
- ��_ 38
336
- �� 38
337
- ��� 38
338
- _ 37
339
- ��_ 37
340
- ��_ 35
341
- ��_ 35
342
- �_ 35
343
- �� 34
344
- �� 34
345
- ��� 34
346
- �� 34
347
- �� 32
348
- ��_ 32
349
- 30
350
- _ 30
351
- ��_ 30
352
- �� 30
353
- �� 29
354
- 29
355
- ��� 29
356
- ��� 29
357
- �� 29
358
- 29
359
- �� 26
360
- 26
361
- �_ 26
362
- �� 25
363
- �� 25
364
- �� 25
365
- 25
366
- ��� 25
367
- �� 25
368
- �� 25
369
- �� 25
370
- 25
371
- �� 24
372
- �� 23
373
- 23
374
- �� 23
375
- 23
376
- 23
377
- 23
378
- ��_ 23
379
- ��� 23
380
- �� 23
381
- ��_ 22
382
- �� 21
383
- ��_ 21
384
- �_ 21
385
- �� 21
386
- 21
387
- ��_ 19
388
- 19
389
- 19
390
- �� 19
391
- �� 19
392
- �� 19
393
- �_ 18
394
- ��_ 18
395
- �� 18
396
- ��� 18
397
- �� 17
398
- ��� 17
399
- �� 17
400
- 17
1
+ _ 5104
2
+ 932
3
+ 726
4
+ 684
5
+ 672
6
+ 558
7
+ 511
8
+ ि 452
9
+ 445
10
+ 412
11
+ _क 387
12
+ 355
13
+ 336
14
+ े_ 320
15
+ 318
16
+ 303
17
+ 297
18
+ ा_ 288
19
+ 281
20
+ 272
21
+ ं_ 270
22
+ _स 261
23
+ 219
24
+ 218
25
+ _ह 215
26
+ 212
27
+ _म 188
28
+ ी_ 186
29
+ ार 183
30
+ र_ 181
31
+ _प 176
32
+ ्र 174
33
+ त_ 166
34
+ _भ 164
35
+ 162
36
+ ।_ 162
37
+ 159
38
+ के 153
39
+ 150
40
+ के_ 148
41
+ भा 144
42
+ है 144
43
+ का 144
44
+ _है 144
45
+ मे 143
46
+ ें 142
47
+ ें_ 139
48
+ _मे 138
49
+ _के 136
50
+ में 136
51
+ रत 133
52
+ 129
53
+ _भा 129
54
+ 124
55
+ 124
56
+ 121
57
+ 110
58
+ क_ 109
59
+ भार 108
60
+ _व 108
61
+ ारत 108
62
+ 108
63
+ 98
64
+ _ 98
65
+ ्य 97
66
+ रत_ 93
67
+ िक 93
68
+ र् 90
69
+ _ 89
70
+ ों 88
71
+ त् 87
72
+ 86
73
+ _का 86
74
+ प् 86
75
+ का_ 86
76
+ य_ 85
77
+ ों_ 84
78
+ रा 81
79
+ प्र 80
80
+ 79
81
+ _ज 77
82
+ स् 76
83
+ _ 75
84
+ _ 75
85
+ _प् 73
86
+ वि 73
87
+ है। 72
88
+ से 72
89
+ ै। 72
90
+ ै।_ 72
91
+ या 70
92
+ से_ 69
93
+ ्व 68
94
+ _र 67
95
+ 66
96
+ िय 66
97
+ और 66
98
+ _और 66
99
+ और_ 66
100
+ _औ 66
101
+ की 65
102
+ ि_ 64
103
+ _वि 63
104
+ _ब 63
105
+ ्ष 63
106
+ 62
107
+ की_ 62
108
+ न् 60
109
+ ्त 60
110
+ 60
111
+ क् 60
112
+ ना 60
113
+ ता 58
114
+ _की 58
115
+ था 58
116
+ ति 56
117
+ 56
118
+ _से 55
119
+ 55
120
+ _त 53
121
+ ान 52
122
+ 51
123
+ ने 51
124
+ िक_ 48
125
+ ैं 46
126
+ व_ 46
127
+ ने_ 46
128
+ ो_ 46
129
+ हैं 45
130
+ सं 45
131
+ ता_ 44
132
+ द् 44
133
+ _आ 43
134
+ रि 42
135
+ 42
136
+ पर 42
137
+ 41
138
+ _उ 41
139
+ त्र 41
140
+ 41
141
+ सा 40
142
+ ित 40
143
+ ाल 39
144
+ _इ 39
145
+ 39
146
+ _सं 38
147
+ था_ 38
148
+ 38
149
+ _ए 37
150
+ या_ 37
151
+ क्ष 37
152
+ ्य_ 36
153
+ म_ 36
154
+ ण_ 36
155
+ वर 35
156
+ दे 35
157
+ मा 35
158
+ ीय 35
159
+ री 34
160
+ हु 34
161
+ सम 34
162
+ _पर 34
163
+ _स् 34
164
+ िया 34
165
+ 34
166
+ _ल 34
167
+ ल_ 34
168
+ ीय_ 33
169
+ वा 33
170
+ ्थ 33
171
+ _रा 33
172
+ ती 33
173
+ _सा 32
174
+ _सम 31
175
+ िश 31
176
+ ात 31
177
+ को 31
178
+ _श 31
179
+ _य 31
180
+ ष_ 31
181
+ श् 31
182
+ ाज 30
183
+ हा 30
184
+ वर् 30
185
+ ष् 30
186
+ ाष 30
187
+ कि 30
188
+ धि 30
189
+ _एक 29
190
+ ्व_ 29
191
+ िका 29
192
+ 29
193
+ एक_ 29
194
+ एक 29
195
+ श_ 28
196
+ 28
197
+ ति_ 28
198
+ _को 28
199
+ ं। 27
200
+ ै_ 27
201
+ ्ट 27
202
+ जा 27
203
+ है_ 27
204
+ को_ 27
205
+ ं।_ 27
206
+ 27
207
+ _दे 27
208
+ ित_ 27
209
+ _थ 27
210
+ ेश 27
211
+ सक 26
212
+ लि 26
213
+ पा 26
214
+ तथा 26
215
+ तथ 26
216
+ देश 26
217
+ _तथ 26
218
+ र्ष 26
219
+ पर_ 26
220
+ 26
221
+ ्र_ 26
222
+ द_ 25
223
+ कार 25
224
+ ास 25
225
+ ड़ 25
226
+ स्थ 25
227
+ यो 25
228
+ कर 25
229
+ जन 25
230
+ हो 25
231
+ _जा 24
232
+ 24
233
+ प_ 24
234
+ ैं। 24
235
+ ष्ट 24
236
+ ्ष_ 24
237
+ ग_ 24
238
+ _कि 23
239
+ _ने 23
240
+ ०_ 23
241
+ ार_ 23
242
+ _१ 23
243
+ ्रा 23
244
+ 22
245
+ ा।_ 22
246
+ ा। 22
247
+ ूर 22
248
+ री_ 22
249
+ नि 22
250
+ विश 22
251
+ _हो 22
252
+ स_ 21
253
+ ैं_ 21
254
+ ाम 21
255
+ इस 21
256
+ म् 21
257
+ ्द 21
258
+ ाद 21
259
+ ंत 21
260
+ _इस 21
261
+ यों 21
262
+ िस 20
263
+ तीय 20
264
+ धिक 20
265
+ ाप 20
266
+ 20
267
+ ्रत 20
268
+ िन 20
269
+ तर 20
270
+ भी 20
271
+ ये 20
272
+ भी_ 20
273
+ _च 20
274
+ िश् 20
275
+ राज 20
276
+ ्ध 20
277
+ ीन 19
278
+ ्था 19
279
+ ्रि 19
280
+ 19
281
+ जात 19
282
+ ला 19
283
+ ान_ 19
284
+ रो 19
285
+ ोत 19
286
+ _वर 19
287
+ 19
288
+ _ना 19
289
+ ना_ 19
290
+ ह_ 19
291
+ _अध 18
292
+ अध 18
293
+ ुत 18
294
+ _भी 18
295
+ _ग 18
296
+ _कर 18
297
+ ूर् 18
298
+ जि 18
299
+ ही 18
300
+ रती 18
301
+ थ_ 18
302
+ _हु 18
303
+ श्व 18
304
+ पु 17
305
+ ाष् 17
306
+ 17
307
+ पन 17
308
+ रह 17
309
+ ाथ_ 17
310
+ रम 17
311
+ मि 17
312
+ रिक 17
313
+ उत 17
314
+ पू 17
315
+ ाथ 17
316
+ पूर 17
317
+ उत् 17
318
+ राष 17
319
+ षा 17
320
+ _पु 17
321
+ ट्र 17
322
+ ई_ 17
323
+ ्ट् 17
324
+ ंस 17
325
+ _उत 17
326
+ ट् 17
327
+ लो 17
328
+ ्या 17
329
+ दो 16
330
+ त्त 16
331
+ ध_ 16
332
+ _ 16
333
+ _।_ 16
334
+ दि 16
335
+ वी 16
336
+ _२ 16
337
+ ीन_ 16
338
+ ेश_ 16
339
+ षि 16
340
+ साथ 16
341
+ ्तर 16
342
+ िन् 16
343
+ ाव 16
344
+ अधि 16
345
+ द्ध 16
346
+ नी 16
347
+ _जि 16
348
+ शा 16
349
+ िम 15
350
+ _बह 15
351
+ बा 15
352
+ बह 15
353
+ भि 15
354
+ त्य 15
355
+ बहु 15
356
+ व् 15
357
+ _अप 15
358
+ स्व 15
359
+ ाँ 15
360
+ ाय 15
361
+ होत 15
362
+ ँ_ 15
363
+ _बा 15
364
+ 15
365
+ अप 15
366
+ ृत 15
367
+ ्क 15
368
+ मान 15
369
+ ्म 15
370
+ ्षि 15
371
+ 15
372
+ द्व 15
373
+ िद 14
374
+ सन 14
375
+ सब 14
376
+ ची 14
377
+ ्ति 14
378
+ _सब 14
379
+ अन 14
380
+ ाल_ 14
381
+ हि 14
382
+ न्य 14
383
+ _लो 14
384
+ मु 14
385
+ नो 14
386
+ _रह 14
387
+ सि 14
388
+ _अन 14
389
+ ंत् 14
390
+ ां 14
391
+ न्द 14
392
+ ाग 14
393
+ नाम 14
394
+ किय 14
395
+ यह 14
396
+ र्व 14
397
+ रा_ 14
398
+ धा 14
399
+ _यह 14
400
+ 14