scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 28567
2
- 24888
3
- 23140
4
- _ 9858
5
- 5565
6
- 5427
7
- _� 4929
8
- _� 4897
9
- �� 2729
10
- 2729
11
- 2729
12
- 2281
13
- 2281
14
- �� 2281
15
- ��� 2265
16
- ्� 2265
17
- �� 2265
18
- ��� 2251
19
- �� 2251
20
- 2005
21
- ा� 2005
22
- �� 2005
23
- 2005
24
- ��� 2005
25
- �� 2005
26
- ��� 1952
27
- �� 1952
28
- 1764
29
- �� 1764
30
- ि 1764
31
- र� 1701
32
- ��� 1701
33
- �� 1701
34
- 1665
35
- 1665
36
- �� 1665
37
- �� 1596
38
- 1596
39
- ि� 1511
40
- ��� 1511
41
- �� 1511
42
- ��� 1511
43
- �� 1511
44
- 1391
45
- क� 1384
46
- ��� 1384
47
- �� 1384
48
- 1381
49
- �� 1381
50
- 1345
51
- �� 1345
52
- 1345
53
- ��� 1263
54
- �� 1263
55
- स� 1263
56
- �� 1216
57
- त� 1196
58
- ��� 1196
59
- 1181
60
- �� 1172
61
- 1172
62
- �� 1144
63
- 1144
64
- 1144
65
- व� 1082
66
- �� 1082
67
- ��� 1082
68
- �� 1072
69
- न� 1062
70
- ��� 1062
71
- ��� 958
72
- �� 958
73
- �� 910
74
- �� 907
75
- ��� 907
76
- ��� 890
77
- 858
78
- 858
79
- �� 858
80
- 853
81
- 836
82
- 836
83
- �� 836
84
- 829
85
- �� 829
86
- �_ 813
87
- �� 809
88
- �� 789
89
- ��� 789
90
- म� 789
91
- ��� 785
92
- प� 785
93
- ��� 785
94
- �� 785
95
- ��� 746
96
- �� 746
97
- �� 743
98
- ��� 743
99
- ��_ 724
100
- _ 724
101
- ा_ 724
102
- 705
103
- 683
104
- �� 683
105
- _स 674
106
- �� 670
107
- द� 662
108
- ��� 662
109
- 655
110
- ��� 655
111
- �� 655
112
- �� 655
113
- ु� 655
114
- 655
115
- ��� 655
116
- �� 655
117
- ��� 638
118
- �� 638
119
- �� 617
120
- ��� 617
121
- य� 617
122
- �� 613
123
- ��� 610
124
- �� 610
125
- े� 604
126
- ��� 604
127
- �� 590
128
- ��� 581
129
- _व 573
130
- े_ 568
131
- �� 568
132
- 568
133
- 568
134
- ��_ 568
135
- �_ 568
136
- �� 535
137
- ��� 535
138
- �� 527
139
- 527
140
- 527
141
- �� 524
142
- ह� 524
143
- ��� 524
144
- _ 491
145
- 485
146
- �� 478
147
- ��� 478
148
- �् 477
149
- �� 473
150
- �र 472
151
- �� 462
152
- �� 462
153
- 454
154
- 454
155
- �� 454
156
- �� 453
157
- 453
158
- 453
159
- �ि 452
160
- ��� 452
161
- �� 450
162
- ��� 450
163
- 442
164
- �� 442
165
- ��� 442
166
- 442
167
- ब� 442
168
- �� 442
169
- 435
170
- 435
171
- �� 435
172
- �� 431
173
- ल� 431
174
- ��� 431
175
- �य 427
176
- 424
177
- �� 424
178
- �ा 413
179
- 412
180
- ��� 412
181
- �� 412
182
- ं� 412
183
- 412
184
- �� 407
185
- �� 402
186
- ��� 401
187
- त_ 400
188
- ��_ 400
189
- �र 399
190
- ��� 397
191
- ��� 388
192
- _क 385
193
- ज� 377
194
- ��� 377
195
- �� 377
196
- ��� 371
197
- �� 371
198
- �� 361
199
- 361
200
- 361
201
- �क 361
202
- �� 351
203
- श� 351
204
- ��� 351
205
- ��� 348
206
- �� 348
207
- �� 337
208
- ो� 337
209
- ��� 337
210
- �� 336
211
- 336
212
- 336
213
- ��_ 319
214
- न_ 319
215
- �_ 319
216
- 315
217
- ��� 315
218
- �� 315
219
- �� 315
220
- 315
221
- �� 312
222
- ��� 312
223
- ��� 306
224
- �� 306
225
- र_ 304
226
- ��_ 304
227
- �_ 304
228
- �� 299
229
- 298
230
- �� 298
231
- �न 293
232
- ष� 293
233
- �� 293
234
- ��� 293
235
- ��� 291
236
- _ 291
237
- �� 287
238
- ��� 287
239
- 283
240
- भ� 283
241
- �� 283
242
- ��� 283
243
- �_ 281
244
- �_ 281
245
- ��_ 281
246
- क_ 281
247
- ��� 276
248
- ध� 276
249
- �� 276
250
- �र 274
251
- _�_ 268
252
- �त 267
253
- ��� 266
254
- �� 266
255
- ी� 261
256
- �� 261
257
- �् 261
258
- ��� 261
259
- ��� 261
260
- �� 261
261
- ��� 260
262
- �� 260
263
- �् 256
264
- 255
265
- �� 255
266
- 255
267
- �� 254
268
- ��� 254
269
- �_ 253
270
- ��_ 253
271
- ��� 253
272
- ि_ 253
273
- ग� 253
274
- �� 253
275
- �ा 246
276
- च� 245
277
- �� 245
278
- ��� 245
279
- �� 237
280
- �त 237
281
- ��� 237
282
- �� 233
283
- ��� 233
284
- 230
285
- _म 230
286
- �� 230
287
- 230
288
- �ा 225
289
- �् 220
290
- �ा 220
291
- �् 219
292
- ��_ 219
293
- य_ 219
294
- _ 219
295
- �� 211
296
- �ा 206
297
- 204
298
- �ि 204
299
- �� 204
300
- ��� 204
301
- �� 204
302
- 204
303
- ��� 204
304
- �े 200
305
- ��� 198
306
- �� 198
307
- _ह 197
308
- _न 196
309
- �� 194
310
- ��� 194
311
- आ� 194
312
- 194
313
- ��� 194
314
- �� 194
315
- �� 194
316
- 194
317
- 193
318
- उ� 193
319
- ��� 193
320
- �� 193
321
- 193
322
- �� 193
323
- �� 193
324
- ��� 193
325
- ��_ 192
326
- �_ 192
327
- ी_ 192
328
- _द 192
329
- �ि 186
330
- �व 184
331
- �ष 183
332
- �� 180
333
- ��� 180
334
- _उ 176
335
- ��� 175
336
- �ा 175
337
- �� 175
338
- 173
339
- 173
340
- ��� 173
341
- �� 173
342
- ख� 173
343
- �� 173
344
- _ज 171
345
- �� 167
346
- �ा 167
347
- ��� 167
348
- �ा 160
349
- �� 155
350
- ��� 155
351
- ए� 155
352
- �_ 154
353
- ण_ 154
354
- ��_ 154
355
- 152
356
- �� 152
357
- �ा 152
358
- ��� 150
359
- �� 150
360
- �क 146
361
- �द 144
362
- �् 143
363
- �त 139
364
- �े 139
365
- �� 138
366
- 138
367
- �् 137
368
- 133
369
- 133
370
- �� 133
371
- ।_ 132
372
- �त 132
373
- ��_ 132
374
- �म 131
375
- �ि 128
376
- �ं 128
377
- �� 127
378
- ��� 127
379
- ��� 127
380
- थ� 127
381
- �म 127
382
- �� 127
383
- _ 125
384
- �र 122
385
- �् 122
386
- _ 121
387
- �� 119
388
- _ 119
389
- �ो 119
390
- ��� 119
391
- �� 118
392
- ��� 118
393
- �श 118
394
- ट� 117
395
- �� 117
396
- ��� 117
397
- �े 115
398
- �ा 112
399
- ��� 111
400
- �� 111
1
+ _ 5104
2
+ 932
3
+ 726
4
+ 684
5
+ 672
6
+ 558
7
+ 511
8
+ ि 452
9
+ 445
10
+ 412
11
+ _क 387
12
+ 355
13
+ 336
14
+ े_ 320
15
+ 318
16
+ 303
17
+ 297
18
+ ा_ 288
19
+ 281
20
+ 272
21
+ ं_ 270
22
+ _स 261
23
+ 219
24
+ 218
25
+ _ह 215
26
+ 212
27
+ _म 188
28
+ ी_ 186
29
+ ार 183
30
+ र_ 181
31
+ _प 176
32
+ ्र 174
33
+ त_ 166
34
+ _भ 164
35
+ 162
36
+ ।_ 162
37
+ 159
38
+ के 153
39
+ 150
40
+ के_ 148
41
+ भा 144
42
+ है 144
43
+ का 144
44
+ _है 144
45
+ मे 143
46
+ ें 142
47
+ ें_ 139
48
+ _मे 138
49
+ _के 136
50
+ में 136
51
+ रत 133
52
+ 129
53
+ _भा 129
54
+ 124
55
+ 124
56
+ 121
57
+ 110
58
+ क_ 109
59
+ भार 108
60
+ _व 108
61
+ ारत 108
62
+ 108
63
+ 98
64
+ _अ 98
65
+ ्य 97
66
+ रत_ 93
67
+ िक 93
68
+ र् 90
69
+ _द 89
70
+ ों 88
71
+ त् 87
72
+ 86
73
+ _का 86
74
+ प् 86
75
+ का_ 86
76
+ य_ 85
77
+ ों_ 84
78
+ रा 81
79
+ प्र 80
80
+ 79
81
+ _ज 77
82
+ स् 76
83
+ _न 75
84
+ न_ 75
85
+ _प् 73
86
+ वि 73
87
+ है। 72
88
+ से 72
89
+ ै। 72
90
+ ै।_ 72
91
+ या 70
92
+ से_ 69
93
+ ्व 68
94
+ _र 67
95
+ 66
96
+ िय 66
97
+ और 66
98
+ _और 66
99
+ और_ 66
100
+ _ 66
101
+ की 65
102
+ ि_ 64
103
+ _वि 63
104
+ _ब 63
105
+ ्ष 63
106
+ 62
107
+ की_ 62
108
+ न् 60
109
+ ्त 60
110
+ 60
111
+ क् 60
112
+ ना 60
113
+ ता 58
114
+ _की 58
115
+ था 58
116
+ ति 56
117
+ 56
118
+ _से 55
119
+ 55
120
+ _त 53
121
+ ान 52
122
+ 51
123
+ ने 51
124
+ िक_ 48
125
+ ैं 46
126
+ व_ 46
127
+ ने_ 46
128
+ ो_ 46
129
+ हैं 45
130
+ सं 45
131
+ ता_ 44
132
+ द् 44
133
+ _आ 43
134
+ रि 42
135
+ 42
136
+ पर 42
137
+ 41
138
+ _उ 41
139
+ त्र 41
140
+ 41
141
+ सा 40
142
+ ित 40
143
+ ाल 39
144
+ _ 39
145
+ 39
146
+ _सं 38
147
+ था_ 38
148
+ 38
149
+ _ए 37
150
+ या_ 37
151
+ क्ष 37
152
+ ्य_ 36
153
+ म_ 36
154
+ ण_ 36
155
+ वर 35
156
+ दे 35
157
+ मा 35
158
+ ीय 35
159
+ री 34
160
+ हु 34
161
+ सम 34
162
+ _पर 34
163
+ _स् 34
164
+ िया 34
165
+ 34
166
+ _ल 34
167
+ ल_ 34
168
+ ीय_ 33
169
+ वा 33
170
+ ्थ 33
171
+ _रा 33
172
+ ती 33
173
+ _सा 32
174
+ _सम 31
175
+ िश 31
176
+ ात 31
177
+ को 31
178
+ _श 31
179
+ _य 31
180
+ ष_ 31
181
+ श् 31
182
+ ाज 30
183
+ हा 30
184
+ वर् 30
185
+ ष् 30
186
+ ाष 30
187
+ कि 30
188
+ धि 30
189
+ _एक 29
190
+ ्व_ 29
191
+ िका 29
192
+ 29
193
+ एक_ 29
194
+ एक 29
195
+ श_ 28
196
+ 28
197
+ ति_ 28
198
+ _को 28
199
+ ं। 27
200
+ ै_ 27
201
+ ्ट 27
202
+ जा 27
203
+ है_ 27
204
+ को_ 27
205
+ ं।_ 27
206
+ 27
207
+ _दे 27
208
+ ित_ 27
209
+ _थ 27
210
+ ेश 27
211
+ सक 26
212
+ लि 26
213
+ पा 26
214
+ तथा 26
215
+ तथ 26
216
+ देश 26
217
+ _तथ 26
218
+ र्ष 26
219
+ पर_ 26
220
+ 26
221
+ ्र_ 26
222
+ द_ 25
223
+ कार 25
224
+ ास 25
225
+ ड़ 25
226
+ स्थ 25
227
+ यो 25
228
+ कर 25
229
+ जन 25
230
+ हो 25
231
+ _जा 24
232
+ 24
233
+ प_ 24
234
+ ैं। 24
235
+ ष्ट 24
236
+ ्ष_ 24
237
+ ग_ 24
238
+ _कि 23
239
+ _ने 23
240
+ ०_ 23
241
+ ार_ 23
242
+ _१ 23
243
+ ्रा 23
244
+ 22
245
+ ा।_ 22
246
+ ा। 22
247
+ ूर 22
248
+ री_ 22
249
+ नि 22
250
+ विश 22
251
+ _हो 22
252
+ स_ 21
253
+ ैं_ 21
254
+ ाम 21
255
+ इस 21
256
+ म् 21
257
+ ्द 21
258
+ ाद 21
259
+ ंत 21
260
+ _इस 21
261
+ यों 21
262
+ िस 20
263
+ तीय 20
264
+ धिक 20
265
+ ाप 20
266
+ 20
267
+ ्रत 20
268
+ िन 20
269
+ तर 20
270
+ भी 20
271
+ ये 20
272
+ भी_ 20
273
+ _च 20
274
+ िश् 20
275
+ राज 20
276
+ ्ध 20
277
+ ीन 19
278
+ ्था 19
279
+ ्रि 19
280
+ 19
281
+ जात 19
282
+ ला 19
283
+ ान_ 19
284
+ रो 19
285
+ ोत 19
286
+ _वर 19
287
+ 19
288
+ _ना 19
289
+ ना_ 19
290
+ ह_ 19
291
+ _अध 18
292
+ अध 18
293
+ ुत 18
294
+ _भी 18
295
+ _ग 18
296
+ _कर 18
297
+ ूर् 18
298
+ जि 18
299
+ ही 18
300
+ रती 18
301
+ थ_ 18
302
+ _हु 18
303
+ श्व 18
304
+ पु 17
305
+ ाष् 17
306
+ 17
307
+ पन 17
308
+ रह 17
309
+ ाथ_ 17
310
+ रम 17
311
+ मि 17
312
+ रिक 17
313
+ उत 17
314
+ पू 17
315
+ ाथ 17
316
+ पूर 17
317
+ उत् 17
318
+ राष 17
319
+ षा 17
320
+ _पु 17
321
+ ट्र 17
322
+ ई_ 17
323
+ ्ट् 17
324
+ ंस 17
325
+ _उत 17
326
+ ट् 17
327
+ लो 17
328
+ ्या 17
329
+ दो 16
330
+ त्त 16
331
+ ध_ 16
332
+ _। 16
333
+ _।_ 16
334
+ दि 16
335
+ वी 16
336
+ _२ 16
337
+ ीन_ 16
338
+ ेश_ 16
339
+ षि 16
340
+ साथ 16
341
+ ्तर 16
342
+ िन् 16
343
+ ाव 16
344
+ अधि 16
345
+ द्ध 16
346
+ नी 16
347
+ _जि 16
348
+ शा 16
349
+ िम 15
350
+ _बह 15
351
+ बा 15
352
+ बह 15
353
+ भि 15
354
+ त्य 15
355
+ बहु 15
356
+ व् 15
357
+ _अप 15
358
+ स्व 15
359
+ ाँ 15
360
+ ाय 15
361
+ होत 15
362
+ ँ_ 15
363
+ _बा 15
364
+ 15
365
+ अप 15
366
+ ृत 15
367
+ ्क 15
368
+ मान 15
369
+ ्म 15
370
+ ्षि 15
371
+ 15
372
+ द्व 15
373
+ िद 14
374
+ सन 14
375
+ सब 14
376
+ ची 14
377
+ ्ति 14
378
+ _सब 14
379
+ अन 14
380
+ ाल_ 14
381
+ हि 14
382
+ न्य 14
383
+ _लो 14
384
+ मु 14
385
+ नो 14
386
+ _रह 14
387
+ सि 14
388
+ _अन 14
389
+ ंत् 14
390
+ ां 14
391
+ न्द 14
392
+ ाग 14
393
+ नाम 14
394
+ किय 14
395
+ यह 14
396
+ र्व 14
397
+ रा_ 14
398
+ धा 14
399
+ _यह 14
400
+ 14