scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 17513
2
- 14373
3
- 13336
4
- _ 8372
5
- 4357
6
- _� 4183
7
- 4177
8
- _� 4016
9
- 1527
10
- �� 1527
11
- 1527
12
- 1294
13
- �� 1294
14
- 1294
15
- 1132
16
- 1132
17
- �� 1132
18
- 1095
19
- �� 1092
20
- 1092
21
- �� 1089
22
- �� 1089
23
- ��� 1086
24
- �� 1078
25
- ��� 1078
26
- �� 1049
27
- 989
28
- ��� 958
29
- �� 958
30
- �� 950
31
- ��� 950
32
- �� 934
33
- 934
34
- �� 793
35
- 793
36
- 777
37
- �� 745
38
- 745
39
- 745
40
- ि 704
41
- �� 704
42
- 704
43
- ��� 692
44
- �� 692
45
- 666
46
- �� 666
47
- �� 630
48
- 607
49
- �� 603
50
- �� 603
51
- ��� 603
52
- �� 566
53
- 566
54
- 559
55
- �� 551
56
- 549
57
- 545
58
- �� 545
59
- 536
60
- �� 536
61
- �� 532
62
- ��� 532
63
- 530
64
- ��_ 525
65
- �_ 525
66
- �� 508
67
- 508
68
- 508
69
- _ 505
70
- �� 499
71
- ��� 487
72
- 484
73
- �� 479
74
- 479
75
- ��� 478
76
- �� 478
77
- �� 467
78
- �� 467
79
- 467
80
- �� 464
81
- �� 452
82
- ��_ 449
83
- _ 449
84
- _ 440
85
- �� 440
86
- ��� 438
87
- ��_ 436
88
- ��� 432
89
- �� 421
90
- 421
91
- 421
92
- ��� 409
93
- �� 399
94
- 389
95
- �� 387
96
- 380
97
- �� 379
98
- �� 364
99
- �� 360
100
- ��� 359
101
- �� 359
102
- �� 354
103
- 354
104
- 353
105
- 350
106
- �� 350
107
- ��� 348
108
- �� 337
109
- ��_ 336
110
- �_ 336
111
- ��� 334
112
- ��_ 330
113
- �_ 330
114
- 328
115
- �� 328
116
- �� 328
117
- �� 323
118
- 320
119
- �� 319
120
- �� 314
121
- �� 305
122
- �� 303
123
- �� 290
124
- �� 290
125
- ��� 290
126
- �� 289
127
- ��� 287
128
- �� 285
129
- �� 268
130
- 265
131
- �� 265
132
- ��_ 261
133
- �� 248
134
- 248
135
- 248
136
- ��_ 244
137
- �� 244
138
- 244
139
- �� 240
140
- 237
141
- �� 232
142
- �� 231
143
- ��� 230
144
- 228
145
- ��� 223
146
- �� 218
147
- �� 217
148
- �� 215
149
- ��� 215
150
- �� 209
151
- 203
152
- �� 203
153
- 203
154
- �� 203
155
- 203
156
- �� 203
157
- �� 202
158
- 202
159
- 202
160
- �� 202
161
- �� 201
162
- 201
163
- 201
164
- �� 199
165
- 198
166
- �� 198
167
- �� 196
168
- �� 196
169
- 191
170
- �� 188
171
- ��� 188
172
- ��� 188
173
- ��� 187
174
- �� 187
175
- ��_ 182
176
- �_ 182
177
- �� 180
178
- 180
179
- ��� 179
180
- �� 176
181
- _� 167
182
- ��� 166
183
- �� 166
184
- ��� 158
185
- �� 158
186
- 157
187
- �� 157
188
- 157
189
- �� 155
190
- 155
191
- ��� 155
192
- �� 155
193
- �� 155
194
- 155
195
- �� 154
196
- �� 153
197
- _ 151
198
- �� 147
199
- ��_ 145
200
- �� 143
201
- ��� 143
202
- �_ 140
203
- �� 129
204
- �� 128
205
- ��_ 128
206
- �� 127
207
- 127
208
- �� 122
209
- 121
210
- �� 121
211
- ��� 121
212
- 121
213
- �� 121
214
- �� 121
215
- �� 118
216
- ��� 117
217
- �� 117
218
- �� 115
219
- �� 112
220
- 111
221
- �� 111
222
- ��� 107
223
- ��� 104
224
- �� 102
225
- 100
226
- ��_ 100
227
- �_ 100
228
- �� 100
229
- 100
230
- 95
231
- 95
232
- �� 95
233
- �� 92
234
- 92
235
- 92
236
- 88
237
- �� 87
238
- 87
239
- 85
240
- �� 85
241
- �� 85
242
- 85
243
- �� 84
244
- ��� 84
245
- �� 82
246
- ��� 82
247
- �� 81
248
- _ 80
249
- �� 80
250
- �� 79
251
- �� 78
252
- �� 78
253
- �� 78
254
- 78
255
- 78
256
- �� 77
257
- �� 77
258
- ��� 77
259
- 76
260
- �� 76
261
- �� 76
262
- �� 76
263
- �� 76
264
- ��� 74
265
- �� 74
266
- 73
267
- �� 73
268
- 73
269
- �� 72
270
- �� 70
271
- �_ 70
272
- �� 69
273
- ��� 69
274
- �� 67
275
- ��� 67
276
- 67
277
- �� 65
278
- �� 64
279
- 64
280
- �� 63
281
- �� 63
282
- 63
283
- _ 63
284
- ��_ 63
285
- 63
286
- ��_ 62
287
- �_ 62
288
- ��_ 61
289
- ��_ 61
290
- 61
291
- _ 61
292
- �� 61
293
- �_ 61
294
- _ 60
295
- ��� 59
296
- �� 59
297
- �� 59
298
- 55
299
- �� 55
300
- �� 55
301
- ��� 55
302
- 55
303
- ��_ 53
304
- �_ 53
305
- 53
306
- �� 52
307
- 51
308
- �� 51
309
- ��_ 49
310
- ��� 49
311
- ��� 49
312
- �� 49
313
- �� 48
314
- ��� 45
315
- �_ 45
316
- ��_ 45
317
- �� 44
318
- �_ 44
319
- �� 43
320
- 43
321
- ��_ 42
322
- �� 41
323
- 41
324
- �� 41
325
- _ 41
326
- ��_ 40
327
- �_ 40
328
- 39
329
- �� 39
330
- ��_ 38
331
- �� 38
332
- _ 38
333
- �� 38
334
- 38
335
- ��_ 38
336
- �� 38
337
- ��� 38
338
- _ 37
339
- ��_ 37
340
- ��_ 35
341
- ��_ 35
342
- �_ 35
343
- �� 34
344
- �� 34
345
- ��� 34
346
- �� 34
347
- �� 32
348
- ��_ 32
349
- 30
350
- _ 30
351
- ��_ 30
352
- �� 30
353
- �� 29
354
- 29
355
- ��� 29
356
- ��� 29
357
- �� 29
358
- 29
359
- �� 26
360
- 26
361
- �_ 26
362
- �� 25
363
- �� 25
364
- �� 25
365
- 25
366
- ��� 25
367
- �� 25
368
- �� 25
369
- �� 25
370
- 25
371
- �� 24
372
- �� 23
373
- 23
374
- �� 23
375
- 23
376
- 23
377
- 23
378
- ��_ 23
379
- ��� 23
380
- �� 23
381
- ��_ 22
382
- �� 21
383
- ��_ 21
384
- �_ 21
385
- �� 21
386
- 21
387
- ��_ 19
388
- 19
389
- 19
390
- �� 19
391
- �� 19
392
- �� 19
393
- �_ 18
394
- ��_ 18
395
- �� 18
396
- ��� 18
397
- �� 17
398
- ��� 17
399
- �� 17
400
- 17
1
+ _ 5104
2
+ 932
3
+ 726
4
+ 684
5
+ 672
6
+ 558
7
+ 511
8
+ ि 452
9
+ 445
10
+ 412
11
+ _क 387
12
+ 355
13
+ 336
14
+ े_ 320
15
+ 318
16
+ 303
17
+ 297
18
+ ा_ 288
19
+ 281
20
+ 272
21
+ ं_ 270
22
+ _स 261
23
+ 219
24
+ 218
25
+ _ह 215
26
+ 212
27
+ _म 188
28
+ ी_ 186
29
+ ार 183
30
+ र_ 181
31
+ _प 176
32
+ ्र 174
33
+ त_ 166
34
+ _भ 164
35
+ 162
36
+ ।_ 162
37
+ 159
38
+ के 153
39
+ 150
40
+ के_ 148
41
+ भा 144
42
+ है 144
43
+ का 144
44
+ _है 144
45
+ मे 143
46
+ ें 142
47
+ ें_ 139
48
+ _मे 138
49
+ _के 136
50
+ में 136
51
+ रत 133
52
+ 129
53
+ _भा 129
54
+ 124
55
+ 124
56
+ 121
57
+ 110
58
+ क_ 109
59
+ भार 108
60
+ _व 108
61
+ ारत 108
62
+ 108
63
+ 98
64
+ _ 98
65
+ ्य 97
66
+ रत_ 93
67
+ िक 93
68
+ र् 90
69
+ _ 89
70
+ ों 88
71
+ त् 87
72
+ 86
73
+ _का 86
74
+ प् 86
75
+ का_ 86
76
+ य_ 85
77
+ ों_ 84
78
+ रा 81
79
+ प्र 80
80
+ 79
81
+ _ज 77
82
+ स् 76
83
+ _ 75
84
+ _ 75
85
+ _प् 73
86
+ वि 73
87
+ है। 72
88
+ से 72
89
+ ै। 72
90
+ ै।_ 72
91
+ या 70
92
+ से_ 69
93
+ ्व 68
94
+ _र 67
95
+ 66
96
+ िय 66
97
+ और 66
98
+ _और 66
99
+ और_ 66
100
+ _औ 66
101
+ की 65
102
+ ि_ 64
103
+ _वि 63
104
+ _ब 63
105
+ ्ष 63
106
+ 62
107
+ की_ 62
108
+ न् 60
109
+ ्त 60
110
+ 60
111
+ क् 60
112
+ ना 60
113
+ ता 58
114
+ _की 58
115
+ था 58
116
+ ति 56
117
+ 56
118
+ _से 55
119
+ 55
120
+ _त 53
121
+ ान 52
122
+ 51
123
+ ने 51
124
+ िक_ 48
125
+ ैं 46
126
+ व_ 46
127
+ ने_ 46
128
+ ो_ 46
129
+ हैं 45
130
+ सं 45
131
+ ता_ 44
132
+ द् 44
133
+ _आ 43
134
+ रि 42
135
+ 42
136
+ पर 42
137
+ 41
138
+ _उ 41
139
+ त्र 41
140
+ 41
141
+ सा 40
142
+ ित 40
143
+ ाल 39
144
+ _इ 39
145
+ 39
146
+ _सं 38
147
+ था_ 38
148
+ 38
149
+ _ए 37
150
+ या_ 37
151
+ क्ष 37
152
+ ्य_ 36
153
+ म_ 36
154
+ ण_ 36
155
+ वर 35
156
+ दे 35
157
+ मा 35
158
+ ीय 35
159
+ री 34
160
+ हु 34
161
+ सम 34
162
+ _पर 34
163
+ _स् 34
164
+ िया 34
165
+ 34
166
+ _ल 34
167
+ ल_ 34
168
+ ीय_ 33
169
+ वा 33
170
+ ्थ 33
171
+ _रा 33
172
+ ती 33
173
+ _सा 32
174
+ _सम 31
175
+ िश 31
176
+ ात 31
177
+ को 31
178
+ _श 31
179
+ _य 31
180
+ ष_ 31
181
+ श् 31
182
+ ाज 30
183
+ हा 30
184
+ वर् 30
185
+ ष् 30
186
+ ाष 30
187
+ कि 30
188
+ धि 30
189
+ _एक 29
190
+ ्व_ 29
191
+ िका 29
192
+ 29
193
+ एक_ 29
194
+ एक 29
195
+ श_ 28
196
+ 28
197
+ ति_ 28
198
+ _को 28
199
+ ं। 27
200
+ ै_ 27
201
+ ्ट 27
202
+ जा 27
203
+ है_ 27
204
+ को_ 27
205
+ ं।_ 27
206
+ 27
207
+ _दे 27
208
+ ित_ 27
209
+ _थ 27
210
+ ेश 27
211
+ सक 26
212
+ लि 26
213
+ पा 26
214
+ तथा 26
215
+ तथ 26
216
+ देश 26
217
+ _तथ 26
218
+ र्ष 26
219
+ पर_ 26
220
+ 26
221
+ ्र_ 26
222
+ द_ 25
223
+ कार 25
224
+ ास 25
225
+ ड़ 25
226
+ स्थ 25
227
+ यो 25
228
+ कर 25
229
+ जन 25
230
+ हो 25
231
+ _जा 24
232
+ 24
233
+ प_ 24
234
+ ैं। 24
235
+ ष्ट 24
236
+ ्ष_ 24
237
+ ग_ 24
238
+ _कि 23
239
+ _ने 23
240
+ ०_ 23
241
+ ार_ 23
242
+ _१ 23
243
+ ्रा 23
244
+ 22
245
+ ा।_ 22
246
+ ा। 22
247
+ ूर 22
248
+ री_ 22
249
+ नि 22
250
+ विश 22
251
+ _हो 22
252
+ स_ 21
253
+ ैं_ 21
254
+ ाम 21
255
+ इस 21
256
+ म् 21
257
+ ्द 21
258
+ ाद 21
259
+ ंत 21
260
+ _इस 21
261
+ यों 21
262
+ िस 20
263
+ तीय 20
264
+ धिक 20
265
+ ाप 20
266
+ 20
267
+ ्रत 20
268
+ िन 20
269
+ तर 20
270
+ भी 20
271
+ ये 20
272
+ भी_ 20
273
+ _च 20
274
+ िश् 20
275
+ राज 20
276
+ ्ध 20
277
+ ीन 19
278
+ ्था 19
279
+ ्रि 19
280
+ 19
281
+ जात 19
282
+ ला 19
283
+ ान_ 19
284
+ रो 19
285
+ ोत 19
286
+ _वर 19
287
+ 19
288
+ _ना 19
289
+ ना_ 19
290
+ ह_ 19
291
+ _अध 18
292
+ अध 18
293
+ ुत 18
294
+ _भी 18
295
+ _ग 18
296
+ _कर 18
297
+ ूर् 18
298
+ जि 18
299
+ ही 18
300
+ रती 18
301
+ थ_ 18
302
+ _हु 18
303
+ श्व 18
304
+ पु 17
305
+ ाष् 17
306
+ 17
307
+ पन 17
308
+ रह 17
309
+ ाथ_ 17
310
+ रम 17
311
+ मि 17
312
+ रिक 17
313
+ उत 17
314
+ पू 17
315
+ ाथ 17
316
+ पूर 17
317
+ उत् 17
318
+ राष 17
319
+ षा 17
320
+ _पु 17
321
+ ट्र 17
322
+ ई_ 17
323
+ ्ट् 17
324
+ ंस 17
325
+ _उत 17
326
+ ट् 17
327
+ लो 17
328
+ ्या 17
329
+ दो 16
330
+ त्त 16
331
+ ध_ 16
332
+ _ 16
333
+ _।_ 16
334
+ दि 16
335
+ वी 16
336
+ _२ 16
337
+ ीन_ 16
338
+ ेश_ 16
339
+ षि 16
340
+ साथ 16
341
+ ्तर 16
342
+ िन् 16
343
+ ाव 16
344
+ अधि 16
345
+ द्ध 16
346
+ नी 16
347
+ _जि 16
348
+ शा 16
349
+ िम 15
350
+ _बह 15
351
+ बा 15
352
+ बह 15
353
+ भि 15
354
+ त्य 15
355
+ बहु 15
356
+ व् 15
357
+ _अप 15
358
+ स्व 15
359
+ ाँ 15
360
+ ाय 15
361
+ होत 15
362
+ ँ_ 15
363
+ _बा 15
364
+ 15
365
+ अप 15
366
+ ृत 15
367
+ ्क 15
368
+ मान 15
369
+ ्म 15
370
+ ्षि 15
371
+ 15
372
+ द्व 15
373
+ िद 14
374
+ सन 14
375
+ सब 14
376
+ ची 14
377
+ ्ति 14
378
+ _सब 14
379
+ अन 14
380
+ ाल_ 14
381
+ हि 14
382
+ न्य 14
383
+ _लो 14
384
+ मु 14
385
+ नो 14
386
+ _रह 14
387
+ सि 14
388
+ _अन 14
389
+ ंत् 14
390
+ ां 14
391
+ न्द 14
392
+ ाग 14
393
+ नाम 14
394
+ किय 14
395
+ यह 14
396
+ र्व 14
397
+ रा_ 14
398
+ धा 14
399
+ _यह 14
400
+ 14