scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 28567
2
- 24888
3
- 23140
4
- _ 9858
5
- 5565
6
- 5427
7
- _� 4929
8
- _� 4897
9
- �� 2729
10
- 2729
11
- 2729
12
- 2281
13
- 2281
14
- �� 2281
15
- ��� 2265
16
- ्� 2265
17
- �� 2265
18
- ��� 2251
19
- �� 2251
20
- 2005
21
- ा� 2005
22
- �� 2005
23
- 2005
24
- ��� 2005
25
- �� 2005
26
- ��� 1952
27
- �� 1952
28
- 1764
29
- �� 1764
30
- ि 1764
31
- र� 1701
32
- ��� 1701
33
- �� 1701
34
- 1665
35
- 1665
36
- �� 1665
37
- �� 1596
38
- 1596
39
- ि� 1511
40
- ��� 1511
41
- �� 1511
42
- ��� 1511
43
- �� 1511
44
- 1391
45
- क� 1384
46
- ��� 1384
47
- �� 1384
48
- 1381
49
- �� 1381
50
- 1345
51
- �� 1345
52
- 1345
53
- ��� 1263
54
- �� 1263
55
- स� 1263
56
- �� 1216
57
- त� 1196
58
- ��� 1196
59
- 1181
60
- �� 1172
61
- 1172
62
- �� 1144
63
- 1144
64
- 1144
65
- व� 1082
66
- �� 1082
67
- ��� 1082
68
- �� 1072
69
- न� 1062
70
- ��� 1062
71
- ��� 958
72
- �� 958
73
- �� 910
74
- �� 907
75
- ��� 907
76
- ��� 890
77
- 858
78
- 858
79
- �� 858
80
- 853
81
- 836
82
- 836
83
- �� 836
84
- 829
85
- �� 829
86
- �_ 813
87
- �� 809
88
- �� 789
89
- ��� 789
90
- म� 789
91
- ��� 785
92
- प� 785
93
- ��� 785
94
- �� 785
95
- ��� 746
96
- �� 746
97
- �� 743
98
- ��� 743
99
- ��_ 724
100
- _ 724
101
- ा_ 724
102
- 705
103
- 683
104
- �� 683
105
- _स 674
106
- �� 670
107
- द� 662
108
- ��� 662
109
- 655
110
- ��� 655
111
- �� 655
112
- �� 655
113
- ु� 655
114
- 655
115
- ��� 655
116
- �� 655
117
- ��� 638
118
- �� 638
119
- �� 617
120
- ��� 617
121
- य� 617
122
- �� 613
123
- ��� 610
124
- �� 610
125
- े� 604
126
- ��� 604
127
- �� 590
128
- ��� 581
129
- _व 573
130
- े_ 568
131
- �� 568
132
- 568
133
- 568
134
- ��_ 568
135
- �_ 568
136
- �� 535
137
- ��� 535
138
- �� 527
139
- 527
140
- 527
141
- �� 524
142
- ह� 524
143
- ��� 524
144
- _ 491
145
- 485
146
- �� 478
147
- ��� 478
148
- �् 477
149
- �� 473
150
- �र 472
151
- �� 462
152
- �� 462
153
- 454
154
- 454
155
- �� 454
156
- �� 453
157
- 453
158
- 453
159
- �ि 452
160
- ��� 452
161
- �� 450
162
- ��� 450
163
- 442
164
- �� 442
165
- ��� 442
166
- 442
167
- ब� 442
168
- �� 442
169
- 435
170
- 435
171
- �� 435
172
- �� 431
173
- ल� 431
174
- ��� 431
175
- �य 427
176
- 424
177
- �� 424
178
- �ा 413
179
- 412
180
- ��� 412
181
- �� 412
182
- ं� 412
183
- 412
184
- �� 407
185
- �� 402
186
- ��� 401
187
- त_ 400
188
- ��_ 400
189
- �र 399
190
- ��� 397
191
- ��� 388
192
- _क 385
193
- ज� 377
194
- ��� 377
195
- �� 377
196
- ��� 371
197
- �� 371
198
- �� 361
199
- 361
200
- 361
201
- �क 361
202
- �� 351
203
- श� 351
204
- ��� 351
205
- ��� 348
206
- �� 348
207
- �� 337
208
- ो� 337
209
- ��� 337
210
- �� 336
211
- 336
212
- 336
213
- ��_ 319
214
- न_ 319
215
- �_ 319
216
- 315
217
- ��� 315
218
- �� 315
219
- �� 315
220
- 315
221
- �� 312
222
- ��� 312
223
- ��� 306
224
- �� 306
225
- र_ 304
226
- ��_ 304
227
- �_ 304
228
- �� 299
229
- 298
230
- �� 298
231
- �न 293
232
- ष� 293
233
- �� 293
234
- ��� 293
235
- ��� 291
236
- _ 291
237
- �� 287
238
- ��� 287
239
- 283
240
- भ� 283
241
- �� 283
242
- ��� 283
243
- �_ 281
244
- �_ 281
245
- ��_ 281
246
- क_ 281
247
- ��� 276
248
- ध� 276
249
- �� 276
250
- �र 274
251
- _�_ 268
252
- �त 267
253
- ��� 266
254
- �� 266
255
- ी� 261
256
- �� 261
257
- �् 261
258
- ��� 261
259
- ��� 261
260
- �� 261
261
- ��� 260
262
- �� 260
263
- �् 256
264
- 255
265
- �� 255
266
- 255
267
- �� 254
268
- ��� 254
269
- �_ 253
270
- ��_ 253
271
- ��� 253
272
- ि_ 253
273
- ग� 253
274
- �� 253
275
- �ा 246
276
- च� 245
277
- �� 245
278
- ��� 245
279
- �� 237
280
- �त 237
281
- ��� 237
282
- �� 233
283
- ��� 233
284
- 230
285
- _म 230
286
- �� 230
287
- 230
288
- �ा 225
289
- �् 220
290
- �ा 220
291
- �् 219
292
- ��_ 219
293
- य_ 219
294
- _ 219
295
- �� 211
296
- �ा 206
297
- 204
298
- �ि 204
299
- �� 204
300
- ��� 204
301
- �� 204
302
- 204
303
- ��� 204
304
- �े 200
305
- ��� 198
306
- �� 198
307
- _ह 197
308
- _न 196
309
- �� 194
310
- ��� 194
311
- आ� 194
312
- 194
313
- ��� 194
314
- �� 194
315
- �� 194
316
- 194
317
- 193
318
- उ� 193
319
- ��� 193
320
- �� 193
321
- 193
322
- �� 193
323
- �� 193
324
- ��� 193
325
- ��_ 192
326
- �_ 192
327
- ी_ 192
328
- _द 192
329
- �ि 186
330
- �व 184
331
- �ष 183
332
- �� 180
333
- ��� 180
334
- _उ 176
335
- ��� 175
336
- �ा 175
337
- �� 175
338
- 173
339
- 173
340
- ��� 173
341
- �� 173
342
- ख� 173
343
- �� 173
344
- _ज 171
345
- �� 167
346
- �ा 167
347
- ��� 167
348
- �ा 160
349
- �� 155
350
- ��� 155
351
- ए� 155
352
- �_ 154
353
- ण_ 154
354
- ��_ 154
355
- 152
356
- �� 152
357
- �ा 152
358
- ��� 150
359
- �� 150
360
- �क 146
361
- �द 144
362
- �् 143
363
- �त 139
364
- �े 139
365
- �� 138
366
- 138
367
- �् 137
368
- 133
369
- 133
370
- �� 133
371
- ।_ 132
372
- �त 132
373
- ��_ 132
374
- �म 131
375
- �ि 128
376
- �ं 128
377
- �� 127
378
- ��� 127
379
- ��� 127
380
- थ� 127
381
- �म 127
382
- �� 127
383
- _ 125
384
- �र 122
385
- �् 122
386
- _ 121
387
- �� 119
388
- _ 119
389
- �ो 119
390
- ��� 119
391
- �� 118
392
- ��� 118
393
- �श 118
394
- ट� 117
395
- �� 117
396
- ��� 117
397
- �े 115
398
- �ा 112
399
- ��� 111
400
- �� 111
1
+ _ 5104
2
+ 932
3
+ 726
4
+ 684
5
+ 672
6
+ 558
7
+ 511
8
+ ि 452
9
+ 445
10
+ 412
11
+ _क 387
12
+ 355
13
+ 336
14
+ े_ 320
15
+ 318
16
+ 303
17
+ 297
18
+ ा_ 288
19
+ 281
20
+ 272
21
+ ं_ 270
22
+ _स 261
23
+ 219
24
+ 218
25
+ _ह 215
26
+ 212
27
+ _म 188
28
+ ी_ 186
29
+ ार 183
30
+ र_ 181
31
+ _प 176
32
+ ्र 174
33
+ त_ 166
34
+ _भ 164
35
+ 162
36
+ ।_ 162
37
+ 159
38
+ के 153
39
+ 150
40
+ के_ 148
41
+ भा 144
42
+ है 144
43
+ का 144
44
+ _है 144
45
+ मे 143
46
+ ें 142
47
+ ें_ 139
48
+ _मे 138
49
+ _के 136
50
+ में 136
51
+ रत 133
52
+ 129
53
+ _भा 129
54
+ 124
55
+ 124
56
+ 121
57
+ 110
58
+ क_ 109
59
+ भार 108
60
+ _व 108
61
+ ारत 108
62
+ 108
63
+ 98
64
+ _अ 98
65
+ ्य 97
66
+ रत_ 93
67
+ िक 93
68
+ र् 90
69
+ _द 89
70
+ ों 88
71
+ त् 87
72
+ 86
73
+ _का 86
74
+ प् 86
75
+ का_ 86
76
+ य_ 85
77
+ ों_ 84
78
+ रा 81
79
+ प्र 80
80
+ 79
81
+ _ज 77
82
+ स् 76
83
+ _न 75
84
+ न_ 75
85
+ _प् 73
86
+ वि 73
87
+ है। 72
88
+ से 72
89
+ ै। 72
90
+ ै।_ 72
91
+ या 70
92
+ से_ 69
93
+ ्व 68
94
+ _र 67
95
+ 66
96
+ िय 66
97
+ और 66
98
+ _और 66
99
+ और_ 66
100
+ _ 66
101
+ की 65
102
+ ि_ 64
103
+ _वि 63
104
+ _ब 63
105
+ ्ष 63
106
+ 62
107
+ की_ 62
108
+ न् 60
109
+ ्त 60
110
+ 60
111
+ क् 60
112
+ ना 60
113
+ ता 58
114
+ _की 58
115
+ था 58
116
+ ति 56
117
+ 56
118
+ _से 55
119
+ 55
120
+ _त 53
121
+ ान 52
122
+ 51
123
+ ने 51
124
+ िक_ 48
125
+ ैं 46
126
+ व_ 46
127
+ ने_ 46
128
+ ो_ 46
129
+ हैं 45
130
+ सं 45
131
+ ता_ 44
132
+ द् 44
133
+ _आ 43
134
+ रि 42
135
+ 42
136
+ पर 42
137
+ 41
138
+ _उ 41
139
+ त्र 41
140
+ 41
141
+ सा 40
142
+ ित 40
143
+ ाल 39
144
+ _ 39
145
+ 39
146
+ _सं 38
147
+ था_ 38
148
+ 38
149
+ _ए 37
150
+ या_ 37
151
+ क्ष 37
152
+ ्य_ 36
153
+ म_ 36
154
+ ण_ 36
155
+ वर 35
156
+ दे 35
157
+ मा 35
158
+ ीय 35
159
+ री 34
160
+ हु 34
161
+ सम 34
162
+ _पर 34
163
+ _स् 34
164
+ िया 34
165
+ 34
166
+ _ल 34
167
+ ल_ 34
168
+ ीय_ 33
169
+ वा 33
170
+ ्थ 33
171
+ _रा 33
172
+ ती 33
173
+ _सा 32
174
+ _सम 31
175
+ िश 31
176
+ ात 31
177
+ को 31
178
+ _श 31
179
+ _य 31
180
+ ष_ 31
181
+ श् 31
182
+ ाज 30
183
+ हा 30
184
+ वर् 30
185
+ ष् 30
186
+ ाष 30
187
+ कि 30
188
+ धि 30
189
+ _एक 29
190
+ ्व_ 29
191
+ िका 29
192
+ 29
193
+ एक_ 29
194
+ एक 29
195
+ श_ 28
196
+ 28
197
+ ति_ 28
198
+ _को 28
199
+ ं। 27
200
+ ै_ 27
201
+ ्ट 27
202
+ जा 27
203
+ है_ 27
204
+ को_ 27
205
+ ं।_ 27
206
+ 27
207
+ _दे 27
208
+ ित_ 27
209
+ _थ 27
210
+ ेश 27
211
+ सक 26
212
+ लि 26
213
+ पा 26
214
+ तथा 26
215
+ तथ 26
216
+ देश 26
217
+ _तथ 26
218
+ र्ष 26
219
+ पर_ 26
220
+ 26
221
+ ्र_ 26
222
+ द_ 25
223
+ कार 25
224
+ ास 25
225
+ ड़ 25
226
+ स्थ 25
227
+ यो 25
228
+ कर 25
229
+ जन 25
230
+ हो 25
231
+ _जा 24
232
+ 24
233
+ प_ 24
234
+ ैं। 24
235
+ ष्ट 24
236
+ ्ष_ 24
237
+ ग_ 24
238
+ _कि 23
239
+ _ने 23
240
+ ०_ 23
241
+ ार_ 23
242
+ _१ 23
243
+ ्रा 23
244
+ 22
245
+ ा।_ 22
246
+ ा। 22
247
+ ूर 22
248
+ री_ 22
249
+ नि 22
250
+ विश 22
251
+ _हो 22
252
+ स_ 21
253
+ ैं_ 21
254
+ ाम 21
255
+ इस 21
256
+ म् 21
257
+ ्द 21
258
+ ाद 21
259
+ ंत 21
260
+ _इस 21
261
+ यों 21
262
+ िस 20
263
+ तीय 20
264
+ धिक 20
265
+ ाप 20
266
+ 20
267
+ ्रत 20
268
+ िन 20
269
+ तर 20
270
+ भी 20
271
+ ये 20
272
+ भी_ 20
273
+ _च 20
274
+ िश् 20
275
+ राज 20
276
+ ्ध 20
277
+ ीन 19
278
+ ्था 19
279
+ ्रि 19
280
+ 19
281
+ जात 19
282
+ ला 19
283
+ ान_ 19
284
+ रो 19
285
+ ोत 19
286
+ _वर 19
287
+ 19
288
+ _ना 19
289
+ ना_ 19
290
+ ह_ 19
291
+ _अध 18
292
+ अध 18
293
+ ुत 18
294
+ _भी 18
295
+ _ग 18
296
+ _कर 18
297
+ ूर् 18
298
+ जि 18
299
+ ही 18
300
+ रती 18
301
+ थ_ 18
302
+ _हु 18
303
+ श्व 18
304
+ पु 17
305
+ ाष् 17
306
+ 17
307
+ पन 17
308
+ रह 17
309
+ ाथ_ 17
310
+ रम 17
311
+ मि 17
312
+ रिक 17
313
+ उत 17
314
+ पू 17
315
+ ाथ 17
316
+ पूर 17
317
+ उत् 17
318
+ राष 17
319
+ षा 17
320
+ _पु 17
321
+ ट्र 17
322
+ ई_ 17
323
+ ्ट् 17
324
+ ंस 17
325
+ _उत 17
326
+ ट् 17
327
+ लो 17
328
+ ्या 17
329
+ दो 16
330
+ त्त 16
331
+ ध_ 16
332
+ _। 16
333
+ _।_ 16
334
+ दि 16
335
+ वी 16
336
+ _२ 16
337
+ ीन_ 16
338
+ ेश_ 16
339
+ षि 16
340
+ साथ 16
341
+ ्तर 16
342
+ िन् 16
343
+ ाव 16
344
+ अधि 16
345
+ द्ध 16
346
+ नी 16
347
+ _जि 16
348
+ शा 16
349
+ िम 15
350
+ _बह 15
351
+ बा 15
352
+ बह 15
353
+ भि 15
354
+ त्य 15
355
+ बहु 15
356
+ व् 15
357
+ _अप 15
358
+ स्व 15
359
+ ाँ 15
360
+ ाय 15
361
+ होत 15
362
+ ँ_ 15
363
+ _बा 15
364
+ 15
365
+ अप 15
366
+ ृत 15
367
+ ्क 15
368
+ मान 15
369
+ ्म 15
370
+ ्षि 15
371
+ 15
372
+ द्व 15
373
+ िद 14
374
+ सन 14
375
+ सब 14
376
+ ची 14
377
+ ्ति 14
378
+ _सब 14
379
+ अन 14
380
+ ाल_ 14
381
+ हि 14
382
+ न्य 14
383
+ _लो 14
384
+ मु 14
385
+ नो 14
386
+ _रह 14
387
+ सि 14
388
+ _अन 14
389
+ ंत् 14
390
+ ां 14
391
+ न्द 14
392
+ ाग 14
393
+ नाम 14
394
+ किय 14
395
+ यह 14
396
+ र्व 14
397
+ रा_ 14
398
+ धा 14
399
+ _यह 14
400
+ 14