scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 17513
2
- 14373
3
- 13336
4
- _ 8372
5
- 4357
6
- _� 4183
7
- 4177
8
- _� 4016
9
- 1527
10
- �� 1527
11
- 1527
12
- 1294
13
- �� 1294
14
- 1294
15
- 1132
16
- 1132
17
- �� 1132
18
- 1095
19
- �� 1092
20
- 1092
21
- �� 1089
22
- �� 1089
23
- ��� 1086
24
- �� 1078
25
- ��� 1078
26
- �� 1049
27
- 989
28
- ��� 958
29
- �� 958
30
- �� 950
31
- ��� 950
32
- �� 934
33
- 934
34
- �� 793
35
- 793
36
- 777
37
- �� 745
38
- 745
39
- 745
40
- ि 704
41
- �� 704
42
- 704
43
- ��� 692
44
- �� 692
45
- 666
46
- �� 666
47
- �� 630
48
- 607
49
- �� 603
50
- �� 603
51
- ��� 603
52
- �� 566
53
- 566
54
- 559
55
- �� 551
56
- 549
57
- 545
58
- �� 545
59
- 536
60
- �� 536
61
- �� 532
62
- ��� 532
63
- 530
64
- ��_ 525
65
- �_ 525
66
- �� 508
67
- 508
68
- 508
69
- _ 505
70
- �� 499
71
- ��� 487
72
- 484
73
- �� 479
74
- 479
75
- ��� 478
76
- �� 478
77
- �� 467
78
- �� 467
79
- 467
80
- �� 464
81
- �� 452
82
- ��_ 449
83
- �_ 449
84
- �_ 440
85
- �� 440
86
- ��� 438
87
- ��_ 436
88
- ��� 432
89
- �� 421
90
- 421
91
- 421
92
- ��� 409
93
- �� 399
94
- 389
95
- �� 387
96
- 380
97
- �� 379
98
- �� 364
99
- �� 360
100
- ��� 359
101
- �� 359
102
- �� 354
103
- 354
104
- 353
105
- 350
106
- �� 350
107
- ��� 348
108
- �� 337
109
- ��_ 336
110
- �_ 336
111
- ��� 334
112
- ��_ 330
113
- �_ 330
114
- 328
115
- �� 328
116
- �� 328
117
- �� 323
118
- 320
119
- �� 319
120
- �� 314
121
- �� 305
122
- �� 303
123
- �� 290
124
- �� 290
125
- ��� 290
126
- �� 289
127
- ��� 287
128
- �� 285
129
- �� 268
130
- 265
131
- �� 265
132
- ��_ 261
133
- �� 248
134
- 248
135
- 248
136
- ��_ 244
137
- �� 244
138
- 244
139
- �� 240
140
- 237
141
- �� 232
142
- �� 231
143
- ��� 230
144
- 228
145
- ��� 223
146
- �� 218
147
- �� 217
148
- �� 215
149
- ��� 215
150
- �� 209
151
- 203
152
- �� 203
153
- 203
154
- �� 203
155
- 203
156
- �� 203
157
- �� 202
158
- 202
159
- 202
160
- �� 202
161
- �� 201
162
- 201
163
- 201
164
- �� 199
165
- 198
166
- �� 198
167
- �� 196
168
- �� 196
169
- 191
170
- �� 188
171
- ��� 188
172
- ��� 188
173
- ��� 187
174
- �� 187
175
- ��_ 182
176
- �_ 182
177
- �� 180
178
- 180
179
- ��� 179
180
- �� 176
181
- _� 167
182
- ��� 166
183
- �� 166
184
- ��� 158
185
- �� 158
186
- 157
187
- �� 157
188
- 157
189
- �� 155
190
- 155
191
- ��� 155
192
- �� 155
193
- �� 155
194
- 155
195
- �� 154
196
- �� 153
197
- �_ 151
198
- �� 147
199
- ��_ 145
200
- �� 143
201
- ��� 143
202
- _ 140
203
- �� 129
204
- �� 128
205
- ��_ 128
206
- �� 127
207
- 127
208
- �� 122
209
- 121
210
- �� 121
211
- ��� 121
212
- 121
213
- �� 121
214
- �� 121
215
- �� 118
216
- ��� 117
217
- �� 117
218
- �� 115
219
- �� 112
220
- 111
221
- �� 111
222
- ��� 107
223
- ��� 104
224
- �� 102
225
- 100
226
- ��_ 100
227
- _ 100
228
- �� 100
229
- 100
230
- 95
231
- 95
232
- �� 95
233
- �� 92
234
- 92
235
- 92
236
- 88
237
- �� 87
238
- 87
239
- 85
240
- �� 85
241
- �� 85
242
- 85
243
- �� 84
244
- ��� 84
245
- �� 82
246
- ��� 82
247
- �� 81
248
- �_ 80
249
- �� 80
250
- �� 79
251
- �� 78
252
- �� 78
253
- �� 78
254
- 78
255
- 78
256
- �� 77
257
- �� 77
258
- ��� 77
259
- 76
260
- �� 76
261
- �� 76
262
- �� 76
263
- �� 76
264
- ��� 74
265
- �� 74
266
- 73
267
- �� 73
268
- 73
269
- �� 72
270
- �� 70
271
- �_ 70
272
- �� 69
273
- ��� 69
274
- �� 67
275
- ��� 67
276
- 67
277
- �� 65
278
- �� 64
279
- 64
280
- �� 63
281
- �� 63
282
- 63
283
- _ 63
284
- ��_ 63
285
- 63
286
- ��_ 62
287
- �_ 62
288
- ��_ 61
289
- ��_ 61
290
- 61
291
- �_ 61
292
- �� 61
293
- �_ 61
294
- �_ 60
295
- ��� 59
296
- �� 59
297
- �� 59
298
- 55
299
- �� 55
300
- �� 55
301
- ��� 55
302
- 55
303
- ��_ 53
304
- �_ 53
305
- � 53
306
- �� 52
307
- ९ 51
308
- �� 51
309
- ��_ 49
310
- ��� 49
311
- ��� 49
312
- �� 49
313
- �� 48
314
- ��� 45
315
- �_ 45
316
- ��_ 45
317
- �� 44
318
- �_ 44
319
- �� 43
320
- � 43
321
- ��_ 42
322
- �� 41
323
- २ 41
324
- �� 41
325
- �_ 41
326
- ��_ 40
327
- �_ 40
328
- ँ 39
329
- �� 39
330
- ��_ 38
331
- �� 38
332
- �_ 38
333
- �� 38
334
- ृ 38
335
- ��_ 38
336
- �� 38
337
- ��� 38
338
- �_ 37
339
- ��_ 37
340
- ��_ 35
341
- ��_ 35
342
- �_ 35
343
- �� 34
344
- �� 34
345
- ��� 34
346
- �� 34
347
- �� 32
348
- ��_ 32
1
+ _ 8822
2
+ 1604
3
+ 1376
4
+ 1201
5
+ 1150
6
+ 993
7
+ 830
8
+ 790
9
+ ि 742
10
+ 711
11
+ _क 706
12
+ 602
13
+ 580
14
+ े_ 562
15
+ 561
16
+ 539
17
+ 513
18
+ 495
19
+ ा_ 472
20
+ _स 466
21
+ ं_ 450
22
+ 434
23
+ 365
24
+ _ह 362
25
+ 359
26
+ ी_ 354
27
+ र_ 352
28
+ 340
29
+ ार 329
30
+ _म 315
31
+ _प 298
32
+ ्र 293
33
+ के 290
34
+ 286
35
+ _भ 284
36
+ त_ 276
37
+ के_ 273
38
+ _के 266
39
+ 260
40
+ ।_ 260
41
+ 257
42
+ का 245
43
+ है 242
44
+ _है 242
45
+ ें 242
46
+ मे 241
47
+ भा 238
48
+ ें_ 233
49
+ रत 228
50
+ _मे 226
51
+ में 222
52
+ _भा 215
53
+ 214
54
+ 206
55
+ 204
56
+ 204
57
+ 201
58
+ 194
59
+ 185
60
+ क_ 184
61
+ ारत 184
62
+ भार 184
63
+ _व 178
64
+ र् 175
65
+ 169
66
+ _अ 169
67
+ ्य 167
68
+ िक 161
69
+ _ 158
70
+ रत_ 157
71
+ _र 146
72
+ ों 144
73
+ न_ 143
74
+ _द 143
75
+ _का 141
76
+ रा 140
77
+ ों_ 139
78
+ का_ 135
79
+ है। 131
80
+ ै। 131
81
+ ै।_ 131
82
+ 130
83
+ या 130
84
+ स् 129
85
+ प् 126
86
+ _न 126
87
+ _ 125
88
+ 124
89
+ _औ 124
90
+ त् 124
91
+ और 123
92
+ और_ 123
93
+ _और 123
94
+ से 121
95
+ _ज 118
96
+ िय 116
97
+ प्र 116
98
+ 115
99
+ की 114
100
+ ्त 112
101
+ की_ 111
102
+ क् 110
103
+ वि 110
104
+ ्ष 109
105
+ से_ 108
106
+ 108
107
+ _प् 108
108
+ ि_ 106
109
+ 102
110
+ ्व 102
111
+ 101
112
+ _की 100
113
+ 98
114
+ ता 95
115
+ ना 92
116
+ _से 92
117
+ 90
118
+ न् 89
119
+ _वि 89
120
+ ति 88
121
+ िक_ 86
122
+ ान 86
123
+ 84
124
+ था 83
125
+ सा 81
126
+ ने 80
127
+ _आ 80
128
+ 77
129
+ _त 77
130
+ पर 76
131
+ द् 76
132
+ ने_ 74
133
+ री 73
134
+ ीय 72
135
+ _रा 72
136
+ _ 71
137
+ 71
138
+ सं 71
139
+ ैं 70
140
+ ो_ 70
141
+ ीय_ 70
142
+ या_ 69
143
+ ाल 67
144
+ ता_ 67
145
+ क्ष 67
146
+ हैं 67
147
+ _पर 66
148
+ िया 66
149
+ ्थ 65
150
+ 64
151
+ कि 64
152
+ _ए 64
153
+ रि 63
154
+ वा 63
155
+ _सं 63
156
+ मा 63
157
+ ण_ 63
158
+ _सा 63
159
+ व_ 62
160
+ ल_ 62
161
+ ्ट 61
162
+ ती 60
163
+ त्र 60
164
+ दे 59
165
+ _स् 59
166
+ 59
167
+ ित 59
168
+ स_ 59
169
+ ्य_ 58
170
+ _ल 58
171
+ ार_ 58
172
+ 57
173
+ वर 57
174
+ म_ 55
175
+ हा 55
176
+ ास 55
177
+ ष् 54
178
+ ाष 54
179
+ कार 54
180
+ _य 54
181
+ को 54
182
+ _इ 53
183
+ 53
184
+ ाज 53
185
+ था_ 53
186
+ यो 53
187
+ सम 50
188
+ ड़ 50
189
+ हु 50
190
+ नि 50
191
+ ग_ 49
192
+ कर 48
193
+ _को 48
194
+ _एक 47
195
+ ेश 47
196
+ वर् 47
197
+ िका 47
198
+ पा 47
199
+ ात 47
200
+ एक 47
201
+ एक_ 47
202
+ _ 46
203
+ श् 46
204
+ धि 45
205
+ _ 45
206
+ ष_ 45
207
+ ति_ 45
208
+ ष्ट 45
209
+ ित_ 44
210
+ देश 44
211
+ 44
212
+ ै_ 44
213
+ है_ 44
214
+ स्थ 43
215
+ थ_ 43
216
+ _दे 43
217
+ _कि 43
218
+ _सम 42
219
+ नी 42
220
+ ट् 42
221
+ को_ 42
222
+ ई_ 42
223
+ र्ष 42
224
+ 42
225
+ तर 42
226
+ ाथ 42
227
+ ाथ_ 42
228
+ सक 42
229
+ भी 41
230
+ ूर 41
231
+ राज 41
232
+ जा 41
233
+ ्र_ 41
234
+ _च 41
235
+ िश 40
236
+ ंत 40
237
+ भी_ 40
238
+ ान_ 40
239
+ पर_ 40
240
+ ्व_ 40
241
+ द_ 40
242
+ लि 39
243
+ 39
244
+ जन 39
245
+ _थ 38
246
+ सर 38
247
+ प_ 38
248
+ 38
249
+ स्त 37
250
+ साथ 37
251
+ ं।_ 37
252
+ ही 37
253
+ 37
254
+ ं। 37
255
+ श_ 37
256
+ ह_ 37
257
+ _ने 37
258
+ ्ट् 36
259
+ री_ 36
260
+ राष 36
261
+ ाष् 36
262
+ ट्र 36
263
+ ्ष_ 35
264
+ यों 35
265
+ रक 35
266
+ _भी 35
267
+ ाम 35
268
+ ा। 34
269
+ िस 34
270
+ _१ 34
271
+ ैं। 34
272
+ ्री 34
273
+ रो 34
274
+ ा।_ 34
275
+ ां 34
276
+ पू 34
277
+ _कर 34
278
+ हो 34
279
+ ाद 34
280
+ पूर 34
281
+ ्द 34
282
+ रह 33
283
+ _वर 33
284
+ ूर् 33
285
+ ैं_ 33
286
+ रम 33
287
+ रती 32
288
+ रे 32
289
+ ंग 32
290
+ ्रत 32
291
+ तीय 32
292
+ ्ध 31
293
+ 31
294
+ तथा 31
295
+ तथ 31
296
+ _जा 31
297
+ _तथ 31
298
+ ला 31
299
+ ्रा 31
300
+ ०_ 31
301
+ मु 31
302
+ ना_ 31
303
+ _हो 31
304
+ मि 31
349
305
  ५ 30
350
- �_ 30
351
- ��_ 30
352
- �� 30
353
- �� 29
354
- 29
355
- ��� 29
356
- ��� 29
357
- �� 29
358
- 29
359
- �� 26
360
- 26
361
- �_ 26
362
- �� 25
363
- �� 25
364
- �� 25
365
- 25
366
- ��� 25
367
- �� 25
368
- �� 25
369
- �� 25
370
- 25
371
- �� 24
372
- �� 23
373
- 23
374
- �� 23
375
- 23
376
- 23
377
- 23
378
- ��_ 23
379
- ��� 23
380
- �� 23
381
- ��_ 22
382
- �� 21
383
- ��_ 21
384
- �_ 21
385
- �� 21
386
- 21
387
- ��_ 19
388
- 19
389
- 19
390
- �� 19
391
- �� 19
392
- �� 19
393
- �_ 18
394
- ��_ 18
395
- �� 18
396
- ��� 18
397
- �� 17
398
- ��� 17
399
- �� 17
400
- 17
306
+ पन 30
307
+ विश 30
308
+ रिक 30
309
+ ाँ 29
310
+ िन 29
311
+ ्था 29
312
+ षि 29
313
+ र्व 29
314
+ _२ 28
315
+ शा 28
316
+ ्तर 28
317
+ षा 28
318
+ धिक 28
319
+ ाप 28
320
+ _हु 28
321
+ ोत 27
322
+ _इस 27
323
+ इस 27
324
+ किय 27
325
+ _सर 27
326
+ _नि 27
327
+ व् 27
328
+ अप 27
329
+ _अप 27
330
+ ाय 27
331
+ थि 27
332
+ ीन 26
333
+ उत 26
334
+ बन 26
335
+ रा_ 26
336
+ ्या 26
337
+ _उत 26
338
+ ोग 26
339
+ उत् 26
340
+ सि 26
341
+ बा 26
342
+ िश् 26
343
+ रू 26
344
+ 25
345
+ ्षि 25
346
+ रण 25
347
+ _रह 25
348
+ 25
349
+ म् 25
350
+ रीय 25
351
+ दि 25
352
+ ाद_ 24
353
+ ार् 24
354
+ _ना 24
355
+ श्व 24
356
+ ुख 24
357
+ ेश_ 24
358
+ ये 24
359
+ द्ध 24
360
+ ाव 24
361
+ _यह 24
362
+ ध_ 24
363
+ त्त 24
364
+ _बा 24
365
+ जि 24
366
+ ही_ 24
367
+ यह 24
368
+ मुख 24
369
+ कि_ 24
370
+ _अन 24
371
+ अन 24
372
+ न्य 24
373
+ वी 24
374
+ रका 24
375
+ सब 23
376
+ _बड 23
377
+ _सब 23
378
+ बड 23
379
+ ंत् 23
380
+ अपन 23
381
+ _पू 23
382
+ तर_ 23
383
+ ते 23
384
+ ग् 23
385
+ ख् 22
386
+ बह 22
387
+ _बह 22
388
+ िम 22
389
+ ख्य 22
390
+ बस 22
391
+ न्द 22
392
+ र्थ 22
393
+ व्य 22
394
+ ुत 22
395
+ _रू 22
396
+ _अध 22
397
+ ्रि 22
398
+ अध 22
399
+ रूप 22
400
+ ूप 22