scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 12967
2
- 10833
3
- 10133
4
- _ 4428
5
- 2895
6
- 2834
7
- _� 2214
8
- _� 2138
9
- �� 1743
10
- ा 1743
11
- � 1743
12
- �� 1399
13
- �� 1399
14
- ��� 1399
15
- � 1050
16
- �� 1046
17
- �� 1046
18
- �� 1046
19
- ् 1046
20
- ��� 1042
21
- � 949
22
- �� 949
23
- र 949
24
- ��� 798
25
- �� 798
26
- � 716
27
- �� 700
28
- त 700
29
- े 687
30
- �� 687
31
- �� 567
32
- � 492
33
- ��� 483
34
- �� 483
35
- �� 482
36
- य 482
37
- � 460
38
- �� 456
39
- ी 456
40
- � 432
41
- ह 432
42
- �� 432
43
- � 430
44
- �� 430
1
+ _ 4412
2
+ 1748
3
+ 1043
4
+ 948
5
+ 699
6
+ 686
7
+ 484
8
+ 459
9
+ 434
45
10
  स 430
46
- ��� 426
47
- �� 426
48
- �� 422
49
- ��� 415
50
- 406
51
- 403
52
- 403
53
- �� 403
54
- 402
55
- क 402
56
- �� 402
57
- � 399
58
- �� 398
59
- म 398
60
- �_ 396
61
- ��_ 391
62
- �� 389
63
- ��� 388
64
- �� 388
65
- ��� 382
66
- �� 380
67
- �� 380
68
- ि 370
69
- � 370
70
- �� 370
71
- �� 350
72
- ल 350
73
- � 350
74
- � 348
75
- �_ 344
76
- ��_ 344
77
- �� 337
78
- ��� 337
79
- �� 337
80
- �� 337
11
+ 403
12
+ 402
13
+ 396
14
+ े_ 392
15
+ ि 367
16
+ 346
17
+ ा_ 345
18
+ रा 339
19
+ ्य 338
81
20
  न 325
82
- �� 325
83
- �� 320
84
- �� 320
85
- �� 315
86
- 315
87
- �� 315
88
- ��� 315
89
- ��� 315
90
- �� 306
91
- ं 306
92
- �_ 305
93
- ��_ 305
94
- ��� 305
95
- �� 304
96
- �� 301
97
- प 301
98
- ��� 297
99
- ��� 296
100
- ��� 287
101
- �� 287
102
- �� 280
21
+ ी_ 307
22
+ 304
23
+ 299
24
+ या 286
25
+ ्र 268
103
26
  च 266
104
- 266
105
- �� 266
106
- �� 265
107
- �� 264
108
- ��� 254
109
- �� 254
110
- �� 249
111
- �� 244
112
- ��� 232
113
- �� 231
114
- �� 226
115
- ��_ 217
116
- �_ 217
117
- � 213
118
- �� 203
119
- �� 200
120
- �� 188
121
- द 187
122
- �� 187
123
- �� 183
124
- �� 183
125
- �� 182
27
+ _म 254
28
+ ्या 220
29
+ त_ 217
30
+ ार 203
31
+ _प 195
32
+ ात 186
33
+ 186
34
+ _स 185
126
35
  आ 181
127
- �� 181
128
- �� 181
129
- �� 181
130
- ��� 181
131
- 181
132
- 179
133
- �� 179
134
- � 179
135
- � 177
136
- �� 176
137
- ो 176
138
- ��� 175
139
- �� 172
140
- ज 172
141
- � 172
142
- �� 171
143
- ��� 171
144
- � 170
145
- ट 170
146
- �� 170
147
- �� 168
148
- ��� 168
149
- �� 168
150
- �� 166
151
- � 166
36
+ _आ 180
37
+ 178
38
+ 177
39
+ _व 174
40
+ 174
41
+ 169
152
42
  ग 166
153
- ��� 161
154
- �� 161
155
- �� 159
156
- �� 159
157
- ��� 158
158
- 157
159
- �� 154
160
- 154
161
- ��_ 151
162
- ��� 151
163
- �� 151
164
- �_ 151
165
- �� 150
166
- �� 146
167
- �� 146
168
- ��� 143
169
- ��� 140
170
- �� 140
171
- �� 139
172
- 138
173
- 137
174
- ण 137
175
- �� 137
176
- �� 136
177
- �� 134
178
- �� 133
179
- � 132
180
- �� 131
181
- � 129
182
- �� 129
183
- श 129
184
- �� 125
185
- �� 125
186
- �� 122
187
- �� 121
188
- �� 120
189
- भ 120
190
- �� 119
191
- �� 119
192
- ��� 119
193
- ��� 118
194
- � 112
195
- �� 111
196
- �� 110
197
- ��� 110
43
+ 151
44
+ र_ 150
45
+ या_ 146
46
+ हा 139
47
+ ां 138
48
+ 136
49
+ _क 134
50
+ हे 134
51
+ 128
52
+ 121
53
+ र् 121
54
+ ्ट 119
55
+ त् 118
56
+ ाष 114
57
+ ष् 114
58
+ ाच 114
59
+ _मह 114
60
+ मह 114
61
+ ट् 114
62
+ ष्ट 113
63
+ ात_ 111
198
64
  ध 109
199
- �� 109
200
- �� 106
201
- �� 104
202
- �_ 104
203
- �� 102
204
- �� 99
205
- 97
206
- ��� 97
207
- �� 97
208
- �� 93
209
- ��� 93
210
- �� 93
211
- 93
212
- 93
213
- �� 93
214
- ��_ 93
215
- 93
216
- �� 93
217
- ��� 91
218
- _ 88
219
- ��_ 88
220
- ��_ 87
221
- �� 87
222
- �� 87
223
- �_ 87
224
- �� 85
225
- �� 83
65
+ ्ट् 107
66
+ आहे 106
67
+ वा 106
68
+ ट्र 106
69
+ आह 106
70
+ _आह 106
71
+ ारा 104
72
+ ाष् 103
73
+ राष 103
74
+ महा 102
75
+ _र 101
76
+ हे_ 98
77
+ 96
78
+ हार 96
79
+ ाज 95
80
+ 94
81
+ न_ 93
82
+ 92
83
+ भा 92
84
+ _ 92
85
+ ्रा 89
86
+ _ 88
87
+ क_ 87
88
+ का 85
226
89
  ख 83
227
- 83
228
- �� 81
229
- �� 79
230
- 79
231
- 79
232
- _� 76
233
- ��� 75
234
- �� 72
235
- ��� 72
236
- �� 71
237
- �_ 70
238
- ��_ 67
239
- �� 67
240
- �� 65
241
- �� 63
242
- ��_ 63
243
- �_ 63
244
- 63
245
- �� 63
246
- 63
247
- �� 61
248
- �� 61
249
- ��� 61
90
+ 81
91
+ _रा 81
92
+ _ह 81
93
+ _य 81
94
+ ले 80
95
+ राज 79
96
+ _भ 76
97
+ ता 75
98
+ च् 74
99
+ प् 74
100
+ च्य 74
101
+ प्र 73
102
+ सा 73
103
+ वि 71
104
+ ती 69
105
+ _व_ 68
106
+ मा 68
107
+ य_ 67
108
+ िक 66
109
+ स् 64
110
+ _द 64
111
+ ंत 63
112
+ _भा 63
113
+ ल_ 63
114
+ ज् 62
115
+ ड 62
250
116
  थ 61
251
- ��� 58
252
- �� 58
253
- 57
117
+ ेत 60
118
+ _ज 60
119
+ _प् 60
120
+ ज्य 59
121
+ ाग 59
122
+ ान 59
123
+ ील 59
124
+ ले_ 58
125
+ ाज् 57
254
126
  ठ 57
255
- �� 57
256
- ��� 57
257
- �� 57
258
- ��� 56
259
- �� 56
260
- �� 56
261
- �� 55
262
- 52
263
- �� 51
264
- �� 51
265
- �� 50
127
+ ील_ 56
128
+ _वि 56
129
+ ्त 55
130
+ ास 55
131
+ ची 55
132
+ _श 55
133
+ चे 55
134
+ चे_ 54
135
+ ्व 54
136
+ ते 54
137
+ तर 54
138
+ _न 54
139
+ ची_ 53
140
+ ला 52
141
+ ना 52
142
+ ये 51
143
+ गा 50
144
+ ेल 50
145
+ िक_ 48
146
+ _त 48
147
+ यां 48
148
+ _या 48
149
+ ्र_ 46
150
+ ंच 46
151
+ ते_ 46
152
+ त्र 46
153
+ ाल 45
266
154
  उ 45
267
- �� 45
268
- �� 45
269
- �� 45
270
- ��� 44
271
- �� 43
272
- ��_ 42
273
- _ 42
274
- �� 41
275
- �� 40
276
- �� 37
277
- �� 37
278
- �� 36
279
- �_ 33
280
- ��_ 33
281
- �� 32
282
- �� 32
283
- 32
284
- �� 30
285
- ��� 30
286
- 30
287
- �� 30
288
- �� 30
289
- 29
290
- �� 29
291
- �� 29
155
+ _ल 45
156
+ क् 45
157
+ ्य_ 45
158
+ सं 44
159
+ भाग 43
160
+ _अस 43
161
+ _ 43
162
+ ली 43
163
+ _ब 43
164
+ अस 43
165
+ रत 43
166
+ ाह 43
167
+ नी 42
168
+ रात 42
169
+ स_ 42
170
+ री 42
171
+ ांच 42
172
+ द् 41
173
+ ून 41
174
+ _का 40
175
+ ने 40
176
+ के 40
177
+ तात 40
178
+ ेत_ 40
179
+ ाव 39
180
+ नी_ 39
181
+ मु 39
182
+ तर_ 39
183
+ ून_ 39
184
+ _सा 38
185
+ चा 38
186
+ राच 38
187
+ पा 38
188
+ ाती 37
189
+ ली_ 37
190
+ तील 36
191
+ सर 35
192
+ ला_ 35
193
+ जा 34
194
+ हेत 34
195
+ ्थ 34
196
+ याच 34
197
+ ंन 33
198
+ ाठ 33
199
+ ही 33
200
+ ्ष 33
201
+ पर 33
202
+ ोक 32
203
+ ाच् 32
204
+ ि_ 32
205
+ दे 31
206
+ ांन 31
207
+ १ 31
208
+ आण 31
209
+ _आण 31
210
+ _के 31
211
+ ित 30
212
+ धा 30
213
+ ही_ 30
214
+ णि 30
215
+ ाची 30
216
+ र्व 30
217
+ ाचे 29
218
+ ृ 29
219
+ ख् 29
220
+ _इ 29
221
+ चा_ 29
222
+ ल् 29
223
+ _जा 29
224
+ _सं 29
292
225
  इ 29
293
- 28
294
- _ 27
295
- ��_ 27
296
- �_ 27
297
- �� 27
298
- �� 27
226
+ _मु 28
227
+ णि_ 28
228
+ हि 28
229
+ आणि 28
230
+ _पर 28
231
+ _ये 27
232
+ मर 27
233
+ ेक 27
234
+ हर 27
235
+ वर 27
236
+ ति 27
237
+ ण_ 27
238
+ रि 27
239
+ ्वा 27
240
+ ाम 27
241
+ री_ 27
242
+ णा 27
243
+ ग_ 26
299
244
  ० 26
300
- �� 26
301
- �� 26
302
- ��_ 26
303
- �_ 26
304
- �� 25
305
- �_ 25
306
- ��� 24
307
- �� 23
308
- 23
309
- 21
310
- �� 20
311
- �� 20
312
- ��� 20
313
- �� 19
314
- �� 19
315
- �_ 19
316
- �� 19
317
- ��_ 18
318
- ��_ 18
319
- �_ 18
320
- ��_ 18
321
- ��_ 18
322
- _ 18
323
- 17
324
- �� 17
325
- _ 17
326
- ��_ 16
327
- �� 15
328
- 15
329
- 14
330
- 14
331
- ��� 14
332
- �� 14
333
- �� 14
334
- �� 14
335
- 14
336
- �� 14
337
- 13
338
- �� 13
339
- 13
340
- 13
341
- 13
342
- �� 13
343
- 13
344
- �� 13
345
- �� 13
346
- �� 13
347
- 13
348
- �� 13
349
- ��� 13
350
- 13
351
- ��_ 13
352
- ��� 13
353
- ��� 12
354
- �� 12
355
- ��_ 12
356
- ��_ 12
357
- �� 12
358
- _ 12
359
- 12
360
- ��� 12
361
- 12
362
- 12
363
- �� 12
364
- �� 12
365
- 11
366
- ��� 11
367
- ��� 11
368
- 11
369
- _ 11
370
- �� 11
371
- ��� 11
372
- �� 11
373
- ��_ 11
374
- ��_ 11
375
- �� 11
376
- �� 11
377
- 11
378
- ��_ 11
379
- _ 11
380
- �� 11
381
- �_ 11
382
- �_ 10
383
- ��� 10
384
- �� 10
385
- �� 10
386
- 10
387
- 10
388
- �� 10
389
- 10
390
- �_ 10
391
- �� 10
392
- ��_ 10
393
- �� 10
394
- _ 9
395
- ��_ 9
396
- ��_ 9
397
- ��_ 9
398
- ��� 9
399
- �� 9
400
- �_ 9
245
+ भार 26
246
+ कर 26
247
+ ारत 26
248
+ रता 26
249
+ क्ष 26
250
+ ोत 26
251
+ त्य 26
252
+ मरा 26
253
+ िल 26
254
+ लो 26
255
+ ाळ 25
256
+ र्य 25
257
+ ख्य 25
258
+ सु 25
259
+ _हे 25
260
+ मो 25
261
+ _लो 25
262
+ _मो 25
263
+ रम 25
264
+ ंद 25
265
+ ाण 25
266
+ ाप 25
267
+ _मर 25
268
+ ेले 24
269
+ ठी 24
270
+ _ 24
271
+ राठ 24
272
+ ेश 24
273
+ _च 24
274
+ मी 24
275
+ _वा 24
276
+ ंनी 24
277
+ शा 24
278
+ ागा 24
279
+ ने_ 24
280
+ िर 24
281
+ लोक 23
282
+ _शह 23
283
+ रे 23
284
+ शहर 23
285
+ हो 23
286
+ ्रम 23
287
+ ांत 23
288
+ वे 23
289
+ _सर 23
290
+ ठी_ 23
291
+ ंब 23
292
+ शह 23
293
+ ाद 22
294
+ स्थ 22
295
+ पु 22
296
+ केल 22
297
+ _सु 22
298
+ ाठी 22
299
+ _हो 22
300
+ ुर 22
301
+ इत 22
302
+ ंग 22
303
+ _इत 22
304
+ त्त 22
305
+ से 21
306
+ व् 21
307
+ नि 21
308
+ ीच 21
309
+ िव 21
310
+ रण 21
311
+ ार् 21
312
+ _पु 21
313
+ सर् 20
314
+ _ 20
315
+ व्य 20
316
+ _ना 20
317
+ ्रि 20
318
+ सू 20
319
+ _स् 20
320
+ होत 20
321
+ मि 20
322
+ ार_ 20
323
+ कार 20
324
+ ाग_ 19
325
+ न् 19
326
+ ेथ 19
327
+ 19
328
+ सून 19
329
+ _दे 19
330
+ चि 19
331
+ येथ 19
332
+ ्ये 19
333
+ रं 19
334
+ यात 19
335
+ ृत 18
336
+ ोल 18
337
+ _ 18
338
+ ेक_ 18
339
+ _मा 18
340
+ _ 18
341
+ _ 18
342
+ ाही 18
343
+ ू_ 18
344
+ ुं 18
345
+ ेव 18
346
+ ्म 18
347
+ विभ 17
348
+ ाचा 17
349
+ ोठ 17
350
+ मोठ 17
351
+ स्त 17
352
+ सत 17
353
+ िभा 17
354
+ ्ध 17
355
+ दा 17
356
+ रू 17
357
+ ेथे 17
358
+ रमा 17
359
+ ध्य 17
360
+ थे 17
361
+ िभ 17
362
+ ंतर 17
363
+ वा_ 17
364
+ ध् 17
365
+ जात 16
366
+ दी 16
367
+ हा_ 16
368
+ ोग 16
369
+ िम 16
370
+ था 16
371
+ माण 16
372
+ ूर 16
373
+ ई 16
374
+ द्य 16
375
+ ंत् 16
376
+ _पा 16
377
+ षा 16
378
+ बा 16
379
+ ळा 16
380
+ यो 15
381
+ ता_ 15
382
+ ए 15
383
+ ंत_ 15
384
+ ास_ 15
385
+ तक 15
386
+ ुख 15
387
+ सम 15
388
+ मुख 15
389
+ ती_ 15
390
+ ब् 15
391
+ गात 15
392
+ _उत 15
393
+ उत 15
394
+ _ए 15
395
+ थे_ 15
396
+ उत् 15
397
+ धान 15
398
+ ंख 15
399
+ म_ 15
400
+ ंख् 15