scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 12967
2
- � 10833
3
- � 10133
4
- _ 4428
5
- � 2895
6
- � 2834
7
- _� 2214
8
- _� 2138
9
- �� 1743
1
+ _ 4412
10
2
  ा 1743
11
- 1743
12
- �� 1399
13
- �� 1399
14
- ��� 1399
15
- � 1050
16
- �� 1046
17
- �� 1046
18
- �� 1046
19
- ् 1046
20
- ��� 1042
21
- � 949
22
- �� 949
23
- र 949
24
- ��� 798
25
- �� 798
26
- � 716
27
- �� 700
28
- त 700
3
+ 1044
4
+ 948
5
+ 699
29
6
  े 687
30
- �� 687
31
- �� 567
32
- � 492
33
- ��� 483
34
- �� 483
35
- �� 482
36
7
  य 482
37
- � 460
38
- �� 456
39
8
  ी 456
40
- � 432
41
9
  ह 432
42
- �� 432
43
- � 430
44
- �� 430
45
- स 430
46
- ��� 426
47
- �� 426
48
- �� 422
49
- ��� 415
50
- � 406
10
+ 429
51
11
  व 403
52
- � 403
53
- �� 403
54
- � 402
55
12
  क 402
56
- �� 402
57
- � 399
58
- �� 398
59
13
  म 398
60
- _ 396
61
- ��_ 391
62
- �� 389
63
- ��� 388
64
- �� 388
65
- ��� 382
66
- �� 380
67
- �� 380
68
- ि 370
69
- � 370
70
- �� 370
71
- �� 350
14
+ _ 391
15
+ ि 369
72
16
  ल 350
73
- 350
74
- 348
75
- �_ 344
76
- ��_ 344
77
- �� 337
78
- ��� 337
79
- �� 337
80
- �� 337
17
+ ा_ 344
18
+ रा 339
19
+ ्य 337
81
20
  न 325
82
- �� 325
83
- �� 320
84
- �� 320
85
- �� 315
86
- � 315
87
- �� 315
88
- ��� 315
89
- ��� 315
90
- �� 306
91
21
  ं 306
92
- _ 305
93
- ��_ 305
94
- ��� 305
95
- �� 304
96
- �� 301
97
- प 301
98
- ��� 297
99
- ��� 296
100
- ��� 287
101
- �� 287
102
- �� 280
22
+ _ 305
23
+ 300
24
+ या 285
25
+ ्र 268
103
26
  च 266
104
- 266
105
- �� 266
106
- �� 265
107
- �� 264
108
- ��� 254
109
- �� 254
110
- �� 249
111
- �� 244
112
- ��� 232
113
- �� 231
114
- �� 226
115
- ��_ 217
116
- �_ 217
117
- � 213
118
- �� 203
119
- �� 200
120
- �� 188
27
+ _म 255
28
+ ्या 219
29
+ त_ 217
30
+ ार 203
31
+ _प 196
121
32
  द 187
122
- �� 187
123
- �� 183
124
- �� 183
125
- �� 182
33
+ ात 186
34
+ _स 184
126
35
  आ 181
127
- �� 181
128
- �� 181
129
- �� 181
130
- ��� 181
131
- � 181
36
+ _आ 180
132
37
  ष 179
133
- �� 179
134
- � 179
135
- � 177
136
- �� 176
137
38
  ो 176
138
- ��� 175
139
- �� 172
39
+ _व 174
140
40
  ज 172
141
- � 172
142
- �� 171
143
- ��� 171
144
- � 170
145
41
  ट 170
146
- �� 170
147
- �� 168
148
- ��� 168
149
- �� 168
150
- �� 166
151
- � 166
152
42
  ग 166
153
- ��� 161
154
- �� 161
155
- �� 159
156
- �� 159
157
- ��� 158
158
- � 157
159
- �� 154
160
- ु 154
161
- ��_ 151
162
- ��� 151
163
- �� 151
164
- �_ 151
165
- �� 150
166
- �� 146
167
- �� 146
168
- ��� 143
169
- ��� 140
170
- �� 140
171
- �� 139
172
- � 138
173
- � 137
43
+ 153
44
+ र_ 151
45
+ या_ 145
46
+ हा 138
47
+ ां 138
174
48
  ण 137
175
- �� 137
176
- �� 136
177
- �� 134
178
- �� 133
179
- � 132
180
- �� 131
181
- � 129
182
- �� 129
49
+ हे 134
50
+ _क 132
183
51
  श 129
184
- �� 125
185
- �� 125
186
- �� 122
187
- �� 121
188
- �� 120
52
+ र् 121
53
+ ्ट 120
189
54
  भ 120
190
- �� 119
191
- �� 119
192
- ��� 119
193
- ��� 118
194
- 112
195
- �� 111
196
- �� 110
197
- ��� 110
55
+ त् 118
56
+ ष् 115
57
+ _मह 114
58
+ ाच 114
59
+ ाष 114
60
+ मह 114
61
+ ष्ट 114
62
+ ट् 114
63
+ ात_ 111
198
64
  ध 109
199
- �� 109
200
- �� 106
201
- �� 104
202
- �_ 104
203
- �� 102
204
- �� 99
65
+ ्ट् 107
66
+ आह 106
67
+ ट्र 106
68
+ आहे 106
69
+ _आह 106
70
+ वा 104
71
+ ारा 104
72
+ राष 103
73
+ ाष् 103
74
+ महा 102
75
+ _र 101
76
+ हे_ 98
205
77
  ब 97
206
- ��� 97
207
- �� 97
208
- �� 93
209
- ��� 93
210
- �� 93
211
- � 93
78
+ हार 96
79
+ _अ 93
80
+ ाज 93
212
81
  ू 93
213
- �� 93
214
- ��_ 93
215
82
  अ 93
216
- �� 93
217
- ��� 91
218
- �_ 88
219
- ��_ 88
220
- ��_ 87
221
- �� 87
222
- �� 87
223
- �_ 87
224
- �� 85
225
- �� 83
83
+ न_ 93
84
+ भा 91
85
+ ्रा 89
86
+ _ 88
87
+ _ 87
88
+ का 85
226
89
  ख 83
227
- 83
228
- �� 81
229
- �� 79
90
+ ले 81
91
+ _रा 81
92
+ _ह 80
93
+ _य 80
230
94
  ळ 79
231
- 79
232
- _� 76
233
- ��� 75
234
- �� 72
235
- ��� 72
236
- �� 71
237
- �_ 70
238
- ��_ 67
239
- �� 67
240
- �� 65
241
- �� 63
242
- ��_ 63
243
- �_ 63
95
+ राज 79
96
+ ता 76
97
+ _भ 75
98
+ प् 74
99
+ प्र 73
100
+ च्य 72
101
+ सा 72
102
+ च् 72
103
+ वि 71
104
+ ती 70
105
+ _व_ 68
106
+ मा 68
107
+ िक 67
108
+ य_ 67
109
+ स् 65
110
+ _द 65
111
+ ल_ 63
112
+ ंत 63
244
113
  ड 63
245
- �� 63
246
- 63
247
- �� 61
248
- �� 61
249
- ��� 61
114
+ ज् 62
115
+ _भा 62
250
116
  थ 61
251
- ��� 58
252
- �� 58
253
- 57
117
+ _प् 60
118
+ _ज 60
119
+ ेत 60
120
+ ज्य 59
121
+ ान 59
122
+ ाग 58
123
+ ील 58
124
+ ले_ 58
254
125
  ठ 57
255
- �� 57
256
- ��� 57
257
- �� 57
258
- ��� 56
259
- �� 56
260
- �� 56
261
- �� 55
262
- 52
263
- �� 51
264
- �� 51
265
- �� 50
126
+ ाज् 57
127
+ ची 56
128
+ _वि 56
129
+ ील_ 55
130
+ चे 55
131
+ ्त 55
132
+ _श 55
133
+ ास 54
134
+ तर 54
135
+ _न 54
136
+ चे_ 54
137
+ ्व 54
138
+ ला 54
139
+ ची_ 54
140
+ ते 53
141
+ ेल 52
142
+ ना 52
143
+ ये 50
144
+ गा 49
145
+ _या 48
146
+ िक_ 48
147
+ _त 48
148
+ यां 48
149
+ ाल 47
150
+ त्र 46
151
+ ंच 46
152
+ ्र_ 46
153
+ ते_ 45
154
+ _ल 45
266
155
  उ 45
267
- �� 45
268
- �� 45
269
- �� 45
270
- ��� 44
271
- �� 43
272
- ��_ 42
273
- �_ 42
274
- �� 41
275
- �� 40
276
- �� 37
277
- �� 37
278
- �� 36
279
- _ 33
280
- ��_ 33
281
- �� 32
282
- �� 32
283
- 32
284
- �� 30
285
- ��� 30
156
+ क् 45
157
+ ्य_ 45
158
+ अस 44
159
+ _अस 44
160
+ सं 44
161
+ रात 43
162
+ ली 43
163
+ _ब 43
164
+ _उ 43
165
+ रत 43
166
+ ाह 43
167
+ भाग 42
168
+ _ 42
169
+ नी 42
170
+ री 42
171
+ ांच 42
172
+ ून 41
173
+ द् 41
174
+ ने 41
175
+ तात 40
176
+ मु 40
177
+ ेत_ 40
178
+ के 39
179
+ नी_ 39
180
+ ून_ 39
181
+ तर_ 39
182
+ ाव 39
183
+ _का 38
184
+ चा 38
185
+ पा 38
186
+ _सा 38
187
+ ाती 37
188
+ राच 37
189
+ ली_ 37
190
+ तील 36
191
+ ला_ 36
192
+ सर 35
193
+ जा 34
194
+ हेत 34
195
+ याच 34
196
+ ्थ 34
197
+ ्ष 33
198
+ ंन 33
199
+ पर 33
200
+ ाच् 32
201
+ ही 32
202
+ ाठ 32
203
+ ि_ 32
204
+ ोक 32
205
+ दे 31
206
+ _के 31
207
+ १ 31
208
+ _आण 31
209
+ ांन 31
210
+ आण 31
211
+ ित 30
212
+ धा 30
213
+ र्व 30
214
+ णि 30
286
215
  ृ 30
287
- �� 30
288
- �� 30
289
- 29
290
- �� 29
291
- �� 29
216
+ ल् 30
217
+ ाची 30
218
+ चा_ 29
219
+ _सं 29
220
+ ख् 29
221
+ _जा 29
222
+ _इ 29
223
+ _मु 29
224
+ ाचे 29
292
225
  इ 29
293
- 28
294
- �_ 27
295
- ��_ 27
296
- �_ 27
297
- �� 27
298
- �� 27
226
+ ही_ 29
227
+ आणि 28
228
+ _पर 28
229
+ हि 28
230
+ णि_ 28
231
+ मर 27
232
+ री_ 27
233
+ रि 27
234
+ वर 27
235
+ हर 27
236
+ णा 27
237
+ ेक 27
238
+ ण_ 27
239
+ िल 27
240
+ ाम 27
241
+ ्वा 27
242
+ _ये 26
299
243
  ० 26
300
- �� 26
301
- �� 26
302
- ��_ 26
303
- �_ 26
304
- �� 25
305
- _ 25
306
- ��� 24
307
- �� 23
308
- 23
309
- 21
310
- �� 20
311
- �� 20
312
- ��� 20
313
- �� 19
314
- �� 19
315
- �_ 19
316
- �� 19
317
- ��_ 18
318
- ��_ 18
319
- _ 18
320
- ��_ 18
321
- ��_ 18
322
- _ 18
244
+ मरा 26
245
+ भार 26
246
+ ति 26
247
+ ारत 26
248
+ कर 26
249
+ _ 26
250
+ त्य 26
251
+ लो 26
252
+ रता 26
253
+ ाण 26
254
+ क्ष 26
255
+ ेले 25
256
+ ने_ 25
257
+ _हे 25
258
+ ाप 25
259
+ ोत 25
260
+ _मर 25
261
+ रम 25
262
+ र्य 25
263
+ _ 25
264
+ _मो 25
265
+ ंद 25
266
+ _लो 25
267
+ मो 25
268
+ ख्य 25
269
+ सु 25
270
+ ंनी 24
271
+ िर 24
272
+ शा 24
273
+ राठ 24
274
+ _वा 24
275
+ _च 24
276
+ ंब 24
277
+ वे 24
278
+ ेश 24
279
+ मी 24
280
+ ाळ 23
281
+ _शह 23
282
+ शह 23
283
+ ांत 23
284
+ ्रम 23
285
+ शहर 23
286
+ रे 23
287
+ ागा 23
288
+ लोक 23
289
+ ठी 23
290
+ _सर 23
291
+ ुर 23
292
+ केल 22
293
+ _सु 22
294
+ स्थ 22
295
+ ठी_ 22
296
+ _इत 22
297
+ त्त 22
298
+ ंग 22
299
+ पु 22
300
+ हो 22
301
+ इत 22
302
+ ाद 22
303
+ ार् 21
304
+ _हो 21
305
+ नि 21
306
+ रण 21
307
+ ाठी 21
308
+ व् 21
309
+ से 21
310
+ _पु 21
311
+ िव 21
312
+ चि 20
313
+ ्रि 20
314
+ ीच 20
315
+ सू 20
316
+ _स् 20
317
+ व्य 20
318
+ मि 20
319
+ ार_ 20
320
+ सर् 20
321
+ _ना 20
322
+ कार 20
323
+ _१ 20
324
+ रं 19
325
+ ुं 19
326
+ २ 19
327
+ ाग_ 19
328
+ यात 19
329
+ सून 19
330
+ होत 19
331
+ _दे 19
332
+ ्ये 19
333
+ ाही 18
334
+ येथ 18
335
+ ृत 18
336
+ ध_ 18
337
+ ेक_ 18
338
+ ोल 18
339
+ ो_ 18
340
+ ्म 18
341
+ ेव 18
342
+ ू_ 18
343
+ स्त 18
344
+ _मा 18
345
+ न् 18
346
+ ेथ 18
347
+ ळ_ 18
348
+ मोठ 17
349
+ ्ध 17
350
+ ध्य 17
351
+ रमा 17
352
+ सत 17
353
+ ोठ 17
323
354
  ई 17
324
- �� 17
325
- �_ 17
326
- ��_ 16
327
- �� 15
328
- 15
329
- 14
330
- 14
331
- ��� 14
332
- �� 14
333
- �� 14
334
- �� 14
335
- 14
336
- �� 14
337
- 13
338
- �� 13
339
- 13
340
- 13
341
- 13
342
- �� 13
343
- 13
344
- �� 13
345
- �� 13
346
- �� 13
347
- 13
348
- �� 13
349
- ��� 13
350
- 13
351
- ��_ 13
352
- ��� 13
353
- ��� 12
354
- �� 12
355
- ��_ 12
356
- ��_ 12
357
- �� 12
358
- �_ 12
359
- 12
360
- ��� 12
361
- 12
362
- 12
363
- �� 12
364
- �� 12
365
- 11
366
- ��� 11
367
- ��� 11
368
- 11
369
- �_ 11
370
- �� 11
371
- ��� 11
372
- �� 11
373
- ��_ 11
374
- ��_ 11
375
- �� 11
376
- �� 11
377
- � 11
378
- ��_ 11
379
- �_ 11
380
- �� 11
381
- �_ 11
382
- �_ 10
383
- ��� 10
384
- �� 10
385
- �� 10
386
- ९ 10
387
- � 10
388
- �� 10
389
- औ 10
390
- �_ 10
391
- �� 10
392
- ��_ 10
393
- �� 10
394
- �_ 9
395
- ��_ 9
396
- ��_ 9
397
- ��_ 9
398
- ��� 9
399
- �� 9
400
- �_ 9
355
+ ध् 17
356
+ ंतर 17
357
+ िभा 17
358
+ दा 17
359
+ वा_ 17
360
+ विभ 17
361
+ ाचा 17
362
+ िम 17
363
+ रू 17
364
+ िभ 17
365
+ म_ 16
366
+ ्च 16
367
+ था 16
368
+ माण 16
369
+ _पा 16
370
+ ोग 16
371
+ ंत् 16
372
+ ेथे 16
373
+ थे 16
374
+ जात 16
375
+ षा 16
376
+ द्य 16
377
+ बा 16
378
+ णे 16
379
+ दी 16
380
+ टी 15
381
+ धान 15
382
+ िश 15
383
+ पश 15
384
+ म् 15
385
+ मी_ 15
386
+ उत् 15
387
+ श् 15
388
+ उत 15
389
+ रो 15
390
+ ान_ 15
391
+ _उत 15
392
+ ूर 15
393
+ वत 15
394
+ तो 15
395
+ तक 15
396
+ यो 15
397
+ ास_ 15
398
+ ुख 15
399
+ ळा 15
400
+ मुख 15