scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 10880
2
- 8623
3
- 8184
4
- _ 3138
5
- 2896
6
- 2696
7
- _� 1567
8
- _� 1451
9
- 1094
10
- 1093
11
- �� 1093
12
- ��� 1017
13
- �� 1017
14
- �� 1017
15
- � 787
16
- �� 783
17
- ರ 783
18
- ಿ 719
19
- �� 719
20
- � 719
21
- ��� 710
22
- �� 710
23
- ಾ 683
24
- �� 683
25
- � 683
26
- ��� 669
27
- �� 669
28
- �� 669
29
- � 593
30
- ು 593
31
- �� 593
32
- � 566
33
- �� 532
34
- ��� 532
35
- �� 532
36
- �� 531
37
- ದ 531
38
- ತ 497
39
- �� 497
40
- � 497
41
- � 491
42
- �� 468
43
- �� 468
44
- ನ 468
45
- ��� 468
46
- ಲ 439
47
- �� 439
48
- �� 435
49
- ��� 423
50
- �� 423
51
- ��� 420
52
- ಕ 412
53
- �� 412
54
- � 412
55
- � 404
56
- �� 400
57
- �� 400
58
- �_ 393
59
- ��_ 393
60
- � 382
61
- ��� 380
62
- �� 372
63
- ��� 372
64
- ೆ 364
65
- �� 364
66
- �� 361
67
- ಯ 361
1
+ _ 3110
2
+ 1071
3
+ 744
4
+ ಿ 704
5
+ 654
6
+ 579
7
+ 524
8
+ 496
9
+ 458
10
+ 453
11
+ 405
12
+ ು_ 381
13
+ 376
68
14
  ಗ 344
69
- �� 344
70
- 344
71
- �� 336
72
- ��� 336
73
- �� 335
74
- 335
75
- 335
76
- ��� 334
77
- �� 334
78
- 313
79
- 313
80
- �� 313
81
- �� 310
82
- 300
83
- 288
84
- �� 282
85
- �� 280
86
- ��� 280
87
- �� 279
88
- 279
89
- �� 273
90
- �� 272
91
- �� 272
92
- ��� 269
93
- ��� 264
94
- �� 259
95
- �� 248
96
- �� 247
97
- �� 237
98
- �� 237
99
- 234
100
- �� 229
101
- �� 223
102
- �� 220
103
- 219
104
- �� 219
105
- 217
106
- �� 217
107
- ��� 213
108
- ��� 212
109
- �� 212
110
- �� 209
111
- �� 205
112
- �� 200
113
- �� 200
114
- �� 200
115
- 200
116
- ��� 200
117
- ��� 197
118
- �� 192
119
- ��_ 187
120
- _ 187
121
- �� 187
122
- �� 182
123
- �� 179
124
- ��� 179
125
- �� 176
126
- �� 171
127
- �� 167
128
- �_ 167
129
- 167
130
- 167
131
- ��_ 167
132
- �� 167
133
- �_ 166
134
- ��� 163
135
- �� 163
136
- �� 157
137
- �� 152
138
- ��_ 151
139
- 143
140
- �� 143
141
- 143
142
- ��� 142
143
- �� 142
144
- �� 129
145
- 117
146
- �� 117
147
- �� 117
148
- 117
149
- 117
150
- 117
151
- �� 116
152
- _� 116
153
- �� 115
154
- ��� 115
155
- �� 113
156
- 109
157
- 109
158
- �� 108
159
- �� 108
160
- ��� 105
161
- �� 105
162
- �� 105
163
- 101
164
- �� 101
165
- 101
166
- �_ 100
167
- �� 98
168
- �� 96
169
- ��� 96
170
- �� 96
171
- ��_ 92
172
- �� 91
173
- 91
174
- 88
175
- �� 88
176
- �� 85
177
- �� 84
178
- �� 83
179
- 82
180
- 82
181
- �� 82
182
- 80
183
- �� 80
184
- �� 80
185
- 80
186
- 78
187
- �� 78
188
- ��� 77
189
- ��� 77
190
- �_ 77
191
- �� 77
192
- �_ 76
193
- �� 76
194
- ��_ 75
195
- �� 73
196
- 73
197
- ��_ 73
198
- 71
199
- �� 71
200
- 71
201
- �� 71
202
- 71
203
- �� 71
204
- 71
205
- ��� 70
206
- �� 70
207
- �� 69
208
- ��� 69
209
- 69
210
- 69
211
- 69
212
- 69
213
- �� 69
214
- 69
215
- �� 69
216
- ��� 69
217
- �� 69
218
- �� 69
219
- �� 69
220
- 69
221
- �� 68
222
- �� 68
223
- ��� 68
224
- �� 68
225
- ��� 68
226
- �� 66
227
- ��� 66
228
- �� 64
229
- ಧ 64
230
- �� 63
231
- �� 63
232
- ��� 63
233
- ��� 61
234
- �� 60
235
- ��� 59
236
- �� 58
237
- �� 57
238
- �� 55
239
- �_ 55
240
- �� 54
241
- � 52
242
- �� 50
243
- ��_ 48
244
- ೧ 45
245
- �� 45
246
- �� 42
247
- �� 41
248
- �_ 40
249
- �� 40
250
- ೈ 40
251
- �� 40
252
- ಆ 40
253
- ��_ 40
254
- ��� 40
255
- �� 40
256
- �� 40
257
- �� 39
258
- �� 39
259
- �� 38
260
- �� 38
261
- �� 38
262
- ��� 37
263
- ��� 37
264
- � 36
265
- �� 35
266
- ೦ 35
267
- �� 35
15
+ 341
16
+ 324
17
+ 310
18
+ 264
19
+ 209
20
+ 199
21
+ 189
22
+ ಲ್ 185
23
+ ಿ_ 182
24
+ ೆ_ 179
25
+ 165
26
+ _ಕ 161
27
+ ್ರ 160
28
+ ತ್ 156
29
+ _ಸ 155
30
+ ದ_ 141
31
+ ್ಲ 135
32
+ _ಮ 135
33
+ ಲ್ಲ 132
34
+ ್ತ 131
35
+ 131
36
+ ್ಯ 128
37
+ ರ್ 126
38
+ ಗಳ 121
39
+ 119
40
+ _ಪ 118
41
+ ಲಿ 117
42
+ ್ನ 114
43
+ ರು 112
44
+ 110
45
+ ರಾ 109
46
+ ತ್ತ 104
47
+ ್ಲಿ 103
48
+ 100
49
+ ಲಿ_ 94
50
+ ಯ_ 93
51
+ ನಾ 92
52
+ ಪ್ 88
53
+ 81
54
+ ಸ್ 79
55
+ 78
56
+ ರು_ 78
57
+ 77
58
+ ಾಗ 77
59
+ ್_ 76
60
+ ಾರ 76
61
+ ರಿ 76
62
+ 74
63
+ ತು 74
64
+ ೆಯ 73
65
+ ನ್ 73
66
+ _ 72
67
+ ಪ್ರ 72
68
+ _ನ 72
69
+ ರ_ 71
70
+ ಕರ 70
71
+ ಕ್ 70
72
+ 70
73
+ ಂದ 70
74
+ 68
75
+ _ವ 67
76
+ 67
77
+ _ 66
78
+ ದಲ 66
79
+ ತಿ 66
80
+ 66
81
+ _ಅ 66
82
+ ಿದ 65
83
+ 65
84
+ _ಪ್ 65
85
+ 64
86
+ _ಕರ 64
87
+ ತು_ 63
88
+ ಾಟ 62
89
+ ್ನಾ 62
90
+ ಾನ 62
91
+ 62
92
+ ಾಜ 62
93
+ ರ್ನ 61
94
+ _ಜ 61
95
+ ರಾಜ 60
96
+ ಕರ್ 59
97
+ ನಾಟ 58
98
+ ಟಕ 58
99
+ ಾಟಕ 58
100
+ ವಾ 57
101
+ ಳು 57
102
+ ದಲ್ 56
103
+ ಿಯ 55
104
+ ಗಿ 55
105
+ ಳು_ 53
106
+ ನ_ 52
107
+ ನ್ನ 51
108
+ ್ತು 50
109
+ _ಭ 50
110
+ ಗಳು 49
111
+ ಿತ 48
112
+ ಸಾ 47
113
+ _ಬ 47
114
+ ್ಕ 46
115
+ 46
116
+ ದ್ 46
117
+ ದರ 45
118
+ ಜ್ 45
119
+ ್ಟ 45
120
+ ಿಗ 45
121
+ ರದ 44
122
+ _ಸಾ 44
123
+ _ರಾ 44
124
+ ೆಗ 44
125
+ ದಿ 43
126
+ ಭಾ 43
127
+ ವಿ 43
128
+ ಾಮ 43
129
+ ಾಜ್ 43
130
+ ಜ್ಯ 42
131
+ ರೆ 41
132
+ ಿಸ 41
133
+ _ತ 40
134
+ ಗೆ 40
135
+ ಕದ 40
136
+ ನು 40
137
+ _ದ 40
138
+ ಿಂ 39
139
+ ಿಕ 39
140
+ 39
141
+ _ಶ 39
142
+ ಾಗಿ 39
143
+ ಾದ 39
144
+ ಟಕದ 39
145
+ ದೆ 39
146
+ ಾಲ 38
147
+ ಕ_ 38
148
+ _ಭಾ 38
149
+ ದೆ_ 38
150
+ _ಆ 38
151
+ 38
152
+ ಂತ 37
153
+ ದೇ 37
154
+ ಲೆ 37
155
+ ನು_ 37
156
+ ಿಲ 37
157
+ ್ರಾ 36
158
+ _ಇ 36
159
+ ಗೆ_ 36
160
+ 36
161
+ ದು 36
162
+ ಮತ 36
163
+ ಸಂ 36
164
+ ತರ 35
165
+ 35
166
+ ಕೆ 35
167
+ _ಮತ 35
168
+ ಮತ್ 35
169
+ ಮಾ 34
268
170
  ೋ 34
269
- �� 34
270
- �� 34
271
- 34
272
- 34
273
- �_ 33
274
- ��_ 33
275
- �� 33
276
- �� 33
277
- �� 33
278
- ��� 31
279
- ��� 31
280
- �� 31
281
- ��� 31
282
- 31
283
- �� 31
171
+ ುತ್ 34
172
+ ುತ 34
173
+ ಟ್ 34
174
+ ರತ 33
175
+ ಕಾ 33
176
+ 33
177
+ ್ಪ 33
178
+ ವು 33
179
+ ್ನು 33
180
+ ಯು 33
181
+ ೇಶ 33
182
+ ಗು 32
183
+ ತಾ 32
184
+ ದೇಶ 32
185
+ ುವ 32
186
+ _೧ 32
187
+ ವ_ 32
188
+ ಾಯ 32
189
+ ಳಿ 32
190
+ ವರ 32
191
+ ್ವ 32
192
+ ್ಷ 32
193
+ ನೆ 31
194
+ ಿದೆ 31
195
+ ೂರ 31
196
+ ಹಾ 31
197
+ _ವಿ 31
198
+ ೆಯ_ 31
284
199
  ೩ 30
285
- �� 30
286
- �� 30
287
- 30
288
- ��_ 29
289
- _ 29
290
- 28
291
- 27
292
- �� 27
293
- ��� 27
294
- 27
295
- �� 27
296
- �� 27
297
- 26
298
- 26
299
- �� 26
300
- �_ 26
301
- �� 25
302
- ��� 25
303
- �� 25
304
- �� 25
305
- �� 25
306
- �� 25
307
- ��� 25
308
- �� 25
200
+ ಿರ 30
201
+ ವೆ 30
202
+ ್ರದ 30
203
+ ವು_ 29
204
+ ್ಯ_ 29
205
+ ದು_ 29
206
+ ಕ್ಕ 29
207
+ ಲಾ 29
208
+ ಧಾ 28
209
+ ಿಲ್ 28
210
+ ಯಾ 28
211
+ ಯದ 28
212
+ ಮ್ 27
213
+ ರದೇ 27
214
+ ತ_ 27
215
+ ಜನ 26
216
+ _ಸಂ 26
217
+ ಿಂದ 26
218
+ 26
219
+ ಮು 26
220
+ ಡಿ 26
221
+ _ಎ 26
309
222
  ೫ 25
310
- 25
311
- �� 25
312
- �� 25
313
- 25
314
- �� 23
223
+ ಸಾಮ 25
224
+ ಂಗ 25
225
+ _ಜನ 25
226
+ ಯಿ 25
227
+ ಸು 25
228
+ ೃ 25
229
+ ುವ_ 25
230
+ ಿಗಳ 24
231
+ ಾಮ್ 24
232
+ _ಗ 24
233
+ ಾಸ 24
234
+ ಒ 24
235
+ _ಚ 24
236
+ ಸರ 24
237
+ ೆಗಳ 24
238
+ _ಹಾ 24
239
+ ಕ್ಷ 24
240
+ ಜಿ 24
241
+ ್ತಿ 24
242
+ _ಒ 24
243
+ ಜಿಲ 23
244
+ ್ಯದ 23
245
+ ಥ 23
315
246
  ೨ 23
247
+ ಡೆ 23
248
+ ಾವ 23
249
+ ಂದ_ 23
250
+ ಮ್ರ 23
251
+ ವೆ_ 23
252
+ ಹಾಗ 23
253
+ ತದ 23
254
+ ಕದ_ 23
255
+ ಶಿ 23
256
+ ನಿ 23
257
+ _ಜಿ 23
258
+ ಿರು 22
259
+ ್ದ 22
316
260
  ೭ 22
317
- �� 22
318
- 22
319
- 22
320
- �� 22
321
- �_ 21
322
- ��_ 21
323
- ೮ 21
324
- �� 21
325
- �� 21
261
+ ಗು_ 22
262
+ ತರ_ 22
263
+ ಾಗು 22
264
+ ಟ್ಟ 22
326
265
  ೯ 21
327
- �� 20
328
- �� 20
329
- ��� 20
330
- ��� 20
331
- �� 18
332
- �� 18
333
- ��� 18
334
- �� 18
335
- 18
336
- 18
337
- �� 17
338
- ��� 17
339
- ��_ 16
340
- �_ 16
341
- �� 16
342
- �_ 16
266
+ 21
267
+ ಟಿ 21
268
+ ುದ 21
269
+ ಾದ_ 21
270
+ ಿನ 21
271
+ _ಕಾ 21
272
+ ಧಾನ 21
273
+ ರೆ_ 21
274
+ ರುವ 21
275
+ ಿತ್ 21
276
+ ಸಿ 21
277
+ ಯಲ 21
278
+ ುಗ 21
279
+ ಿದ್ 21
280
+ ದ್ದ 20
281
+ 20
282
+ _ಉ 20
283
+ ದರು 20
284
+ ಣ್ 20
285
+ ಲು 20
286
+ ತ್ರ 20
287
+ ಳ_ 20
288
+ ಯನ 20
289
+ ಗಿದ 20
290
+ ನೆಯ 20
291
+ _ಸ್ 20
292
+ ್ಸ 20
293
+ ್ಲೆ 19
294
+ ಖ್ 19
295
+ ಖ್ಯ 19
296
+ ್ರಿ 19
297
+ ೂರು 19
298
+ ಷ್ 19
299
+ ಡು 19
300
+ ಾನ_ 19
301
+ ರಿ_ 19
302
+ ್ಥ 19
303
+ ನದ 19
304
+ _೩ 18
305
+ ವ್ 18
306
+ ಿತು 18
307
+ ಯಲ್ 18
308
+ ಭಾರ 18
309
+ ಿವ 18
310
+ ತಿ_ 18
311
+ ರವ 18
312
+ ರಣ 18
313
+ ಿನ_ 18
314
+ ಚಿ 18
315
+ ಸ್_ 17
316
+ ನಡ 17
317
+ ಾರತ 17
318
+ ಂದು 17
319
+ ಕೆ_ 17
320
+ ೆಗೆ 17
321
+ ಲ_ 17
322
+ ದಾ 17
323
+ ೀಯ 17
324
+ ಯದ_ 17
325
+ ಸ್ತ 17
326
+ ನ್_ 17
327
+ ಗಳಿ 16
328
+ ಮಾನ 16
329
+ ಯರ 16
330
+ ೈಸ 16
331
+ ೃತ 16
332
+ ಸ್ಥ 16
333
+ ೪ 16
334
+ ್ತರ 16
335
+ _ಸು 16
336
+ ಮೈ 16
337
+ _ಮು 16
338
+ ಿಗೆ 16
339
+ _ಮೈ 16
340
+ ಲ್ಪ 16
341
+ _ನಾ 16
342
+ ಕದಲ 16
343
+ ತ್ಯ 16
344
+ ತಿಯ 15
345
+ ಹಿ 15
346
+ ಿಮ 15
347
+ ಳನ 15
348
+ ಷ್ಟ 15
349
+ ್ಚ 15
350
+ ಳಲ್ 15
351
+ ನಗ 15
352
+ ಿಕ_ 15
353
+ ಳಲ 15
343
354
  ೬ 15
344
- ��_ 15
345
- ��_ 15
346
- �� 15
347
- �� 15
348
- 15
349
- ��� 15
350
- �� 15
351
- ��� 15
352
- �� 15
353
- �_ 14
354
- �_ 14
355
- ��_ 14
356
- ��� 13
357
- ��_ 13
358
- �_ 13
359
- ��_ 13
360
- �_ 13
361
- ��� 12
362
- _ 12
363
- �_ 12
364
- �� 12
365
- �� 12
366
- ��_ 12
367
- ��_ 12
368
- ��_ 12
369
- �_ 12
370
- 12
371
- �_ 11
372
- ��_ 11
373
- �� 11
374
- ��� 10
375
- ��� 9
376
- ��_ 9
377
- ��_ 8
378
- �_ 8
379
- ��_ 8
380
- ��� 8
381
- ��_ 8
382
- �_ 7
383
- ��_ 7
384
- ��_ 7
385
- ��_ 7
386
- ��_ 7
387
- �_ 7
388
- 6
389
- ��_ 6
390
- �_ 6
391
- ಠ 5
392
- �� 5
393
- � 5
394
- � 5
395
- �� 5
396
- �_ 5
397
- �� 5
398
- ೌ 5
399
- ��_ 5
400
- ��� 5
355
+ ಯು_ 15
356
+ ಕಲ 15
357
+ ೦_ 15
358
+ ಗಳಲ 15
359
+ ನರ 15
360
+ ಸೂ 15
361
+ ಾತ 15
362
+ ವನ 15
363
+ ಯಗಳ 15
364
+ ವಾಗ 15
365
+ ಮಿ 15
366
+ ಯವ 15
367
+ ಯಗ 15
368
+ _ 15
369
+ ಂಖ 14
370
+ ಸಂಖ 14
371
+ ಂಖ್ 14
372
+ ಪು 14
373
+ ೀಯ_ 14
374
+ ್ಯಗ 14
375
+ ಕಾರ 14
376
+ ಸೂರ 14
377
+ ್ಟಿ 14
378
+ ಾಡ 14
379
+ ್ಕೆ 14
380
+ ೆಂ 14
381
+ ್ಣ 14
382
+ ಾಯಿ 14
383
+ ರ್_ 14
384
+ ಲೆಯ 14
385
+ ಾಪ 14
386
+ ಮೈಸ 14
387
+ ೈಸೂ 14
388
+ ಿಯ_ 14
389
+ ತೆ 14
390
+ _ 13
391
+ ಷಿ 13
392
+ ಗಿ_ 13
393
+ 13
394
+ _ 13
395
+ ಗ್ 13
396
+ ಟಕ_ 13
397
+ _ 13
398
+ ಶ್ 13
399
+ ್ಸ್ 13
400
+ ತಮ 13