scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 27922
2
- 23347
3
- 23123
4
- 4980
5
- 4799
6
- _ 2804
7
- 2068
8
- 2068
9
- �� 2068
10
- ��� 1939
11
- �� 1939
12
- �� 1842
13
- �� 1666
14
- 1666
15
- 1666
16
- 1644
17
- 1595
18
- �� 1595
19
- 1595
20
- �� 1586
21
- �� 1552
22
- ��� 1552
23
- 1516
24
- �� 1451
25
- ��� 1447
26
- �� 1447
27
- �� 1428
28
- _� 1400
29
- �� 1347
30
- �� 1338
31
- 1320
32
- �� 1205
33
- �� 1199
34
- 1199
35
- �� 1165
36
- ��� 1141
37
- �� 1139
38
- 1139
39
- �� 1074
40
- 1074
41
- ��� 1065
42
- 1054
43
- 1054
44
- �� 1054
45
- ��� 1025
46
- 1025
47
- �� 1025
48
- 1025
49
- �� 1025
50
- �� 1025
51
- ��� 1016
52
- �� 1016
53
- �� 1003
54
- ��� 1003
55
- 1003
56
- �� 1003
57
- 1003
58
- 991
59
- �� 991
60
- 991
61
- ��� 960
62
- �� 956
63
- _� 945
64
- �� 928
65
- 928
66
- 928
67
- �� 928
68
- ��� 920
69
- �� 920
70
- 906
71
- 906
72
- �� 906
73
- �� 887
74
- ��� 887
75
- 881
76
- �� 878
77
- �� 876
78
- �� 851
79
- 826
80
- �� 809
81
- ��� 809
82
- �� 805
83
- 795
84
- �� 795
85
- �� 795
86
- �� 789
87
- ��� 774
88
- �� 716
89
- 686
90
- �� 686
91
- 686
92
- 668
93
- �� 668
94
- �� 668
95
- 668
96
- ��� 668
97
- �� 667
98
- 667
99
- 667
100
- ��� 661
101
- �� 661
102
- 642
103
- �� 642
104
- 642
105
- �� 620
106
- ��� 612
107
- �� 612
108
- 611
109
- �� 609
110
- �� 609
111
- 609
112
- ��� 607
113
- 589
114
- 589
115
- �� 589
116
- �� 565
117
- 565
118
- 565
119
- ��� 563
120
- �� 563
121
- ��� 562
122
- �� 562
123
- ��� 561
124
- �� 561
125
- �� 561
126
- 558
127
- 556
128
- �� 556
129
- �� 532
130
- ��� 532
131
- �� 491
132
- �� 485
133
- 485
134
- �� 485
135
- 485
136
- 485
137
- �� 484
138
- 484
139
- 484
140
- ��� 465
141
- �� 465
142
- �� 464
143
- ��� 464
144
- _� 455
145
- �� 448
146
- 445
147
- ��� 445
148
- �� 445
149
- 442
150
- �� 442
151
- ��� 439
152
- ��� 439
153
- �� 439
154
- 439
155
- �� 425
156
- �� 421
157
- �� 420
158
- 403
159
- ��� 403
160
- �� 403
161
- 403
162
- �� 403
163
- �� 387
164
- �� 385
165
- �� 383
166
- �� 377
167
- 377
168
- ��� 363
169
- 343
170
- 339
171
- �� 339
172
- 339
173
- �� 339
174
- 339
175
- �� 337
176
- ��� 336
177
- 336
178
- �� 336
179
- �� 336
180
- �� 336
181
- 336
182
- ��� 335
183
- �� 328
184
- �� 322
185
- 322
186
- ��� 322
187
- �� 318
188
- ��� 317
189
- 317
190
- �� 317
191
- 317
192
- �� 317
193
- 307
194
- �� 307
195
- 307
196
- �� 292
197
- �� 282
198
- �� 279
199
- ��� 279
200
- �� 277
201
- �� 269
202
- �� 257
203
- ��� 257
204
- �� 250
205
- �� 246
206
- 246
207
- ��� 245
208
- �� 240
209
- �� 225
210
- �� 224
211
- �� 224
212
- 224
213
- ��� 224
214
- 219
215
- ��_ 219
216
- 219
217
- �� 219
218
- �_ 219
219
- �� 214
220
- �� 213
221
- ��� 210
222
- �� 210
223
- �� 205
224
- �� 189
225
- �� 184
226
- �� 181
227
- 181
228
- �� 181
229
- �� 179
230
- ��� 179
231
- �� 175
232
- 175
233
- 175
234
- 170
235
- 170
236
- ��� 170
237
- �� 170
238
- �� 170
239
- �� 169
240
- ��� 163
241
- 163
242
- �� 163
243
- �� 162
244
- �� 151
245
- �� 148
246
- �� 142
247
- 140
248
- �� 140
249
- 140
250
- �� 136
251
- 136
252
- ��� 136
253
- 136
254
- �� 136
255
- �� 136
256
- �� 135
257
- �� 135
258
- ��� 135
259
- �� 131
260
- ��� 131
261
- �� 131
262
- �� 131
263
- ��_ 129
264
- �_ 129
265
- �� 127
266
- ��_ 119
267
- �_ 119
268
- �� 117
269
- �_ 115
270
- ��_ 114
271
- 112
272
- �� 112
273
- 112
274
- �� 111
275
- ��� 111
276
- 109
277
- �� 108
278
- ��� 108
279
- 108
280
- �� 108
281
- �� 107
282
- �� 98
283
- �� 97
284
- �� 94
285
- �� 93
286
- �� 91
287
- �� 90
288
- �� 89
289
- �� 89
290
- 89
291
- �� 88
292
- 88
293
- �_ 88
294
- �� 87
295
- �� 84
296
- 84
297
- 84
298
- ��� 84
299
- �� 84
300
- �� 83
301
- �� 82
302
- ��_ 81
303
- �� 81
304
- �_ 81
305
- �� 81
306
- ��� 80
307
- �� 80
308
- 79
309
- �� 79
310
- 79
311
- �� 79
312
- �� 76
313
- �� 75
314
- ��_ 74
315
- ��� 73
316
- �� 73
317
- 71
318
- ��_ 71
319
- 71
320
- �� 71
321
- �� 71
322
- �_ 71
323
- �� 71
324
- ��� 71
325
- �� 68
326
- 68
327
- �� 68
328
- 68
329
- ��� 67
330
- �� 67
331
- �� 65
332
- �� 63
333
- �� 61
334
- ��_ 60
335
- �_ 60
336
- �� 60
337
- �� 59
338
- ��_ 58
339
- �_ 58
340
- ��_ 55
341
- �_ 55
342
- �_ 50
343
- ��_ 50
344
- �� 45
345
- _ 44
346
- ��_ 44
347
- �_ 43
348
- ��_ 43
349
- �� 43
350
- �� 42
351
- ��_ 38
352
- �_ 38
353
- �� 36
354
- ��� 31
355
- �� 31
356
- 31
357
- 29
358
- ��� 29
359
- �� 29
360
- �� 29
361
- 29
362
- �� 29
363
- 29
364
- �� 29
365
- �� 28
366
- ��� 27
367
- �� 27
368
- 27
369
- �� 27
370
- ��_ 26
371
- �_ 26
372
- �_ 26
373
- ��_ 24
374
- �_ 21
375
- �_ 21
376
- ��_ 21
377
- ��_ 21
378
- 20
379
- ��_ 20
380
- �_ 20
381
- �� 20
382
- 20
383
- �_ 19
384
- �_ 19
385
- ��_ 19
386
- ��_ 19
387
- �� 18
388
- �_ 18
389
- ��_ 18
390
- �� 17
391
- 17
392
- 17
393
- �� 17
394
- �� 17
395
- ��� 16
396
- �� 16
397
- ��_ 14
398
- �� 14
399
- ��� 13
400
- �� 13
1
+ _ 3048
2
+ 2217
3
+ 1791
4
+ 1709
5
+ 1289
6
+ 1205
7
+ 1140
8
+ 1117
9
+ 1085
10
+ 1082
11
+ 1052
12
+ 962
13
+ 959
14
+ 860
15
+ 740
16
+ 712
17
+ 706
18
+ 704
19
+ 665
20
+ 620
21
+ 613
22
+ 591
23
+ 560
24
+ 537
25
+ 478
26
+ 458
27
+ 443
28
+ 429
29
+ 384
30
+ าร 374
31
+ 371
32
+ 369
33
+ ระ 347
34
+ 347
35
+ 344
36
+ 343
37
+ 334
38
+ อง 323
39
+ กา 315
40
+ การ 282
41
+ ปร 271
42
+ 257
43
+ ประ 254
44
+ น_ 243
45
+ 242
46
+ 232
47
+ ทย 229
48
+ ่า 226
49
+ ี่ 221
50
+ ละ 220
51
+ ไท 216
52
+ แล 216
53
+ ไทย 216
54
+ เป 212
55
+ ใน 212
56
+ ะเ 208
57
+ ที 207
58
+ ่อ 206
59
+ และ 203
60
+ าก 203
61
+ ็น 200
62
+ ที่ 199
63
+ 198
64
+ เป็ 194
65
+ ป็ 194
66
+ เท 194
67
+ ป็น 194
68
+ ้า 192
69
+ 190
70
+ าง 181
71
+ ับ 180
72
+ ่ง 178
73
+ มี 174
74
+ 173
75
+ 173
76
+ าม 170
77
+ มา 166
78
+ ัน 162
79
+ ระเ 160
80
+ ทศ 158
81
+ ด้ 157
82
+ ะเท 156
83
+ ขอ 155
84
+ เทศ 155
85
+ ของ 154
86
+ ือ 152
87
+ 149
88
+ _แ 148
89
+ าน 146
90
+ 144
91
+ รั 144
92
+ ้น 143
93
+ กร 142
94
+ 138
95
+ _เ 138
96
+ าย 136
97
+ า_ 135
98
+ ได 124
99
+ ได้ 124
100
+ ต่ 123
101
+ อย 123
102
+ 123
103
+ ื่ 120
104
+ รา 119
105
+ ย_ 118
106
+ ัก 116
107
+ ง_ 115
108
+ งเ 114
109
+ ภา 112
110
+ ั้ 111
111
+ ื่อ 107
112
+ ชา 107
113
+ _แล 106
114
+ นา 105
115
+ นต 105
116
+ 101
117
+ ติ 101
118
+ ัง 100
119
+ _ส 100
120
+ รร 98
121
+ ตร 98
122
+ ว่ 93
123
+ ว่า 93
124
+ ศไ 92
125
+ ่าง 92
126
+ ทศไ 92
127
+ 92
128
+ นั 91
129
+ นป 91
130
+ นเ 90
131
+ จา 90
132
+ 89
133
+ ศไท 88
134
+ _พ 88
135
+ เม 87
136
+ ้อ 87
137
+ กั 86
138
+ นท 86
139
+ _ป 86
140
+ ่ว 85
141
+ ้ง 85
142
+ จาก 84
143
+ วั 84
144
+ หน 84
145
+ _ก 82
146
+ คร 82
147
+ าว 81
148
+ ม_ 80
149
+ ศ_ 80
150
+ ี_ 79
151
+ 79
152
+ ีย 79
153
+ อน 79
154
+ ลา 79
155
+ ่น 78
156
+ ั้ง 77
157
+ ่_ 77
158
+ ยน 75
159
+ งก 74
160
+ เร 73
161
+ อก 73
162
+ 73
163
+ อา 72
164
+ _ศ 71
165
+ หล 71
166
+ าค 70
167
+ หา 70
168
+ นก 70
169
+ พ_ 69
170
+ ให 69
171
+ รม 69
172
+ มื 68
173
+ งป 68
174
+ ริ 68
175
+ ยม 67
176
+ วน 67
177
+ น้ 67
178
+ ก_ 66
179
+ เข 66
180
+ ปี 66
181
+ ึ่ 65
182
+ ัย 65
183
+ ลั 65
184
+ นอ 65
185
+ เมื 65
186
+ ึ่ง 65
187
+ ่ม 64
188
+ ส่ 64
189
+ โด 62
190
+ ะ_ 62
191
+ _พ_ 61
192
+ ทั 61
193
+ าต 61
194
+ _ม 61
195
+ ดย 61
196
+ _ศ_ 61
197
+ ข้ 61
198
+ โดย 61
199
+ รเ 61
200
+ าจ 61
201
+ ทย_ 60
202
+ นปร 59
203
+ _ปร 59
204
+ ยา 59
205
+ ะก 58
206
+ าช 58
207
+ จั 58
208
+ กษ 57
209
+ สม 57
210
+ งไ 57
211
+ งแ 56
212
+ ซึ่ 56
213
+ ยเ 56
214
+ ู่ 56
215
+ ซึ 56
216
+ รี 55
217
+ สา 55
218
+ รรม 55
219
+ ารเ 55
220
+ าส 55
221
+ กิ 54
222
+ าเ 54
223
+ ีก 54
224
+ แต 54
225
+ _ใ 54
226
+ มั 54
227
+ _ค 54
228
+ งค 54
229
+ ละ_ 53
230
+ คม 53
231
+ ษา 53
232
+ เล 53
233
+ ข้า 52
234
+ วา 52
235
+ ทา 52
236
+ ต้ 52
237
+ กล 52
238
+ ช่ 52
239
+ เช 52
240
+ รับ 52
241
+ ในป 51
242
+ _ไ 51
243
+ แต่ 51
244
+ สำ 51
245
+ งท 50
246
+ นร 50
247
+ ร์ 50
248
+ ้ว 50
249
+ นที 50
250
+ ้เ 49
251
+ บร 49
252
+ _โ 49
253
+ งปร 49
254
+ ทาง 48
255
+ _ห 48
256
+ ร_ 48
257
+ ้น_ 48
258
+ บา 48
259
+ _ใน 48
260
+ กับ 47
261
+ สั 47
262
+ ัด 47
263
+ _ 47
264
+ บั 47
265
+ ่อง 47
266
+ ึง 47
267
+ ิน 47
268
+ ห้ 47
269
+ นตร 47
270
+ ล่ 46
271
+ ตา 46
272
+ งส 46
273
+ ปี_ 46
274
+ ำน 46
275
+ ี่_ 46
276
+ _โด 45
277
+ าท 45
278
+ ่ส 45
279
+ ิด 45
280
+ เข้ 45
281
+ _ร 45
282
+ ์_ 45
283
+ รอ 45
284
+ แห 45
285
+ ต่อ 44
286
+ ส่ว 44
287
+ ่วน 44
288
+ รื 44
289
+ ัต 44
290
+ อั 44
291
+ _กา 44
292
+ งม 43
293
+ ให้ 43
294
+ ตั 43
295
+ าติ 43
296
+ ยู 42
297
+ ้าน 42
298
+ ะม 42
299
+ วัน 42
300
+ ภาค 42
301
+ ย่ 42
302
+ _ 42
303
+ _ต 42
304
+ ัฐ 42
305
+ คว 42
306
+ รัฐ 42
307
+ ชาต 42
308
+ ย่า 42
309
+ อยู 41
310
+ ล้ 41
311
+ ยู่ 41
312
+ สื 41
313
+ นแ 41
314
+ ตาม 41
315
+ าพ 41
316
+ อย่ 41
317
+ ม่ 40
318
+ ยมี 40
319
+ นส 40
320
+ วง 40
321
+ วาม 40
322
+ สุ 40
323
+ ควา 40
324
+ ่ย 40
325
+ อ_ 40
326
+ ู้ 39
327
+ มก 39
328
+ น้า 39
329
+ หน้ 39
330
+ นว 39
331
+ ยก 39
332
+ ช้ 38
333
+ _ท 38
334
+ เด 38
335
+ กเ 38
336
+ ราช 38
337
+ มน 38
338
+ _ 38
339
+ นช 38
340
+ อเ 38
341
+ ัญ 38
342
+ นธ 38
343
+ _ซึ 38
344
+ ิจ 38
345
+ ่น_ 37
346
+ ดั 37
347
+ อม 37
348
+ วม 37
349
+ ใช 37
350
+ ะว 37
351
+ ี่ส 37
352
+ โล 37
353
+ ี่ย 37
354
+ นค 37
355
+ นใ 36
356
+ มีก 36
357
+ สิ 36
358
+ _มี 36
359
+ อง_ 36
360
+ หาร 36
361
+ าณ 36
362
+ ทำ 36
363
+ ตร์ 36
364
+ งร 36
365
+ ะวั 36
366
+ สมั 35
367
+ พื 35
368
+ คน 35
369
+ ่า_ 35
370
+ ามา 35
371
+ ใช้ 35
372
+ บค 35
373
+ ชน 35
374
+ ื้ 35
375
+ กว 35
376
+ ้า_ 35
377
+ องเ 35
378
+ มื่ 35
379
+ งห 35
380
+ ค้ 35
381
+ าล 34
382
+ ภาพ 34
383
+ นิ 34
384
+ กอ 34
385
+ ก่ 34
386
+ รว 34
387
+ _ได 34
388
+ ธิ 34
389
+ มเ 34
390
+ ิต 34
391
+ ือง 34
392
+ เก 34
393
+ ุด 34
394
+ พร 34
395
+ ยั 34
396
+ ิ่ 34
397
+ ถึ 34
398
+ ั้น 34
399
+ ถึง 34
400
+ มาก 34