scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 27922
2
- 23347
3
- 23123
4
- 4980
5
- 4799
6
- _ 2804
7
- 2068
8
- 2068
9
- �� 2068
10
- ��� 1939
11
- �� 1939
12
- �� 1842
13
- �� 1666
14
- 1666
15
- 1666
16
- 1644
17
- 1595
18
- �� 1595
19
- 1595
20
- �� 1586
21
- �� 1552
22
- ��� 1552
23
- 1516
24
- �� 1451
25
- ��� 1447
26
- �� 1447
27
- �� 1428
28
- _� 1400
29
- �� 1347
30
- �� 1338
31
- 1320
32
- �� 1205
33
- �� 1199
34
- 1199
35
- �� 1165
36
- ��� 1141
37
- �� 1139
38
- 1139
39
- �� 1074
40
- 1074
41
- ��� 1065
42
- 1054
43
- 1054
44
- �� 1054
45
- ��� 1025
46
- 1025
47
- �� 1025
48
- 1025
49
- �� 1025
50
- �� 1025
51
- ��� 1016
52
- �� 1016
53
- �� 1003
54
- ��� 1003
55
- 1003
56
- �� 1003
57
- 1003
58
- 991
59
- �� 991
60
- 991
61
- ��� 960
62
- �� 956
63
- _� 945
64
- �� 928
65
- 928
66
- 928
67
- �� 928
68
- ��� 920
69
- �� 920
70
- 906
71
- 906
72
- �� 906
73
- �� 887
74
- ��� 887
75
- 881
76
- �� 878
77
- �� 876
78
- �� 851
79
- 826
80
- �� 809
81
- ��� 809
82
- �� 805
83
- 795
84
- �� 795
85
- �� 795
86
- �� 789
87
- ��� 774
88
- �� 716
89
- 686
90
- �� 686
91
- 686
92
- 668
93
- �� 668
94
- �� 668
95
- 668
96
- ��� 668
97
- �� 667
98
- 667
99
- 667
100
- ��� 661
101
- �� 661
102
- 642
103
- �� 642
104
- 642
105
- �� 620
106
- ��� 612
107
- �� 612
108
- 611
109
- �� 609
110
- �� 609
111
- 609
112
- ��� 607
113
- 589
114
- 589
115
- �� 589
116
- �� 565
117
- 565
118
- 565
119
- ��� 563
120
- �� 563
121
- ��� 562
122
- �� 562
123
- ��� 561
124
- �� 561
125
- �� 561
126
- 558
127
- 556
128
- �� 556
129
- �� 532
130
- ��� 532
131
- �� 491
132
- �� 485
133
- 485
134
- �� 485
135
- 485
136
- 485
137
- �� 484
138
- 484
139
- 484
140
- ��� 465
141
- �� 465
142
- �� 464
143
- ��� 464
144
- _� 455
145
- �� 448
146
- 445
147
- ��� 445
148
- �� 445
149
- 442
150
- �� 442
151
- ��� 439
152
- ��� 439
153
- �� 439
154
- 439
155
- �� 425
156
- �� 421
157
- �� 420
158
- 403
159
- ��� 403
160
- �� 403
161
- 403
162
- �� 403
163
- �� 387
164
- �� 385
165
- �� 383
166
- �� 377
167
- 377
168
- ��� 363
169
- 343
170
- 339
171
- �� 339
172
- 339
173
- �� 339
174
- 339
175
- �� 337
176
- ��� 336
177
- 336
178
- �� 336
179
- �� 336
180
- �� 336
181
- 336
182
- ��� 335
183
- �� 328
184
- �� 322
185
- 322
186
- ��� 322
187
- �� 318
188
- ��� 317
189
- 317
190
- �� 317
191
- 317
192
- �� 317
193
- 307
194
- �� 307
195
- 307
196
- �� 292
197
- �� 282
198
- �� 279
199
- ��� 279
200
- �� 277
201
- �� 269
202
- �� 257
203
- ��� 257
204
- �� 250
205
- �� 246
206
- 246
207
- ��� 245
208
- �� 240
209
- �� 225
210
- �� 224
211
- �� 224
212
- 224
213
- ��� 224
214
- 219
215
- ��_ 219
216
- 219
217
- �� 219
218
- �_ 219
219
- �� 214
220
- �� 213
221
- ��� 210
222
- �� 210
223
- �� 205
224
- �� 189
225
- �� 184
226
- �� 181
227
- 181
228
- �� 181
229
- �� 179
230
- ��� 179
231
- �� 175
232
- 175
233
- 175
234
- 170
235
- 170
236
- ��� 170
237
- �� 170
238
- �� 170
239
- �� 169
240
- ��� 163
241
- 163
242
- �� 163
243
- �� 162
244
- �� 151
245
- �� 148
246
- �� 142
247
- 140
248
- �� 140
249
- 140
250
- �� 136
251
- 136
252
- ��� 136
253
- 136
254
- �� 136
255
- �� 136
256
- �� 135
257
- �� 135
258
- ��� 135
259
- �� 131
260
- ��� 131
261
- �� 131
262
- �� 131
263
- ��_ 129
264
- �_ 129
265
- �� 127
266
- ��_ 119
267
- �_ 119
268
- �� 117
269
- �_ 115
270
- ��_ 114
271
- 112
272
- �� 112
273
- 112
274
- �� 111
275
- ��� 111
276
- 109
277
- �� 108
278
- ��� 108
279
- 108
280
- �� 108
281
- �� 107
282
- �� 98
283
- �� 97
284
- �� 94
285
- �� 93
286
- �� 91
287
- �� 90
288
- �� 89
289
- �� 89
290
- 89
291
- �� 88
292
- 88
293
- �_ 88
294
- �� 87
295
- �� 84
296
- 84
297
- 84
298
- ��� 84
299
- �� 84
300
- �� 83
301
- �� 82
302
- ��_ 81
303
- �� 81
304
- �_ 81
305
- �� 81
306
- ��� 80
307
- �� 80
308
- 79
309
- �� 79
310
- 79
311
- �� 79
312
- �� 76
313
- �� 75
314
- ��_ 74
315
- ��� 73
316
- �� 73
317
- 71
318
- ��_ 71
319
- 71
320
- �� 71
321
- �� 71
322
- �_ 71
323
- �� 71
324
- ��� 71
325
- �� 68
326
- 68
327
- �� 68
328
- 68
329
- ��� 67
330
- �� 67
331
- �� 65
332
- �� 63
333
- �� 61
334
- ��_ 60
335
- �_ 60
336
- �� 60
337
- �� 59
338
- ��_ 58
339
- �_ 58
340
- ��_ 55
341
- �_ 55
342
- �_ 50
343
- ��_ 50
344
- �� 45
345
- _ 44
346
- ��_ 44
347
- �_ 43
348
- ��_ 43
349
- �� 43
350
- �� 42
351
- ��_ 38
352
- �_ 38
353
- �� 36
354
- ��� 31
355
- �� 31
356
- 31
357
- 29
358
- ��� 29
359
- �� 29
360
- �� 29
361
- 29
362
- �� 29
363
- 29
364
- �� 29
365
- �� 28
366
- ��� 27
367
- �� 27
368
- 27
369
- �� 27
370
- ��_ 26
371
- �_ 26
372
- �_ 26
373
- ��_ 24
374
- �_ 21
375
- �_ 21
376
- ��_ 21
377
- ��_ 21
378
- 20
379
- ��_ 20
380
- �_ 20
381
- �� 20
382
- 20
383
- �_ 19
384
- �_ 19
385
- ��_ 19
386
- ��_ 19
387
- �� 18
388
- �_ 18
389
- ��_ 18
390
- �� 17
391
- 17
392
- 17
393
- �� 17
394
- �� 17
395
- ��� 16
396
- �� 16
397
- ��_ 14
398
- �� 14
399
- ��� 13
400
- �� 13
1
+ _ 3048
2
+ 2217
3
+ 1791
4
+ 1709
5
+ 1289
6
+ 1205
7
+ 1140
8
+ 1117
9
+ 1085
10
+ 1082
11
+ 1052
12
+ 962
13
+ 959
14
+ 860
15
+ 740
16
+ 712
17
+ 706
18
+ 704
19
+ 665
20
+ 620
21
+ 613
22
+ 591
23
+ 560
24
+ 537
25
+ 478
26
+ 458
27
+ 443
28
+ 429
29
+ 384
30
+ าร 374
31
+ 371
32
+ 369
33
+ ระ 347
34
+ 347
35
+ 344
36
+ 343
37
+ 334
38
+ อง 323
39
+ กา 315
40
+ การ 282
41
+ ปร 271
42
+ 257
43
+ ประ 254
44
+ น_ 243
45
+ 242
46
+ 232
47
+ ทย 229
48
+ ่า 226
49
+ ี่ 221
50
+ ละ 220
51
+ ไท 216
52
+ แล 216
53
+ ไทย 216
54
+ เป 212
55
+ ใน 212
56
+ ะเ 208
57
+ ที 207
58
+ ่อ 206
59
+ และ 203
60
+ าก 203
61
+ ็น 200
62
+ ที่ 199
63
+ 198
64
+ เป็ 194
65
+ ป็ 194
66
+ เท 194
67
+ ป็น 194
68
+ ้า 192
69
+ 190
70
+ าง 181
71
+ ับ 180
72
+ ่ง 178
73
+ มี 174
74
+ 173
75
+ 173
76
+ าม 170
77
+ มา 166
78
+ ัน 162
79
+ ระเ 160
80
+ ทศ 158
81
+ ด้ 157
82
+ ะเท 156
83
+ ขอ 155
84
+ เทศ 155
85
+ ของ 154
86
+ ือ 152
87
+ 149
88
+ _แ 148
89
+ าน 146
90
+ 144
91
+ รั 144
92
+ ้น 143
93
+ กร 142
94
+ 138
95
+ _เ 138
96
+ าย 136
97
+ า_ 135
98
+ ได 124
99
+ ได้ 124
100
+ ต่ 123
101
+ อย 123
102
+ 123
103
+ ื่ 120
104
+ รา 119
105
+ ย_ 118
106
+ ัก 116
107
+ ง_ 115
108
+ งเ 114
109
+ ภา 112
110
+ ั้ 111
111
+ ื่อ 107
112
+ ชา 107
113
+ _แล 106
114
+ นา 105
115
+ นต 105
116
+ 101
117
+ ติ 101
118
+ ัง 100
119
+ _ส 100
120
+ รร 98
121
+ ตร 98
122
+ ว่ 93
123
+ ว่า 93
124
+ ศไ 92
125
+ ่าง 92
126
+ ทศไ 92
127
+ 92
128
+ นั 91
129
+ นป 91
130
+ นเ 90
131
+ จา 90
132
+ 89
133
+ ศไท 88
134
+ _พ 88
135
+ เม 87
136
+ ้อ 87
137
+ กั 86
138
+ นท 86
139
+ _ป 86
140
+ ่ว 85
141
+ ้ง 85
142
+ จาก 84
143
+ วั 84
144
+ หน 84
145
+ _ก 82
146
+ คร 82
147
+ าว 81
148
+ ม_ 80
149
+ ศ_ 80
150
+ ี_ 79
151
+ 79
152
+ ีย 79
153
+ อน 79
154
+ ลา 79
155
+ ่น 78
156
+ ั้ง 77
157
+ ่_ 77
158
+ ยน 75
159
+ งก 74
160
+ เร 73
161
+ อก 73
162
+ 73
163
+ อา 72
164
+ _ศ 71
165
+ หล 71
166
+ าค 70
167
+ หา 70
168
+ นก 70
169
+ พ_ 69
170
+ ให 69
171
+ รม 69
172
+ มื 68
173
+ งป 68
174
+ ริ 68
175
+ ยม 67
176
+ วน 67
177
+ น้ 67
178
+ ก_ 66
179
+ เข 66
180
+ ปี 66
181
+ ึ่ 65
182
+ ัย 65
183
+ ลั 65
184
+ นอ 65
185
+ เมื 65
186
+ ึ่ง 65
187
+ ่ม 64
188
+ ส่ 64
189
+ โด 62
190
+ ะ_ 62
191
+ _พ_ 61
192
+ ทั 61
193
+ าต 61
194
+ _ม 61
195
+ ดย 61
196
+ _ศ_ 61
197
+ ข้ 61
198
+ โดย 61
199
+ รเ 61
200
+ าจ 61
201
+ ทย_ 60
202
+ นปร 59
203
+ _ปร 59
204
+ ยา 59
205
+ ะก 58
206
+ าช 58
207
+ จั 58
208
+ กษ 57
209
+ สม 57
210
+ งไ 57
211
+ งแ 56
212
+ ซึ่ 56
213
+ ยเ 56
214
+ ู่ 56
215
+ ซึ 56
216
+ รี 55
217
+ สา 55
218
+ รรม 55
219
+ ารเ 55
220
+ าส 55
221
+ กิ 54
222
+ าเ 54
223
+ ีก 54
224
+ แต 54
225
+ _ใ 54
226
+ มั 54
227
+ _ค 54
228
+ งค 54
229
+ ละ_ 53
230
+ คม 53
231
+ ษา 53
232
+ เล 53
233
+ ข้า 52
234
+ วา 52
235
+ ทา 52
236
+ ต้ 52
237
+ กล 52
238
+ ช่ 52
239
+ เช 52
240
+ รับ 52
241
+ ในป 51
242
+ _ไ 51
243
+ แต่ 51
244
+ สำ 51
245
+ งท 50
246
+ นร 50
247
+ ร์ 50
248
+ ้ว 50
249
+ นที 50
250
+ ้เ 49
251
+ บร 49
252
+ _โ 49
253
+ งปร 49
254
+ ทาง 48
255
+ _ห 48
256
+ ร_ 48
257
+ ้น_ 48
258
+ บา 48
259
+ _ใน 48
260
+ กับ 47
261
+ สั 47
262
+ ัด 47
263
+ _ 47
264
+ บั 47
265
+ ่อง 47
266
+ ึง 47
267
+ ิน 47
268
+ ห้ 47
269
+ นตร 47
270
+ ล่ 46
271
+ ตา 46
272
+ งส 46
273
+ ปี_ 46
274
+ ำน 46
275
+ ี่_ 46
276
+ _โด 45
277
+ าท 45
278
+ ่ส 45
279
+ ิด 45
280
+ เข้ 45
281
+ _ร 45
282
+ ์_ 45
283
+ รอ 45
284
+ แห 45
285
+ ต่อ 44
286
+ ส่ว 44
287
+ ่วน 44
288
+ รื 44
289
+ ัต 44
290
+ อั 44
291
+ _กา 44
292
+ งม 43
293
+ ให้ 43
294
+ ตั 43
295
+ าติ 43
296
+ ยู 42
297
+ ้าน 42
298
+ ะม 42
299
+ วัน 42
300
+ ภาค 42
301
+ ย่ 42
302
+ _ 42
303
+ _ต 42
304
+ ัฐ 42
305
+ คว 42
306
+ รัฐ 42
307
+ ชาต 42
308
+ ย่า 42
309
+ อยู 41
310
+ ล้ 41
311
+ ยู่ 41
312
+ สื 41
313
+ นแ 41
314
+ ตาม 41
315
+ าพ 41
316
+ อย่ 41
317
+ ม่ 40
318
+ ยมี 40
319
+ นส 40
320
+ วง 40
321
+ วาม 40
322
+ สุ 40
323
+ ควา 40
324
+ ่ย 40
325
+ อ_ 40
326
+ ู้ 39
327
+ มก 39
328
+ น้า 39
329
+ หน้ 39
330
+ นว 39
331
+ ยก 39
332
+ ช้ 38
333
+ _ท 38
334
+ เด 38
335
+ กเ 38
336
+ ราช 38
337
+ มน 38
338
+ _ 38
339
+ นช 38
340
+ อเ 38
341
+ ัญ 38
342
+ นธ 38
343
+ _ซึ 38
344
+ ิจ 38
345
+ ่น_ 37
346
+ ดั 37
347
+ อม 37
348
+ วม 37
349
+ ใช 37
350
+ ะว 37
351
+ ี่ส 37
352
+ โล 37
353
+ ี่ย 37
354
+ นค 37
355
+ นใ 36
356
+ มีก 36
357
+ สิ 36
358
+ _มี 36
359
+ อง_ 36
360
+ หาร 36
361
+ าณ 36
362
+ ทำ 36
363
+ ตร์ 36
364
+ งร 36
365
+ ะวั 36
366
+ สมั 35
367
+ พื 35
368
+ คน 35
369
+ ่า_ 35
370
+ ามา 35
371
+ ใช้ 35
372
+ บค 35
373
+ ชน 35
374
+ ื้ 35
375
+ กว 35
376
+ ้า_ 35
377
+ องเ 35
378
+ มื่ 35
379
+ งห 35
380
+ ค้ 35
381
+ าล 34
382
+ ภาพ 34
383
+ นิ 34
384
+ กอ 34
385
+ ก่ 34
386
+ รว 34
387
+ _ได 34
388
+ ธิ 34
389
+ มเ 34
390
+ ิต 34
391
+ ือง 34
392
+ เก 34
393
+ ุด 34
394
+ พร 34
395
+ ยั 34
396
+ ิ่ 34
397
+ ถึ 34
398
+ ั้น 34
399
+ ถึง 34
400
+ มาก 34