scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 27922
2
- 23347
3
- 23123
4
- 4980
5
- 4799
6
- _ 2804
7
- 2068
8
- 2068
9
- �� 2068
10
- ��� 1939
11
- �� 1939
12
- �� 1842
13
- �� 1666
14
- 1666
15
- 1666
16
- 1644
17
- 1595
18
- �� 1595
19
- 1595
20
- �� 1586
21
- �� 1552
22
- ��� 1552
23
- 1516
24
- �� 1451
25
- ��� 1447
26
- �� 1447
27
- �� 1428
28
- _� 1400
29
- �� 1347
30
- �� 1338
31
- 1320
32
- �� 1205
33
- �� 1199
34
- 1199
35
- �� 1165
36
- ��� 1141
37
- �� 1139
38
- 1139
39
- �� 1074
40
- 1074
41
- ��� 1065
42
- 1054
43
- 1054
44
- �� 1054
45
- ��� 1025
46
- 1025
47
- �� 1025
48
- 1025
49
- �� 1025
50
- �� 1025
51
- ��� 1016
52
- �� 1016
53
- �� 1003
54
- ��� 1003
55
- 1003
56
- �� 1003
57
- 1003
58
- 991
59
- �� 991
60
- 991
61
- ��� 960
62
- �� 956
63
- _� 945
64
- �� 928
65
- 928
66
- 928
67
- �� 928
68
- ��� 920
69
- �� 920
70
- 906
71
- 906
72
- �� 906
73
- �� 887
74
- ��� 887
75
- 881
76
- �� 878
77
- �� 876
78
- �� 851
79
- 826
80
- �� 809
81
- ��� 809
82
- �� 805
83
- 795
84
- �� 795
85
- �� 795
86
- �� 789
87
- ��� 774
88
- �� 716
89
- 686
90
- �� 686
91
- 686
92
- 668
93
- �� 668
94
- �� 668
95
- 668
96
- ��� 668
97
- �� 667
98
- 667
99
- 667
100
- ��� 661
101
- �� 661
102
- 642
103
- �� 642
104
- 642
105
- �� 620
106
- ��� 612
107
- �� 612
108
- 611
109
- �� 609
110
- �� 609
111
- 609
112
- ��� 607
113
- 589
114
- 589
115
- �� 589
116
- �� 565
117
- 565
118
- 565
119
- ��� 563
120
- �� 563
121
- ��� 562
122
- �� 562
123
- ��� 561
124
- �� 561
125
- �� 561
126
- 558
127
- 556
128
- �� 556
129
- �� 532
130
- ��� 532
131
- �� 491
132
- �� 485
133
- 485
134
- �� 485
135
- 485
136
- 485
137
- �� 484
138
- 484
139
- 484
140
- ��� 465
141
- �� 465
142
- �� 464
143
- ��� 464
144
- _� 455
145
- �� 448
146
- 445
147
- ��� 445
148
- �� 445
149
- 442
150
- �� 442
151
- ��� 439
152
- ��� 439
153
- �� 439
154
- 439
155
- �� 425
156
- �� 421
157
- �� 420
158
- 403
159
- ��� 403
160
- �� 403
161
- 403
162
- �� 403
163
- �� 387
164
- �� 385
165
- �� 383
166
- �� 377
167
- 377
168
- ��� 363
169
- 343
170
- 339
171
- �� 339
172
- 339
173
- �� 339
174
- 339
175
- �� 337
176
- ��� 336
177
- 336
178
- �� 336
179
- �� 336
180
- �� 336
181
- 336
182
- ��� 335
183
- �� 328
184
- �� 322
185
- 322
186
- ��� 322
187
- �� 318
188
- ��� 317
189
- 317
190
- �� 317
191
- 317
192
- �� 317
193
- 307
194
- �� 307
195
- 307
196
- �� 292
197
- �� 282
198
- �� 279
199
- ��� 279
200
- �� 277
201
- �� 269
202
- �� 257
203
- ��� 257
204
- �� 250
205
- �� 246
206
- 246
207
- ��� 245
208
- �� 240
209
- �� 225
210
- �� 224
211
- �� 224
212
- 224
213
- ��� 224
214
- 219
215
- ��_ 219
216
- 219
217
- �� 219
218
- �_ 219
219
- �� 214
220
- �� 213
221
- ��� 210
222
- �� 210
223
- �� 205
224
- �� 189
225
- �� 184
226
- �� 181
227
- 181
228
- �� 181
229
- �� 179
230
- ��� 179
231
- �� 175
232
- 175
233
- 175
234
- 170
235
- 170
236
- ��� 170
237
- �� 170
238
- �� 170
239
- �� 169
240
- ��� 163
241
- 163
242
- �� 163
243
- �� 162
244
- �� 151
245
- �� 148
246
- �� 142
247
- 140
248
- �� 140
249
- 140
250
- �� 136
251
- 136
252
- ��� 136
253
- 136
254
- �� 136
255
- �� 136
256
- �� 135
257
- �� 135
258
- ��� 135
259
- �� 131
260
- ��� 131
261
- �� 131
262
- �� 131
263
- ��_ 129
264
- _ 129
265
- �� 127
266
- ��_ 119
267
- �_ 119
268
- �� 117
269
- �_ 115
270
- ��_ 114
271
- 112
272
- �� 112
273
- 112
274
- �� 111
275
- ��� 111
276
- 109
277
- �� 108
278
- ��� 108
279
- 108
280
- �� 108
281
- �� 107
282
- �� 98
283
- �� 97
284
- �� 94
285
- �� 93
286
- �� 91
287
- �� 90
288
- �� 89
289
- �� 89
290
- 89
291
- �� 88
292
- 88
293
- �_ 88
294
- �� 87
295
- �� 84
296
- 84
297
- 84
298
- ��� 84
299
- �� 84
300
- �� 83
301
- �� 82
302
- ��_ 81
303
- �� 81
304
- �_ 81
305
- �� 81
306
- ��� 80
307
- �� 80
308
- 79
309
- �� 79
310
- 79
311
- �� 79
312
- �� 76
313
- �� 75
314
- ��_ 74
315
- ��� 73
316
- �� 73
317
- 71
318
- ��_ 71
319
- 71
320
- �� 71
321
- �� 71
322
- �_ 71
323
- �� 71
324
- ��� 71
325
- �� 68
326
- 68
327
- �� 68
328
- 68
329
- ��� 67
330
- �� 67
331
- �� 65
332
- �� 63
333
- �� 61
334
- ��_ 60
335
- �_ 60
336
- �� 60
337
- �� 59
338
- ��_ 58
339
- _ 58
340
- ��_ 55
341
- �_ 55
342
- �_ 50
343
- ��_ 50
344
- �� 45
345
- �_ 44
346
- ��_ 44
347
- �_ 43
348
- ��_ 43
349
- �� 43
350
- �� 42
351
- ��_ 38
352
- �_ 38
353
- �� 36
354
- ��� 31
355
- �� 31
356
- 31
357
- 29
358
- ��� 29
359
- �� 29
360
- �� 29
361
- 29
362
- �� 29
363
- 29
364
- �� 29
365
- �� 28
366
- ��� 27
367
- �� 27
368
- 27
369
- �� 27
370
- ��_ 26
371
- �_ 26
372
- _ 26
373
- ��_ 24
374
- �_ 21
375
- �_ 21
376
- ��_ 21
377
- ��_ 21
378
- 20
379
- ��_ 20
380
- �_ 20
381
- �� 20
382
- 20
383
- �_ 19
384
- �_ 19
385
- ��_ 19
386
- ��_ 19
387
- �� 18
388
- �_ 18
389
- ��_ 18
390
- �� 17
391
- 17
392
- 17
393
- �� 17
394
- �� 17
395
- ��� 16
396
- �� 16
397
- ��_ 14
398
- �� 14
399
- ��� 13
400
- �� 13
1
+ _ 3008
2
+ 2205
3
+ 1777
4
+ 1737
5
+ 1303
6
+ 1167
7
+ 1127
8
+ 1127
9
+ 1088
10
+ 1076
11
+ 1049
12
+ 967
13
+ 962
14
+ 878
15
+ 728
16
+ 716
17
+ 716
18
+ 701
19
+ 648
20
+ 620
21
+ 615
22
+ 591
23
+ 572
24
+ 534
25
+ 490
26
+ 450
27
+ 448
28
+ 428
29
+ าร 391
30
+ 389
31
+ 378
32
+ 352
33
+ 350
34
+ 348
35
+ ระ 344
36
+ 343
37
+ อง 338
38
+ 336
39
+ กา 311
40
+ การ 279
41
+ ปร 276
42
+ 261
43
+ ประ 259
44
+ 252
45
+ น_ 247
46
+ 246
47
+ ละ 227
48
+ ทย 226
49
+ แล 224
50
+ ี่ 222
51
+ เป 215
52
+ ไท 213
53
+ ไทย 213
54
+ และ 210
55
+ ที 210
56
+ ่า 207
57
+ ็น 204
58
+ ะเ 203
59
+ ้า 203
60
+ 202
61
+ ที่ 202
62
+ ใน 201
63
+ ป็ 198
64
+ ป็น 198
65
+ ่อ 198
66
+ เป็ 198
67
+ าก 193
68
+ 189
69
+ เท 188
70
+ ับ 184
71
+ มี 178
72
+ 177
73
+ ่ง 175
74
+ าง 169
75
+ าม 168
76
+ 166
77
+ ัน 159
78
+ มา 158
79
+ ือ 157
80
+ ระเ 153
81
+ ขอ 152
82
+ ทศ 152
83
+ _แ 151
84
+ รั 151
85
+ ะเท 150
86
+ เทศ 149
87
+ ด้ 148
88
+ กร 148
89
+ ของ 148
90
+ 145
91
+ 144
92
+ ้น 144
93
+ _เ 142
94
+ 137
95
+ าน 137
96
+ า_ 134
97
+ าย 131
98
+ 130
99
+ รา 123
100
+ ื่ 122
101
+ ัก 121
102
+ อย 121
103
+ ย_ 118
104
+ ได้ 114
105
+ ได 114
106
+ ต่ 114
107
+ งเ 114
108
+ ภา 113
109
+ ชา 112
110
+ ื่อ 109
111
+ _แล 108
112
+ ง_ 108
113
+ 107
114
+ ั้ 107
115
+ นา 103
116
+ นต 102
117
+ ติ 100
118
+ 98
119
+ _ส 97
120
+ ัง 97
121
+ รร 96
122
+ ตร 96
123
+ ้อ 91
124
+ หน 90
125
+ นท 90
126
+ 90
127
+ นเ 90
128
+ ศไ 89
129
+ ทศไ 89
130
+ กั 89
131
+ วั 88
132
+ เม 87
133
+ นั 87
134
+ _ป 87
135
+ หา 86
136
+ ศไท 86
137
+ ่าง 86
138
+ จา 85
139
+ ่ว 83
140
+ ้ง 83
141
+ นป 83
142
+ ีย 82
143
+ ว่ 81
144
+ ว่า 81
145
+ _ก 81
146
+ คร 81
147
+ _พ 80
148
+ าว 80
149
+ จาก 79
150
+ ่_ 77
151
+ อา 77
152
+ ่น 77
153
+ ยน 76
154
+ 76
155
+ เข 76
156
+ งป 76
157
+ อน 76
158
+ อก 75
159
+ ั้ง 74
160
+ ลา 74
161
+ ศ_ 74
162
+ ให 73
163
+ ม_ 73
164
+ าค 73
165
+ เร 71
166
+ ข้ 71
167
+ ี_ 71
168
+ งก 71
169
+ รม 70
170
+ น้ 69
171
+ ัย 69
172
+ มื 68
173
+ หล 68
174
+ ยม 68
175
+ นก 68
176
+ วน 68
177
+ _ศ 66
178
+ ริ 66
179
+ เมื 65
180
+ 65
181
+ ส่ 64
182
+ ก_ 64
183
+ าจ 64
184
+ จั 64
185
+ พ_ 63
186
+ ึ่ 63
187
+ ึ่ง 63
188
+ นอ 63
189
+ _ม 63
190
+ โด 62
191
+ ข้า 62
192
+ าต 62
193
+ าช 61
194
+ ดย 61
195
+ โดย 61
196
+ รับ 61
197
+ ทั 61
198
+ ะ_ 61
199
+ ยา 61
200
+ ทย_ 60
201
+ ่ม 60
202
+ สม 60
203
+ งปร 60
204
+ งแ 59
205
+ กษ 59
206
+ ปี 59
207
+ ลั 59
208
+ มั 57
209
+ _พ_ 56
210
+ ะก 56
211
+ _ปร 56
212
+ _ศ_ 56
213
+ ยเ 56
214
+ เข้ 55
215
+ งไ 55
216
+ นปร 55
217
+ รรม 55
218
+ บร 54
219
+ รี 54
220
+ ษา 53
221
+ าเ 53
222
+ งค 53
223
+ าส 53
224
+ ซึ 53
225
+ เช 53
226
+ รเ 53
227
+ ซึ่ 53
228
+ เล 53
229
+ หาร 53
230
+ ต้ 53
231
+ แต 53
232
+ ละ_ 52
233
+ สา 52
234
+ กิ 52
235
+ ้ว 52
236
+ ู่ 52
237
+ คม 51
238
+ _ค 51
239
+ วา 51
240
+ กอ 51
241
+ นที 51
242
+ ิน 51
243
+ าท 50
244
+ ร์ 50
245
+ รอ 50
246
+ ร_ 50
247
+ แต่ 50
248
+ ีก 50
249
+ ห้ 50
250
+ _ห 49
251
+ _โ 49
252
+ สำ 49
253
+ งส 49
254
+ ช่ 48
255
+ ึง 48
256
+ นร 48
257
+ สั 48
258
+ ้เ 48
259
+ _อ 48
260
+ กับ 48
261
+ แห 47
262
+ ์_ 47
263
+ ในป 47
264
+ _ 47
265
+ กล 47
266
+ ทา 47
267
+ ัด 47
268
+ รื 47
269
+ ารเ 46
270
+ าพ 46
271
+ ให้ 46
272
+ นตร 46
273
+ ่วน 46
274
+ _ไ 46
275
+ ส่ว 46
276
+ บั 46
277
+ ่อง 46
278
+ ้น_ 46
279
+ _ร 46
280
+ งท 46
281
+ ิด 45
282
+ บา 45
283
+ ู้ 45
284
+ ่ส 45
285
+ ตา 45
286
+ ราช 45
287
+ ล่ 45
288
+ ี่_ 45
289
+ _โด 45
290
+ าติ 44
291
+ อ_ 44
292
+ งม 44
293
+ กเ 44
294
+ ยก 44
295
+ อเ 43
296
+ _น 43
297
+ ภาค 43
298
+ ะม 43
299
+ ำน 43
300
+ ชาต 43
301
+ ทาง 43
302
+ วัน 43
303
+ ล้ 43
304
+ ัต 43
305
+ สุ 43
306
+ ย่า 42
307
+ รก 42
308
+ _กา 42
309
+ นส 42
310
+ เด 42
311
+ ย่ 42
312
+ คว 42
313
+ ้าน 42
314
+ จำ 41
315
+ ยมี 41
316
+ _ใน 41
317
+ หน้ 40
318
+ น้า 40
319
+ ตาม 40
320
+ สื 40
321
+ องเ 40
322
+ อย่ 40
323
+ ควา 40
324
+ วาม 40
325
+ ัฐ 40
326
+ รัฐ 40
327
+ าณ 40
328
+ สิ 40
329
+ นแ 40
330
+ เก 39
331
+ _ท 39
332
+ อั 39
333
+ ัญ 39
334
+ ตั 39
335
+ องป 39
336
+ นธ 39
337
+ ปี_ 39
338
+ อม 39
339
+ _ 39
340
+ ี่ส 39
341
+ ะว 38
342
+ วง 38
343
+ นว 38
344
+ _มี 38
345
+ สมั 38
346
+ ่ย 38
347
+ ช้ 38
348
+ มก 38
349
+ วม 38
350
+ รว 38
351
+ ยู 38
352
+ ม่ 37
353
+ พื 37
354
+ ใช 37
355
+ ตร์ 37
356
+ นใ 37
357
+ ่น_ 37
358
+ ธิ 37
359
+ ภาพ 37
360
+ ะวั 37
361
+ งห 37
362
+ ผู 37
363
+ ผู้ 37
364
+ พร 37
365
+ ยู่ 37
366
+ อยู 37
367
+ คน 36
368
+ นค 36
369
+ มื่ 36
370
+ ต่อ 36
371
+ มน 36
372
+ _ 36
373
+ _ซึ 36
374
+ ื้ 35
375
+ ี่ย 35
376
+ ่า_ 35
377
+ ใช้ 35
378
+ ิท 35
379
+ ้า_ 35
380
+ ิต 35
381
+ แบ 34
382
+ ทำ 34
383
+ ถึง 34
384
+ ถึ 34
385
+ ชน 34
386
+ ุด 34
387
+ นิ 34
388
+ มีก 34
389
+ กว 34
390
+ ดั 34
391
+ มเ 34
392
+ โล 34
393
+ งร 34
394
+ งข 34
395
+ ามา 33
396
+ มาก 33
397
+ งใ 33
398
+ อง_ 33
399
+ มัย 33
400
+ ือง 33