scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 20952
2
- _ 19292
3
- 11326
4
- _� 5935
5
- 5736
6
- ا 5735
7
- 4782
8
- 4678
9
- ی 3708
10
- 3595
11
- ر 3407
12
- 3061
13
- 2996
14
- ن 2916
15
- د 2581
16
- _ 2508
17
- ه 2212
18
- 2212
19
- �� 2142
20
- ا� 2142
21
- 2129
22
- و 2129
23
- ا� 2113
24
- �� 2113
25
- 1821
26
- م 1821
27
- �_ 1800
28
- 1732
29
- ت 1689
30
- �� 1628
31
- ب 1520
32
- 1520
33
- �� 1497
34
- ر� 1497
35
- 1422
36
- 1418
37
- 1373
38
- ی� 1333
39
- س 1309
40
- ی_ 1266
41
- �ن 1192
42
- �� 1190
43
- _ 1171
44
- ن_ 1165
45
- _ 1077
46
- ه_ 1077
47
- 1051
48
- 1037
49
- �� 1019
50
- و� 1019
51
- 999
52
- ش 997
53
- �_ 986
54
- �� 962
55
- ر_ 961
56
- د� 954
57
- �� 951
58
- �ی 951
59
- ا� 951
60
- ن� 943
61
- �� 908
62
- 904
63
- ل 904
64
- ز 885
65
- ک 836
66
- 836
67
- �_ 822
68
- �� 817
69
- 815
70
- س� 811
71
- م� 790
72
- �� 790
73
- د_ 785
74
- �ا 727
75
- ی� 704
76
- _م 701
77
- �� 688
78
- ب� 688
79
- �� 683
80
- _ 655
81
- _و 640
82
- د� 617
83
- �ر 616
84
- �_ 612
85
- �� 609
86
- ت� 609
87
- ه� 602
88
- �� 602
89
- �� 597
90
- ب� 597
91
- �_ 575
92
- و_ 575
93
- ت_ 569
94
- 555
95
- 555
96
- 555
97
- �� 541
98
- 541
99
- �ر 535
100
- ، 533
101
- ،_ 533
102
- �� 501
103
- �ا 498
104
- �� 487
105
- ر� 478
106
- ا_ 471
107
- _ 471
108
- _ 468
109
- 466
110
- خ 465
111
- �� 462
112
- ش� 461
113
- �_ 459
114
- �� 452
115
- �ر 444
116
- �ز 443
117
- ق 442
118
- 442
119
- 441
120
- ز_ 434
121
- �ت 413
122
- گ 412
123
- �� 412
124
- ک� 412
125
- 411
126
- ف 409
127
- _ت 408
128
- 397
129
- 395
130
- �� 380
131
- و� 380
132
- �ه 380
133
- �د 375
134
- �ن 362
135
- 361
136
- �ا 353
137
- م� 352
138
- �ی 352
139
- �� 352
140
- ن� 350
141
- 350
142
- �س 349
143
- �ی 347
144
- ر� 347
145
- ج 342
146
- 341
147
- م� 337
148
- �� 337
149
- ع 336
150
- ت� 333
151
- �� 333
152
- �ا 330
153
- پ 326
154
- 326
155
- _ر 303
156
- �م 302
157
- _ 297
158
- ل_ 297
159
- �ی 296
160
- �� 296
161
- ��� 295
162
- �� 291
163
- ه� 291
164
- �� 290
165
- ل� 290
166
- �� 290
167
- ف� 289
168
- ن� 287
169
- �د 283
170
- �ا 282
171
- �ا 277
172
- �ر 275
173
- _ 274
174
- �� 274
175
- خ� 274
176
- م_ 274
177
- �� 261
178
- ک� 261
179
- 258
180
- 255
181
- ح 254
182
- 254
183
- �� 251
184
- �� 250
185
- �ی 250
186
- آ 248
187
- 248
188
- �ل 245
189
- �� 238
190
- 236
191
- گ� 236
192
- �د 235
193
- س� 235
194
- �ه 234
195
- �ا 232
196
- �� 230
197
- �ه 229
198
- ش� 226
199
- �د 224
200
- �ا 221
201
- 219
202
- �� 218
203
- ق� 218
204
- � 217
205
- �ا 215
206
- _آ 212
207
- �ا 212
208
- ز� 209
209
- �� 209
210
- �ر 207
211
- ��� 204
212
- �ه 204
213
- �� 203
214
- پ� 203
215
- �و 201
216
- _، 200
217
- ۱ 188
218
- د� 188
219
- �� 184
220
- �� 184
221
- ه� 184
222
- �� 184
223
- ی� 176
224
- �� 176
225
- �� 176
226
- �� 174
227
- ج� 174
228
- ص 173
229
- �_ 171
230
- �� 170
231
- _ق 169
232
- س� 168
233
- �ی 168
234
- ط 167
235
- �و 165
236
- �ر 164
237
- آ� 163
238
- �� 163
239
- ۰ 162
240
- _خ 160
241
- �� 158
242
- ل� 158
243
- �ه 157
244
- �ن 157
245
- �د 156
246
- �� 155
247
- _ج 154
248
- ۱� 154
249
- ز� 153
250
- �ا 150
251
- _ی 148
252
- ی� 147
253
- �ا 146
254
- ش_ 146
255
- چ 145
256
- �ش 145
257
- �� 145
258
- ع� 144
259
- �و 143
260
- �ه 141
261
- �و 140
262
- ل� 138
263
- �� 138
264
- �ی 138
265
- _ف 137
266
- �ل 134
267
- �� 133
268
- ج� 133
269
- _۱ 133
270
- _گ 132
271
- _ح 129
272
- ت� 128
273
- �ی 128
274
- �� 128
275
- � 122
276
- �� 122
277
- ر� 122
278
- _ز 122
279
- � 121
280
- �ی 121
281
- و� 121
282
- �ه 121
283
- �� 121
284
- �ن 119
285
- �ک 118
286
- �د 117
287
- �� 116
288
- ح� 116
289
- �� 115
290
- ۲ 114
291
- �م 114
292
- ۳ 113
293
- ب� 111
294
- �� 111
295
- �ی 111
296
- �ه 110
297
- ع� 110
298
- �س 110
299
- �ت 109
300
- � 108
301
- �ب 108
302
- �� 108
303
- �� 107
304
- ق� 107
305
- �ر 105
306
- �� 104
307
- خ� 104
308
- �ر 103
309
- �ت 103
310
- چ� 102
311
- �� 100
312
- �ل 100
313
- �_ 99
314
- �ت 97
315
- ب_ 96
316
- �_ 96
317
- �و 95
1
+ _ 19914
2
+ ا 5907
3
+ ی 3842
4
+ ر 3507
5
+ ن 3010
6
+ د 2662
7
+ ه 2292
8
+ و 2206
9
+ م 1889
10
+ ت 1764
11
+ ب 1547
12
+ 1394
13
+ س 1350
14
+ ی_ 1339
15
+ ان 1227
16
+ ن_ 1184
17
+ ه_ 1117
18
+ 1057
19
+ ش 1030
20
+ ر_ 992
21
+ ای 972
22
+ ل 952
23
+ ز 914
24
+ ک 877
25
+ 838
26
+ د_ 816
27
+ را 750
28
+ ان_ 726
29
+ 724
30
+ 647
31
+ و_ 586
32
+ ت_ 578
33
+ ار 554
34
+ 548
35
+ ، 541
36
+ ،_ 536
37
+ در 528
38
+ _و_ 522
39
+ خ 484
40
+ ا_ 473
41
+ _در 473
42
+ 460
43
+ _ای 460
44
+ از 454
45
+ ز_ 444
46
+ در_ 439
47
+ ق 437
48
+ گ 434
49
+ یر 431
50
+ 430
51
+ ست 423
52
+ 420
53
+ ف 414
54
+ ران 405
55
+ به 391
56
+ ند 390
57
+ 381
58
+ ها 374
59
+ از_ 374
60
+ یا 371
61
+ به_ 364
62
+ ج 363
63
+ _به 363
64
+ ین 362
65
+ می 361
66
+ _از 357
67
+ ری 357
68
+ اس 353
69
+ ع 347
70
+ پ 346
71
+ 342
72
+ ایر 326
73
+ _ر 321
74
+ ام 318
75
+ یرا 315
76
+ ل_ 312
77
+ نی 305
78
+ ای_ 300
79
+ ود 294
80
+ ین_ 291
81
+ م_ 288
82
+ با 286
83
+ ور 285
84
+ ما 283
85
+ 276
86
+ دا 270
87
+ ح 263
88
+ ال 263
89
+ ند_ 253
90
+ آ 252
91
+ سا 251
92
+ ده 241
93
+ اد 240
94
+ 233
95
+ رد 231
96
+ تا 229
97
+ ست_ 228
98
+ است 223
99
+ وا 217
100
+ 216
101
+ _می 215
102
+ که 214
103
+ بر 212
104
+ های 211
105
+ نا 206
106
+ _، 202
107
+ _،_ 202
108
+ که_ 201
109
+ _که 199
110
+ ۱ 194
111
+ _اس 189
112
+ ه‌ 188
113
+ دی 187
114
+ ص 186
115
+ _با 180
116
+ _سا 178
117
+ ود_ 177
118
+ ی‌ 175
119
+ ‌ه 174
120
+ تر 173
121
+ ط 173
122
+ ‌ها 173
123
+ ۰ 171
124
+ نی_ 170
125
+ 170
126
+ _بر 168
127
+ _خ 166
128
+ دو 165
129
+ 164
130
+ سی 163
131
+ 161
132
+ اه 160
133
+ یان 159
134
+ انی 157
135
+ دن 155
136
+ شد 155
137
+ شا 154
138
+ ار_ 154
139
+ لا 154
140
+ لی 154
141
+ ش_ 154
142
+ ال_ 150
143
+ رو 149
144
+ بو 149
145
+ چ 148
146
+ ره 144
147
+ _را 142
148
+ 141
149
+ تی 141
150
+ می‌ 140
151
+ یل 139
152
+ نو 138
153
+ 136
154
+ 136
155
+ _ف 134
156
+ _تا 134
157
+ را_ 133
158
+ ری_ 129
159
+ ‌ا 129
160
+ _بو 128
161
+ این 127
162
+ مان 126
163
+ اری 126
164
+ وی 126
165
+ 125
166
+ ۲ 125
167
+ _دو 124
168
+ بود 124
169
+ _شد 123
170
+ ام_ 122
171
+ ۳ 121
172
+ ون 120
173
+ ده_ 119
174
+ _دا 117
175
+ ید 115
176
+ بی 114
177
+ ته 113
178
+ سال 112
179
+ ه‌ا 112
180
+ دند 111
181
+ رس 111
182
+ هم 110
183
+ فت 110
184
+ اب 110
185
+ مر 107
186
+ شت 106
187
+ هر 106
188
+ نه 104
189
+ یک 103
190
+ سل 103
191
+ گر 102
192
+ ات 101
193
+ وم 100
194
+ مد 100
195
+ ب_ 99
196
+ خا 99
197
+ مت 99
198
+ کی 97
199
+ یش 97
200
+ مو 96
201
+ ۵ 96
318
202
  _ع 95
319
- �م 95
320
- �د 94
321
- 93
322
- �ت 93
323
- 92
324
- ن� 92
325
- �ن 92
326
- �ت 92
327
- �و 91
328
- غ 91
329
- �ر 91
330
- �ا 90
331
- �ی 89
332
- ک� 89
333
- �� 89
334
- �ر 88
335
- �ا 87
336
- �و 87
337
- �ه 86
338
- �و 86
339
- �گ 86
340
- �ی 85
341
- ش� 85
342
- �ی 85
343
- �� 85
344
- ۵ 84
345
- �� 84
346
- ۰� 83
347
- ۳� 83
348
- �ی 83
349
- ز� 83
350
- �ت 82
351
- �م 82
352
- �ر 82
353
- �ش 82
354
- ی� 81
355
- 81
356
- �ت 80
357
- پ� 80
358
- �ن 80
359
- �� 80
360
- �ی 80
361
- �و 79
362
- س_ 79
363
- �ا 79
364
- �� 78
365
- �ل 78
366
- ص� 77
367
- �� 77
368
- ۸ 76
369
- ط� 76
370
- �� 76
371
- �ز 75
372
- آ� 74
373
- �� 74
374
- �ن 73
375
- ق_ 73
376
- �م 73
377
- _ 73
378
- �� 73
379
- �_ 72
380
- ۲� 72
381
- �خ 70
382
- ۷ 69
383
- ص� 69
384
- �س 68
385
- �� 68
386
- _� 68
387
- غ� 68
388
- �، 67
389
- �ا 67
390
- �و 67
391
- ۰_ 67
392
- �ف 66
393
- گ� 66
394
- �ا 66
395
- �ف 65
396
- _ 65
397
- ک_ 65
398
- �ع 65
399
- �، 63
400
- �ا 63
203
+ شو 95
204
+ دار 94
205
+ غ 94
206
+ فر 94
207
+ آن 93
208
+ سر 92
209
+ پی 92
210
+ _آن 92
211
+ کو 90
212
+ پا 90
213
+ رت 88
214
+ ها_ 88
215
+ خو 87
216
+ رد_ 87
217
+ کر 87
218
+ ول 87
219
+ اش 86
220
+ زی 85
221
+ نام 85
222
+ مه 85
223
+ شی 84
224
+ _نا 84
225
+ او 83
226
+ نگ 83
227
+ اخ 83
228
+ 82
229
+ _خو 82
230
+ ۸ 82
231
+ _پی 82
232
+ بر_ 81
233
+ خت 81
234
+ یم 79
235
+ شد_ 79
236
+ گا 78
237
+ _فر 78
238
+ تو 78
239
+ زم 77
240
+ س_ 77
241
+ یی 77
242
+ رز 77
243
+ با_ 77
244
+ هن 77
245
+ لی_ 75
246
+ قا 74
247
+ _هم 74
248
+ مع 73
249
+ ۷ 73
250
+ _پا 73
251
+ اد_ 73
252
+ کرد 72
253
+ یت 72
254
+ ۰_ 72
255
+ ق_ 69
256
+ ک_ 69
257
+ _کر 69
258
+ زا 69
259
+ _یا 69
260
+ ات_ 68
261
+ _مر 68
262
+ کا 68
263
+ ‌اس 68
264
+ دی_ 67
265
+ ده‌ 67
266
+ پس 67
267
+ اف 67
268
+ ن،_ 67
269
+ ته_ 67
270
+ ن، 67
271
+ جا 67
272
+ ایی 67
273
+ ۹ 66
274
+ تا_ 66
275
+ شاه 66
276
+ _سر 65
277
+ ن‌ 65
278
+ رف 65
279
+ گی 65
280
+ تی_ 64
281
+ ستا 64
282
+ کن 64
283
+ می_ 64
284
+ ی،_ 63
285
+ من 63
286
+ ی، 63
287
+ _۲ 63
288
+ » 62
289
+ مل 62
290
+ « 62
291
+ کش 62
292
+ رک 62
293
+ _« 62
294
+ یخ 62
295
+ ور_ 61
296
+ نش 61
297
+ _ص 61
298
+ ‌ش 60
299
+ رب 60
300
+ تار 60
301
+ جم 60
302
+ رش 60
303
+ _یک 59
304
+ د،_ 59
305
+ ذ 59
306
+ تان 59
307
+ د، 59
308
+ ٔ_ 58
309
+ هٔ 58
310
+ ۱۳ 58
311
+ هٔ_ 58
312
+ تن 58
313
+ ۶ 58
314
+ ٔ 58
315
+ _پس 58
316
+ ید_ 58
317
+ ریخ 57
318
+ یر_ 57
319
+ _شا 57
320
+ وس 57
321
+ _کش 57
322
+ دور 56
323
+ _ام 56
324
+ رین 56
325
+ رگ 55
326
+ یل_ 54
327
+ ی‌ش 54
328
+ مت_ 54
329
+ ره_ 54
330
+ یی_ 54
331
+ تری 54
332
+ حک 54
333
+ وان 53
334
+ اند 53
335
+ یه 53
336
+ اخت 53
337
+ یز 53
338
+ ۴ 53
339
+ ارد 53
340
+ وره 53
341
+ شه 53
342
+ زن 53
343
+ _ما 53
344
+ کی_ 52
345
+ یو 52
346
+ شم 52
347
+ _نی 52
348
+ »_ 52
349
+ _حک 52
350
+ خ_ 52
351
+ ومت 52
352
+ _۱۳ 51
353
+ شک 51
354
+ اه_ 51
355
+ ارا 51
356
+ ه‌ه 51
357
+ شده 51
358
+ جه 51
359
+ یش_ 50
360
+ رای 50
361
+ کوم 50
362
+ فا 50
363
+ تم 50
364
+ هی 49
365
+ اق 49
366
+ نوا 49
367
+ حکو 49
368
+ رم 49
369
+ _خا 49
370
+ ان، 49
371
+ _او 49
372
+ _بی 49
373
+ رسی 49
374
+ امی 48
375
+ _ط 48
376
+ نیا 48
377
+ آن_ 48
378
+ _سل 48
379
+ ریا 48
380
+ دود 48
381
+ _تر 47
382
+ _گر 47
383
+ چن 47
384
+ عی 47
385
+ برا 47
386
+ گو 47
387
+ قو 47
388
+ ف_ 46
389
+ _رو 46
390
+ _نو 46
391
+ _دی 46
392
+ سی_ 46
393
+ شود 46
394
+ پیش 46
395
+ پس_ 45
396
+ له 45
397
+ _رس 45
398
+ _غ 45
399
+ تر_ 45
400
+ وی_ 45