scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 27394
2
- 18832
3
- 15876
4
- 8087
5
- 7143
6
- 5707
7
- 5360
8
- 5259
9
- 4417
10
- 3312
11
- _ 3158
12
- 3139
13
- 2797
14
- 2629
15
- 2397
16
- 2345
17
- �� 2280
18
- 2271
19
- 2169
20
- �� 2169
21
- 1980
22
- 1957
23
- 1954
24
- 1933
25
- 1904
26
- 1896
27
- 1702
28
- �� 1690
29
- 1669
30
- 1645
31
- 1609
32
- 1569
33
- 1510
34
- �� 1472
35
- 1470
36
- 1431
37
- �� 1430
38
- 1418
39
- �� 1418
40
- 1413
41
- 1396
42
- 1388
43
- 1320
44
- 1313
45
- 1295
46
- 1282
47
- 1276
48
- 1274
49
- 1216
50
- 1213
51
- 1188
52
- �� 1178
53
- 1168
54
- �� 1155
55
- �� 1150
56
- 1132
57
- 1090
58
- �� 1090
59
- 1075
60
- �� 1051
61
- 1051
62
- 1039
63
- �� 1035
64
- �� 1019
65
- ��� 1007
66
- �� 995
67
- 995
68
- 966
69
- 958
70
- 936
71
- 926
72
- 922
73
- 908
74
- 905
75
- 903
76
- 892
77
- �� 892
78
- �� 884
79
- 884
80
- �� 876
81
- 876
82
- 873
83
- 871
84
- �� 867
85
- 867
86
- 867
87
- �� 861
88
- 861
89
- 857
90
- �� 857
91
- ��� 850
92
- �� 848
93
- �� 847
94
- 842
95
- �� 838
96
- 838
97
- 837
98
- ��� 834
99
- �� 814
100
- �� 812
101
- �� 807
102
- �� 795
103
- 789
104
- �� 778
105
- 778
106
- ��� 767
107
- 756
108
- 756
109
- 747
110
- 746
111
- ��� 743
112
- �� 743
113
- 733
114
- �� 707
115
- �� 691
116
- 690
117
- �� 690
118
- ��� 679
119
- 676
120
- 671
121
- ��� 670
122
- 668
123
- �� 666
124
- 662
125
- �� 661
126
- 656
127
- ��� 655
128
- 654
129
- ��� 653
130
- �� 644
131
- 644
132
- �� 642
133
- 642
134
- �� 639
135
- �� 635
136
- �� 624
137
- 623
138
- �� 623
139
- 614
140
- 608
141
- �� 608
142
- ��� 603
143
- �� 602
144
- 596
145
- ��� 579
146
- �� 566
147
- ��� 565
148
- �� 557
149
- �� 556
150
- �� 553
151
- 549
152
- 546
153
- �� 545
154
- �� 543
155
- 543
156
- �� 542
157
- �� 542
158
- 542
159
- 537
160
- �� 534
161
- 525
162
- 521
163
- �� 521
164
- 520
165
- ��� 517
166
- 516
167
- 509
168
- ��� 501
169
- �� 495
170
- �� 492
171
- 485
172
- �� 485
173
- �� 482
174
- _� 477
175
- 476
176
- ��� 467
177
- �� 467
178
- �� 464
179
- 463
180
- 463
181
- �� 462
182
- �� 459
183
- �� 456
184
- �� 453
185
- 451
186
- �� 451
187
- �� 450
188
- �� 436
189
- 433
190
- ��� 426
191
- �� 417
192
- �� 408
193
- �� 406
194
- ��� 403
195
- �� 402
196
- 402
197
- 402
198
- �� 395
199
- �� 393
200
- �� 392
201
- �� 388
202
- �� 386
203
- �� 382
204
- _� 382
205
- 381
206
- �� 381
207
- 379
208
- 378
209
- �� 376
210
- �� 375
211
- ��� 374
212
- ��� 374
213
- 373
214
- ��� 372
215
- �� 371
216
- 369
217
- ��� 369
218
- �� 367
219
- 366
220
- �� 364
221
- 356
222
- �� 356
223
- �_ 355
224
- �� 352
225
- ��_ 351
226
- �� 350
227
- 350
228
- �� 348
229
- �� 348
230
- ��� 348
231
- �� 338
232
- �� 337
233
- �� 336
234
- �� 336
235
- 335
236
- ��� 334
237
- �� 333
238
- �� 333
239
- ��� 332
240
- �� 331
241
- 329
242
- ��� 326
243
- 317
244
- 317
245
- ��� 312
246
- �� 312
247
- �� 312
248
- ��� 305
249
- 303
250
- �� 302
251
- ��� 300
252
- ��� 297
253
- �� 293
254
- ��� 292
255
- �� 292
256
- 291
257
- 291
258
- �� 290
259
- �� 289
260
- 286
261
- _� 286
262
- 284
263
- �� 281
264
- 280
265
- ��� 279
266
- �� 279
267
- �� 275
268
- 275
269
- 272
270
- �� 269
271
- ��� 269
272
- �� 268
273
- 268
274
- �� 266
275
- 266
276
- �� 266
277
- �� 264
278
- �� 260
279
- 259
280
- �� 258
281
- �� 257
282
- �� 256
283
- 256
284
- 253
285
- 253
286
- 252
287
- �� 249
288
- 248
289
- �� 246
290
- �� 246
291
- 245
292
- �� 245
293
- �� 245
294
- ��� 243
295
- �� 242
296
- �� 242
297
- 242
298
- �� 240
299
- �� 239
300
- 239
301
- ��� 239
302
- ��� 238
303
- �� 236
304
- �� 233
305
- �� 232
306
- �� 232
307
- 229
308
- ��� 229
309
- ��� 228
310
- ��� 225
311
- ��� 221
312
- _� 221
313
- �� 220
314
- �� 218
315
- 218
316
- �� 218
317
- �� 217
318
- 216
319
- �� 216
320
- �� 216
321
- �� 215
322
- �� 214
323
- 213
324
- 211
325
- �� 210
326
- �� 209
327
- �� 209
328
- ��� 208
329
- 207
330
- �� 206
331
- �� 205
332
- �� 205
333
- �� 203
334
- 202
335
- �� 200
336
- �� 200
337
- �� 200
338
- 199
339
- �� 198
340
- ��� 197
341
- _� 196
342
- �� 196
343
- �� 195
344
- �� 194
345
- ��� 193
346
- ��� 193
347
- ��� 192
348
- �� 190
349
- �� 190
350
- 189
351
- �� 189
352
- �� 186
353
- �� 186
354
- 186
355
- 185
356
- �� 185
357
- �� 184
358
- �� 184
359
- �� 184
360
- �� 183
361
- �� 180
362
- �� 179
363
- ��� 179
364
- 179
365
- ��� 179
366
- ��� 178
367
- 177
368
- �� 177
369
- �� 174
370
- �� 172
371
- �� 169
372
- 165
373
- �� 165
374
- �� 163
375
- 163
376
- �� 163
377
- �� 162
378
- _� 162
379
- 161
380
- �� 160
381
- 160
382
- �� 159
383
- 158
384
- �� 158
385
- �� 158
386
- �� 156
387
- �� 155
388
- �� 155
389
- �� 154
390
- �� 154
391
- 153
392
- �� 153
393
- ��� 151
394
- 151
395
- 151
396
- �� 149
397
- �� 149
398
- 148
399
- _� 148
400
- 148
1
+ _ 3556
2
+ 2417
3
+ 2331
4
+ 1607
5
+ 1563
6
+ 1173
7
+ 1149
8
+ 1093
9
+ 993
10
+ 974
11
+ 973
12
+ 948
13
+ 943
14
+ 928
15
+ 915
16
+ 854
17
+ 756
18
+ 755
19
+ 691
20
+ 620
21
+ る。 612
22
+ 日本 560
23
+ 557
24
+ 557
25
+ 505
26
+ 491
27
+ 479
28
+ 475
29
+ は、 429
30
+ 425
31
+ 423
32
+ 423
33
+ 420
34
+ てい 403
35
+ _年 399
36
+ して 393
37
+ 。_ 383
38
+ 382
39
+ 366
40
+ する 363
41
+ 361
42
+ ある 355
43
+ いる 338
44
+ ている 320
45
+ 319
46
+ され 314
47
+ 303
48
+ であ 299
49
+ 278
50
+ など 276
51
+ 276
52
+ 273
53
+ 269
54
+ 269
55
+ 259
56
+ から 248
57
+ た。 247
58
+ 246
59
+ 236
60
+ した 232
61
+ 231
62
+ である 227
63
+ いる。 227
64
+ 219
65
+ る。_ 218
66
+ 211
67
+ 201
68
+ ある。 196
69
+ り、 192
70
+ によ 183
71
+ 181
72
+ って 180
73
+ とし 178
74
+ れて 177
75
+ 176
76
+ れる 175
77
+ 172
78
+ った 168
79
+ し、 165
80
+ 164
81
+ 159
82
+ として 159
83
+ 153
84
+ 、_ 152
85
+ 150
86
+ が、 146
87
+ れた 140
88
+ 、日 139
89
+ れてい 139
90
+ 139
91
+ 139
92
+ 139
93
+ 137
94
+ 137
95
+ 年) 135
96
+ してい 133
97
+ _年) 132
98
+ こと 130
99
+ 130
100
+ 128
101
+ 、日本 128
102
+ 128
103
+ ない 126
104
+ 125
105
+ 125
106
+ 125
107
+ 125
108
+ 125
109
+ 124
110
+ 124
111
+ 124
112
+ では 121
113
+ 120
114
+ 120
115
+ 120
116
+ 120
117
+ 118
118
+ られ 118
119
+ 117
120
+ 117
121
+ 世界 115
122
+ 115
123
+ 114
124
+ 114
125
+ 114
126
+ 111
127
+ 107
128
+ 107
129
+ 106
130
+ 105
131
+ 104
132
+ 103
133
+ いて 103
134
+ 103
135
+ 103
136
+ 102
137
+ 102
138
+ 102
139
+ 本の 101
140
+ 101
141
+ 99
142
+ には 98
143
+ される 98
144
+ されて 98
145
+ 97
146
+ 97
147
+ 96
148
+ 」と 96
149
+ 日本の 96
150
+ 96
151
+ 95
152
+ 94
153
+ 94
154
+ また 94
155
+ あり 94
156
+ との 93
157
+ 92
158
+ 92
159
+ い。 92
160
+ とな 91
161
+ 91
162
+ 90
163
+ 90
164
+ 89
165
+ 的な 89
166
+ 88
167
+ なっ 87
168
+ 87
169
+ 中国 87
170
+ 86
171
+ 86
172
+ どの 86
173
+ 、、 86
174
+ あり、 85
175
+ 85
176
+ 83
177
+ 83
178
+ 82
179
+ などの 82
180
+ 81
181
+ _日 81
182
+ 81
183
+ 「日 80
184
+ 80
185
+ ってい 80
186
+ した。 80
187
+ 関係 79
188
+ 文化 79
189
+ 79
190
+ 79
191
+ _月 78
192
+ 78
193
+ 国の 78
194
+ 77
195
+ 77
196
+ 77
197
+ 77
198
+ 的に 77
199
+ るが 77
200
+ された 77
201
+ )_ 77
202
+ 77
203
+ その 76
204
+ 、「 76
205
+ 75
206
+ 74
207
+ た、 74
208
+ 74
209
+ 74
210
+ 成_ 74
211
+ れる。 74
212
+ () 73
213
+ )の 72
214
+ 平成 72
215
+ 年( 72
216
+ 平成_ 72
217
+ 72
218
+ 72
219
+ 71
220
+ )に 71
221
+ いた 71
222
+ また、 71
223
+ これ 71
224
+ 71
225
+ による 71
226
+ よる 71
227
+ _年( 70
228
+ ため 70
229
+ った。 70
230
+ 70
231
+ 69
232
+ 69
233
+ 69
234
+ 69
235
+ リカ 68
236
+ より 68
237
+ 68
238
+ があ 67
239
+ とす 67
240
+ るこ 67
241
+ ること 67
242
+ 67
243
+ 年_ 67
244
+ とする 67
245
+ 67
246
+ 66
247
+ 66
248
+ 「日本 66
249
+ 経済 66
250
+ 66
251
+ 65
252
+ _年_ 65
253
+ 65
254
+ 65
255
+ ると 64
256
+ 64
257
+ 64
258
+ 国と 64
259
+ 64
260
+ にお 64
261
+ 63
262
+ たが 63
263
+ 63
264
+ _「 63
265
+ (_ 63
266
+ 。また 63
267
+ 。ま 63
268
+ 63
269
+ (平 61
270
+ 61
271
+ メリ 61
272
+ する。 60
273
+ メリカ 60
274
+ 現在 60
275
+ アメ 60
276
+ れ、 60
277
+ 60
278
+ 60
279
+ (平成 60
280
+ アメリ 60
281
+ 59
282
+ )、 59
283
+ となっ 59
284
+ た。_ 59
285
+ 、そ 59
286
+ 58
287
+ の_ 58
288
+ であり 57
289
+ 「」 57
290
+ 、( 57
291
+ め、 56
292
+ 56
293
+ とい 56
294
+ 56
295
+ 56
296
+ 56
297
+ 56
298
+ らの 56
299
+ 55
300
+ 55
301
+ 55
302
+ 55
303
+ まで 55
304
+ るが、 55
305
+ 54
306
+ 54
307
+ 54
308
+ 54
309
+ われ 54
310
+ とも 54
311
+ 54
312
+ 54
313
+ 地方 54
314
+ 53
315
+ に、 53
316
+ たが、 53
317
+ 53
318
+ 53
319
+ 53
320
+ 53
321
+ 53
322
+ 第_ 53
323
+ 52
324
+ 52
325
+ 、こ 52
326
+ 52
327
+ 52
328
+ 多く 52
329
+ く、 51
330
+ 51
331
+ もの 51
332
+ 51
333
+ よって 50
334
+ よっ 50
335
+ ていた 49
336
+ 49
337
+ 49
338
+ 、など 49
339
+ 49
340
+ 以降 49
341
+ によっ 49
342
+ て、 49
343
+ 49
344
+ 、な 49
345
+ への 49
346
+ 問題 49
347
+ 日本国 48
348
+ 本国 48
349
+ 朝鮮 48
350
+ 48
351
+ で、 48
352
+ 48
353
+ に対 48
354
+ 48
355
+ もあ 48
356
+ 48
357
+ _( 48
358
+ 48
359
+ 47
360
+ の日 47
361
+ 47
362
+ 約_ 47
363
+ _位 47
364
+ 47
365
+ 。こ 47
366
+ いう 47
367
+ 47
368
+ 47
369
+ 47
370
+ ては 47
371
+ 地域 46
372
+ ない。 46
373
+ 」の 46
374
+ )。 46
375
+ 46
376
+ ため、 46
377
+ では、 46
378
+ 。日 46
379
+ 46
380
+ にあ 46
381
+ _世 45
382
+ この 45
383
+ 年(平 45
384
+ _日本 45
385
+ 国」 45
386
+ れた。 45
387
+ という 45
388
+ 45
389
+ 44
390
+ 政府 44
391
+ 44
392
+ 韓国 44
393
+ 44
394
+ ジア 44
395
+ 、国 44
396
+ 44
397
+ なって 44
398
+ により 44
399
+ 43
400
+ 43