scylla 0.9.3 → 1.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (86) hide show
  1. checksums.yaml +7 -0
  2. data/README.rdoc +3 -12
  3. data/bin/scylla +1 -1
  4. data/lib/scylla/classifier.rb +3 -2
  5. data/lib/scylla/generator.rb +11 -4
  6. data/lib/scylla/lms/arabic.lm +400 -400
  7. data/lib/scylla/lms/bulgarian.lm +400 -400
  8. data/lib/scylla/lms/catalan.lm +400 -400
  9. data/lib/scylla/lms/chinese.lm +395 -395
  10. data/lib/scylla/lms/czech.lm +397 -397
  11. data/lib/scylla/lms/danish.lm +372 -372
  12. data/lib/scylla/lms/dutch.lm +382 -382
  13. data/lib/scylla/lms/english.lm +378 -378
  14. data/lib/scylla/lms/finnish.lm +388 -388
  15. data/lib/scylla/lms/french.lm +392 -392
  16. data/lib/scylla/lms/german.lm +396 -396
  17. data/lib/scylla/lms/greek.lm +400 -400
  18. data/lib/scylla/lms/hebrew.lm +400 -400
  19. data/lib/scylla/lms/hindi.lm +399 -399
  20. data/lib/scylla/lms/icelandic.lm +225 -225
  21. data/lib/scylla/lms/indonesian.lm +391 -391
  22. data/lib/scylla/lms/italian.lm +382 -382
  23. data/lib/scylla/lms/japanese.lm +400 -400
  24. data/lib/scylla/lms/kannada.lm +392 -392
  25. data/lib/scylla/lms/korean.lm +391 -391
  26. data/lib/scylla/lms/marathi.lm +388 -388
  27. data/lib/scylla/lms/norwegian.lm +375 -375
  28. data/lib/scylla/lms/persian.lm +399 -399
  29. data/lib/scylla/lms/polish.lm +399 -399
  30. data/lib/scylla/lms/portuguese.lm +390 -390
  31. data/lib/scylla/lms/romanian.lm +353 -353
  32. data/lib/scylla/lms/russian.lm +400 -400
  33. data/lib/scylla/lms/slovak.lm +361 -361
  34. data/lib/scylla/lms/slovenian.lm +273 -273
  35. data/lib/scylla/lms/spanish.lm +371 -371
  36. data/lib/scylla/lms/swedish.lm +400 -400
  37. data/lib/scylla/lms/tagalog.lm +295 -295
  38. data/lib/scylla/lms/thai.lm +400 -400
  39. data/lib/scylla/lms/turkish.lm +377 -377
  40. data/lib/scylla/lms/vietnamese.lm +400 -400
  41. data/lib/scylla/lms/welsh.lm +311 -311
  42. data/lib/scylla/loader.rb +1 -1
  43. data/test/classifier_test.rb +6 -4
  44. data/test/fixtures/lms/arabic.lm +400 -0
  45. data/test/fixtures/lms/bulgarian.lm +400 -0
  46. data/test/fixtures/lms/catalan.lm +400 -0
  47. data/test/fixtures/lms/chinese.lm +400 -0
  48. data/test/fixtures/lms/czech.lm +400 -0
  49. data/test/fixtures/lms/danish.lm +399 -399
  50. data/test/fixtures/lms/dutch.lm +400 -0
  51. data/test/fixtures/lms/english.lm +400 -400
  52. data/test/fixtures/lms/finnish.lm +400 -0
  53. data/test/fixtures/lms/french.lm +397 -397
  54. data/test/fixtures/lms/german.lm +400 -400
  55. data/test/fixtures/lms/greek.lm +400 -0
  56. data/test/fixtures/lms/hebrew.lm +400 -0
  57. data/test/fixtures/lms/hindi.lm +400 -400
  58. data/test/fixtures/lms/icelandic.lm +400 -0
  59. data/test/fixtures/lms/indonesian.lm +400 -0
  60. data/test/fixtures/lms/italian.lm +400 -400
  61. data/test/fixtures/lms/japanese.lm +400 -400
  62. data/test/fixtures/lms/kannada.lm +400 -0
  63. data/test/fixtures/lms/korean.lm +400 -0
  64. data/test/fixtures/lms/marathi.lm +400 -0
  65. data/test/fixtures/lms/norwegian.lm +399 -399
  66. data/test/fixtures/lms/persian.lm +400 -0
  67. data/test/fixtures/lms/polish.lm +400 -0
  68. data/test/fixtures/lms/portuguese.lm +400 -0
  69. data/test/fixtures/lms/romanian.lm +400 -0
  70. data/test/fixtures/lms/russian.lm +400 -0
  71. data/test/fixtures/lms/slovak.lm +400 -0
  72. data/test/fixtures/lms/slovenian.lm +400 -0
  73. data/test/fixtures/lms/spanish.lm +400 -400
  74. data/test/fixtures/lms/swedish.lm +400 -0
  75. data/test/fixtures/lms/tagalog.lm +400 -0
  76. data/test/fixtures/lms/thai.lm +400 -0
  77. data/test/fixtures/lms/turkish.lm +400 -0
  78. data/test/fixtures/lms/vietnamese.lm +400 -0
  79. data/test/fixtures/lms/welsh.lm +400 -0
  80. data/test/fixtures/test_languages/japanese +149 -67
  81. data/test/generator_test.rb +2 -44
  82. data/test/helper.rb +3 -3
  83. data/test/language_test.rb +6 -2
  84. data/test/loader_test.rb +2 -2
  85. data/test/scylla_test.rb +7 -7
  86. metadata +144 -95
@@ -1,400 +1,400 @@
1
- 8059
2
- 4543
3
- 4060
4
- 3290
5
- 2871
6
- 2394
7
- 2351
8
- 2145
9
- 1975
10
- 1939
11
- 1793
12
- 1704
13
- 1703
14
- 1703
15
- 1610
16
- 1610
17
- _ 1402
18
- 1387
19
- �� 1355
20
- , 1355
21
- � 1342
22
- � 1335
23
- � 1326
24
- � 1245
25
- � 1180
26
- � 1162
27
- � 1148
28
- � 1101
29
- � 1098
30
- � 1091
31
- � 1003
32
- � 984
33
- � 966
34
- � 950
35
- � 936
36
- � 927
37
- 的 921
38
- �� 921
39
- � 885
40
- � 876
41
- � 861
42
- � 831
43
- � 813
44
- � 803
45
- � 793
46
- � 771
47
- � 770
48
- � 764
49
- � 760
50
- �� 746
51
- � 745
52
- 中 739
53
- � 729
54
- 国 700
55
- �� 700
56
- � 695
57
- �� 692
58
- �� 678
59
- � 665
60
- 、 662
61
- � 644
62
- � 633
63
- �� 631
64
- � 627
65
- � 625
66
- 。 625
67
- � 623
68
- �� 621
69
- � 611
70
- ��� 606
71
- � 604
72
- � 603
73
- � 598
74
- � 584
75
- � 581
76
- � 563
77
- � 558
78
- � 549
79
- � 540
80
- � 523
81
- � 506
82
- � 468
83
- ��� 465
84
- � 447
85
- � 445
86
- � 439
87
- � 428
88
- � 423
89
- � 420
90
- � 416
91
- �� 415
92
- �� 389
93
- � 388
94
- � 388
95
- � 364
96
- � 360
97
- � 358
98
- � 354
99
- � 353
100
- � 342
101
- � 334
102
- � 330
103
- �� 329
104
- � 328
105
- �� 327
106
- � 327
107
- � 319
108
- ��� 308
109
- � 304
110
- �� 298
111
- �� 296
112
- �� 296
113
- � 296
114
- � 289
115
- � 285
116
- � 282
117
- � 282
118
- 和 281
119
- ��� 281
120
- �� 281
121
- � 276
122
- ��� 276
123
- 民 273
124
- �� 273
125
- � 271
126
- � 263
127
- � 257
128
- � 251
129
- �� 251
130
- � 245
131
- ��� 243
132
- �� 232
133
- 在 231
134
- � 230
135
- _� 226
136
- �� 226
137
- �� 225
138
- �� 224
139
- � 223
140
- � 222
141
- �_ 221
142
- � 220
143
- ��_ 215
144
- � 214
145
- �� 212
146
- ��� 210
147
- 一 209
148
- �� 209
149
- �� 202
150
- 为 202
151
- �� 197
152
- 以 196
153
- �� 196
154
- � 195
155
- �� 191
156
- 了 191
157
- �� 188
158
- �� 187
159
- �� 187
160
- 年 187
161
- 人 187
1
+ _ 1416
2
+ 1390
3
+ 938
4
+ 732
5
+ 681
6
+ 657
7
+ 632
8
+ 中国 366
9
+ 278
10
+ 、、 275
11
+ 266
12
+ 232
13
+ 。_ 216
14
+ 207
15
+ 201
16
+ 195
17
+ 194
18
+ 183
162
19
  有 183
163
- �� 183
164
- ��� 183
165
- �� 182
166
- 是 182
167
- �� 182
168
- �� 181
169
- � 180
170
- �� 174
171
- �� 173
172
- � 173
20
+ 、、、 182
21
+ 180
22
+ 178
173
23
  代 172
174
- �� 172
175
- �� 169
176
- 169
177
- �� 164
178
- �� 162
179
- 161
180
- �� 161
181
- �� 161
182
- �� 158
183
- �� 158
184
- 157
185
- �� 157
186
- 157
187
- �� 157
188
- �� 156
189
- �� 155
190
- 155
191
- 155
192
- �� 154
193
- �� 153
194
- �� 153
195
- �� 153
196
- �� 149
197
- �� 147
198
- 147
199
- 147
200
- 145
201
- �� 145
202
- � 144
203
- � 144
204
- � 143
205
- 政 143
206
- �� 143
207
- ��� 141
208
- �� 141
209
- � 140
210
- � 140
211
- ��� 139
212
- �� 139
213
- �� 139
214
- �� 138
215
- 朝 138
216
- �� 138
217
- �� 137
218
- �� 136
219
- 后 136
220
- � 135
221
- � 135
222
- � 135
223
- �� 134
224
- �� 133
225
- _� 133
226
- �� 133
227
- � 132
228
- �� 132
229
- �� 132
230
- �� 132
231
- 日 132
232
- �� 132
233
- 华 132
234
- � 131
235
- ��� 129
236
- � 128
237
- � 128
238
- � 127
239
- � 127
240
- ��� 126
241
- �� 126
242
- �� 125
243
- �� 125
244
- 等 125
245
- 之 125
246
- �� 123
247
- � 123
248
- �� 122
249
- � 121
250
- � 121
251
- �� 120
252
- �� 120
253
- _� 120
254
- � 119
255
- �� 119
256
- �� 118
257
- �� 118
258
- 國 118
259
- �� 117
260
- � 117
261
- �� 116
262
- �� 116
263
- � 115
264
- �� 114
265
- �� 113
266
- �� 113
267
- ��� 113
268
- _� 113
269
- � 113
270
- ��� 112
271
- � 111
272
- 族 111
273
- � 111
274
- �� 110
275
- �� 110
276
- 成 110
277
- �� 110
278
- 》 110
279
- 《 109
280
- �� 109
281
- �� 109
282
- � 109
283
- �� 109
284
- ��� 108
285
- ��� 108
286
- � 108
287
- �� 108
288
- � 107
289
- � 107
290
- �� 107
291
- �� 105
292
- �� 104
293
- �� 104
294
- �� 104
295
- : 103
296
- 上 103
297
- �� 103
298
- �� 102
299
- 方 102
300
- �� 102
301
- �� 102
302
- �� 102
303
- 史 101
304
- ��� 101
305
- ��� 101
306
- �� 100
307
- �� 99
308
- � 99
309
- �� 99
310
- � 99
311
- 于 99
312
- 共 99
313
- _� 99
314
- �� 98
315
- ��� 98
316
- � 98
317
- �� 97
318
- �� 97
319
- 期 97
320
- 发 97
321
- � 97
24
+ 170
25
+ 164
26
+ 159
27
+ 155
28
+ 146
29
+ 143
30
+ 143
31
+ 138
32
+ 134
33
+ 133
34
+ 127
35
+ 127
36
+ 125
37
+ 120
38
+ _年 115
39
+ 114
40
+ 113
41
+ 112
42
+ 111
43
+ 111
44
+ 108
45
+ 108
46
+ ,中 102
47
+ 101
48
+ 100
49
+ 中华 98
50
+ 96
322
51
  立 96
323
- �� 96
324
- �� 95
325
- �� 95
326
- �� 94
327
- 93
328
- �� 93
329
- �� 93
330
- 93
331
- �� 93
332
- �� 92
333
- �� 92
334
- �� 92
335
- �� 92
336
- �� 92
337
- 分 92
338
- 历 92
339
- 不 91
340
- �� 91
341
- ) 91
342
- �� 91
343
- �� 91
344
- �� 91
345
- �� 91
346
- � 91
347
- �� 91
348
- �� 91
349
- �� 91
350
- �� 91
351
- ( 91
352
- �� 91
353
- �� 90
354
- �� 90
355
- �� 90
356
- �� 89
357
- 月 89
358
- ��� 89
52
+ 95
53
+ 94
54
+ 93
55
+ 91
56
+ 90
57
+ 90
58
+ 89
59
+ 89
60
+ 89
61
+ 88
359
62
  其 88
360
- �� 88
361
- �� 88
362
- ��� 88
363
- 87
364
- �� 87
365
- �� 87
366
- �� 87
367
- ��� 87
368
- 主 87
369
- �� 87
370
- 而 87
371
- �� 87
372
- ��� 86
373
- �� 86
374
- 到 85
375
- �� 85
376
- �� 85
377
- �� 85
378
- �� 85
379
- �� 84
380
- �� 83
381
- � 83
382
- �� 83
383
- ��� 83
384
- � 83
385
- �� 83
386
- �� 82
387
- �� 82
388
- 家 81
389
- �� 81
390
- � 81
391
- �� 81
392
- � 80
393
- �� 80
394
- � 80
63
+ 87
64
+ 85
65
+ 83
66
+ 82
67
+ 81
395
68
  建 80
396
- �� 80
397
- 80
398
- ��� 80
399
- �� 80
400
- 80
69
+ 79
70
+ 79
71
+ 79
72
+ 78
73
+ 76
74
+ 古 75
75
+ 统 74
76
+ 出 73
77
+ 最 73
78
+ 制 72
79
+ 汉 71
80
+ 多 71
81
+ 行 71
82
+ 文化 70
83
+ 称 70
84
+ 学 69
85
+ 个 69
86
+ 天 68
87
+ _中 68
88
+ 民族 67
89
+ 府 66
90
+ 及 66
91
+ 政府 65
92
+ 现 65
93
+ 与 64
94
+ 中國 62
95
+ 法 62
96
+ 人民 62
97
+ 」 61
98
+ 战 61
99
+ 「 61
100
+ 区 61
101
+ 并 61
102
+ 三 61
103
+ 开 60
104
+ 入 60
105
+ 要 60
106
+ 用 59
107
+ ,中国 58
108
+ 共和 57
109
+ 界 57
110
+ 本 57
111
+ 来 56
112
+ 明 56
113
+ ; 56
114
+ 对 56
115
+ 北 55
116
+ 《》 55
117
+ 国家 55
118
+ 历史 55
119
+ 教 55
120
+ 西 54
121
+ 為 54
122
+ 各 54
123
+ 十 54
124
+ 字 54
125
+ 世界 53
126
+ 和国 53
127
+ 民共和 52
128
+ 民共 52
129
+ 至 52
130
+ 人民共 52
131
+ 被 52
132
+ 传 51
133
+ 国的 51
134
+ 共和国 50
135
+ 华人 50
136
+ 华人民 49
137
+ 展 49
138
+ 中华人 49
139
+ 重 49
140
+ 清 48
141
+ 但 48
142
+ 。中 48
143
+ 始 48
144
+ 華 47
145
+ 度 47
146
+ 建立 47
147
+ 所 47
148
+ 下 46
149
+ 地区 46
150
+ 如 46
151
+ 王 45
152
+ 定 45
153
+ 第 45
154
+ 二 44
155
+ 同 44
156
+ 系 44
157
+ 南 44
158
+ 作 44
159
+ 部 44
160
+ 生 43
161
+ 过 43
162
+ 交 43
163
+ 平 42
164
+ 、等 42
165
+ 会 42
166
+ 关 41
167
+ 初 41
168
+ 时期 40
169
+ 的中 40
170
+ 由 40
171
+ ,并 40
172
+ 正 40
173
+ ,以 40
174
+ 夏 40
175
+ 四 40
176
+ 内 39
177
+ 体 39
178
+ 长 39
179
+ 此 39
180
+ 次 39
181
+ 发展 39
182
+ 都 39
183
+ _中国 39
184
+ 权 39
185
+ _: 38
186
+ 面 38
187
+ 华民 38
188
+ 中华民 38
189
+ 使 38
190
+ 民国 38
191
+ 的, 37
192
+ ,_ 37
193
+ 进 37
194
+ 得 37
195
+ 起 37
196
+ 义 37
197
+ 台 37
198
+ ,其 37
199
+ 东 37
200
+ 领 37
201
+ 中華 37
202
+ 社 37
203
+ 数 37
204
+ 中国的 36
205
+ 目 36
206
+ 还 36
207
+ 。中国 36
208
+ 原 35
209
+ 实 35
210
+ 日本 35
211
+ 名 34
212
+ 後 34
213
+ 已 34
214
+ 今 34
215
+ 经济 34
216
+ ,但 34
217
+ 古代 34
218
+ 济 34
219
+ 時 33
220
+ 华民国 33
221
+ 开始 33
222
+ 国, 33
223
+ 周 33
224
+ 又 33
225
+ ,在 32
226
+ 西方 32
227
+ 当 32
228
+ ”, 32
229
+ 事 32
230
+ 高 32
231
+ 五 32
232
+ 后, 32
233
+ 近 31
234
+ 土 31
235
+ 全 31
236
+ 》, 31
237
+ 口 31
238
+ 元 31
239
+ _月 31
240
+ 通 30
241
+ 军 30
242
+ 间 30
243
+ 公 30
244
+ 、、等 30
245
+ 、和 29
246
+ 主要 29
247
+ 力 29
248
+ 两 29
249
+ 节 29
250
+ 帝 29
251
+ 域 29
252
+ 日, 29
253
+ “中 29
254
+ 形 29
255
+ 这 28
256
+ 强 28
257
+ 華民 28
258
+ 中華民 28
259
+ 王朝 28
260
+ “” 28
261
+ 表 28
262
+ 约 28
263
+ 着 28
264
+ 子 28
265
+ 则 27
266
+ 期, 27
267
+ 认 27
268
+ 位 27
269
+ 民國 27
270
+ 目前 27
271
+ 直 27
272
+ 陆 27
273
+ 然 27
274
+ 或 27
275
+ 代中 27
276
+ 流 27
277
+ 少 27
278
+ 受 27
279
+ 史上 27
280
+ 華民國 27
281
+ 文字 27
282
+ 影 26
283
+ 理 26
284
+ ,而 26
285
+ 逐 26
286
+ 於 26
287
+ 新 26
288
+ 他 26
289
+ 思 26
290
+ 式 26
291
+ _, 26
292
+ 种 26
293
+ _日 25
294
+ 从 25
295
+ 取 25
296
+ 八 25
297
+ 人口 25
298
+ 以及 25
299
+ 合 25
300
+ 据 25
301
+ 稱 25
302
+ 湾 24
303
+ 台湾 24
304
+ 想 24
305
+ 就 24
306
+ 假 24
307
+ 争 24
308
+ 夷 24
309
+ 接 24
310
+ 推 24
311
+ 早 24
312
+ 布 24
313
+ 常 24
314
+ 动 24
315
+ 可 23
316
+ 與 23
317
+ 相 23
318
+ 部分 23
319
+ 传统 23
320
+ 皇 23
321
+ 千 23
322
+ 列 23
323
+ 思想 23
324
+ 汉族 23
325
+ :_ 23
326
+ 加 23
327
+ 社会 23
328
+ 先 23
329
+ ,《 23
330
+ 道 23
331
+ 統 23
332
+ 除 23
333
+ 年的 23
334
+ 改 22
335
+ 。在 22
336
+ ), 22
337
+ 是中 22
338
+ 书 22
339
+ 响 22
340
+ 制度 22
341
+ 以后 22
342
+ 月_ 22
343
+ 产 22
344
+ 达 22
345
+ _月_ 22
346
+ 影响 22
347
+ 在中 22
348
+ 科 22
349
+ 非 22
350
+ 海 22
351
+ 政治 22
352
+ 代表 21
353
+ 著 21
354
+ 「」 21
355
+ 第一 21
356
+ 特 21
357
+ 等。 21
358
+ 六 21
359
+ 礼 21
360
+ 國民 21
361
+ 大陆 21
362
+ 即 21
363
+ 商 21
364
+ 者 21
365
+ 放 21
366
+ 渐 20
367
+ 持 20
368
+ 术 20
369
+ 居 20
370
+ 党 20
371
+ 均 20
372
+ 一个 20
373
+ 包 20
374
+ 黨 20
375
+ 导 20
376
+ 之一 20
377
+ 总 20
378
+ 际 20
379
+ 岸 20
380
+ 的。 20
381
+ 历史上 20
382
+ 月初 20
383
+ 出现 20
384
+ 服 19
385
+ 中国, 19
386
+ 年代 19
387
+ 较 19
388
+ 组 19
389
+ ,中华 19
390
+ 别 19
391
+ 因 19
392
+ 技 19
393
+ 城 19
394
+ 版 19
395
+ 美 19
396
+ 源 19
397
+ 逐渐 19
398
+ 万 19
399
+ 少数 19
400
+ 河 19