scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 8059
2
- 4543
3
- 4060
4
- 3290
5
- 2871
6
- 2394
7
- 2351
8
- 2145
9
- 1975
10
- 1939
11
- 1793
12
- 1704
13
- 1703
14
- 1703
15
- 1610
16
- 1610
17
- _ 1402
18
- 1387
19
- �� 1355
20
- 1355
21
- � 1342
22
- � 1335
23
- � 1326
24
- � 1245
25
- � 1180
26
- � 1162
27
- � 1148
28
- � 1101
29
- � 1098
30
- � 1091
31
- � 1003
32
- � 984
33
- � 966
34
- � 950
35
- � 936
36
- � 927
37
- 的 921
38
- �� 921
39
- � 885
40
- � 876
41
- � 861
42
- � 831
43
- � 813
44
- � 803
45
- � 793
46
- � 771
47
- � 770
48
- � 764
49
- � 760
50
- �� 746
51
- � 745
52
- 中 739
53
- � 729
54
- 国 700
55
- �� 700
56
- � 695
57
- �� 692
58
- �� 678
59
- � 665
60
- 、 662
61
- � 644
62
- � 633
63
- �� 631
64
- � 627
65
- � 625
66
- 。 625
67
- � 623
68
- �� 621
69
- � 611
70
- ��� 606
71
- � 604
72
- � 603
73
- � 598
74
- � 584
75
- � 581
76
- � 563
77
- � 558
78
- � 549
79
- � 540
80
- � 523
81
- � 506
82
- � 468
83
- ��� 465
84
- � 447
85
- � 445
86
- � 439
87
- � 428
88
- � 423
89
- � 420
90
- � 416
91
- �� 415
92
- �� 389
93
- � 388
94
- � 388
95
- � 364
96
- � 360
97
- � 358
98
- � 354
99
- � 353
100
- � 342
101
- � 334
102
- � 330
103
- �� 329
104
- � 328
105
- �� 327
106
- � 327
107
- � 319
108
- ��� 308
109
- � 304
110
- �� 298
111
- �� 296
112
- �� 296
113
- � 296
114
- � 289
115
- � 285
116
- � 282
117
- � 282
118
- 和 281
119
- ��� 281
120
- �� 281
121
- � 276
122
- ��� 276
123
- 民 273
124
- �� 273
125
- � 271
126
- � 263
127
- � 257
128
- � 251
129
- �� 251
130
- � 245
131
- ��� 243
132
- �� 232
133
- 在 231
134
- � 230
135
- _� 226
136
- �� 226
137
- �� 225
138
- �� 224
139
- � 223
140
- � 222
141
- �_ 221
142
- � 220
143
- ��_ 215
144
- � 214
145
- �� 212
146
- ��� 210
147
- 一 209
148
- �� 209
149
- �� 202
150
- 为 202
151
- �� 197
152
- 以 196
153
- �� 196
154
- � 195
155
- �� 191
156
- 了 191
157
- �� 188
158
- �� 187
159
- �� 187
160
- 年 187
161
- 人 187
1
+ _ 1426
2
+ 1372
3
+ 934
4
+ 735
5
+ 698
6
+ 670
7
+ 635
8
+ 中国 388
9
+ 284
10
+ 、、 273
11
+ 265
12
+ 233
13
+ 。_ 217
14
+ 214
15
+ 205
16
+ 204
17
+ 192
18
+ 186
19
+ 185
20
+ 185
162
21
  有 183
163
- �� 183
164
- ��� 183
165
- �� 182
166
- 是 182
167
- �� 182
168
- �� 181
169
- � 180
170
- �� 174
171
- �� 173
172
- � 173
22
+ 、、、 183
173
23
  代 172
174
- �� 172
175
- �� 169
176
- � 169
177
- �� 164
178
- �� 162
179
24
  大 161
180
- �� 161
181
- �� 161
182
- �� 158
183
- �� 158
184
- 157
185
- �� 157
186
- 157
187
- �� 157
188
- �� 156
189
- �� 155
190
- “ 155
191
- ” 155
192
- �� 154
193
- �� 153
194
- �� 153
195
- �� 153
196
- �� 149
197
- �� 147
198
- � 147
199
- � 147
200
- 时 145
201
- �� 145
202
- � 144
203
- � 144
204
- � 143
205
- 政 143
206
- �� 143
207
- ��� 141
208
- �� 141
209
- � 140
210
- � 140
211
- ��� 139
212
- �� 139
213
- �� 139
214
- �� 138
215
- 朝 138
216
- �� 138
217
- �� 137
218
- �� 136
219
- 后 136
220
- � 135
221
- � 135
222
- � 135
223
- �� 134
224
- �� 133
225
- _� 133
226
- �� 133
227
- � 132
228
- �� 132
229
- �� 132
230
- �� 132
25
+ 159
26
+ 156
27
+ 149
28
+ 149
29
+ 144
30
+ 138
31
+ 136
32
+ 134
231
33
  日 132
232
- �� 132
233
- 132
234
- 131
235
- ��� 129
236
- 128
237
- 128
238
- 127
239
- � 127
240
- ��� 126
241
- �� 126
242
- �� 125
243
- �� 125
244
- 等 125
245
- 之 125
246
- �� 123
247
- � 123
248
- �� 122
249
- � 121
250
- � 121
251
- �� 120
252
- �� 120
253
- _� 120
254
- � 119
255
- �� 119
256
- �� 118
257
- �� 118
258
- 國 118
259
- �� 117
260
- � 117
261
- �� 116
262
- �� 116
263
- � 115
264
- �� 114
265
- �� 113
266
- �� 113
267
- ��� 113
268
- _� 113
269
- � 113
270
- ��� 112
271
- � 111
272
- 族 111
273
- � 111
274
- �� 110
275
- �� 110
276
- 成 110
277
- �� 110
34
+ 132
35
+ 129
36
+ 129
37
+ 128
38
+ 115
39
+ 114
40
+ _年 113
278
41
  》 110
279
42
  《 109
280
- �� 109
281
- �� 109
282
- 109
283
- �� 109
284
- ��� 108
285
- ��� 108
286
- � 108
287
- �� 108
288
- � 107
289
- � 107
290
- �� 107
291
- �� 105
292
- �� 104
293
- �� 104
294
- �� 104
43
+ 105
44
+ 中华 103
45
+ 103
295
46
  : 103
296
- 上 103
297
- �� 103
298
- �� 102
299
- 方 102
300
- �� 102
301
- �� 102
302
- �� 102
303
47
  史 101
304
- ��� 101
305
- ��� 101
306
- �� 100
307
- �� 99
308
- 99
309
- �� 99
310
- 99
311
- 于 99
312
- 共 99
313
- _� 99
314
- �� 98
315
- ��� 98
316
- � 98
317
- �� 97
318
- �� 97
319
- 期 97
320
- 发 97
321
- � 97
322
- 立 96
323
- �� 96
324
- �� 95
325
- �� 95
326
- �� 94
327
- 化 93
328
- �� 93
329
- �� 93
48
+ 100
49
+ 99
50
+ ,中 99
51
+ 98
52
+ 98
53
+ 96
54
+ 93
330
55
  经 93
331
- �� 93
332
- �� 92
333
- �� 92
334
- �� 92
335
- �� 92
336
- �� 92
337
- 分 92
338
- 历 92
56
+ 93
57
+ 92
58
+ 92
59
+ 92
60
+ 91
339
61
  不 91
340
- �� 91
341
- 91
342
- �� 91
343
- �� 91
344
- �� 91
345
- �� 91
346
- � 91
347
- �� 91
348
- �� 91
349
- �� 91
350
- �� 91
351
- ( 91
352
- �� 91
353
- �� 90
354
- �� 90
355
- �� 90
356
- �� 89
357
- 月 89
358
- ��� 89
359
- 其 88
360
- �� 88
361
- �� 88
362
- ��� 88
363
- � 87
364
- �� 87
365
- �� 87
366
- �� 87
367
- ��� 87
368
- 主 87
369
- �� 87
370
- 而 87
371
- �� 87
372
- ��� 86
373
- �� 86
374
- 到 85
375
- �� 85
376
- �� 85
377
- �� 85
378
- �� 85
379
- �� 84
380
- �� 83
381
- � 83
382
- �� 83
383
- ��� 83
384
- � 83
385
- �� 83
386
- �� 82
387
- �� 82
388
- 家 81
389
- �� 81
390
- � 81
391
- �� 81
392
- � 80
393
- �� 80
394
- � 80
395
- 建 80
396
- �� 80
397
- � 80
398
- ��� 80
399
- �� 80
62
+ 88
63
+ 87
64
+ 86
65
+ 85
66
+ 84
67
+ 82
400
68
  前 80
69
+ 统 80
70
+ 世 79
71
+ 外 78
72
+ 也 77
73
+ 个 76
74
+ 自 76
75
+ 最 76
76
+ 治 75
77
+ 出 74
78
+ 汉 74
79
+ 称 73
80
+ 多 72
81
+ 学 72
82
+ 行 71
83
+ 古 71
84
+ 制 71
85
+ 民族 69
86
+ 文化 69
87
+ 并 69
88
+ _中 68
89
+ 现 68
90
+ 天 68
91
+ 及 66
92
+ 与 65
93
+ 区 65
94
+ 人民 65
95
+ 入 64
96
+ 法 63
97
+ 战 63
98
+ 」 63
99
+ 「 63
100
+ 共和 62
101
+ 开 62
102
+ 三 61
103
+ ,中国 61
104
+ 要 60
105
+ 来 60
106
+ 府 60
107
+ 政府 59
108
+ ; 59
109
+ 和国 58
110
+ 用 58
111
+ 民共和 57
112
+ 对 57
113
+ 人民共 57
114
+ 民共 57
115
+ 界 57
116
+ 西 56
117
+ 历史 56
118
+ 本 56
119
+ 明 56
120
+ 字 56
121
+ 华人 55
122
+ 共和国 55
123
+ 教 55
124
+ 国家 54
125
+ 华人民 54
126
+ 中华人 54
127
+ 十 53
128
+ 世界 53
129
+ 传 53
130
+ 《》 52
131
+ 各 52
132
+ 北 51
133
+ 第 51
134
+ 展 50
135
+ 国的 50
136
+ 。中 49
137
+ 清 49
138
+ 建立 49
139
+ 地区 49
140
+ 被 49
141
+ 定 49
142
+ 同 49
143
+ 所 48
144
+ 重 48
145
+ 為 48
146
+ 始 47
147
+ 二 47
148
+ ,并 47
149
+ 会 46
150
+ 度 46
151
+ 如 46
152
+ 作 45
153
+ 系 45
154
+ 台 45
155
+ 王 45
156
+ 交 45
157
+ 下 44
158
+ 、等 44
159
+ 部 43
160
+ 过 43
161
+ 但 43
162
+ 南 43
163
+ 关 42
164
+ 平 42
165
+ 次 42
166
+ 中國 42
167
+ 生 42
168
+ 至 42
169
+ 初 42
170
+ 内 42
171
+ 体 42
172
+ 四 41
173
+ _中国 41
174
+ ,以 41
175
+ 时期 40
176
+ 此 40
177
+ 进 40
178
+ 发展 40
179
+ ,_ 40
180
+ 夏 40
181
+ 正 39
182
+ 义 39
183
+ 華 39
184
+ 的, 39
185
+ 社 39
186
+ 由 39
187
+ 实 39
188
+ _: 38
189
+ 数 38
190
+ 使 38
191
+ 长 38
192
+ 领 38
193
+ 起 38
194
+ 都 38
195
+ 民国 37
196
+ 还 37
197
+ 中华民 37
198
+ 得 37
199
+ 。中国 37
200
+ 华民 37
201
+ 目 37
202
+ 面 37
203
+ 权 37
204
+ 的中 37
205
+ 东 36
206
+ 济 36
207
+ _月 36
208
+ 经济 36
209
+ 日本 35
210
+ 开始 35
211
+ 当 35
212
+ 国, 35
213
+ 着 35
214
+ 全 35
215
+ 名 35
216
+ 中国的 35
217
+ 原 35
218
+ ,其 34
219
+ ,在 34
220
+ 周 34
221
+ 力 34
222
+ 古代 34
223
+ 近 33
224
+ ”, 33
225
+ 已 33
226
+ 五 33
227
+ 又 33
228
+ 后, 33
229
+ 今 33
230
+ 西方 33
231
+ 军 32
232
+ 帝 32
233
+ 两 32
234
+ 、、等 32
235
+ 中華 32
236
+ 高 32
237
+ 华民国 32
238
+ 口 31
239
+ “中 31
240
+ 间 31
241
+ 表 31
242
+ 通 31
243
+ 日, 31
244
+ 约 31
245
+ 事 31
246
+ 元 30
247
+ “” 30
248
+ _日 30
249
+ 湾 30
250
+ 公 30
251
+ ,但 30
252
+ 党 30
253
+ 台湾 30
254
+ 形 30
255
+ 域 29
256
+ 直 29
257
+ 节 29
258
+ 子 29
259
+ 土 29
260
+ 或 29
261
+ 认 29
262
+ 主要 29
263
+ _, 28
264
+ 受 28
265
+ 逐 28
266
+ 则 28
267
+ 王朝 28
268
+ 强 28
269
+ 这 28
270
+ 流 28
271
+ 然 27
272
+ 史上 27
273
+ 代中 27
274
+ 月_ 27
275
+ 目前 27
276
+ 取 27
277
+ 理 27
278
+ 陆 27
279
+ _月_ 27
280
+ 期, 27
281
+ 际 27
282
+ 》, 27
283
+ 、和 27
284
+ 文字 27
285
+ 从 26
286
+ 他 26
287
+ 社会 26
288
+ 据 26
289
+ 动 26
290
+ 位 26
291
+ 新 26
292
+ 影 26
293
+ 合 26
294
+ 早 26
295
+ 思 26
296
+ 种 26
297
+ ,而 26
298
+ 一个 26
299
+ 少 25
300
+ 以及 25
301
+ 渐 25
302
+ 接 25
303
+ 人口 25
304
+ 布 25
305
+ 「」 25
306
+ 式 25
307
+ 八 24
308
+ 假 24
309
+ 中華民 24
310
+ ,《 24
311
+ 常 24
312
+ 传统 24
313
+ 代表 24
314
+ 想 24
315
+ 華民 24
316
+ 争 24
317
+ 皇 23
318
+ 道 23
319
+ 夷 23
320
+ 華民國 23
321
+ 就 23
322
+ 思想 23
323
+ 书 23
324
+ 相 23
325
+ 千 23
326
+ 产 23
327
+ 加 23
328
+ 推 23
329
+ 汉族 23
330
+ 民國 23
331
+ 在中 23
332
+ 政治 22
333
+ 海 22
334
+ 可 22
335
+ 导 22
336
+ 放 22
337
+ 科 22
338
+ 即 22
339
+ 影响 22
340
+ 改 22
341
+ 部分 22
342
+ 特 22
343
+ 列 22
344
+ ), 22
345
+ 者 22
346
+ 第一 22
347
+ 以后 22
348
+ 是中 22
349
+ 响 22
350
+ 稱 21
351
+ 先 21
352
+ 大陆 21
353
+ 商 21
354
+ 成立 21
355
+ 後 21
356
+ 国际 21
357
+ 年的 21
358
+ 礼 21
359
+ 等。 21
360
+ 時 21
361
+ 总 21
362
+ 。在 21
363
+ 达 21
364
+ 逐渐 21
365
+ 成为 21
366
+ 组 21
367
+ 岸 21
368
+ 制度 21
369
+ 除 21
370
+ 因 21
371
+ 较 20
372
+ 之一 20
373
+ 代中国 20
374
+ 出现 20
375
+ 源 20
376
+ 均 20
377
+ 别 20
378
+ 於 20
379
+ 历史上 20
380
+ 月初 20
381
+ 年, 20
382
+ 六 20
383
+ 国” 20
384
+ 美 20
385
+ 包 20
386
+ 中国, 20
387
+ 河 19
388
+ ,中华 19
389
+ “中国 19
390
+ 持 19
391
+ 服 19
392
+ 版 19
393
+ 术 19
394
+ 居 19
395
+ 年代 19
396
+ 技 19
397
+ :_ 19
398
+ 非 19
399
+ 少数 19
400
+ 业 19