scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 8059
2
- 4543
3
- 4060
4
- 3290
5
- 2871
6
- 2394
7
- 2351
8
- 2145
9
- 1975
10
- 1939
11
- 1793
12
- 1704
13
- 1703
14
- 1703
15
- 1610
16
- 1610
17
- _ 1402
18
- 1387
19
- �� 1355
20
- 1355
21
- � 1342
22
- � 1335
23
- � 1326
24
- � 1245
25
- � 1180
26
- � 1162
27
- � 1148
28
- � 1101
29
- � 1098
30
- � 1091
31
- � 1003
32
- � 984
33
- � 966
34
- � 950
35
- � 936
36
- � 927
37
- 的 921
38
- �� 921
39
- � 885
40
- � 876
41
- � 861
42
- � 831
43
- � 813
44
- � 803
45
- � 793
46
- � 771
47
- � 770
48
- � 764
49
- � 760
50
- �� 746
51
- � 745
52
- 中 739
53
- � 729
54
- 国 700
55
- �� 700
56
- � 695
57
- �� 692
58
- �� 678
59
- � 665
60
- 、 662
61
- � 644
62
- � 633
63
- �� 631
64
- � 627
65
- � 625
66
- 。 625
67
- � 623
68
- �� 621
69
- � 611
70
- ��� 606
71
- � 604
72
- � 603
73
- � 598
74
- � 584
75
- � 581
76
- � 563
77
- � 558
78
- � 549
79
- � 540
80
- � 523
81
- � 506
82
- � 468
83
- ��� 465
84
- � 447
85
- � 445
86
- � 439
87
- � 428
88
- � 423
89
- � 420
90
- � 416
91
- �� 415
92
- �� 389
93
- � 388
94
- � 388
95
- � 364
96
- � 360
97
- � 358
98
- � 354
99
- � 353
100
- � 342
101
- � 334
102
- � 330
103
- �� 329
104
- � 328
105
- �� 327
106
- � 327
107
- � 319
108
- ��� 308
109
- � 304
110
- �� 298
111
- �� 296
112
- �� 296
113
- � 296
114
- � 289
115
- � 285
116
- � 282
117
- � 282
118
- 和 281
119
- ��� 281
120
- �� 281
121
- � 276
122
- ��� 276
123
- 民 273
124
- �� 273
125
- � 271
126
- � 263
127
- � 257
128
- � 251
129
- �� 251
130
- � 245
131
- ��� 243
132
- �� 232
133
- 在 231
134
- � 230
135
- _� 226
136
- �� 226
137
- �� 225
138
- �� 224
139
- � 223
140
- � 222
141
- �_ 221
142
- � 220
143
- ��_ 215
144
- � 214
145
- �� 212
146
- ��� 210
147
- 一 209
148
- �� 209
149
- �� 202
150
- 为 202
151
- �� 197
152
- 以 196
153
- �� 196
154
- � 195
155
- �� 191
156
- 了 191
157
- �� 188
158
- �� 187
159
- �� 187
160
- 年 187
161
- 人 187
1
+ _ 1426
2
+ 1372
3
+ 934
4
+ 735
5
+ 698
6
+ 670
7
+ 635
8
+ 中国 388
9
+ 284
10
+ 、、 273
11
+ 265
12
+ 233
13
+ 。_ 217
14
+ 214
15
+ 205
16
+ 204
17
+ 192
18
+ 186
19
+ 185
20
+ 185
162
21
  有 183
163
- �� 183
164
- ��� 183
165
- �� 182
166
- 是 182
167
- �� 182
168
- �� 181
169
- � 180
170
- �� 174
171
- �� 173
172
- � 173
22
+ 、、、 183
173
23
  代 172
174
- �� 172
175
- �� 169
176
- � 169
177
- �� 164
178
- �� 162
179
24
  大 161
180
- �� 161
181
- �� 161
182
- �� 158
183
- �� 158
184
- 157
185
- �� 157
186
- 157
187
- �� 157
188
- �� 156
189
- �� 155
190
- “ 155
191
- ” 155
192
- �� 154
193
- �� 153
194
- �� 153
195
- �� 153
196
- �� 149
197
- �� 147
198
- � 147
199
- � 147
200
- 时 145
201
- �� 145
202
- � 144
203
- � 144
204
- � 143
205
- 政 143
206
- �� 143
207
- ��� 141
208
- �� 141
209
- � 140
210
- � 140
211
- ��� 139
212
- �� 139
213
- �� 139
214
- �� 138
215
- 朝 138
216
- �� 138
217
- �� 137
218
- �� 136
219
- 后 136
220
- � 135
221
- � 135
222
- � 135
223
- �� 134
224
- �� 133
225
- _� 133
226
- �� 133
227
- � 132
228
- �� 132
229
- �� 132
230
- �� 132
25
+ 159
26
+ 156
27
+ 149
28
+ 149
29
+ 144
30
+ 138
31
+ 136
32
+ 134
231
33
  日 132
232
- �� 132
233
- 132
234
- 131
235
- ��� 129
236
- 128
237
- 128
238
- 127
239
- � 127
240
- ��� 126
241
- �� 126
242
- �� 125
243
- �� 125
244
- 等 125
245
- 之 125
246
- �� 123
247
- � 123
248
- �� 122
249
- � 121
250
- � 121
251
- �� 120
252
- �� 120
253
- _� 120
254
- � 119
255
- �� 119
256
- �� 118
257
- �� 118
258
- 國 118
259
- �� 117
260
- � 117
261
- �� 116
262
- �� 116
263
- � 115
264
- �� 114
265
- �� 113
266
- �� 113
267
- ��� 113
268
- _� 113
269
- � 113
270
- ��� 112
271
- � 111
272
- 族 111
273
- � 111
274
- �� 110
275
- �� 110
276
- 成 110
277
- �� 110
34
+ 132
35
+ 129
36
+ 129
37
+ 128
38
+ 115
39
+ 114
40
+ _年 113
278
41
  》 110
279
42
  《 109
280
- �� 109
281
- �� 109
282
- 109
283
- �� 109
284
- ��� 108
285
- ��� 108
286
- � 108
287
- �� 108
288
- � 107
289
- � 107
290
- �� 107
291
- �� 105
292
- �� 104
293
- �� 104
294
- �� 104
43
+ 105
44
+ 中华 103
45
+ 103
295
46
  : 103
296
- 上 103
297
- �� 103
298
- �� 102
299
- 方 102
300
- �� 102
301
- �� 102
302
- �� 102
303
47
  史 101
304
- ��� 101
305
- ��� 101
306
- �� 100
307
- �� 99
308
- 99
309
- �� 99
310
- 99
311
- 于 99
312
- 共 99
313
- _� 99
314
- �� 98
315
- ��� 98
316
- � 98
317
- �� 97
318
- �� 97
319
- 期 97
320
- 发 97
321
- � 97
322
- 立 96
323
- �� 96
324
- �� 95
325
- �� 95
326
- �� 94
327
- 化 93
328
- �� 93
329
- �� 93
48
+ 100
49
+ 99
50
+ ,中 99
51
+ 98
52
+ 98
53
+ 96
54
+ 93
330
55
  经 93
331
- �� 93
332
- �� 92
333
- �� 92
334
- �� 92
335
- �� 92
336
- �� 92
337
- 分 92
338
- 历 92
56
+ 93
57
+ 92
58
+ 92
59
+ 92
60
+ 91
339
61
  不 91
340
- �� 91
341
- 91
342
- �� 91
343
- �� 91
344
- �� 91
345
- �� 91
346
- � 91
347
- �� 91
348
- �� 91
349
- �� 91
350
- �� 91
351
- ( 91
352
- �� 91
353
- �� 90
354
- �� 90
355
- �� 90
356
- �� 89
357
- 月 89
358
- ��� 89
359
- 其 88
360
- �� 88
361
- �� 88
362
- ��� 88
363
- � 87
364
- �� 87
365
- �� 87
366
- �� 87
367
- ��� 87
368
- 主 87
369
- �� 87
370
- 而 87
371
- �� 87
372
- ��� 86
373
- �� 86
374
- 到 85
375
- �� 85
376
- �� 85
377
- �� 85
378
- �� 85
379
- �� 84
380
- �� 83
381
- � 83
382
- �� 83
383
- ��� 83
384
- � 83
385
- �� 83
386
- �� 82
387
- �� 82
388
- 家 81
389
- �� 81
390
- � 81
391
- �� 81
392
- � 80
393
- �� 80
394
- � 80
395
- 建 80
396
- �� 80
397
- � 80
398
- ��� 80
399
- �� 80
62
+ 88
63
+ 87
64
+ 86
65
+ 85
66
+ 84
67
+ 82
400
68
  前 80
69
+ 统 80
70
+ 世 79
71
+ 外 78
72
+ 也 77
73
+ 个 76
74
+ 自 76
75
+ 最 76
76
+ 治 75
77
+ 出 74
78
+ 汉 74
79
+ 称 73
80
+ 多 72
81
+ 学 72
82
+ 行 71
83
+ 古 71
84
+ 制 71
85
+ 民族 69
86
+ 文化 69
87
+ 并 69
88
+ _中 68
89
+ 现 68
90
+ 天 68
91
+ 及 66
92
+ 与 65
93
+ 区 65
94
+ 人民 65
95
+ 入 64
96
+ 法 63
97
+ 战 63
98
+ 」 63
99
+ 「 63
100
+ 共和 62
101
+ 开 62
102
+ 三 61
103
+ ,中国 61
104
+ 要 60
105
+ 来 60
106
+ 府 60
107
+ 政府 59
108
+ ; 59
109
+ 和国 58
110
+ 用 58
111
+ 民共和 57
112
+ 对 57
113
+ 人民共 57
114
+ 民共 57
115
+ 界 57
116
+ 西 56
117
+ 历史 56
118
+ 本 56
119
+ 明 56
120
+ 字 56
121
+ 华人 55
122
+ 共和国 55
123
+ 教 55
124
+ 国家 54
125
+ 华人民 54
126
+ 中华人 54
127
+ 十 53
128
+ 世界 53
129
+ 传 53
130
+ 《》 52
131
+ 各 52
132
+ 北 51
133
+ 第 51
134
+ 展 50
135
+ 国的 50
136
+ 。中 49
137
+ 清 49
138
+ 建立 49
139
+ 地区 49
140
+ 被 49
141
+ 定 49
142
+ 同 49
143
+ 所 48
144
+ 重 48
145
+ 為 48
146
+ 始 47
147
+ 二 47
148
+ ,并 47
149
+ 会 46
150
+ 度 46
151
+ 如 46
152
+ 作 45
153
+ 系 45
154
+ 台 45
155
+ 王 45
156
+ 交 45
157
+ 下 44
158
+ 、等 44
159
+ 部 43
160
+ 过 43
161
+ 但 43
162
+ 南 43
163
+ 关 42
164
+ 平 42
165
+ 次 42
166
+ 中國 42
167
+ 生 42
168
+ 至 42
169
+ 初 42
170
+ 内 42
171
+ 体 42
172
+ 四 41
173
+ _中国 41
174
+ ,以 41
175
+ 时期 40
176
+ 此 40
177
+ 进 40
178
+ 发展 40
179
+ ,_ 40
180
+ 夏 40
181
+ 正 39
182
+ 义 39
183
+ 華 39
184
+ 的, 39
185
+ 社 39
186
+ 由 39
187
+ 实 39
188
+ _: 38
189
+ 数 38
190
+ 使 38
191
+ 长 38
192
+ 领 38
193
+ 起 38
194
+ 都 38
195
+ 民国 37
196
+ 还 37
197
+ 中华民 37
198
+ 得 37
199
+ 。中国 37
200
+ 华民 37
201
+ 目 37
202
+ 面 37
203
+ 权 37
204
+ 的中 37
205
+ 东 36
206
+ 济 36
207
+ _月 36
208
+ 经济 36
209
+ 日本 35
210
+ 开始 35
211
+ 当 35
212
+ 国, 35
213
+ 着 35
214
+ 全 35
215
+ 名 35
216
+ 中国的 35
217
+ 原 35
218
+ ,其 34
219
+ ,在 34
220
+ 周 34
221
+ 力 34
222
+ 古代 34
223
+ 近 33
224
+ ”, 33
225
+ 已 33
226
+ 五 33
227
+ 又 33
228
+ 后, 33
229
+ 今 33
230
+ 西方 33
231
+ 军 32
232
+ 帝 32
233
+ 两 32
234
+ 、、等 32
235
+ 中華 32
236
+ 高 32
237
+ 华民国 32
238
+ 口 31
239
+ “中 31
240
+ 间 31
241
+ 表 31
242
+ 通 31
243
+ 日, 31
244
+ 约 31
245
+ 事 31
246
+ 元 30
247
+ “” 30
248
+ _日 30
249
+ 湾 30
250
+ 公 30
251
+ ,但 30
252
+ 党 30
253
+ 台湾 30
254
+ 形 30
255
+ 域 29
256
+ 直 29
257
+ 节 29
258
+ 子 29
259
+ 土 29
260
+ 或 29
261
+ 认 29
262
+ 主要 29
263
+ _, 28
264
+ 受 28
265
+ 逐 28
266
+ 则 28
267
+ 王朝 28
268
+ 强 28
269
+ 这 28
270
+ 流 28
271
+ 然 27
272
+ 史上 27
273
+ 代中 27
274
+ 月_ 27
275
+ 目前 27
276
+ 取 27
277
+ 理 27
278
+ 陆 27
279
+ _月_ 27
280
+ 期, 27
281
+ 际 27
282
+ 》, 27
283
+ 、和 27
284
+ 文字 27
285
+ 从 26
286
+ 他 26
287
+ 社会 26
288
+ 据 26
289
+ 动 26
290
+ 位 26
291
+ 新 26
292
+ 影 26
293
+ 合 26
294
+ 早 26
295
+ 思 26
296
+ 种 26
297
+ ,而 26
298
+ 一个 26
299
+ 少 25
300
+ 以及 25
301
+ 渐 25
302
+ 接 25
303
+ 人口 25
304
+ 布 25
305
+ 「」 25
306
+ 式 25
307
+ 八 24
308
+ 假 24
309
+ 中華民 24
310
+ ,《 24
311
+ 常 24
312
+ 传统 24
313
+ 代表 24
314
+ 想 24
315
+ 華民 24
316
+ 争 24
317
+ 皇 23
318
+ 道 23
319
+ 夷 23
320
+ 華民國 23
321
+ 就 23
322
+ 思想 23
323
+ 书 23
324
+ 相 23
325
+ 千 23
326
+ 产 23
327
+ 加 23
328
+ 推 23
329
+ 汉族 23
330
+ 民國 23
331
+ 在中 23
332
+ 政治 22
333
+ 海 22
334
+ 可 22
335
+ 导 22
336
+ 放 22
337
+ 科 22
338
+ 即 22
339
+ 影响 22
340
+ 改 22
341
+ 部分 22
342
+ 特 22
343
+ 列 22
344
+ ), 22
345
+ 者 22
346
+ 第一 22
347
+ 以后 22
348
+ 是中 22
349
+ 响 22
350
+ 稱 21
351
+ 先 21
352
+ 大陆 21
353
+ 商 21
354
+ 成立 21
355
+ 後 21
356
+ 国际 21
357
+ 年的 21
358
+ 礼 21
359
+ 等。 21
360
+ 時 21
361
+ 总 21
362
+ 。在 21
363
+ 达 21
364
+ 逐渐 21
365
+ 成为 21
366
+ 组 21
367
+ 岸 21
368
+ 制度 21
369
+ 除 21
370
+ 因 21
371
+ 较 20
372
+ 之一 20
373
+ 代中国 20
374
+ 出现 20
375
+ 源 20
376
+ 均 20
377
+ 别 20
378
+ 於 20
379
+ 历史上 20
380
+ 月初 20
381
+ 年, 20
382
+ 六 20
383
+ 国” 20
384
+ 美 20
385
+ 包 20
386
+ 中国, 20
387
+ 河 19
388
+ ,中华 19
389
+ “中国 19
390
+ 持 19
391
+ 服 19
392
+ 版 19
393
+ 术 19
394
+ 居 19
395
+ 年代 19
396
+ 技 19
397
+ :_ 19
398
+ 非 19
399
+ 少数 19
400
+ 业 19