scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 27394
2
- 18832
3
- 15876
4
- 8087
5
- 7143
6
- 5707
7
- 5360
8
- 5259
9
- 4417
10
- 3312
11
- _ 3158
12
- 3139
13
- 2797
14
- 2629
15
- 2397
16
- 2345
17
- �� 2280
18
- 2271
19
- 2169
20
- �� 2169
21
- 1980
22
- 1957
23
- 1954
24
- 1933
25
- 1904
26
- 1896
27
- 1702
28
- �� 1690
29
- 1669
30
- 1645
31
- 1609
32
- 1569
33
- 1510
34
- �� 1472
35
- 1470
36
- 1431
37
- �� 1430
38
- 1418
39
- �� 1418
40
- 1413
41
- 1396
42
- 1388
43
- 1320
44
- 1313
45
- 1295
46
- 1282
47
- 1276
48
- 1274
49
- 1216
50
- 1213
51
- 1188
52
- �� 1178
53
- 1168
54
- �� 1155
55
- �� 1150
56
- 1132
57
- 1090
58
- �� 1090
59
- 1075
60
- �� 1051
61
- 1051
62
- 1039
63
- �� 1035
64
- �� 1019
65
- ��� 1007
66
- �� 995
67
- 995
68
- 966
69
- 958
70
- 936
71
- 926
72
- 922
73
- 908
74
- 905
75
- 903
76
- 892
77
- �� 892
78
- �� 884
79
- 884
80
- �� 876
81
- 876
82
- 873
83
- 871
84
- �� 867
85
- 867
86
- 867
87
- �� 861
88
- 861
89
- 857
90
- �� 857
91
- ��� 850
92
- �� 848
93
- �� 847
94
- 842
95
- �� 838
96
- 838
97
- 837
98
- ��� 834
99
- �� 814
100
- �� 812
101
- �� 807
102
- �� 795
103
- 789
104
- �� 778
105
- 778
106
- ��� 767
107
- 756
108
- 756
109
- 747
110
- 746
111
- ��� 743
112
- �� 743
113
- 733
114
- �� 707
115
- �� 691
116
- 690
117
- �� 690
118
- ��� 679
119
- 676
120
- 671
121
- ��� 670
122
- 668
123
- �� 666
124
- 662
125
- �� 661
126
- 656
127
- ��� 655
128
- 654
129
- ��� 653
130
- �� 644
131
- 644
132
- �� 642
133
- 642
134
- �� 639
135
- �� 635
136
- �� 624
137
- 623
138
- �� 623
139
- 614
140
- 608
141
- �� 608
142
- ��� 603
143
- �� 602
144
- 596
145
- ��� 579
146
- �� 566
147
- ��� 565
148
- �� 557
149
- �� 556
150
- �� 553
151
- 549
152
- 546
153
- �� 545
154
- �� 543
155
- 543
156
- �� 542
157
- �� 542
158
- 542
159
- 537
160
- �� 534
161
- 525
162
- 521
163
- �� 521
164
- 520
165
- ��� 517
166
- 516
167
- 509
168
- ��� 501
169
- �� 495
170
- �� 492
171
- 485
172
- �� 485
173
- �� 482
174
- _� 477
175
- 476
176
- ��� 467
177
- �� 467
178
- �� 464
179
- 463
180
- 463
181
- �� 462
182
- �� 459
183
- �� 456
184
- �� 453
185
- 451
186
- �� 451
187
- �� 450
188
- �� 436
189
- 433
190
- ��� 426
191
- �� 417
192
- �� 408
193
- �� 406
194
- ��� 403
195
- �� 402
196
- 402
197
- 402
198
- �� 395
199
- �� 393
200
- �� 392
201
- �� 388
202
- �� 386
203
- �� 382
204
- _� 382
205
- 381
206
- �� 381
207
- 379
208
- 378
209
- �� 376
210
- �� 375
211
- ��� 374
212
- ��� 374
213
- 373
214
- ��� 372
215
- �� 371
216
- 369
217
- ��� 369
218
- �� 367
219
- 366
220
- �� 364
221
- 356
222
- �� 356
223
- �_ 355
224
- �� 352
225
- ��_ 351
226
- �� 350
227
- 350
228
- �� 348
229
- �� 348
230
- ��� 348
231
- �� 338
232
- �� 337
233
- �� 336
234
- �� 336
235
- 335
236
- ��� 334
237
- �� 333
238
- �� 333
239
- ��� 332
240
- �� 331
241
- 329
242
- ��� 326
243
- 317
244
- 317
245
- ��� 312
246
- �� 312
247
- �� 312
248
- ��� 305
249
- 303
250
- �� 302
251
- ��� 300
252
- ��� 297
253
- �� 293
254
- ��� 292
255
- �� 292
256
- 291
257
- 291
258
- �� 290
259
- �� 289
260
- 286
261
- _� 286
262
- 284
263
- �� 281
264
- 280
265
- ��� 279
266
- �� 279
267
- �� 275
268
- 275
269
- 272
270
- �� 269
271
- ��� 269
272
- �� 268
273
- 268
274
- �� 266
275
- 266
276
- �� 266
277
- �� 264
278
- �� 260
279
- 259
280
- �� 258
281
- �� 257
282
- �� 256
283
- 256
284
- 253
285
- 253
286
- 252
287
- �� 249
288
- 248
289
- �� 246
290
- �� 246
291
- 245
292
- �� 245
293
- �� 245
294
- ��� 243
295
- �� 242
296
- �� 242
297
- 242
298
- �� 240
299
- �� 239
300
- 239
301
- ��� 239
302
- ��� 238
303
- �� 236
304
- �� 233
305
- �� 232
306
- �� 232
307
- 229
308
- ��� 229
309
- ��� 228
310
- ��� 225
311
- ��� 221
312
- _� 221
313
- �� 220
314
- �� 218
315
- 218
316
- �� 218
317
- �� 217
318
- 216
319
- �� 216
320
- �� 216
321
- �� 215
322
- �� 214
323
- 213
324
- 211
325
- �� 210
326
- �� 209
327
- �� 209
328
- ��� 208
329
- 207
330
- �� 206
331
- �� 205
332
- �� 205
333
- �� 203
334
- 202
335
- �� 200
336
- �� 200
337
- �� 200
338
- 199
339
- �� 198
340
- ��� 197
341
- _� 196
342
- �� 196
343
- �� 195
344
- �� 194
345
- ��� 193
346
- ��� 193
347
- ��� 192
348
- �� 190
349
- �� 190
350
- 189
351
- �� 189
352
- �� 186
353
- �� 186
354
- 186
355
- 185
356
- �� 185
357
- �� 184
358
- �� 184
359
- �� 184
360
- �� 183
361
- �� 180
362
- �� 179
363
- ��� 179
364
- 179
365
- ��� 179
366
- ��� 178
367
- 177
368
- �� 177
369
- �� 174
370
- �� 172
371
- �� 169
372
- 165
373
- �� 165
374
- �� 163
375
- 163
376
- �� 163
377
- �� 162
378
- _� 162
379
- 161
380
- �� 160
381
- 160
382
- �� 159
383
- 158
384
- �� 158
385
- �� 158
386
- �� 156
387
- �� 155
388
- �� 155
389
- �� 154
390
- �� 154
391
- 153
392
- �� 153
393
- ��� 151
394
- 151
395
- 151
396
- �� 149
397
- �� 149
398
- 148
399
- _� 148
400
- 148
1
+ _ 3366
2
+ 2406
3
+ 2299
4
+ 1574
5
+ 1516
6
+ 1157
7
+ 1136
8
+ 1071
9
+ 962
10
+ 962
11
+ 957
12
+ 928
13
+ 920
14
+ 915
15
+ 907
16
+ 828
17
+ 751
18
+ 689
19
+ 640
20
+ る。 605
21
+ 574
22
+ 548
23
+ 544
24
+ 日本 521
25
+ 494
26
+ 481
27
+ 472
28
+ は、 434
29
+ 418
30
+ 418
31
+ 414
32
+ 404
33
+ てい 389
34
+ して 382
35
+ 380
36
+ 。_ 370
37
+ 367
38
+ 359
39
+ する 351
40
+ 350
41
+ ある 348
42
+ いる 324
43
+ 310
44
+ され 309
45
+ ている 307
46
+ _年 302
47
+ 294
48
+ であ 290
49
+ 272
50
+ 270
51
+ など 268
52
+ 267
53
+ 260
54
+ 256
55
+ た。 245
56
+ から 240
57
+ 233
58
+ 232
59
+ した 228
60
+ 225
61
+ いる。 224
62
+ である 221
63
+ る。_ 219
64
+ 208
65
+ 202
66
+ 200
67
+ ある。 193
68
+ り、 188
69
+ 187
70
+ とし 176
71
+ れて 174
72
+ によ 174
73
+ れる 173
74
+ って 173
75
+ し、 165
76
+ った 163
77
+ 160
78
+ として 157
79
+ 152
80
+ 151
81
+ 148
82
+ 146
83
+ が、 145
84
+ 143
85
+ れた 139
86
+ 139
87
+ 137
88
+ れてい 136
89
+ 136
90
+ 、_ 135
91
+ 133
92
+ 年) 131
93
+ 130
94
+ 、日 130
95
+ _年) 129
96
+ こと 126
97
+ ない 126
98
+ 126
99
+ 125
100
+ してい 125
101
+ 125
102
+ 124
103
+ 122
104
+ 120
105
+ られ 119
106
+ 、日本 119
107
+ 119
108
+ 117
109
+ では 116
110
+ 114
111
+ 112
112
+ 111
113
+ 110
114
+ 108
115
+ 108
116
+ 107
117
+ 106
118
+ 105
119
+ 104
120
+ 104
121
+ 102
122
+ 102
123
+ 102
124
+ 101
125
+ 101
126
+ される 99
127
+ いて 99
128
+ 98
129
+ 本の 97
130
+ 97
131
+ 97
132
+ 97
133
+ 96
134
+ 95
135
+ 世界 95
136
+ されて 94
137
+ には 94
138
+ 」と 94
139
+ 94
140
+ 、、 93
141
+ 93
142
+ あり 92
143
+ 的な 92
144
+ 92
145
+ 日本の 92
146
+ また 92
147
+ との 92
148
+ 91
149
+ い。 90
150
+ 90
151
+ 90
152
+ 90
153
+ 90
154
+ 90
155
+ () 89
156
+ 89
157
+ とな 89
158
+ 88
159
+ 88
160
+ 88
161
+ 87
162
+ 86
163
+ 86
164
+ 86
165
+ どの 85
166
+ 84
167
+ なっ 83
168
+ あり、 83
169
+ )_ 82
170
+ 82
171
+ 82
172
+ 81
173
+ 81
174
+ などの 81
175
+ るが 80
176
+ 「日 80
177
+ した。 80
178
+ 79
179
+ 79
180
+ 79
181
+ 79
182
+ 79
183
+ その 78
184
+ 的に 78
185
+ ってい 77
186
+ 中国 77
187
+ _月 77
188
+ 、「 77
189
+ 関係 77
190
+ 77
191
+ _日 76
192
+ 76
193
+ された 75
194
+ 74
195
+ れる。 74
196
+ いた 74
197
+ 文化 74
198
+ た、 74
199
+ 73
200
+ )の 73
201
+ 72
202
+ _( 72
203
+ 71
204
+ 71
205
+ ため 71
206
+ 国の 71
207
+ 成_ 71
208
+ また、 71
209
+ これ 71
210
+ 69
211
+ 平成 69
212
+ 69
213
+ 平成_ 69
214
+ 69
215
+ った。 68
216
+ 68
217
+ )に 68
218
+ 67
219
+ たが 67
220
+ 67
221
+ があ 67
222
+ 67
223
+ 、( 67
224
+ 66
225
+ 「日本 66
226
+ 66
227
+ 65
228
+ より 65
229
+ 年_ 65
230
+ 65
231
+ れ、 64
232
+ による 64
233
+ るこ 64
234
+ 64
235
+ 「」 64
236
+ 64
237
+ ること 64
238
+ よる 64
239
+ 64
240
+ 64
241
+ 63
242
+ とす 63
243
+ にお 63
244
+ ると 63
245
+ 63
246
+ とする 63
247
+ 63
248
+ _「 62
249
+ 62
250
+ 。ま 62
251
+ _年_ 62
252
+ 62
253
+ 61
254
+ 61
255
+ 61
256
+ 。また 61
257
+ 、そ 60
258
+ 60
259
+ 60
260
+ 現在 60
261
+ する。 60
262
+ 60
263
+ らの 59
264
+ (平 59
265
+ 国と 59
266
+ (平成 58
267
+ 58
268
+ 58
269
+ 57
270
+ め、 57
271
+ 56
272
+ に、 56
273
+ 56
274
+ 、の 56
275
+ となっ 56
276
+ 経済 56
277
+ とい 56
278
+ たが、 55
279
+ 55
280
+ 55
281
+ の_ 55
282
+ 55
283
+ まで 55
284
+ 55
285
+ 54
286
+ であり 54
287
+ 54
288
+ 53
289
+ 53
290
+ _、 53
291
+ 53
292
+ 多く 53
293
+ るが、 53
294
+ 、こ 53
295
+ 53
296
+ われ 52
297
+ もの 52
298
+ 52
299
+ 52
300
+ とも 52
301
+ リカ 52
302
+ 、など 52
303
+ 、な 52
304
+ 52
305
+ 、に 51
306
+ 51
307
+ く、 51
308
+ 51
309
+ 51
310
+ 51
311
+ 51
312
+ 51
313
+ 、が 51
314
+ 51
315
+ 50
316
+ 第_ 50
317
+ ていた 50
318
+ 49
319
+ 49
320
+ た。_ 49
321
+ よっ 49
322
+ よって 49
323
+ て、 49
324
+ 49
325
+ )、 49
326
+ 48
327
+ によっ 48
328
+ 48
329
+ 48
330
+ 以降 48
331
+ 47
332
+ では、 47
333
+ いう 47
334
+ 47
335
+ ため、 47
336
+ 47
337
+ 47
338
+ 。こ 47
339
+ _位 47
340
+ 47
341
+ 47
342
+ 46
343
+ 」の 46
344
+ ては 46
345
+ )。 46
346
+ への 46
347
+ 46
348
+ もあ 46
349
+ 46
350
+ の日 46
351
+ という 45
352
+ この 45
353
+ 45
354
+ 45
355
+ にあ 45
356
+ メリ 45
357
+ 45
358
+ で、 45
359
+ に対 45
360
+ 45
361
+ 約_ 45
362
+ 、、、 44
363
+ 44
364
+ 国」 44
365
+ ない。 44
366
+ 、国 44
367
+ アメリ 44
368
+ アメ 44
369
+ 。日 44
370
+ (_ 44
371
+ メリカ 44
372
+ れた。 44
373
+ 昭和_ 43
374
+ 43
375
+ により 43
376
+ 昭和 43
377
+ 43
378
+ 日本国 43
379
+ 本国 43
380
+ 43
381
+ 43
382
+ 43
383
+ がある 43
384
+ ける 43
385
+ 和_ 43
386
+ なった 43
387
+ (昭和 43
388
+ にも 43
389
+ (昭 43
390
+ 日本は 42
391
+ での 42
392
+ 42
393
+ _人 42
394
+ にな 42
395
+ 地域 42
396
+ 42
397
+ 本は 42
398
+ 42
399
+ るの 42
400
+ 問題 42