scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 20184
2
- 13193
3
- 11085
4
- 6271
5
- 6187
6
- 4811
7
- 4488
8
- _ 4266
9
- 3670
10
- 2935
11
- 2486
12
- 2486
13
- 2136
14
- 2083
15
- 2033
16
- 2004
17
- 1968
18
- 1677
19
- 1676
20
- 1647
21
- �� 1544
22
- 1537
23
- �� 1523
24
- 1523
25
- 1496
26
- 1410
27
- 1400
28
- 1380
29
- 1262
30
- 1240
31
- 1232
32
- 1216
33
- 1192
34
- 1184
35
- 1172
36
- 1151
37
- �� 1144
38
- 1142
39
- 1094
40
- 1046
41
- 1039
42
- 1028
43
- 1021
44
- �� 1011
45
- 1007
46
- 1000
47
- 991
48
- 981
49
- �� 966
50
- 966
51
- 958
52
- �� 943
53
- 901
54
- 836
55
- 823
56
- 813
57
- 804
58
- 799
59
- 795
60
- �� 783
61
- 780
62
- 772
63
- 767
64
- 763
65
- �� 763
66
- �� 756
67
- 743
68
- �� 729
69
- 716
70
- �� 711
71
- 710
72
- 708
73
- 704
74
- �� 704
75
- 702
76
- 696
77
- 695
78
- 695
79
- 681
80
- �� 681
81
- 669
82
- �� 659
83
- 659
84
- 656
85
- �� 647
86
- �� 639
87
- �� 637
88
- 637
89
- �� 634
90
- �� 627
91
- 627
92
- 622
93
- 619
94
- 619
95
- �� 616
96
- 616
97
- 613
98
- �� 613
99
- 611
100
- �� 604
101
- 604
102
- し� 600
103
- ��� 600
104
- 596
105
- �� 591
106
- �� 589
107
- 584
108
- ��� 582
109
- る� 582
110
- 580
111
- �� 580
112
- 579
113
- �� 579
114
- 576
115
- �� 563
116
- 559
117
- �� 553
118
- 552
119
- 547
120
- �� 534
121
- い� 528
122
- ��� 528
123
- �� 519
124
- �� 518
125
- 515
126
- 513
127
- �� 513
128
- 513
129
- �� 513
130
- 510
131
- と� 509
132
- ��� 509
133
- �� 507
134
- �� 504
135
- 492
136
- �� 490
137
- 490
138
- 484
139
- ��� 483
140
- ��� 480
141
- 日� 480
142
- �� 471
143
- 470
144
- ��� 469
145
- 466
146
- �本 466
147
- ��� 465
148
- れ� 465
149
- �� 461
150
- _� 458
151
- �� 455
152
- _� 450
153
- �� 449
154
- 446
155
- 445
156
- た� 444
157
- ��� 444
158
- �� 439
159
- 436
160
- �� 434
161
- な� 420
162
- ��� 420
163
- ��� 419
164
- �� 419
165
- �� 416
166
- ��� 407
167
- の� 407
168
- ��� 402
169
- に� 402
170
- �� 395
171
- て� 392
172
- ��� 392
173
- �� 383
174
- ��� 382
175
- �� 373
176
- ��� 373
177
- 373
178
- 372
179
- は� 372
180
- �� 369
181
- 、� 369
182
- ��� 367
183
- で� 367
184
- �� 366
185
- �� 365
186
- 364
187
- ��� 360
188
- �_ 359
189
- �� 358
190
- �� 358
191
- �� 356
192
- �� 355
193
- ��� 349
194
- 347
195
- �� 347
196
- �� 345
197
- �。 342
198
- �� 338
199
- �� 336
200
- ��� 335
201
- 、� 335
202
- �� 335
203
- 334
204
- �� 333
205
- �� 333
206
- �� 330
207
- �� 330
208
- 329
209
- �� 329
210
- ��� 329
211
- 328
212
- �� 327
213
- �� 324
214
- ��� 323
215
- �� 323
216
- 323
217
- �� 321
218
- あ� 320
219
- 320
220
- �� 316
221
- ��� 316
222
- 316
223
- �� 315
224
- �� 313
225
- 、� 313
226
- ��� 313
227
- 311
228
- 311
229
- �� 311
230
- �� 309
231
- �� 309
232
- �� 307
233
- ��� 306
234
- 国� 306
235
- ��� 305
236
- の� 305
237
- �� 305
238
- �、 302
239
- 298
240
- ��� 297
241
- ��� 284
242
- �� 281
243
- �� 278
244
- �� 277
245
- �� 276
246
- ��� 274
247
- 273
248
- �� 273
249
- �� 272
250
- 272
251
- �� 270
252
- 270
253
- ��� 269
254
- か� 268
255
- 263
256
- 262
257
- �� 262
258
- ��� 261
259
- す� 261
260
- ��� 255
261
- �� 254
262
- �� 253
263
- �_ 252
264
- ��� 252
265
- �� 251
266
- ��� 250
267
- 本� 250
268
- ��� 250
269
- 」� 249
270
- �� 246
271
- �� 246
272
- ��� 246
273
- �て 246
274
- ��_ 245
275
- 245
276
- 。_ 245
277
- 245
278
- ��� 244
279
- )� 242
280
- �る 242
281
- �� 241
282
- ��� 239
283
- �� 238
284
- 238
285
- 238
286
- �� 237
287
- っ� 237
288
- �� 237
289
- 237
290
- �� 236
291
- _� 236
292
- �� 236
293
- 235
294
- �� 235
295
- �� 235
296
- 233
297
- 233
298
- �い 232
299
- _年 231
300
- 230
301
- 230
302
- �� 229
303
- ��� 229
304
- �� 225
305
- ��� 224
306
- �� 223
307
- �� 223
308
- �� 223
309
- �� 222
310
- �� 220
311
- に� 220
312
- �� 219
313
- ��� 218
314
- 217
315
- 215
316
- ��� 215
317
- さ� 215
318
- �る 214
319
- �� 210
320
- 210
321
- ら� 209
322
- ��� 209
323
- ��� 208
324
- �� 207
325
- 205
326
- 205
327
- _� 203
328
- ��� 202
329
- ��� 201
330
- �� 199
331
- �� 199
332
- 197
333
- �� 197
334
- �� 196
335
- �� 195
336
- ��� 194
337
- ��� 193
338
- �る 193
339
- �� 193
340
- 193
341
- 193
342
- �� 192
343
- �� 192
344
- �� 191
345
- ��� 191
346
- 191
347
- ア� 191
348
- ��� 191
349
- が� 191
350
- �� 190
351
- 190
352
- �� 188
353
- �� 188
354
- _� 187
355
- ��� 187
356
- �� 185
357
- �� 185
358
- �� 185
359
- �れ 185
360
- �� 182
361
- �� 182
362
- �� 182
363
- 181
364
- �あ 181
365
- �� 180
366
- 180
367
- �ら 179
368
- の� 179
369
- ��� 179
370
- ��� 179
371
- 178
372
- �� 178
373
- 177
374
- 177
375
- ��� 176
376
- �� 176
377
- が� 176
378
- 174
379
- こ� 174
380
- �� 172
381
- �� 172
382
- �� 172
383
- 172
384
- �� 171
385
- �� 171
386
- ��� 171
387
- の� 171
388
- 年� 170
389
- ��� 170
390
- を� 170
391
- �� 170
392
- ��� 170
393
- ��� 169
394
- �� 169
395
- �� 169
396
- 。� 168
397
- ��� 168
398
- 167
399
- 167
400
- �� 166
1
+ _ 3366
2
+ 2406
3
+ 2299
4
+ 1574
5
+ 1516
6
+ 1157
7
+ 1136
8
+ 1071
9
+ 962
10
+ 962
11
+ 957
12
+ 928
13
+ 920
14
+ 915
15
+ 907
16
+ 828
17
+ 751
18
+ 689
19
+ 640
20
+ る。 605
21
+ 574
22
+ 548
23
+ 544
24
+ 日本 521
25
+ 494
26
+ 481
27
+ 472
28
+ は、 434
29
+ 418
30
+ 418
31
+ 414
32
+ 404
33
+ てい 389
34
+ して 382
35
+ 380
36
+ 。_ 370
37
+ 367
38
+ 359
39
+ する 351
40
+ 350
41
+ ある 348
42
+ いる 324
43
+ 310
44
+ され 309
45
+ ている 307
46
+ _年 302
47
+ 294
48
+ であ 290
49
+ 272
50
+ 270
51
+ など 268
52
+ 267
53
+ 260
54
+ 256
55
+ た。 245
56
+ から 240
57
+ 233
58
+ 232
59
+ した 228
60
+ 225
61
+ いる。 224
62
+ である 221
63
+ る。_ 219
64
+ 208
65
+ 202
66
+ 200
67
+ ある。 193
68
+ り、 188
69
+ 187
70
+ とし 176
71
+ れて 174
72
+ によ 174
73
+ れる 173
74
+ って 173
75
+ し、 165
76
+ った 163
77
+ 160
78
+ として 157
79
+ 152
80
+ 151
81
+ 148
82
+ 146
83
+ が、 145
84
+ 143
85
+ れた 139
86
+ 139
87
+ 137
88
+ れてい 136
89
+ 136
90
+ 、_ 135
91
+ 133
92
+ 年) 131
93
+ 130
94
+ 、日 130
95
+ _年) 129
96
+ こと 126
97
+ ない 126
98
+ 126
99
+ 125
100
+ してい 125
101
+ 125
102
+ 124
103
+ 122
104
+ 120
105
+ られ 119
106
+ 、日本 119
107
+ 119
108
+ 117
109
+ では 116
110
+ 114
111
+ 112
112
+ 111
113
+ 110
114
+ 108
115
+ 108
116
+ 107
117
+ 106
118
+ 105
119
+ 104
120
+ 104
121
+ 102
122
+ 102
123
+ 102
124
+ 101
125
+ 101
126
+ される 99
127
+ いて 99
128
+ 98
129
+ 本の 97
130
+ 97
131
+ 97
132
+ 97
133
+ 96
134
+ 95
135
+ 世界 95
136
+ されて 94
137
+ には 94
138
+ 」と 94
139
+ 94
140
+ 、、 93
141
+ 93
142
+ あり 92
143
+ 的な 92
144
+ 92
145
+ 日本の 92
146
+ また 92
147
+ との 92
148
+ 91
149
+ い。 90
150
+ 90
151
+ 90
152
+ 90
153
+ 90
154
+ 90
155
+ () 89
156
+ 89
157
+ とな 89
158
+ 88
159
+ 88
160
+ 88
161
+ 87
162
+ 86
163
+ 86
164
+ 86
165
+ どの 85
166
+ 84
167
+ なっ 83
168
+ あり、 83
169
+ )_ 82
170
+ 82
171
+ 82
172
+ 81
173
+ 81
174
+ などの 81
175
+ るが 80
176
+ 「日 80
177
+ した。 80
178
+ 79
179
+ 79
180
+ 79
181
+ 79
182
+ 79
183
+ その 78
184
+ 的に 78
185
+ ってい 77
186
+ 中国 77
187
+ _月 77
188
+ 、「 77
189
+ 関係 77
190
+ 77
191
+ _日 76
192
+ 76
193
+ された 75
194
+ 74
195
+ れる。 74
196
+ いた 74
197
+ 文化 74
198
+ た、 74
199
+ 73
200
+ )の 73
201
+ 72
202
+ _( 72
203
+ 71
204
+ 71
205
+ ため 71
206
+ 国の 71
207
+ 成_ 71
208
+ また、 71
209
+ これ 71
210
+ 69
211
+ 平成 69
212
+ 69
213
+ 平成_ 69
214
+ 69
215
+ った。 68
216
+ 68
217
+ )に 68
218
+ 67
219
+ たが 67
220
+ 67
221
+ があ 67
222
+ 67
223
+ 、( 67
224
+ 66
225
+ 「日本 66
226
+ 66
227
+ 65
228
+ より 65
229
+ 年_ 65
230
+ 65
231
+ れ、 64
232
+ による 64
233
+ るこ 64
234
+ 64
235
+ 「」 64
236
+ 64
237
+ ること 64
238
+ よる 64
239
+ 64
240
+ 64
241
+ 63
242
+ とす 63
243
+ にお 63
244
+ ると 63
245
+ 63
246
+ とする 63
247
+ 63
248
+ _「 62
249
+ 62
250
+ 。ま 62
251
+ _年_ 62
252
+ 62
253
+ 61
254
+ 61
255
+ 61
256
+ 。また 61
257
+ 、そ 60
258
+ 60
259
+ 60
260
+ 現在 60
261
+ する。 60
262
+ 60
263
+ らの 59
264
+ (平 59
265
+ 国と 59
266
+ (平成 58
267
+ 58
268
+ 58
269
+ 57
270
+ め、 57
271
+ 56
272
+ に、 56
273
+ 56
274
+ 、の 56
275
+ となっ 56
276
+ 経済 56
277
+ とい 56
278
+ たが、 55
279
+ 55
280
+ 55
281
+ の_ 55
282
+ 55
283
+ まで 55
284
+ 55
285
+ 54
286
+ であり 54
287
+ 54
288
+ 53
289
+ 53
290
+ _、 53
291
+ 53
292
+ 多く 53
293
+ るが、 53
294
+ 、こ 53
295
+ 53
296
+ われ 52
297
+ もの 52
298
+ 52
299
+ 52
300
+ とも 52
301
+ リカ 52
302
+ 、など 52
303
+ 、な 52
304
+ 52
305
+ 、に 51
306
+ 51
307
+ く、 51
308
+ 51
309
+ 51
310
+ 51
311
+ 51
312
+ 51
313
+ 、が 51
314
+ 51
315
+ 50
316
+ 第_ 50
317
+ ていた 50
318
+ 49
319
+ 49
320
+ た。_ 49
321
+ よっ 49
322
+ よって 49
323
+ て、 49
324
+ 49
325
+ )、 49
326
+ 48
327
+ によっ 48
328
+ 48
329
+ 48
330
+ 以降 48
331
+ 47
332
+ では、 47
333
+ いう 47
334
+ 47
335
+ ため、 47
336
+ 47
337
+ 47
338
+ 。こ 47
339
+ _位 47
340
+ 47
341
+ 47
342
+ 46
343
+ 」の 46
344
+ ては 46
345
+ )。 46
346
+ への 46
347
+ 46
348
+ もあ 46
349
+ 46
350
+ の日 46
351
+ という 45
352
+ この 45
353
+ 45
354
+ 45
355
+ にあ 45
356
+ メリ 45
357
+ 45
358
+ で、 45
359
+ に対 45
360
+ 45
361
+ 約_ 45
362
+ 、、、 44
363
+ 44
364
+ 国」 44
365
+ ない。 44
366
+ 、国 44
367
+ アメリ 44
368
+ アメ 44
369
+ 。日 44
370
+ (_ 44
371
+ メリカ 44
372
+ れた。 44
373
+ 昭和_ 43
374
+ 43
375
+ により 43
376
+ 昭和 43
377
+ 43
378
+ 日本国 43
379
+ 本国 43
380
+ 43
381
+ 43
382
+ 43
383
+ がある 43
384
+ ける 43
385
+ 和_ 43
386
+ なった 43
387
+ (昭和 43
388
+ にも 43
389
+ (昭 43
390
+ 日本は 42
391
+ での 42
392
+ 42
393
+ _人 42
394
+ にな 42
395
+ 地域 42
396
+ 42
397
+ 本は 42
398
+ 42
399
+ るの 42
400
+ 問題 42