scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 20184
2
- 13193
3
- 11085
4
- 6271
5
- 6187
6
- 4811
7
- 4488
8
- _ 4266
9
- 3670
10
- 2935
11
- 2486
12
- 2486
13
- 2136
14
- 2083
15
- 2033
16
- 2004
17
- 1968
18
- 1677
19
- 1676
20
- 1647
21
- �� 1544
22
- 1537
23
- �� 1523
24
- 1523
25
- 1496
26
- 1410
27
- 1400
28
- 1380
29
- 1262
30
- 1240
31
- 1232
32
- 1216
33
- 1192
34
- 1184
35
- 1172
36
- 1151
37
- �� 1144
38
- 1142
39
- 1094
40
- 1046
41
- 1039
42
- 1028
43
- 1021
44
- �� 1011
45
- 1007
46
- 1000
47
- 991
48
- 981
49
- �� 966
50
- 966
51
- 958
52
- �� 943
53
- 901
54
- 836
55
- 823
56
- 813
57
- 804
58
- 799
59
- 795
60
- �� 783
61
- 780
62
- 772
63
- 767
64
- 763
65
- �� 763
66
- �� 756
67
- 743
68
- �� 729
69
- 716
70
- �� 711
71
- 710
72
- 708
73
- 704
74
- �� 704
75
- 702
76
- 696
77
- 695
78
- 695
79
- 681
80
- �� 681
81
- 669
82
- �� 659
83
- 659
84
- 656
85
- �� 647
86
- �� 639
87
- �� 637
88
- 637
89
- �� 634
90
- �� 627
91
- 627
92
- 622
93
- 619
94
- 619
95
- �� 616
96
- 616
97
- 613
98
- �� 613
99
- 611
100
- �� 604
101
- 604
102
- し� 600
103
- ��� 600
104
- 596
105
- �� 591
106
- �� 589
107
- 584
108
- ��� 582
109
- る� 582
110
- 580
111
- �� 580
112
- 579
113
- �� 579
114
- 576
115
- �� 563
116
- 559
117
- �� 553
118
- 552
119
- 547
120
- �� 534
121
- い� 528
122
- ��� 528
123
- �� 519
124
- �� 518
125
- 515
126
- 513
127
- �� 513
128
- 513
129
- �� 513
130
- 510
131
- と� 509
132
- ��� 509
133
- �� 507
134
- �� 504
135
- 492
136
- �� 490
137
- 490
138
- 484
139
- ��� 483
140
- ��� 480
141
- 日� 480
142
- �� 471
143
- 470
144
- ��� 469
145
- 466
146
- �本 466
147
- ��� 465
148
- れ� 465
149
- �� 461
150
- _� 458
151
- �� 455
152
- _� 450
153
- �� 449
154
- 446
155
- 445
156
- た� 444
157
- ��� 444
158
- �� 439
159
- 436
160
- �� 434
161
- な� 420
162
- ��� 420
163
- ��� 419
164
- �� 419
165
- �� 416
166
- ��� 407
167
- の� 407
168
- ��� 402
169
- に� 402
170
- �� 395
171
- て� 392
172
- ��� 392
173
- �� 383
174
- ��� 382
175
- �� 373
176
- ��� 373
177
- 373
178
- 372
179
- は� 372
180
- �� 369
181
- 、� 369
182
- ��� 367
183
- で� 367
184
- �� 366
185
- �� 365
186
- 364
187
- ��� 360
188
- �_ 359
189
- �� 358
190
- �� 358
191
- �� 356
192
- �� 355
193
- ��� 349
194
- 347
195
- �� 347
196
- �� 345
197
- �。 342
198
- �� 338
199
- �� 336
200
- ��� 335
201
- 、� 335
202
- �� 335
203
- 334
204
- �� 333
205
- �� 333
206
- �� 330
207
- �� 330
208
- 329
209
- �� 329
210
- ��� 329
211
- 328
212
- �� 327
213
- �� 324
214
- ��� 323
215
- �� 323
216
- 323
217
- �� 321
218
- あ� 320
219
- 320
220
- �� 316
221
- ��� 316
222
- 316
223
- �� 315
224
- �� 313
225
- 、� 313
226
- ��� 313
227
- 311
228
- 311
229
- �� 311
230
- �� 309
231
- �� 309
232
- �� 307
233
- ��� 306
234
- 国� 306
235
- ��� 305
236
- の� 305
237
- �� 305
238
- �、 302
239
- 298
240
- ��� 297
241
- ��� 284
242
- �� 281
243
- �� 278
244
- �� 277
245
- �� 276
246
- ��� 274
247
- 273
248
- �� 273
249
- �� 272
250
- 272
251
- �� 270
252
- 270
253
- ��� 269
254
- か� 268
255
- 263
256
- 262
257
- �� 262
258
- ��� 261
259
- す� 261
260
- ��� 255
261
- �� 254
262
- �� 253
263
- �_ 252
264
- ��� 252
265
- �� 251
266
- ��� 250
267
- 本� 250
268
- ��� 250
269
- 」� 249
270
- �� 246
271
- �� 246
272
- ��� 246
273
- �て 246
274
- ��_ 245
275
- 245
276
- 。_ 245
277
- 245
278
- ��� 244
279
- )� 242
280
- �る 242
281
- �� 241
282
- ��� 239
283
- �� 238
284
- 238
285
- 238
286
- �� 237
287
- っ� 237
288
- �� 237
289
- 237
290
- �� 236
291
- _� 236
292
- �� 236
293
- 235
294
- �� 235
295
- �� 235
296
- 233
297
- 233
298
- �い 232
299
- _年 231
300
- 230
301
- 230
302
- �� 229
303
- ��� 229
304
- �� 225
305
- ��� 224
306
- �� 223
307
- �� 223
308
- �� 223
309
- �� 222
310
- �� 220
311
- に� 220
312
- �� 219
313
- ��� 218
314
- 217
315
- 215
316
- ��� 215
317
- さ� 215
318
- �る 214
319
- �� 210
320
- 210
321
- ら� 209
322
- ��� 209
323
- ��� 208
324
- �� 207
325
- 205
326
- 205
327
- _� 203
328
- ��� 202
329
- ��� 201
330
- �� 199
331
- �� 199
332
- 197
333
- �� 197
334
- �� 196
335
- �� 195
336
- ��� 194
337
- ��� 193
338
- �る 193
339
- �� 193
340
- 193
341
- 193
342
- �� 192
343
- �� 192
344
- �� 191
345
- ��� 191
346
- 191
347
- ア� 191
348
- ��� 191
349
- が� 191
350
- �� 190
351
- 190
352
- �� 188
353
- �� 188
354
- _� 187
355
- ��� 187
356
- �� 185
357
- �� 185
358
- �� 185
359
- �れ 185
360
- �� 182
361
- �� 182
362
- �� 182
363
- 181
364
- �あ 181
365
- �� 180
366
- 180
367
- �ら 179
368
- の� 179
369
- ��� 179
370
- ��� 179
371
- 178
372
- �� 178
373
- 177
374
- 177
375
- ��� 176
376
- �� 176
377
- が� 176
378
- 174
379
- こ� 174
380
- �� 172
381
- �� 172
382
- �� 172
383
- 172
384
- �� 171
385
- �� 171
386
- ��� 171
387
- の� 171
388
- 年� 170
389
- ��� 170
390
- を� 170
391
- �� 170
392
- ��� 170
393
- ��� 169
394
- �� 169
395
- �� 169
396
- 。� 168
397
- ��� 168
398
- 167
399
- 167
400
- �� 166
1
+ _ 3366
2
+ 2406
3
+ 2299
4
+ 1574
5
+ 1516
6
+ 1157
7
+ 1136
8
+ 1071
9
+ 962
10
+ 962
11
+ 957
12
+ 928
13
+ 920
14
+ 915
15
+ 907
16
+ 828
17
+ 751
18
+ 689
19
+ 640
20
+ る。 605
21
+ 574
22
+ 548
23
+ 544
24
+ 日本 521
25
+ 494
26
+ 481
27
+ 472
28
+ は、 434
29
+ 418
30
+ 418
31
+ 414
32
+ 404
33
+ てい 389
34
+ して 382
35
+ 380
36
+ 。_ 370
37
+ 367
38
+ 359
39
+ する 351
40
+ 350
41
+ ある 348
42
+ いる 324
43
+ 310
44
+ され 309
45
+ ている 307
46
+ _年 302
47
+ 294
48
+ であ 290
49
+ 272
50
+ 270
51
+ など 268
52
+ 267
53
+ 260
54
+ 256
55
+ た。 245
56
+ から 240
57
+ 233
58
+ 232
59
+ した 228
60
+ 225
61
+ いる。 224
62
+ である 221
63
+ る。_ 219
64
+ 208
65
+ 202
66
+ 200
67
+ ある。 193
68
+ り、 188
69
+ 187
70
+ とし 176
71
+ れて 174
72
+ によ 174
73
+ れる 173
74
+ って 173
75
+ し、 165
76
+ った 163
77
+ 160
78
+ として 157
79
+ 152
80
+ 151
81
+ 148
82
+ 146
83
+ が、 145
84
+ 143
85
+ れた 139
86
+ 139
87
+ 137
88
+ れてい 136
89
+ 136
90
+ 、_ 135
91
+ 133
92
+ 年) 131
93
+ 130
94
+ 、日 130
95
+ _年) 129
96
+ こと 126
97
+ ない 126
98
+ 126
99
+ 125
100
+ してい 125
101
+ 125
102
+ 124
103
+ 122
104
+ 120
105
+ られ 119
106
+ 、日本 119
107
+ 119
108
+ 117
109
+ では 116
110
+ 114
111
+ 112
112
+ 111
113
+ 110
114
+ 108
115
+ 108
116
+ 107
117
+ 106
118
+ 105
119
+ 104
120
+ 104
121
+ 102
122
+ 102
123
+ 102
124
+ 101
125
+ 101
126
+ される 99
127
+ いて 99
128
+ 98
129
+ 本の 97
130
+ 97
131
+ 97
132
+ 97
133
+ 96
134
+ 95
135
+ 世界 95
136
+ されて 94
137
+ には 94
138
+ 」と 94
139
+ 94
140
+ 、、 93
141
+ 93
142
+ あり 92
143
+ 的な 92
144
+ 92
145
+ 日本の 92
146
+ また 92
147
+ との 92
148
+ 91
149
+ い。 90
150
+ 90
151
+ 90
152
+ 90
153
+ 90
154
+ 90
155
+ () 89
156
+ 89
157
+ とな 89
158
+ 88
159
+ 88
160
+ 88
161
+ 87
162
+ 86
163
+ 86
164
+ 86
165
+ どの 85
166
+ 84
167
+ なっ 83
168
+ あり、 83
169
+ )_ 82
170
+ 82
171
+ 82
172
+ 81
173
+ 81
174
+ などの 81
175
+ るが 80
176
+ 「日 80
177
+ した。 80
178
+ 79
179
+ 79
180
+ 79
181
+ 79
182
+ 79
183
+ その 78
184
+ 的に 78
185
+ ってい 77
186
+ 中国 77
187
+ _月 77
188
+ 、「 77
189
+ 関係 77
190
+ 77
191
+ _日 76
192
+ 76
193
+ された 75
194
+ 74
195
+ れる。 74
196
+ いた 74
197
+ 文化 74
198
+ た、 74
199
+ 73
200
+ )の 73
201
+ 72
202
+ _( 72
203
+ 71
204
+ 71
205
+ ため 71
206
+ 国の 71
207
+ 成_ 71
208
+ また、 71
209
+ これ 71
210
+ 69
211
+ 平成 69
212
+ 69
213
+ 平成_ 69
214
+ 69
215
+ った。 68
216
+ 68
217
+ )に 68
218
+ 67
219
+ たが 67
220
+ 67
221
+ があ 67
222
+ 67
223
+ 、( 67
224
+ 66
225
+ 「日本 66
226
+ 66
227
+ 65
228
+ より 65
229
+ 年_ 65
230
+ 65
231
+ れ、 64
232
+ による 64
233
+ るこ 64
234
+ 64
235
+ 「」 64
236
+ 64
237
+ ること 64
238
+ よる 64
239
+ 64
240
+ 64
241
+ 63
242
+ とす 63
243
+ にお 63
244
+ ると 63
245
+ 63
246
+ とする 63
247
+ 63
248
+ _「 62
249
+ 62
250
+ 。ま 62
251
+ _年_ 62
252
+ 62
253
+ 61
254
+ 61
255
+ 61
256
+ 。また 61
257
+ 、そ 60
258
+ 60
259
+ 60
260
+ 現在 60
261
+ する。 60
262
+ 60
263
+ らの 59
264
+ (平 59
265
+ 国と 59
266
+ (平成 58
267
+ 58
268
+ 58
269
+ 57
270
+ め、 57
271
+ 56
272
+ に、 56
273
+ 56
274
+ 、の 56
275
+ となっ 56
276
+ 経済 56
277
+ とい 56
278
+ たが、 55
279
+ 55
280
+ 55
281
+ の_ 55
282
+ 55
283
+ まで 55
284
+ 55
285
+ 54
286
+ であり 54
287
+ 54
288
+ 53
289
+ 53
290
+ _、 53
291
+ 53
292
+ 多く 53
293
+ るが、 53
294
+ 、こ 53
295
+ 53
296
+ われ 52
297
+ もの 52
298
+ 52
299
+ 52
300
+ とも 52
301
+ リカ 52
302
+ 、など 52
303
+ 、な 52
304
+ 52
305
+ 、に 51
306
+ 51
307
+ く、 51
308
+ 51
309
+ 51
310
+ 51
311
+ 51
312
+ 51
313
+ 、が 51
314
+ 51
315
+ 50
316
+ 第_ 50
317
+ ていた 50
318
+ 49
319
+ 49
320
+ た。_ 49
321
+ よっ 49
322
+ よって 49
323
+ て、 49
324
+ 49
325
+ )、 49
326
+ 48
327
+ によっ 48
328
+ 48
329
+ 48
330
+ 以降 48
331
+ 47
332
+ では、 47
333
+ いう 47
334
+ 47
335
+ ため、 47
336
+ 47
337
+ 47
338
+ 。こ 47
339
+ _位 47
340
+ 47
341
+ 47
342
+ 46
343
+ 」の 46
344
+ ては 46
345
+ )。 46
346
+ への 46
347
+ 46
348
+ もあ 46
349
+ 46
350
+ の日 46
351
+ という 45
352
+ この 45
353
+ 45
354
+ 45
355
+ にあ 45
356
+ メリ 45
357
+ 45
358
+ で、 45
359
+ に対 45
360
+ 45
361
+ 約_ 45
362
+ 、、、 44
363
+ 44
364
+ 国」 44
365
+ ない。 44
366
+ 、国 44
367
+ アメリ 44
368
+ アメ 44
369
+ 。日 44
370
+ (_ 44
371
+ メリカ 44
372
+ れた。 44
373
+ 昭和_ 43
374
+ 43
375
+ により 43
376
+ 昭和 43
377
+ 43
378
+ 日本国 43
379
+ 本国 43
380
+ 43
381
+ 43
382
+ 43
383
+ がある 43
384
+ ける 43
385
+ 和_ 43
386
+ なった 43
387
+ (昭和 43
388
+ にも 43
389
+ (昭 43
390
+ 日本は 42
391
+ での 42
392
+ 42
393
+ _人 42
394
+ にな 42
395
+ 地域 42
396
+ 42
397
+ 本は 42
398
+ 42
399
+ るの 42
400
+ 問題 42