scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 27394
2
- 18832
3
- 15876
4
- 8087
5
- 7143
6
- 5707
7
- 5360
8
- 5259
9
- 4417
10
- 3312
11
- _ 3158
12
- 3139
13
- 2797
14
- 2629
15
- 2397
16
- 2345
17
- �� 2280
18
- 2271
19
- 2169
20
- �� 2169
21
- 1980
22
- 1957
23
- 1954
24
- 1933
25
- 1904
26
- 1896
27
- 1702
28
- �� 1690
29
- 1669
30
- 1645
31
- 1609
32
- 1569
33
- 1510
34
- �� 1472
35
- 1470
36
- 1431
37
- �� 1430
38
- 1418
39
- �� 1418
40
- 1413
41
- 1396
42
- 1388
43
- 1320
44
- 1313
45
- 1295
46
- 1282
47
- 1276
48
- 1274
49
- 1216
50
- 1213
51
- 1188
52
- �� 1178
53
- 1168
54
- �� 1155
55
- �� 1150
56
- 1132
57
- 1090
58
- �� 1090
59
- 1075
60
- �� 1051
61
- 1051
62
- 1039
63
- �� 1035
64
- �� 1019
65
- ��� 1007
66
- �� 995
67
- 995
68
- 966
69
- 958
70
- 936
71
- 926
72
- 922
73
- 908
74
- 905
75
- 903
76
- 892
77
- �� 892
78
- �� 884
79
- 884
80
- �� 876
81
- 876
82
- 873
83
- 871
84
- �� 867
85
- 867
86
- 867
87
- �� 861
88
- 861
89
- 857
90
- �� 857
91
- ��� 850
92
- �� 848
93
- �� 847
94
- 842
95
- �� 838
96
- 838
97
- 837
98
- ��� 834
99
- �� 814
100
- �� 812
101
- �� 807
102
- �� 795
103
- 789
104
- �� 778
105
- 778
106
- ��� 767
107
- 756
108
- 756
109
- 747
110
- 746
111
- ��� 743
112
- �� 743
113
- 733
114
- �� 707
115
- �� 691
116
- 690
117
- �� 690
118
- ��� 679
119
- 676
120
- 671
121
- ��� 670
122
- 668
123
- �� 666
124
- 662
125
- �� 661
126
- 656
127
- ��� 655
128
- 654
129
- ��� 653
130
- �� 644
131
- 644
132
- �� 642
133
- 642
134
- �� 639
135
- �� 635
136
- �� 624
137
- 623
138
- �� 623
139
- 614
140
- 608
141
- �� 608
142
- ��� 603
143
- �� 602
144
- 596
145
- ��� 579
146
- �� 566
147
- ��� 565
148
- �� 557
149
- �� 556
150
- �� 553
151
- 549
152
- 546
153
- �� 545
154
- �� 543
155
- 543
156
- �� 542
157
- �� 542
158
- 542
159
- 537
160
- �� 534
161
- 525
162
- 521
163
- �� 521
164
- 520
165
- ��� 517
166
- 516
167
- 509
168
- ��� 501
169
- �� 495
170
- �� 492
171
- 485
172
- �� 485
173
- �� 482
174
- _� 477
175
- 476
176
- ��� 467
177
- �� 467
178
- �� 464
179
- 463
180
- 463
181
- �� 462
182
- �� 459
183
- �� 456
184
- �� 453
185
- 451
186
- �� 451
187
- �� 450
188
- �� 436
189
- 433
190
- ��� 426
191
- �� 417
192
- �� 408
193
- �� 406
194
- ��� 403
195
- �� 402
196
- 402
197
- 402
198
- �� 395
199
- �� 393
200
- �� 392
201
- �� 388
202
- �� 386
203
- �� 382
204
- _� 382
205
- 381
206
- �� 381
207
- 379
208
- 378
209
- �� 376
210
- �� 375
211
- ��� 374
212
- ��� 374
213
- 373
214
- ��� 372
215
- �� 371
216
- 369
217
- ��� 369
218
- �� 367
219
- 366
220
- �� 364
221
- 356
222
- �� 356
223
- �_ 355
224
- �� 352
225
- ��_ 351
226
- �� 350
227
- 350
228
- �� 348
229
- �� 348
230
- ��� 348
231
- �� 338
232
- �� 337
233
- �� 336
234
- �� 336
235
- 335
236
- ��� 334
237
- �� 333
238
- �� 333
239
- ��� 332
240
- �� 331
241
- 329
242
- ��� 326
243
- 317
244
- 317
245
- ��� 312
246
- �� 312
247
- �� 312
248
- ��� 305
249
- 303
250
- �� 302
251
- ��� 300
252
- ��� 297
253
- �� 293
254
- ��� 292
255
- �� 292
256
- 291
257
- 291
258
- �� 290
259
- �� 289
260
- 286
261
- _� 286
262
- 284
263
- �� 281
264
- 280
265
- ��� 279
266
- �� 279
267
- �� 275
268
- 275
269
- 272
270
- �� 269
271
- ��� 269
272
- �� 268
273
- 268
274
- �� 266
275
- 266
276
- �� 266
277
- �� 264
278
- �� 260
279
- 259
280
- �� 258
281
- �� 257
282
- �� 256
283
- 256
284
- 253
285
- 253
286
- 252
287
- �� 249
288
- 248
289
- �� 246
290
- �� 246
291
- 245
292
- �� 245
293
- �� 245
294
- ��� 243
295
- �� 242
296
- �� 242
297
- 242
298
- �� 240
299
- �� 239
300
- 239
301
- ��� 239
302
- ��� 238
303
- �� 236
304
- �� 233
305
- �� 232
306
- �� 232
307
- 229
308
- ��� 229
309
- ��� 228
310
- ��� 225
311
- ��� 221
312
- _� 221
313
- �� 220
314
- �� 218
315
- 218
316
- �� 218
317
- �� 217
318
- 216
319
- �� 216
320
- �� 216
321
- �� 215
322
- �� 214
323
- 213
324
- 211
325
- �� 210
326
- �� 209
327
- �� 209
328
- ��� 208
329
- 207
330
- �� 206
331
- �� 205
332
- �� 205
333
- �� 203
334
- 202
335
- �� 200
336
- �� 200
337
- �� 200
338
- 199
339
- �� 198
340
- ��� 197
341
- _� 196
342
- �� 196
343
- �� 195
344
- �� 194
345
- ��� 193
346
- ��� 193
347
- ��� 192
348
- �� 190
349
- �� 190
350
- 189
351
- �� 189
352
- �� 186
353
- �� 186
354
- 186
355
- 185
356
- �� 185
357
- �� 184
358
- �� 184
359
- �� 184
360
- �� 183
361
- �� 180
362
- �� 179
363
- ��� 179
364
- 179
365
- ��� 179
366
- ��� 178
367
- 177
368
- �� 177
369
- �� 174
370
- �� 172
371
- �� 169
372
- 165
373
- �� 165
374
- �� 163
375
- 163
376
- �� 163
377
- �� 162
378
- _� 162
379
- 161
380
- �� 160
381
- 160
382
- �� 159
383
- 158
384
- �� 158
385
- �� 158
386
- �� 156
387
- �� 155
388
- �� 155
389
- �� 154
390
- �� 154
391
- 153
392
- �� 153
393
- ��� 151
394
- 151
395
- 151
396
- �� 149
397
- �� 149
398
- 148
399
- _� 148
400
- 148
1
+ _ 3366
2
+ 2406
3
+ 2299
4
+ 1574
5
+ 1516
6
+ 1157
7
+ 1136
8
+ 1071
9
+ 962
10
+ 962
11
+ 957
12
+ 928
13
+ 920
14
+ 915
15
+ 907
16
+ 828
17
+ 751
18
+ 689
19
+ 640
20
+ る。 605
21
+ 574
22
+ 548
23
+ 544
24
+ 日本 521
25
+ 494
26
+ 481
27
+ 472
28
+ は、 434
29
+ 418
30
+ 418
31
+ 414
32
+ 404
33
+ てい 389
34
+ して 382
35
+ 380
36
+ 。_ 370
37
+ 367
38
+ 359
39
+ する 351
40
+ 350
41
+ ある 348
42
+ いる 324
43
+ 310
44
+ され 309
45
+ ている 307
46
+ _年 302
47
+ 294
48
+ であ 290
49
+ 272
50
+ 270
51
+ など 268
52
+ 267
53
+ 260
54
+ 256
55
+ た。 245
56
+ から 240
57
+ 233
58
+ 232
59
+ した 228
60
+ 225
61
+ いる。 224
62
+ である 221
63
+ る。_ 219
64
+ 208
65
+ 202
66
+ 200
67
+ ある。 193
68
+ り、 188
69
+ 187
70
+ とし 176
71
+ れて 174
72
+ によ 174
73
+ れる 173
74
+ って 173
75
+ し、 165
76
+ った 163
77
+ 160
78
+ として 157
79
+ 152
80
+ 151
81
+ 148
82
+ 146
83
+ が、 145
84
+ 143
85
+ れた 139
86
+ 139
87
+ 137
88
+ れてい 136
89
+ 136
90
+ 、_ 135
91
+ 133
92
+ 年) 131
93
+ 130
94
+ 、日 130
95
+ _年) 129
96
+ こと 126
97
+ ない 126
98
+ 126
99
+ 125
100
+ してい 125
101
+ 125
102
+ 124
103
+ 122
104
+ 120
105
+ られ 119
106
+ 、日本 119
107
+ 119
108
+ 117
109
+ では 116
110
+ 114
111
+ 112
112
+ 111
113
+ 110
114
+ 108
115
+ 108
116
+ 107
117
+ 106
118
+ 105
119
+ 104
120
+ 104
121
+ 102
122
+ 102
123
+ 102
124
+ 101
125
+ 101
126
+ される 99
127
+ いて 99
128
+ 98
129
+ 本の 97
130
+ 97
131
+ 97
132
+ 97
133
+ 96
134
+ 95
135
+ 世界 95
136
+ されて 94
137
+ には 94
138
+ 」と 94
139
+ 94
140
+ 、、 93
141
+ 93
142
+ あり 92
143
+ 的な 92
144
+ 92
145
+ 日本の 92
146
+ また 92
147
+ との 92
148
+ 91
149
+ い。 90
150
+ 90
151
+ 90
152
+ 90
153
+ 90
154
+ 90
155
+ () 89
156
+ 89
157
+ とな 89
158
+ 88
159
+ 88
160
+ 88
161
+ 87
162
+ 86
163
+ 86
164
+ 86
165
+ どの 85
166
+ 84
167
+ なっ 83
168
+ あり、 83
169
+ )_ 82
170
+ 82
171
+ 82
172
+ 81
173
+ 81
174
+ などの 81
175
+ るが 80
176
+ 「日 80
177
+ した。 80
178
+ 79
179
+ 79
180
+ 79
181
+ 79
182
+ 79
183
+ その 78
184
+ 的に 78
185
+ ってい 77
186
+ 中国 77
187
+ _月 77
188
+ 、「 77
189
+ 関係 77
190
+ 77
191
+ _日 76
192
+ 76
193
+ された 75
194
+ 74
195
+ れる。 74
196
+ いた 74
197
+ 文化 74
198
+ た、 74
199
+ 73
200
+ )の 73
201
+ 72
202
+ _( 72
203
+ 71
204
+ 71
205
+ ため 71
206
+ 国の 71
207
+ 成_ 71
208
+ また、 71
209
+ これ 71
210
+ 69
211
+ 平成 69
212
+ 69
213
+ 平成_ 69
214
+ 69
215
+ った。 68
216
+ 68
217
+ )に 68
218
+ 67
219
+ たが 67
220
+ 67
221
+ があ 67
222
+ 67
223
+ 、( 67
224
+ 66
225
+ 「日本 66
226
+ 66
227
+ 65
228
+ より 65
229
+ 年_ 65
230
+ 65
231
+ れ、 64
232
+ による 64
233
+ るこ 64
234
+ 64
235
+ 「」 64
236
+ 64
237
+ ること 64
238
+ よる 64
239
+ 64
240
+ 64
241
+ 63
242
+ とす 63
243
+ にお 63
244
+ ると 63
245
+ 63
246
+ とする 63
247
+ 63
248
+ _「 62
249
+ 62
250
+ 。ま 62
251
+ _年_ 62
252
+ 62
253
+ 61
254
+ 61
255
+ 61
256
+ 。また 61
257
+ 、そ 60
258
+ 60
259
+ 60
260
+ 現在 60
261
+ する。 60
262
+ 60
263
+ らの 59
264
+ (平 59
265
+ 国と 59
266
+ (平成 58
267
+ 58
268
+ 58
269
+ 57
270
+ め、 57
271
+ 56
272
+ に、 56
273
+ 56
274
+ 、の 56
275
+ となっ 56
276
+ 経済 56
277
+ とい 56
278
+ たが、 55
279
+ 55
280
+ 55
281
+ の_ 55
282
+ 55
283
+ まで 55
284
+ 55
285
+ 54
286
+ であり 54
287
+ 54
288
+ 53
289
+ 53
290
+ _、 53
291
+ 53
292
+ 多く 53
293
+ るが、 53
294
+ 、こ 53
295
+ 53
296
+ われ 52
297
+ もの 52
298
+ 52
299
+ 52
300
+ とも 52
301
+ リカ 52
302
+ 、など 52
303
+ 、な 52
304
+ 52
305
+ 、に 51
306
+ 51
307
+ く、 51
308
+ 51
309
+ 51
310
+ 51
311
+ 51
312
+ 51
313
+ 、が 51
314
+ 51
315
+ 50
316
+ 第_ 50
317
+ ていた 50
318
+ 49
319
+ 49
320
+ た。_ 49
321
+ よっ 49
322
+ よって 49
323
+ て、 49
324
+ 49
325
+ )、 49
326
+ 48
327
+ によっ 48
328
+ 48
329
+ 48
330
+ 以降 48
331
+ 47
332
+ では、 47
333
+ いう 47
334
+ 47
335
+ ため、 47
336
+ 47
337
+ 47
338
+ 。こ 47
339
+ _位 47
340
+ 47
341
+ 47
342
+ 46
343
+ 」の 46
344
+ ては 46
345
+ )。 46
346
+ への 46
347
+ 46
348
+ もあ 46
349
+ 46
350
+ の日 46
351
+ という 45
352
+ この 45
353
+ 45
354
+ 45
355
+ にあ 45
356
+ メリ 45
357
+ 45
358
+ で、 45
359
+ に対 45
360
+ 45
361
+ 約_ 45
362
+ 、、、 44
363
+ 44
364
+ 国」 44
365
+ ない。 44
366
+ 、国 44
367
+ アメリ 44
368
+ アメ 44
369
+ 。日 44
370
+ (_ 44
371
+ メリカ 44
372
+ れた。 44
373
+ 昭和_ 43
374
+ 43
375
+ により 43
376
+ 昭和 43
377
+ 43
378
+ 日本国 43
379
+ 本国 43
380
+ 43
381
+ 43
382
+ 43
383
+ がある 43
384
+ ける 43
385
+ 和_ 43
386
+ なった 43
387
+ (昭和 43
388
+ にも 43
389
+ (昭 43
390
+ 日本は 42
391
+ での 42
392
+ 42
393
+ _人 42
394
+ にな 42
395
+ 地域 42
396
+ 42
397
+ 本は 42
398
+ 42
399
+ るの 42
400
+ 問題 42