scylla 0.4.3 → 0.5.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (94) hide show
  1. data/Gemfile +1 -0
  2. data/Gemfile.lock +10 -0
  3. data/VERSION +1 -1
  4. data/lib/scylla/generator.rb +1 -1
  5. data/lib/scylla/lms/13375P33K.lm +156 -156
  6. data/lib/scylla/lms/arabic.lm +133 -133
  7. data/lib/scylla/lms/bulgarian.lm +122 -122
  8. data/lib/scylla/lms/catalan.lm +151 -151
  9. data/lib/scylla/lms/danish.lm +137 -137
  10. data/lib/scylla/lms/english.lm +207 -207
  11. data/lib/scylla/lms/french.lm +400 -400
  12. data/lib/scylla/lms/japanese.lm +400 -400
  13. data/lib/scylla/lms/korean.lm +233 -233
  14. data/lib/scylla/lms/norwegian.lm +398 -398
  15. data/lib/scylla/lms/spanish.lm +98 -98
  16. data/lib/scylla/lms/swedish.lm +123 -123
  17. data/lib/scylla/lms/tagalog.lm +223 -223
  18. data/lib/scylla/lms/welsh.lm +234 -234
  19. data/lib/scylla/resources.rb +10 -10
  20. data/scylla.gemspec +17 -40
  21. data/source_texts/catalan.txt +28 -28
  22. data/source_texts/danish.txt +62 -62
  23. data/source_texts/english.txt +10 -10
  24. data/source_texts/french.txt +470 -77
  25. data/source_texts/japanese.txt +453 -199
  26. data/source_texts/norwegian.txt +96 -63
  27. data/source_texts/spanish.txt +269 -269
  28. data/test/classifier_test.rb +2 -2
  29. data/test/fixtures/lms/13375p33k.lm +156 -156
  30. data/test/fixtures/lms/danish.lm +137 -137
  31. data/test/fixtures/lms/english.lm +207 -207
  32. data/test/fixtures/lms/french.lm +400 -400
  33. data/test/fixtures/lms/hindi.lm +400 -0
  34. data/test/fixtures/lms/italian.lm +400 -0
  35. data/test/fixtures/lms/japanese.lm +400 -400
  36. data/test/fixtures/lms/norwegian.lm +400 -0
  37. data/test/fixtures/lms/spanish.lm +98 -98
  38. data/test/fixtures/source_texts/danish.txt +62 -62
  39. data/test/fixtures/source_texts/english.txt +10 -10
  40. data/test/fixtures/source_texts/french.txt +470 -77
  41. data/test/fixtures/source_texts/hindi.txt +199 -0
  42. data/test/fixtures/source_texts/italian.txt +120 -0
  43. data/test/fixtures/source_texts/japanese.txt +453 -199
  44. data/test/fixtures/source_texts/norwegian.txt +190 -0
  45. data/test/fixtures/source_texts/spanish.txt +269 -269
  46. data/test/fixtures/test_languages/english +61 -0
  47. data/test/fixtures/test_languages/french +0 -0
  48. data/test/fixtures/test_languages/german +29 -0
  49. data/test/fixtures/test_languages/hindi +3 -0
  50. data/test/fixtures/test_languages/italian +6 -0
  51. data/test/fixtures/test_languages/japanese +79 -0
  52. data/test/fixtures/test_languages/norwegian +14 -0
  53. data/test/fixtures/test_languages/spanish +22 -0
  54. data/test/generator_test.rb +0 -1
  55. data/test/language_test.rb +28 -0
  56. metadata +20 -43
  57. data/lib/scylla/lms/esperanto.lm +0 -400
  58. data/lib/scylla/lms/hungarian.lm +0 -400
  59. data/lib/scylla/lms/irish.lm +0 -400
  60. data/lib/scylla/lms/kannada.lm +0 -400
  61. data/lib/scylla/lms/latin.lm +0 -400
  62. data/lib/scylla/lms/malay.lm +0 -400
  63. data/lib/scylla/lms/marathi.lm +0 -400
  64. data/lib/scylla/lms/mingo.lm +0 -400
  65. data/lib/scylla/lms/nepali.lm +0 -400
  66. data/lib/scylla/lms/quechua.lm +0 -400
  67. data/lib/scylla/lms/rumantsch.lm +0 -400
  68. data/lib/scylla/lms/sanskrit.lm +0 -400
  69. data/lib/scylla/lms/scots_gaelic.lm +0 -400
  70. data/lib/scylla/lms/serbian.lm +0 -400
  71. data/lib/scylla/lms/swahili.lm +0 -400
  72. data/lib/scylla/lms/tamil.lm +0 -400
  73. data/lib/scylla/lms/ukrainian.lm +0 -400
  74. data/lib/scylla/lms/yiddish.lm +0 -400
  75. data/source_texts/esperanto.txt +0 -199
  76. data/source_texts/hungarian.txt +0 -102
  77. data/source_texts/irish.txt +0 -209
  78. data/source_texts/kannada.txt +0 -283
  79. data/source_texts/latin.txt +0 -120
  80. data/source_texts/malay.txt +0 -108
  81. data/source_texts/marathi.txt +0 -100
  82. data/source_texts/mingo.txt +0 -146
  83. data/source_texts/nepali.txt +0 -131
  84. data/source_texts/quechua.txt +0 -108
  85. data/source_texts/rumantsch.txt +0 -110
  86. data/source_texts/sanskrit.txt +0 -135
  87. data/source_texts/scots_gaelic.txt +0 -93
  88. data/source_texts/serbian.txt +0 -121
  89. data/source_texts/swahili.txt +0 -120
  90. data/source_texts/tamil.txt +0 -167
  91. data/source_texts/ukrainian.txt +0 -214
  92. data/source_texts/yiddish-utf.txt +0 -83
  93. data/test/fixtures/lms/kannada.lm +0 -400
  94. data/test/fixtures/source_texts/kannada.txt +0 -283
@@ -1,400 +1,400 @@
1
- 11219
2
- _ 9082
3
- 5020
4
- 4899
5
- 4763
6
- 4568
7
- 3134
8
- 2631
9
- 2139
10
- 2121
11
- _2052
12
- 2014
13
- 1886
14
- 1883
15
- 1681
16
- 1630
17
- 1618
18
- 1604
19
- 1415
20
- 1377
21
- 1255
22
- 1186
23
- _� 1160
24
- 924
25
- 792
26
- 772
27
- �� 736
28
- �� 722
29
- 722
30
- 722
31
- �� 659
32
- 659
33
- 659
34
- 649
35
- 632
36
- �� 626
37
- 626
38
- _611
39
- 597
40
- _� 552
41
- 523
42
- 493
43
- 486
44
- , 486
45
- ,_ 486
46
- �� 484
47
- 466
48
- _457
49
- �� 456
50
- �� 452
51
- _� 448
52
- �� 445
53
- 441
54
- _440
55
- 435
56
- 432
57
- �� 430
58
- 414
59
- _ 398
60
- 395
61
- 379
62
- 368
63
- 349
64
- 349
65
- �� 337
66
- �� 328
67
- 322
68
- �_ 319
69
- 317
70
- �� 312
71
- �� 310
72
- �� 310
73
- 302
74
- �� 296
75
- 294
76
- _ 291
77
- 291
78
- �� 291
79
- �� 291
80
- _� 290
81
- �_ 290
82
- _289
83
- _� 281
84
- 277
85
- 275
86
- 275
87
- �� 275
88
- �� 272
89
- �� 271
90
- 271
91
- 270
92
- 269
93
- 268
94
- 266
95
- �� 266
96
- 266
97
- 266
98
- �� 266
99
- 263
100
- �� 262
101
- 262
102
- 260
103
- �� 260
104
- 258
105
- �� 258
106
- ち� 251
107
- �� 251
108
- ��� 251
109
- 248
110
- �� 247
111
- �� 247
112
- �_ 241
113
- �_ 238
114
- �� 238
115
- �� 233
116
- �� 231
117
- �� 228
118
- 227
119
- �� 217
120
- ��� 214
121
- ぎ� 214
122
- ��� 214
123
- �� 214
124
- ぎ� 214
125
- �� 211
126
- �� 209
127
- �� 209
128
- り� 209
129
- ゃ� 209
130
- ��� 209
131
- り� 209
132
- ��� 209
133
- ��� 209
134
- ょ� 208
135
- �� 208
136
- ��� 208
137
- �� 208
138
- び� 205
139
- �� 205
140
- び� 205
141
- ��� 205
142
- 205
143
- �� 205
144
- 205
145
- 205
146
- �� 205
147
- ��� 205
148
- �� 205
149
- 203
150
- �� 202
151
- ��� 201
152
- �� 201
153
- ウ� 201
154
- ��� 201
155
- ��� 201
156
- ち� 201
157
- 201
158
- ウ� 201
159
- 198
160
- �� 197
161
- �� 197
162
- �� 195
163
- 195
164
- �� 194
165
- �� 194
166
- ��� 194
167
- じ� 194
168
- じ� 194
169
- ��� 194
170
- �� 194
171
- �� 193
172
- 193
173
- 193
174
- ��� 193
175
- き� 193
176
- �� 193
177
- き� 193
178
- ��� 193
179
- ��� 192
180
- ぢ� 192
181
- 192
182
- ��� 192
183
- �� 192
184
- ぢ� 192
185
- �� 192
186
- �� 191
187
- �� 190
188
- �� 189
189
- ゅ� 189
190
- �� 189
191
- ��� 189
192
- 188
193
- �� 188
194
- 187
195
- �_ 187
196
- に� 185
197
- に� 185
198
- 185
199
- 185
200
- ��� 185
201
- �� 185
202
- ��� 185
203
- �_ 184
204
- 184
205
- �� 184
206
- �� 183
207
- 183
208
- ��� 181
209
- �� 181
210
- ゃ� 181
211
- �� 181
212
- �� 180
213
- �� 180
214
- 178
215
- 178
216
- �� 178
217
- 177
218
- 175
219
- ��� 172
220
- 172
221
- �� 172
222
- ゅ� 172
223
- ��� 170
224
- ぴ� 170
225
- ぴ� 170
226
- ��� 170
227
- 170
228
- �� 170
229
- �� 161
230
- �� 159
231
- �� 159
232
- ��� 158
233
- �� 151
234
- �� 150
235
- 150
236
- 150
237
- 149
238
- 149
239
- 149
240
- 148
241
- �� 147
242
- 146
243
- �� 146
244
- 146
245
- ��� 144
246
- �� 144
247
- ド� 144
248
- 144
249
- �� 144
250
- 143
251
- 142
252
- 142
253
- �� 141
254
- 141
255
- �� 139
256
- 139
257
- �� 139
258
- 138
259
- �� 138
260
- 137
261
- �� 137
262
- �� 137
263
- 137
264
- �� 136
265
- 136
266
- �� 136
267
- �� 136
268
- ��� 136
269
- 136
270
- �� 136
271
- 136
272
- し� 136
273
- �� 136
274
- 136
275
- �� 135
276
- 135
277
- 135
278
- �� 135
279
- 134
280
- 134
281
- �� 134
282
- 133
283
- �� 133
284
- 133
285
- 133
286
- �� 133
287
- 133
288
- �� 132
289
- ��� 132
290
- �� 132
291
- キ� 132
292
- �� 132
293
- �� 132
294
- �� 132
295
- キ� 132
296
- �� 132
297
- �� 132
298
- 132
299
- ��� 132
300
- 131
301
- �� 131
302
- _� 131
303
- ��� 131
304
- �� 131
305
- �� 131
306
- ゅ� 131
307
- �� 131
308
- 130
309
- 130
310
- �� 130
311
- �� 130
312
- �� 130
313
- ��� 130
314
- �� 130
315
- 130
316
- �� 130
317
- ひ� 130
318
- ��� 130
319
- ひ� 130
320
- �� 129
321
- 129
322
- �� 129
323
- ��� 129
324
- �� 129
325
- �� 129
326
- ��� 129
327
- ��� 129
328
- 129
329
- ュ� 129
330
- ュ� 129
331
- �� 129
332
- ��_ 129
333
- ゅ_ 129
334
- �_ 129
335
- �� 128
336
- �� 128
337
- 127
338
- 127
339
- �� 127
340
- �� 127
341
- �� 126
342
- 126
343
- �� 126
344
- 126
345
- 126
346
- �_ 125
347
- �� 125
348
- �� 124
349
- 124
350
- ��� 124
351
- �� 124
352
- ゃ� 124
353
- _ 124
354
- 123
355
- ��� 123
356
- �� 123
357
- �� 123
358
- み� 123
359
- �� 123
360
- �� 123
361
- �� 123
362
- �� 123
363
- ��� 122
364
- �� 122
365
- �� 122
366
- �き 122
367
- �き� 122
368
- ��� 122
369
- み� 122
370
- ヴ� 121
371
- ��� 121
372
- ��� 121
373
- 121
374
- �� 121
375
- ��� 121
376
- 121
377
- ヴ� 121
378
- �� 121
379
- 121
380
- �� 120
381
- ��_ 119
382
- �� 118
383
- �� 117
384
- �� 117
385
- 117
386
- �� 117
387
- _ち� 117
388
- �� 117
389
- _ち 117
390
- �� 116
391
- �� 114
392
- ��� 114
393
- �� 114
394
- ょ� 114
395
- �� 113
396
- �� 113
397
- �ヴ 113
398
- �ヴ� 113
399
- _� 112
400
- ��� 110
1
+ 20184
2
+ 13193
3
+ 11085
4
+ 6271
5
+ 6187
6
+ 4811
7
+ 4488
8
+ _ 3674
9
+ 3670
10
+ 2935
11
+ 2486
12
+ 2486
13
+ 2136
14
+ 2083
15
+ 2033
16
+ 2004
17
+ 1968
18
+ 1677
19
+ 1676
20
+ 1647
21
+ �� 1544
22
+ 1537
23
+ �� 1523
24
+ 1523
25
+ 1496
26
+ 1410
27
+ 1400
28
+ 1380
29
+ 1262
30
+ 1240
31
+ 1232
32
+ 1216
33
+ 1192
34
+ 1184
35
+ 1172
36
+ 1151
37
+ �� 1144
38
+ 1142
39
+ 1094
40
+ __ 1058
41
+ 1046
42
+ 1039
43
+ 1028
44
+ 1021
45
+ �� 1011
46
+ 1007
47
+ 1000
48
+ 991
49
+ 981
50
+ 966
51
+ �� 966
52
+ 958
53
+ �� 943
54
+ 901
55
+ 836
56
+ 823
57
+ 813
58
+ 804
59
+ 799
60
+ 795
61
+ �� 791
62
+ �� 783
63
+ 780
64
+ 772
65
+ 767
66
+ 763
67
+ �� 763
68
+ �� 757
69
+ 743
70
+ 716
71
+ �� 711
72
+ 710
73
+ 708
74
+ 704
75
+ �� 704
76
+ 702
77
+ 696
78
+ 695
79
+ 695
80
+ 681
81
+ �� 681
82
+ 669
83
+ 659
84
+ �� 659
85
+ 656
86
+ �� 647
87
+ 641
88
+ �� 639
89
+ 637
90
+ �� 637
91
+ �� 634
92
+ �� 627
93
+ 627
94
+ 622
95
+ 619
96
+ 619
97
+ �� 616
98
+ 616
99
+ 613
100
+ �� 613
101
+ 611
102
+ 604
103
+ �� 604
104
+ �� 601
105
+ ��� 600
106
+ し� 600
107
+ 596
108
+ �� 592
109
+ 584
110
+ ��� 582
111
+ る� 582
112
+ �� 580
113
+ 580
114
+ 579
115
+ �� 579
116
+ 576
117
+ �� 563
118
+ 559
119
+ �� 553
120
+ 552
121
+ 547
122
+ �� 535
123
+ �� 531
124
+ ��� 528
125
+ い� 528
126
+ �� 519
127
+ 515
128
+ �� 513
129
+ 513
130
+ �� 513
131
+ 513
132
+ 510
133
+ と� 509
134
+ ��� 509
135
+ �� 507
136
+ �� 504
137
+ 492
138
+ 490
139
+ �� 490
140
+ 484
141
+ ��� 483
142
+ し� 483
143
+ 日� 480
144
+ ��� 480
145
+ �� 471
146
+ 470
147
+ ��� 469
148
+ 日� 469
149
+ �本 466
150
+ ��本 466
151
+ 466
152
+ れ� 465
153
+ ��� 465
154
+ �� 461
155
+ �� 455
156
+ �� 449
157
+ 446
158
+ 445
159
+ ��� 444
160
+ た� 444
161
+ �� 439
162
+ 436
163
+ �� 434
164
+ ��� 420
165
+ な� 420
166
+ ��� 419
167
+ と� 419
168
+ �� 419
169
+ �� 416
170
+ の� 407
171
+ ��� 407
172
+ に� 402
173
+ ��� 402
174
+ �� 395
175
+ ��� 392
176
+ て� 392
177
+ �� 383
178
+ ��� 382
179
+ 379
180
+ �� 373
181
+ 373
182
+ ��� 373
183
+ 372
184
+ は� 372
185
+ 、� 369
186
+ �� 369
187
+ で� 367
188
+ ��� 367
189
+ �� 366
190
+ �� 365
191
+ 364
192
+ ��� 360
193
+ る� 360
194
+ �� 359
195
+ �� 358
196
+ �� 358
197
+ �� 356
198
+ �� 355
199
+ �� 354
200
+ な� 349
201
+ ��� 349
202
+ 347
203
+ �� 347
204
+ �。 342
205
+ ��。 342
206
+ �� 338
207
+ �� 336
208
+ ��� 335
209
+ �� 335
210
+ 、� 335
211
+ 334
212
+ �� 333
213
+ �� 331
214
+ �� 330
215
+ ��� 329
216
+ 329
217
+ �� 329
218
+ は� 329
219
+ 328
220
+ �� 327
221
+ �� 324
222
+ 323
223
+ �� 323
224
+ ��� 323
225
+ �� 321
226
+ 320
227
+ あ� 320
228
+ ��� 316
229
+ て� 316
230
+ 316
231
+ �� 316
232
+ �� 315
233
+ �� 315
234
+ ��� 313
235
+ 、� 313
236
+ 311
237
+ �� 311
238
+ 311
239
+ �� 309
240
+ �� 309
241
+ 308
242
+ �� 308
243
+ 国� 306
244
+ ��� 306
245
+ �� 306
246
+ の� 305
247
+ ��� 305
248
+ �、 302
249
+ ��、 300
250
+ 298
251
+ ��� 297
252
+ で� 297
253
+ _� 296
254
+ あ� 284
255
+ ��� 284
256
+ �� 281
257
+ �� 279
258
+ �� 277
259
+ �� 276
260
+ れ� 274
261
+ ��� 274
262
+ 273
263
+ �� 273
264
+ �� 272
265
+ 272
266
+ 270
267
+ �� 270
268
+ ��� 269
269
+ か� 268
270
+ ��� 265
271
+ 263
272
+ 」� 262
273
+ �� 262
274
+ 262
275
+ す� 261
276
+ ��� 261
277
+ ��� 256
278
+ ��� 255
279
+ �� 254
280
+ )� 254
281
+ �� 254
282
+ �� 251
283
+ 本� 250
284
+ ��� 250
285
+ ��� 250
286
+ す� 246
287
+ �て 246
288
+ ��� 246
289
+ �� 246
290
+ �� 246
291
+ ��て 246
292
+ �本� 245
293
+ 245
294
+ 245
295
+ �る 242
296
+ ��る 242
297
+ �� 241
298
+ ��� 239
299
+ い� 239
300
+ 238
301
+ �� 238
302
+ 238
303
+ っ� 237
304
+ �� 237
305
+ 237
306
+ �� 237
307
+ �� 237
308
+ っ� 237
309
+ �� 236
310
+ �� 235
311
+ �� 235
312
+ 235
313
+ 233
314
+ 233
315
+ �い 232
316
+ �い� 231
317
+ _年 231
318
+ _� 231
319
+ 230
320
+ ��� 230
321
+ 。� 230
322
+ 230
323
+ た� 229
324
+ ��� 229
325
+ �� 229
326
+ ��い 228
327
+ �� 225
328
+ ��� 224
329
+ �� 223
330
+ �� 223
331
+ �� 223
332
+ �� 223
333
+ �� 222
334
+ �� 220
335
+ に� 220
336
+ �� 219
337
+ ��� 218
338
+ 217
339
+ 国� 215
340
+ 215
341
+ ��� 215
342
+ さ� 215
343
+ �る 214
344
+ ��る 213
345
+ �� 210
346
+ 210
347
+ ら� 209
348
+ ��� 209
349
+ い� 208
350
+ ��� 208
351
+ �� 207
352
+ 205
353
+ 205
354
+ ��� 202
355
+ ��� 201
356
+ に� 201
357
+ �� 199
358
+ �� 199
359
+ �� 198
360
+ �� 197
361
+ 197
362
+ �� 196
363
+ ��� 194
364
+ 本� 194
365
+ さ� 193
366
+ 193
367
+ ��る 193
368
+ ��� 193
369
+ 193
370
+ �� 193
371
+ �る 193
372
+ �� 192
373
+ �� 192
374
+ ��� 191
375
+ ��� 191
376
+ 191
377
+ �� 191
378
+ ア� 191
379
+ が� 191
380
+ �� 190
381
+ 190
382
+ �� 188
383
+ �� 188
384
+ か� 187
385
+ ��� 187
386
+ �� 185
387
+ �� 185
388
+ �� 185
389
+ ��れ 185
390
+ �れ 185
391
+ �� 182
392
+ �� 182
393
+ �れ� 182
394
+ �� 182
395
+ �あ� 181
396
+ ��あ 181
397
+ 181
398
+ �あ 181
399
+ �� 180
400
+ 180