scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
data/test/fixtures/lms/japanese.lm CHANGED
@@ -5,8 +5,8 @@
5
5
  � 6187
6
6
  � 4811
7
7
  � 4488
8
- _ 3674
9
8
  � 3670
9
+ _ 3230
10
10
  � 2935
11
11
  � 2486
12
12
  � 2486
@@ -37,7 +37,6 @@ _ 3674
37
37
  �� 1144
38
38
  � 1142
39
39
  � 1094
40
- __ 1058
41
40
  � 1046
42
41
  � 1039
43
42
  � 1028
@@ -50,8 +49,9 @@ __ 1058
50
49
  る 966
51
50
  �� 966
52
51
  � 958
53
- �� 943
52
+ �� 944
54
53
  � 901
54
+ __ 890
55
55
  � 836
56
56
  � 823
57
57
  � 813
@@ -59,7 +59,7 @@ __ 1058
59
59
  � 799
60
60
  � 795
61
61
  �� 791
62
- �� 783
62
+ �� 784
63
63
  � 780
64
64
  � 772
65
65
  � 767
@@ -68,7 +68,7 @@ __ 1058
68
68
  �� 757
69
69
  � 743
70
70
  � 716
71
- �� 711
71
+ �� 712
72
72
  � 710
73
73
  � 708
74
74
  と 704
@@ -86,52 +86,52 @@ __ 1058
86
86
  �� 647
87
87
  � 641
88
88
  �� 639
89
- を 637
90
89
  �� 637
90
+ を 637
91
91
  �� 634
92
92
  �� 627
93
93
  し 627
94
94
  � 622
95
95
  � 619
96
96
  � 619
97
- �� 616
98
97
  た 616
99
- て 613
98
+ �� 616
100
99
  �� 613
100
+ て 613
101
101
  � 611
102
- い 604
103
102
  �� 604
104
- �� 601
105
- ��� 600
103
+ い 604
104
+ �� 604
106
105
  し� 600
106
+ ��� 600
107
107
  � 596
108
108
  �� 592
109
109
  � 584
110
- ��� 582
111
110
  る� 582
112
- �� 580
111
+ ��� 582
113
112
  日 580
113
+ �� 580
114
114
  な 579
115
115
  �� 579
116
116
  � 576
117
117
  �� 563
118
118
  � 559
119
- �� 553
119
+ �� 554
120
120
  は 552
121
121
  � 547
122
122
  �� 535
123
- �� 531
124
- ��� 528
125
- い� 528
123
+ �� 532
124
+ い� 529
125
+ ��� 529
126
126
  �� 519
127
127
  � 515
128
- �� 513
129
128
  で 513
130
129
  �� 513
130
+ �� 513
131
131
  本 513
132
132
  � 510
133
- と� 509
134
133
  ��� 509
134
+ と� 509
135
135
  �� 507
136
136
  �� 504
137
137
  � 492
@@ -140,8 +140,8 @@ __ 1058
140
140
  � 484
141
141
  ��� 483
142
142
  し� 483
143
- 日� 480
144
143
  ��� 480
144
+ 日� 480
145
145
  �� 471
146
146
  � 470
147
147
  ��� 469
@@ -156,19 +156,19 @@ __ 1058
156
156
  �� 449
157
157
  � 446
158
158
  � 445
159
- ��� 444
160
159
  た� 444
160
+ ��� 444
161
161
  �� 439
162
162
  � 436
163
163
  �� 434
164
164
  ��� 420
165
165
  な� 420
166
+ �� 419
166
167
  ��� 419
167
168
  と� 419
168
- �� 419
169
- �� 416
170
- の� 407
169
+ �� 417
171
170
  ��� 407
171
+ の� 407
172
172
  に� 402
173
173
  ��� 402
174
174
  �� 395
@@ -177,15 +177,15 @@ __ 1058
177
177
  �� 383
178
178
  ��� 382
179
179
  � 379
180
+ ��� 373
180
181
  �� 373
181
182
  � 373
182
- ��� 373
183
183
  � 372
184
184
  は� 372
185
185
  、� 369
186
186
  �� 369
187
- で� 367
188
187
  ��� 367
188
+ で� 367
189
189
  �� 366
190
190
  �� 365
191
191
  � 364
@@ -197,42 +197,42 @@ __ 1058
197
197
  �� 356
198
198
  �� 355
199
199
  �� 354
200
- な� 349
201
200
  ��� 349
202
- � 347
201
+ な� 349
203
202
  �� 347
203
+ � 347
204
204
  �。 342
205
205
  ��。 342
206
206
  �� 338
207
207
  �� 336
208
- ��� 335
209
- �� 335
210
208
  、� 335
209
+ �� 335
210
+ ��� 335
211
211
  � 334
212
212
  �� 333
213
213
  �� 331
214
214
  �� 330
215
- ��� 329
216
215
  （ 329
217
216
  �� 329
217
+ ��� 329
218
218
  は� 329
219
219
  ） 328
220
220
  �� 327
221
221
  �� 324
222
222
  ら 323
223
- �� 323
224
223
  ��� 323
224
+ �� 323
225
225
  �� 321
226
226
  あ 320
227
227
  あ� 320
228
- ��� 316
228
+ �� 316
229
229
  て� 316
230
+ ��� 316
230
231
  も 316
231
232
  �� 316
232
233
  �� 315
233
- �� 315
234
- ��� 313
235
234
  、� 313
235
+ ��� 313
236
236
  「 311
237
237
  �� 311
238
238
  」 311
@@ -243,14 +243,14 @@ __ 1058
243
243
  国� 306
244
244
  ��� 306
245
245
  �� 306
246
- の� 305
247
246
  ��� 305
247
+ の� 305
248
248
  �、 302
249
+ _� 301
249
250
  ��、 300
250
251
  � 298
251
- ��� 297
252
252
  で� 297
253
- _� 296
253
+ ��� 297
254
254
  あ� 284
255
255
  ��� 284
256
256
  �� 281
@@ -259,142 +259,142 @@ _
259
259
  �� 276
260
260
  れ� 274
261
261
  ��� 274
262
- か 273
263
262
  �� 273
263
+ か 273
264
264
  �� 272
265
265
  す 272
266
- 年 270
267
266
  �� 270
267
+ 年 270
268
268
  ��� 269
269
269
  か� 268
270
- ��� 265
270
+ ��� 266
271
+ 」� 263
271
272
  � 263
272
- 」� 262
273
273
  �� 262
274
274
  � 262
275
- す� 261
276
275
  ��� 261
277
- ��� 256
276
+ す� 261
277
+ ��� 258
278
+ �� 257
279
+ ）� 256
278
280
  ��� 255
279
281
  �� 254
280
- ）� 254
281
- �� 254
282
282
  �� 251
283
- 本� 250
284
283
  ��� 250
285
284
  ��� 250
286
- す� 246
287
- �て 246
288
- ��� 246
289
- �� 246
285
+ 本� 250
290
286
  �� 246
287
+ �て 246
291
288
  ��て 246
292
- �本� 245
293
- � 245
289
+ す� 246
290
+ �� 246
291
+ ��� 246
294
292
  � 245
293
+ � 245
294
+ �本� 245
295
295
  �る 242
296
296
  ��る 242
297
297
  �� 241
298
- ��� 239
299
- い� 239
298
+ い� 240
299
+ ��� 240
300
+ っ 238
300
301
  � 238
301
302
  �� 238
302
- っ 238
303
- っ� 237
304
303
  �� 237
304
+ っ� 237
305
305
  ア 237
306
- �� 237
307
306
  �� 237
308
307
  っ� 237
308
+ �� 237
309
309
  �� 236
310
- �� 235
311
- �� 235
312
310
  ・ 235
311
+ �� 235
312
+ �� 235
313
313
  � 233
314
314
  � 233
315
315
  �い 232
316
316
  �い� 231
317
- _年 231
318
317
  _� 231
319
- � 230
320
- ��� 230
318
+ _年 231
321
319
  。� 230
320
+ ��� 230
321
+ � 230
322
322
  � 230
323
+ �� 229
323
324
  た� 229
324
325
  ��� 229
325
- �� 229
326
326
  ��い 228
327
327
  �� 225
328
328
  ��� 224
329
- �� 223
330
- �� 223
331
- �� 223
332
329
  �� 223
330
+ �� 223
331
+ �� 223
332
+ �� 223
333
333
  �� 222
334
334
  �� 220
335
335
  に� 220
336
336
  �� 219
337
337
  ��� 218
338
338
  さ 217
339
- 国� 215
340
- � 215
341
339
  ��� 215
340
+ 国� 215
342
341
  さ� 215
342
+ � 215
343
343
  �る 214
344
344
  ��る 213
345
- �� 210
346
345
  大 210
347
- ら� 209
346
+ �� 210
348
347
  ��� 209
348
+ ら� 209
349
349
  い� 208
350
350
  ��� 208
351
351
  �� 207
352
- � 205
353
352
  � 205
353
+ � 205
354
354
  ��� 202
355
355
  ��� 201
356
356
  に� 201
357
- �� 199
358
357
  �� 199
358
+ �� 199
359
359
  �� 198
360
360
  �� 197
361
361
  り 197
362
362
  �� 196
363
- ��� 194
364
363
  本� 194
365
- さ� 193
364
+ ��� 194
366
365
  � 193
367
- ��る 193
368
366
  ��� 193
369
- � 193
367
+ ��る 193
370
368
  �� 193
369
+ さ� 193
371
370
  �る 193
371
+ � 193
372
372
  �� 192
373
373
  �� 192
374
- ��� 191
375
- ��� 191
374
+ が� 191
376
375
  人 191
377
376
  �� 191
378
377
  ア� 191
379
- が� 191
380
- �� 190
378
+ ��� 191
379
+ ��� 191
381
380
  中 190
382
- �� 188
381
+ �� 190
383
382
  �� 188
384
- か� 187
383
+ �� 188
385
384
  ��� 187
386
- �� 185
387
- �� 185
385
+ か� 187
388
386
  �� 185
387
+ �� 185
389
388
  ��れ 185
389
+ �� 185
390
390
  �れ 185
391
+ �� 184
391
392
  �� 182
392
- �� 182
393
393
  �れ� 182
394
394
  �� 182
395
+ � 181
395
396
  �あ� 181
396
397
  ��あ 181
397
- � 181
398
+ �� 181
398
399
  �あ 181
399
- �� 180
400
400
  ど 180