scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
data/test/fixtures/lms/japanese.lm CHANGED
@@ -5,8 +5,8 @@
5
5
  � 6187
6
6
  � 4811
7
7
  � 4488
8
- _ 3674
9
8
  � 3670
9
+ _ 3230
10
10
  � 2935
11
11
  � 2486
12
12
  � 2486
@@ -37,7 +37,6 @@ _ 3674
37
37
  �� 1144
38
38
  � 1142
39
39
  � 1094
40
- __ 1058
41
40
  � 1046
42
41
  � 1039
43
42
  � 1028
@@ -50,8 +49,9 @@ __ 1058
50
49
  る 966
51
50
  �� 966
52
51
  � 958
53
- �� 943
52
+ �� 944
54
53
  � 901
54
+ __ 890
55
55
  � 836
56
56
  � 823
57
57
  � 813
@@ -59,7 +59,7 @@ __ 1058
59
59
  � 799
60
60
  � 795
61
61
  �� 791
62
- �� 783
62
+ �� 784
63
63
  � 780
64
64
  � 772
65
65
  � 767
@@ -68,7 +68,7 @@ __ 1058
68
68
  �� 757
69
69
  � 743
70
70
  � 716
71
- �� 711
71
+ �� 712
72
72
  � 710
73
73
  � 708
74
74
  と 704
@@ -86,52 +86,52 @@ __ 1058
86
86
  �� 647
87
87
  � 641
88
88
  �� 639
89
- を 637
90
89
  �� 637
90
+ を 637
91
91
  �� 634
92
92
  �� 627
93
93
  し 627
94
94
  � 622
95
95
  � 619
96
96
  � 619
97
- �� 616
98
97
  た 616
99
- て 613
98
+ �� 616
100
99
  �� 613
100
+ て 613
101
101
  � 611
102
- い 604
103
102
  �� 604
104
- �� 601
105
- ��� 600
103
+ い 604
104
+ �� 604
106
105
  し� 600
106
+ ��� 600
107
107
  � 596
108
108
  �� 592
109
109
  � 584
110
- ��� 582
111
110
  る� 582
112
- �� 580
111
+ ��� 582
113
112
  日 580
113
+ �� 580
114
114
  な 579
115
115
  �� 579
116
116
  � 576
117
117
  �� 563
118
118
  � 559
119
- �� 553
119
+ �� 554
120
120
  は 552
121
121
  � 547
122
122
  �� 535
123
- �� 531
124
- ��� 528
125
- い� 528
123
+ �� 532
124
+ い� 529
125
+ ��� 529
126
126
  �� 519
127
127
  � 515
128
- �� 513
129
128
  で 513
130
129
  �� 513
130
+ �� 513
131
131
  本 513
132
132
  � 510
133
- と� 509
134
133
  ��� 509
134
+ と� 509
135
135
  �� 507
136
136
  �� 504
137
137
  � 492
@@ -140,8 +140,8 @@ __ 1058
140
140
  � 484
141
141
  ��� 483
142
142
  し� 483
143
- 日� 480
144
143
  ��� 480
144
+ 日� 480
145
145
  �� 471
146
146
  � 470
147
147
  ��� 469
@@ -156,19 +156,19 @@ __ 1058
156
156
  �� 449
157
157
  � 446
158
158
  � 445
159
- ��� 444
160
159
  た� 444
160
+ ��� 444
161
161
  �� 439
162
162
  � 436
163
163
  �� 434
164
164
  ��� 420
165
165
  な� 420
166
+ �� 419
166
167
  ��� 419
167
168
  と� 419
168
- �� 419
169
- �� 416
170
- の� 407
169
+ �� 417
171
170
  ��� 407
171
+ の� 407
172
172
  に� 402
173
173
  ��� 402
174
174
  �� 395
@@ -177,15 +177,15 @@ __ 1058
177
177
  �� 383
178
178
  ��� 382
179
179
  � 379
180
+ ��� 373
180
181
  �� 373
181
182
  � 373
182
- ��� 373
183
183
  � 372
184
184
  は� 372
185
185
  、� 369
186
186
  �� 369
187
- で� 367
188
187
  ��� 367
188
+ で� 367
189
189
  �� 366
190
190
  �� 365
191
191
  � 364
@@ -197,42 +197,42 @@ __ 1058
197
197
  �� 356
198
198
  �� 355
199
199
  �� 354
200
- な� 349
201
200
  ��� 349
202
- � 347
201
+ な� 349
203
202
  �� 347
203
+ � 347
204
204
  �。 342
205
205
  ��。 342
206
206
  �� 338
207
207
  �� 336
208
- ��� 335
209
- �� 335
210
208
  、� 335
209
+ �� 335
210
+ ��� 335
211
211
  � 334
212
212
  �� 333
213
213
  �� 331
214
214
  �� 330
215
- ��� 329
216
215
  （ 329
217
216
  �� 329
217
+ ��� 329
218
218
  は� 329
219
219
  ） 328
220
220
  �� 327
221
221
  �� 324
222
222
  ら 323
223
- �� 323
224
223
  ��� 323
224
+ �� 323
225
225
  �� 321
226
226
  あ 320
227
227
  あ� 320
228
- ��� 316
228
+ �� 316
229
229
  て� 316
230
+ ��� 316
230
231
  も 316
231
232
  �� 316
232
233
  �� 315
233
- �� 315
234
- ��� 313
235
234
  、� 313
235
+ ��� 313
236
236
  「 311
237
237
  �� 311
238
238
  」 311
@@ -243,14 +243,14 @@ __ 1058
243
243
  国� 306
244
244
  ��� 306
245
245
  �� 306
246
- の� 305
247
246
  ��� 305
247
+ の� 305
248
248
  �、 302
249
+ _� 301
249
250
  ��、 300
250
251
  � 298
251
- ��� 297
252
252
  で� 297
253
- _� 296
253
+ ��� 297
254
254
  あ� 284
255
255
  ��� 284
256
256
  �� 281
@@ -259,142 +259,142 @@ _
259
259
  �� 276
260
260
  れ� 274
261
261
  ��� 274
262
- か 273
263
262
  �� 273
263
+ か 273
264
264
  �� 272
265
265
  す 272
266
- 年 270
267
266
  �� 270
267
+ 年 270
268
268
  ��� 269
269
269
  か� 268
270
- ��� 265
270
+ ��� 266
271
+ 」� 263
271
272
  � 263
272
- 」� 262
273
273
  �� 262
274
274
  � 262
275
- す� 261
276
275
  ��� 261
277
- ��� 256
276
+ す� 261
277
+ ��� 258
278
+ �� 257
279
+ ）� 256
278
280
  ��� 255
279
281
  �� 254
280
- ）� 254
281
- �� 254
282
282
  �� 251
283
- 本� 250
284
283
  ��� 250
285
284
  ��� 250
286
- す� 246
287
- �て 246
288
- ��� 246
289
- �� 246
285
+ 本� 250
290
286
  �� 246
287
+ �て 246
291
288
  ��て 246
292
- �本� 245
293
- � 245
289
+ す� 246
290
+ �� 246
291
+ ��� 246
294
292
  � 245
293
+ � 245
294
+ �本� 245
295
295
  �る 242
296
296
  ��る 242
297
297
  �� 241
298
- ��� 239
299
- い� 239
298
+ い� 240
299
+ ��� 240
300
+ っ 238
300
301
  � 238
301
302
  �� 238
302
- っ 238
303
- っ� 237
304
303
  �� 237
304
+ っ� 237
305
305
  ア 237
306
- �� 237
307
306
  �� 237
308
307
  っ� 237
308
+ �� 237
309
309
  �� 236
310
- �� 235
311
- �� 235
312
310
  ・ 235
311
+ �� 235
312
+ �� 235
313
313
  � 233
314
314
  � 233
315
315
  �い 232
316
316
  �い� 231
317
- _年 231
318
317
  _� 231
319
- � 230
320
- ��� 230
318
+ _年 231
321
319
  。� 230
320
+ ��� 230
321
+ � 230
322
322
  � 230
323
+ �� 229
323
324
  た� 229
324
325
  ��� 229
325
- �� 229
326
326
  ��い 228
327
327
  �� 225
328
328
  ��� 224
329
- �� 223
330
- �� 223
331
- �� 223
332
329
  �� 223
330
+ �� 223
331
+ �� 223
332
+ �� 223
333
333
  �� 222
334
334
  �� 220
335
335
  に� 220
336
336
  �� 219
337
337
  ��� 218
338
338
  さ 217
339
- 国� 215
340
- � 215
341
339
  ��� 215
340
+ 国� 215
342
341
  さ� 215
342
+ � 215
343
343
  �る 214
344
344
  ��る 213
345
- �� 210
346
345
  大 210
347
- ら� 209
346
+ �� 210
348
347
  ��� 209
348
+ ら� 209
349
349
  い� 208
350
350
  ��� 208
351
351
  �� 207
352
- � 205
353
352
  � 205
353
+ � 205
354
354
  ��� 202
355
355
  ��� 201
356
356
  に� 201
357
- �� 199
358
357
  �� 199
358
+ �� 199
359
359
  �� 198
360
360
  �� 197
361
361
  り 197
362
362
  �� 196
363
- ��� 194
364
363
  本� 194
365
- さ� 193
364
+ ��� 194
366
365
  � 193
367
- ��る 193
368
366
  ��� 193
369
- � 193
367
+ ��る 193
370
368
  �� 193
369
+ さ� 193
371
370
  �る 193
371
+ � 193
372
372
  �� 192
373
373
  �� 192
374
- ��� 191
375
- ��� 191
374
+ が� 191
376
375
  人 191
377
376
  �� 191
378
377
  ア� 191
379
- が� 191
380
- �� 190
378
+ ��� 191
379
+ ��� 191
381
380
  中 190
382
- �� 188
381
+ �� 190
383
382
  �� 188
384
- か� 187
383
+ �� 188
385
384
  ��� 187
386
- �� 185
387
- �� 185
385
+ か� 187
388
386
  �� 185
387
+ �� 185
389
388
  ��れ 185
389
+ �� 185
390
390
  �れ 185
391
+ �� 184
391
392
  �� 182
392
- �� 182
393
393
  �れ� 182
394
394
  �� 182
395
+ � 181
395
396
  �あ� 181
396
397
  ��あ 181
397
- � 181
398
+ �� 181
398
399
  �あ 181
399
- �� 180
400
400
  ど 180