scylla 0.5.0 → 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -10,391 +10,391 @@ _t 134
10
10
  a 123
11
11
  _n 117
12
12
  u 113
13
- _c 107
13
+ _c 108
14
14
  nh 105
15
- g_ 101
16
- ng_ 101
15
+ ng_ 103
16
+ g_ 103
17
17
  i_ 101
18
- n_ 99
18
+ n_ 100
19
19
  � 92
20
20
  m 74
21
21
  o 70
22
22
  r 65
23
- � 64
24
23
  . 64
25
- 63
24
+ 64
26
25
  l 63
26
+ � 63
27
27
  _� 59
28
28
  th 57
29
- c_ 55
29
+ c_ 56
30
+ h_ 53
30
31
  _th 53
31
- h_ 52
32
32
  s 51
33
33
  _nh 50
34
- t_ 47
35
- , 47
34
+ t_ 49
36
35
  y 47
36
+ , 47
37
37
  _l 46
38
38
  � 45
39
39
  _s 45
40
- a_ 44
41
- nh_ 43
40
+ a_ 45
41
+ nh_ 44
42
42
  ch 42
43
+ u_ 42
43
44
  ,_ 41
45
+ _h 39
44
46
  k 39
45
- _h 38
46
47
  ._ 38
47
- u_ 37
48
- hi 37
49
48
  o_ 37
49
+ hi 37
50
50
  v 37
51
51
  _k 36
52
+ �_ 36
52
53
  _v 35
53
54
  T 35
54
- �_ 35
55
55
  kh 34
56
56
  _m 34
57
57
  � 34
58
- 33
58
+ __ 33
59
59
  _kh 33
60
+ � 33
60
61
  p 32
61
62
  � 31
62
- b 31
63
63
  _ch 31
64
- 30
65
- � 30
64
+ b 31
66
65
  _b 30
66
+ � 30
67
67
  d 30
68
+ � 30
69
+ y_ 29
68
70
  _ng 29
69
- __ 29
70
- y_ 28
71
- N 27
72
71
  tr 27
73
- _T 26
74
- l� 26
72
+ N 27
75
73
  e 26
74
+ l� 26
76
75
  _d 26
77
- m_ 25
76
+ _T 26
78
77
  _g 25
78
+ m_ 25
79
79
  � 25
80
80
  � 24
81
- _tr 24
82
81
  _l� 24
83
82
  � 24
84
83
  � 24
84
+ _tr 24
85
+ � 23
85
86
  � 23
86
87
  an 23
87
- 23
88
+ n 22
88
89
  �_ 22
89
90
  �n 22
90
91
  C 22
91
- �n 22
92
92
  ܩ 21
93
- � 21
94
93
  ph 21
95
- �a 20
96
- ca 20
97
- _p 20
94
+ _p 21
95
+ 21
96
+ _ph 21
98
97
  H 20
98
+ c�a 20
99
99
  h� 20
100
- _ph 20
101
100
  � 20
101
+ �a 20
102
+ l�_ 20
102
103
  c� 20
104
+ _c�a 19
103
105
  �i 19
104
- l_ 19
105
- _ca 18
106
- ho 18
107
- �c 18
108
- � 18
109
- c�a_ 18
106
+ _c� 19
107
+ _l_ 18
110
108
  �a_ 18
111
- _c� 18
112
109
  ha 18
113
- ng 17
114
- _r 17
115
- _l�_ 17
110
+ c 18
111
+ c�a_ 18
112
+ ho 18
113
+ � 18
114
+ _c�a_ 17
116
115
  c� 17
117
116
  gi 17
118
- c_ 17
117
+ ng 17
119
118
  �n 17
119
+ _r 17
120
+ c�_ 17
121
+ in 16
120
122
  _c� 16
123
+ � 16
124
+ � 16
121
125
  � 16
122
- _c�_ 16
126
+ _C 16
123
127
  �i_ 16
124
- in 16
125
- � 16
126
- _c�a_ 16
127
- � 16
128
- " 15
129
- i� 15
128
+ _c�_ 16
130
129
  i� 15
131
- _gi 15
132
- nhi 15
133
- q 15
134
- uy 15
135
130
  h� 15
136
131
  qu 15
132
+ �ng_ 15
133
+ � 15
134
+ q 15
135
+ nhi 15
137
136
  h� 15
137
+ _gi 15
138
+ i� 15
138
139
  g� 15
139
- _C 15
140
- 15
141
- ng_ 15
140
+ uy 15
141
+ n 14
142
+ t 14
143
+ .. 14
144
+ �n_ 14
145
+ h� 14
146
+ _nhi 14
142
147
  ra 14
143
148
  � 14
144
- �n 14
145
149
  � 14
146
- _nhi 14
147
- h� 14
148
- .. 14
149
- �t 14
150
+ �i 13
150
151
  gܩi 13
152
+ ܩi_ 13
153
+ �u 13
151
154
  �nh 13
155
+ � 13
156
+ v� 13
152
157
  ܩi 13
153
- u 13
154
- ܩi_ 13
158
+ n 13
159
+ gܩi_ 13
155
160
  _qu 13
161
+ _H 13
162
+ gܩ 13
156
163
  �t_ 13
164
+ _N 13
165
+ �i_ 13
157
166
  _q 13
158
- �n 13
159
- gܩ 13
160
- � 13
161
- v� 13
162
- gܩi_ 13
163
- �i 13
164
167
  � 13
165
- n_ 13
166
- i_ 13
167
- _v� 12
168
+ hng 12
169
+ hiu 12
168
170
  h�n 12
169
- on 12
171
+ �u_ 12
170
172
  � 12
171
- _N 12
173
+ _v� 12
174
+ on 12
172
175
  i�u 12
173
- hi�u 12
174
- �u_ 12
175
- hi� 12
176
176
  inh 12
177
- hng 12
177
+ hi� 12
178
+ _c� 11
178
179
  x 11
179
- nhi� 11
180
- hiu_ 11
181
- kh� 11
182
- kh�n 11
183
- nhi�u 11
180
+ n_ 11
181
+ � 11
184
182
  kh�ng 11
185
- �n 11
186
183
  c� 11
187
- _ 11
188
- �t 11
189
- ay 11
190
- � 11
191
- �o 11
184
+ c_ 11
192
185
  sa 11
193
- n_ 11
194
- _m� 11
186
+ hiu_ 11
187
+ ܮ 11
188
+ �o 11
189
+ � 11
195
190
  m� 11
196
- _c� 11
197
191
  _sa 11
198
- ܮ 11
192
+ nhi� 11
193
+ �n 11
194
+ nhi�u 11
195
+ kh� 11
196
+ kh�n 11
197
+ _m� 11
198
+ ay 11
199
+ �t 11
199
200
  i�u_ 11
200
- � 11
201
- _H 11
202
- �c_ 10
203
- � 10
204
- �nh_ 10
205
- �n 10
206
- i� 10
207
- �o_ 10
208
- _kh�n 10
209
- _m�t_ 10
210
- ng� 10
201
+ _ 11
211
202
  �n 10
212
203
  ngܩi 10
213
- �ܮ 10
214
- _ng� 10
215
- t 10
216
- V 10
204
+ ng� 10
205
+ t_ 10
206
+ nh_ 10
207
+ _m�t 10
208
+ _x 10
209
+ ܮc 10
217
210
  m�t 10
218
- ngܩ 10
219
211
  h�ng_ 10
212
+ �n 10
213
+ � 10
214
+ h� 10
215
+ �c 10
216
+ inh_ 10
217
+ m�t_ 10
218
+ �t 10
219
+ � 10
220
+ �n 10
221
+ _m�t_ 10
222
+ _ng� 10
220
223
  �� 10
224
+ i� 10
225
+ _nhi� 10
221
226
  �ng 10
222
- �t_ 10
223
- _ngܩ 10
224
- m�t_ 10
225
- � 10
227
+ V 10
228
+ �o_ 10
226
229
  �ܮc 10
227
- _nhi� 10
228
- ܮc 10
229
- �n 10
230
- _m�t 10
231
230
  _kh� 10
232
- h� 10
233
- �c 10
234
- _x 10
235
- _c�c 9
236
- 9
231
+ ngܩ 10
232
+ �ܮ 10
233
+ _kh�n 10
234
+ _ngܩ 10
235
+ _�� 9
236
+ �ng_ 9
237
+ th� 9
237
238
  nh� 9
239
+ n� 9
240
+ �_ 9
238
241
  �_ 9
239
- ho_ 9
242
+ �ܮc_ 9
243
+ L 9
244
+ _V 9
240
245
  ti 9
246
+ �c_ 9
241
247
  _�ܮc 9
242
- : 9
243
- �_ 9
244
- inh_ 9
248
+ �n 9
245
249
  ch_ 9
250
+ ܮc_ 9
251
+ _c�c 9
252
+ S 9
253
+ �t_ 9
254
+ ho_ 9
255
+ A 9
256
+ _th� 9
257
+ h�n 9
246
258
  _�ܮ 9
247
- �ng_ 9
248
- �n 9
249
- L 9
250
- f 9
251
- ra_ 9
252
- n� 9
253
- _V 9
254
259
  an_ 9
255
- � 9
256
- _�� 9
257
- th� 9
258
- ܮc_ 9
259
260
  � 9
260
- �ܮc_ 9
261
- _n� 9
262
- h�n 9
263
- �c_ 9
264
- ay_ 9
265
- A 9
261
+ ra_ 9
266
262
  c�c 9
267
- S 9
263
+ _n� 9
268
264
  _nh� 9
269
- _th� 9
270
- �_ 8
271
- rong_ 8
272
- _cho 8
273
- �c 8
274
- _s� 8
275
- ong_ 8
276
- _th�_ 8
277
- ro 8
278
- ron 8
279
- h� 8
280
- h�_ 8
281
- rong 8
282
- p_ 8
283
- �� 8
284
- �ng_ 8
265
+ ay_ 9
266
+ f 9
267
+ 9
268
+ 9
285
269
  ܧ 8
286
- un 8
270
+ �y 8
271
+ ��_ 8
287
272
  au 8
288
- s� 8
289
- _ 8
290
- ܩn 8
273
+ h_ 8
274
+ c 8
291
275
  �u 8
276
+ ro 8
277
+ �n_ 8
278
+ cho 8
292
279
  h� 8
293
- ��_ 8
294
- ong 8
280
+ M 8
281
+ �� 8
282
+ ong_ 8
283
+ h�_ 8
284
+ �ng_ 8
285
+ �_ 8
286
+ _s� 8
287
+ �nh 8
288
+ �n 8
295
289
  G 8
290
+ �_ 8
291
+ ܩng 8
292
+ h� 8
296
293
  ܩng_ 8
297
- n 8
294
+ _ 8
295
+ s� 8
298
296
  �c_ 8
299
- th�_ 8
297
+ ܩn 8
298
+ _th�_ 8
299
+ p_ 8
300
+ Th 8
301
+ ong 8
302
+ rong_ 8
303
+ ron 8
304
+ hu 8
305
+ un 8
300
306
  _ti 8
307
+ _cho 8
308
+ rong 8
301
309
  ta 8
302
- ܩng 8
303
- hu 8
304
- �nh 8
305
- M 8
306
- �y 8
307
- Th 8
308
- h�_ 8
309
- �_ 8
310
- cho 8
311
- �n_ 8
312
310
  �ng 8
313
- ua 7
314
- � 7
315
- � 7
316
- �n_ 7
317
- ao_ 7
318
- �ch 7
319
- � 7
320
- �nh_ 7
321
- ar 7
311
+ th�_ 8
312
+ nh_ 7
313
+ n 7
322
314
  � 7
315
+ �n 7
316
+ � 7
323
317
  i� 7
324
- hay 7
325
- ao 7
326
- �t_ 7
327
318
  �ch_ 7
328
- anh 7
329
- _L 7
330
- _nh�_ 7
331
- _Th 7
332
- nh�_ 7
333
- kh� 7
319
+ re 7
320
+ 7
334
321
  _�� 7
335
- cho_ 7
322
+ _nh�_ 7
336
323
  vi 7
337
- l� 7
324
+ anh 7
325
+ � 7
326
+ �n_ 7
327
+ kh� 7
328
+ ao_ 7
329
+ _vi 7
338
330
  �n 7
339
- � 7
331
+ u_ 7
332
+ _cho_ 7
333
+ hay 7
334
+ � 7
340
335
  ai_ 7
341
- _��_ 7
342
- ? 7
336
+ ... 7
337
+ �i 7
343
338
  Ng 7
344
- �n 7
345
- re 7
339
+ _��_ 7
340
+ 7
341
+ � 7
346
342
  _kh� 7
347
- �n 7
348
- 7
349
- _cho_ 7
350
- � 7
351
- �i 7
352
- ... 7
353
- _vi 7
343
+ ao 7
344
+ _Th 7
354
345
  ai 7
355
- _ra_ 6
356
- ��n 6
346
+ _L 7
347
+ ua 7
348
+ �ch 7
349
+ cho_ 7
350
+ ar 7
351
+ �nh_ 7
352
+ _Ng 7
353
+ �y_ 7
354
+ l� 7
357
355
  l�i 6
358
- s� 6
359
- �n 6
360
- _r�t_ 6
361
- l�i_ 6
362
- _ 6
363
- h� 6
364
- _th� 6
356
+ i 6
357
+ �� 6
358
+ _M 6
359
+ _ljn 6
360
+ _ 6
361
+ hay_ 6
365
362
  ��ng 6
366
- _ra 6
367
- Nj_ 6
368
- trong 6
369
- ngu 6
370
- h� 6
371
- _Nj 6
372
- �u_ 6
373
- Tr 6
374
363
  _ljn_ 6
375
- _r� 6
376
- al 6
377
- _ 6
378
- d� 6
379
- r�t 6
364
+ v_ 6
365
+ _th� 6
366
+ r� 6
380
367
  � 6
381
- ljn_ 6
382
- Nj 6
368
+ s� 6
383
369
  lj 6
384
- hay_ 6
385
- _M 6
386
- h�nh_ 6
387
- 6
388
- �i_ 6
389
- � 6
390
- _Nj_ 6
370
+ _r� 6
371
+ hi� 6
372
+ h� 6
373
+ _r�t_ 6
391
374
  _s� 6
392
- s_ 6
393
- �� 6
375
+ � 6
376
+ 6
377
+ _� 6
378
+ h� 6
379
+ r�t_ 6
380
+ �ng 6
381
+ d� 6
394
382
  _r�t 6
395
- hi� 6
396
- _s_ 6
397
- v�_ 6
383
+ i_ 6
384
+ it 6
385
+ _S 6
386
+ i�n 6
387
+ �n 6
388
+ Tr 6
389
+ _l� 6
390
+ ung 6
391
+ l�i_ 6
392
+ tron 6
393
+ �_ 6
394
+ th� 6
395
+ tro 6
398
396
  gu 6
399
- ljn 6
400
397
  ia 6
398
+ _Nj_ 6
399
+ Nj_ 6
400
+ r�t 6