scylla 0.5.0 → 0.6.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (58) hide show
  1. data/Gemfile +4 -2
  2. data/Gemfile.lock +16 -1
  3. data/lib/scylla/classifier.rb +1 -1
  4. data/lib/scylla/generator.rb +16 -4
  5. data/lib/scylla/lms/afrikaans.lm +232 -232
  6. data/lib/scylla/lms/arabic.lm +175 -175
  7. data/lib/scylla/lms/bulgarian.lm +225 -225
  8. data/lib/scylla/lms/catalan.lm +309 -309
  9. data/lib/scylla/lms/danish.lm +167 -167
  10. data/lib/scylla/lms/english.lm +398 -398
  11. data/lib/scylla/lms/finnish.lm +237 -237
  12. data/lib/scylla/lms/french.lm +148 -148
  13. data/lib/scylla/lms/german.lm +258 -258
  14. data/lib/scylla/lms/greek.lm +236 -236
  15. data/lib/scylla/lms/hebrew.lm +154 -154
  16. data/lib/scylla/lms/hindi.lm +139 -139
  17. data/lib/scylla/lms/icelandic.lm +239 -239
  18. data/lib/scylla/lms/indonesian.lm +244 -244
  19. data/lib/scylla/lms/italian.lm +248 -248
  20. data/lib/scylla/lms/japanese.lm +90 -90
  21. data/lib/scylla/lms/korean.lm +306 -306
  22. data/lib/scylla/lms/norwegian.lm +193 -193
  23. data/lib/scylla/lms/polish.lm +241 -241
  24. data/lib/scylla/lms/portuguese.lm +232 -232
  25. data/lib/scylla/lms/romanian.lm +246 -246
  26. data/lib/scylla/lms/slovak.lm +242 -242
  27. data/lib/scylla/lms/slovenian.lm +229 -229
  28. data/lib/scylla/lms/spanish.lm +164 -164
  29. data/lib/scylla/lms/swedish.lm +157 -157
  30. data/lib/scylla/lms/tagalog.lm +247 -247
  31. data/lib/scylla/lms/thai.lm +252 -252
  32. data/lib/scylla/lms/turkish.lm +285 -285
  33. data/lib/scylla/lms/vietnamese.lm +250 -250
  34. data/lib/scylla/lms/welsh.lm +248 -248
  35. data/lib/scylla/resources.rb +1 -9
  36. data/lib/scylla.rb +4 -0
  37. data/scylla.gemspec +2 -120
  38. data/source_texts/english.txt +62 -27
  39. data/test/classifier_test.rb +1 -3
  40. data/test/fixtures/lms/danish.lm +173 -173
  41. data/test/fixtures/lms/english.lm +220 -220
  42. data/test/fixtures/lms/french.lm +175 -175
  43. data/test/fixtures/lms/german.lm +254 -254
  44. data/test/fixtures/lms/hindi.lm +139 -139
  45. data/test/fixtures/lms/italian.lm +236 -236
  46. data/test/fixtures/lms/japanese.lm +88 -88
  47. data/test/fixtures/lms/norwegian.lm +182 -182
  48. data/test/fixtures/lms/spanish.lm +164 -164
  49. data/test/fixtures/test_languages/spanish +0 -1
  50. data/test/generator_test.rb +13 -0
  51. data/test/helper.rb +2 -0
  52. metadata +18 -25
  53. data/.document +0 -5
  54. data/lib/scylla/lms/13375P33K.lm +0 -400
  55. data/scylla-0.1.0.gem +0 -0
  56. data/source_texts/13375P33K.txt +0 -199
  57. data/test/fixtures/lms/13375p33k.lm +0 -400
  58. data/test/fixtures/source_texts/13375P33K.txt +0 -199
@@ -10,391 +10,391 @@ _t 134
10
10
  a 123
11
11
  _n 117
12
12
  u 113
13
- _c 107
13
+ _c 108
14
14
  nh 105
15
- g_ 101
16
- ng_ 101
15
+ ng_ 103
16
+ g_ 103
17
17
  i_ 101
18
- n_ 99
18
+ n_ 100
19
19
  � 92
20
20
  m 74
21
21
  o 70
22
22
  r 65
23
- � 64
24
23
  . 64
25
- 63
24
+ 64
26
25
  l 63
26
+ � 63
27
27
  _� 59
28
28
  th 57
29
- c_ 55
29
+ c_ 56
30
+ h_ 53
30
31
  _th 53
31
- h_ 52
32
32
  s 51
33
33
  _nh 50
34
- t_ 47
35
- , 47
34
+ t_ 49
36
35
  y 47
36
+ , 47
37
37
  _l 46
38
38
  � 45
39
39
  _s 45
40
- a_ 44
41
- nh_ 43
40
+ a_ 45
41
+ nh_ 44
42
42
  ch 42
43
+ u_ 42
43
44
  ,_ 41
45
+ _h 39
44
46
  k 39
45
- _h 38
46
47
  ._ 38
47
- u_ 37
48
- hi 37
49
48
  o_ 37
49
+ hi 37
50
50
  v 37
51
51
  _k 36
52
+ �_ 36
52
53
  _v 35
53
54
  T 35
54
- �_ 35
55
55
  kh 34
56
56
  _m 34
57
57
  � 34
58
- 33
58
+ __ 33
59
59
  _kh 33
60
+ � 33
60
61
  p 32
61
62
  � 31
62
- b 31
63
63
  _ch 31
64
- 30
65
- � 30
64
+ b 31
66
65
  _b 30
66
+ � 30
67
67
  d 30
68
+ � 30
69
+ y_ 29
68
70
  _ng 29
69
- __ 29
70
- y_ 28
71
- N 27
72
71
  tr 27
73
- _T 26
74
- l� 26
72
+ N 27
75
73
  e 26
74
+ l� 26
76
75
  _d 26
77
- m_ 25
76
+ _T 26
78
77
  _g 25
78
+ m_ 25
79
79
  � 25
80
80
  � 24
81
- _tr 24
82
81
  _l� 24
83
82
  � 24
84
83
  � 24
84
+ _tr 24
85
+ � 23
85
86
  � 23
86
87
  an 23
87
- 23
88
+ n 22
88
89
  �_ 22
89
90
  �n 22
90
91
  C 22
91
- �n 22
92
92
  ܩ 21
93
- � 21
94
93
  ph 21
95
- �a 20
96
- ca 20
97
- _p 20
94
+ _p 21
95
+ 21
96
+ _ph 21
98
97
  H 20
98
+ c�a 20
99
99
  h� 20
100
- _ph 20
101
100
  � 20
101
+ �a 20
102
+ l�_ 20
102
103
  c� 20
104
+ _c�a 19
103
105
  �i 19
104
- l_ 19
105
- _ca 18
106
- ho 18
107
- �c 18
108
- � 18
109
- c�a_ 18
106
+ _c� 19
107
+ _l_ 18
110
108
  �a_ 18
111
- _c� 18
112
109
  ha 18
113
- ng 17
114
- _r 17
115
- _l�_ 17
110
+ c 18
111
+ c�a_ 18
112
+ ho 18
113
+ � 18
114
+ _c�a_ 17
116
115
  c� 17
117
116
  gi 17
118
- c_ 17
117
+ ng 17
119
118
  �n 17
119
+ _r 17
120
+ c�_ 17
121
+ in 16
120
122
  _c� 16
123
+ � 16
124
+ � 16
121
125
  � 16
122
- _c�_ 16
126
+ _C 16
123
127
  �i_ 16
124
- in 16
125
- � 16
126
- _c�a_ 16
127
- � 16
128
- " 15
129
- i� 15
128
+ _c�_ 16
130
129
  i� 15
131
- _gi 15
132
- nhi 15
133
- q 15
134
- uy 15
135
130
  h� 15
136
131
  qu 15
132
+ �ng_ 15
133
+ � 15
134
+ q 15
135
+ nhi 15
137
136
  h� 15
137
+ _gi 15
138
+ i� 15
138
139
  g� 15
139
- _C 15
140
- 15
141
- ng_ 15
140
+ uy 15
141
+ n 14
142
+ t 14
143
+ .. 14
144
+ �n_ 14
145
+ h� 14
146
+ _nhi 14
142
147
  ra 14
143
148
  � 14
144
- �n 14
145
149
  � 14
146
- _nhi 14
147
- h� 14
148
- .. 14
149
- �t 14
150
+ �i 13
150
151
  gܩi 13
152
+ ܩi_ 13
153
+ �u 13
151
154
  �nh 13
155
+ � 13
156
+ v� 13
152
157
  ܩi 13
153
- u 13
154
- ܩi_ 13
158
+ n 13
159
+ gܩi_ 13
155
160
  _qu 13
161
+ _H 13
162
+ gܩ 13
156
163
  �t_ 13
164
+ _N 13
165
+ �i_ 13
157
166
  _q 13
158
- �n 13
159
- gܩ 13
160
- � 13
161
- v� 13
162
- gܩi_ 13
163
- �i 13
164
167
  � 13
165
- n_ 13
166
- i_ 13
167
- _v� 12
168
+ hng 12
169
+ hiu 12
168
170
  h�n 12
169
- on 12
171
+ �u_ 12
170
172
  � 12
171
- _N 12
173
+ _v� 12
174
+ on 12
172
175
  i�u 12
173
- hi�u 12
174
- �u_ 12
175
- hi� 12
176
176
  inh 12
177
- hng 12
177
+ hi� 12
178
+ _c� 11
178
179
  x 11
179
- nhi� 11
180
- hiu_ 11
181
- kh� 11
182
- kh�n 11
183
- nhi�u 11
180
+ n_ 11
181
+ � 11
184
182
  kh�ng 11
185
- �n 11
186
183
  c� 11
187
- _ 11
188
- �t 11
189
- ay 11
190
- � 11
191
- �o 11
184
+ c_ 11
192
185
  sa 11
193
- n_ 11
194
- _m� 11
186
+ hiu_ 11
187
+ ܮ 11
188
+ �o 11
189
+ � 11
195
190
  m� 11
196
- _c� 11
197
191
  _sa 11
198
- ܮ 11
192
+ nhi� 11
193
+ �n 11
194
+ nhi�u 11
195
+ kh� 11
196
+ kh�n 11
197
+ _m� 11
198
+ ay 11
199
+ �t 11
199
200
  i�u_ 11
200
- � 11
201
- _H 11
202
- �c_ 10
203
- � 10
204
- �nh_ 10
205
- �n 10
206
- i� 10
207
- �o_ 10
208
- _kh�n 10
209
- _m�t_ 10
210
- ng� 10
201
+ _ 11
211
202
  �n 10
212
203
  ngܩi 10
213
- �ܮ 10
214
- _ng� 10
215
- t 10
216
- V 10
204
+ ng� 10
205
+ t_ 10
206
+ nh_ 10
207
+ _m�t 10
208
+ _x 10
209
+ ܮc 10
217
210
  m�t 10
218
- ngܩ 10
219
211
  h�ng_ 10
212
+ �n 10
213
+ � 10
214
+ h� 10
215
+ �c 10
216
+ inh_ 10
217
+ m�t_ 10
218
+ �t 10
219
+ � 10
220
+ �n 10
221
+ _m�t_ 10
222
+ _ng� 10
220
223
  �� 10
224
+ i� 10
225
+ _nhi� 10
221
226
  �ng 10
222
- �t_ 10
223
- _ngܩ 10
224
- m�t_ 10
225
- � 10
227
+ V 10
228
+ �o_ 10
226
229
  �ܮc 10
227
- _nhi� 10
228
- ܮc 10
229
- �n 10
230
- _m�t 10
231
230
  _kh� 10
232
- h� 10
233
- �c 10
234
- _x 10
235
- _c�c 9
236
- 9
231
+ ngܩ 10
232
+ �ܮ 10
233
+ _kh�n 10
234
+ _ngܩ 10
235
+ _�� 9
236
+ �ng_ 9
237
+ th� 9
237
238
  nh� 9
239
+ n� 9
240
+ �_ 9
238
241
  �_ 9
239
- ho_ 9
242
+ �ܮc_ 9
243
+ L 9
244
+ _V 9
240
245
  ti 9
246
+ �c_ 9
241
247
  _�ܮc 9
242
- : 9
243
- �_ 9
244
- inh_ 9
248
+ �n 9
245
249
  ch_ 9
250
+ ܮc_ 9
251
+ _c�c 9
252
+ S 9
253
+ �t_ 9
254
+ ho_ 9
255
+ A 9
256
+ _th� 9
257
+ h�n 9
246
258
  _�ܮ 9
247
- �ng_ 9
248
- �n 9
249
- L 9
250
- f 9
251
- ra_ 9
252
- n� 9
253
- _V 9
254
259
  an_ 9
255
- � 9
256
- _�� 9
257
- th� 9
258
- ܮc_ 9
259
260
  � 9
260
- �ܮc_ 9
261
- _n� 9
262
- h�n 9
263
- �c_ 9
264
- ay_ 9
265
- A 9
261
+ ra_ 9
266
262
  c�c 9
267
- S 9
263
+ _n� 9
268
264
  _nh� 9
269
- _th� 9
270
- �_ 8
271
- rong_ 8
272
- _cho 8
273
- �c 8
274
- _s� 8
275
- ong_ 8
276
- _th�_ 8
277
- ro 8
278
- ron 8
279
- h� 8
280
- h�_ 8
281
- rong 8
282
- p_ 8
283
- �� 8
284
- �ng_ 8
265
+ ay_ 9
266
+ f 9
267
+ 9
268
+ 9
285
269
  ܧ 8
286
- un 8
270
+ �y 8
271
+ ��_ 8
287
272
  au 8
288
- s� 8
289
- _ 8
290
- ܩn 8
273
+ h_ 8
274
+ c 8
291
275
  �u 8
276
+ ro 8
277
+ �n_ 8
278
+ cho 8
292
279
  h� 8
293
- ��_ 8
294
- ong 8
280
+ M 8
281
+ �� 8
282
+ ong_ 8
283
+ h�_ 8
284
+ �ng_ 8
285
+ �_ 8
286
+ _s� 8
287
+ �nh 8
288
+ �n 8
295
289
  G 8
290
+ �_ 8
291
+ ܩng 8
292
+ h� 8
296
293
  ܩng_ 8
297
- n 8
294
+ _ 8
295
+ s� 8
298
296
  �c_ 8
299
- th�_ 8
297
+ ܩn 8
298
+ _th�_ 8
299
+ p_ 8
300
+ Th 8
301
+ ong 8
302
+ rong_ 8
303
+ ron 8
304
+ hu 8
305
+ un 8
300
306
  _ti 8
307
+ _cho 8
308
+ rong 8
301
309
  ta 8
302
- ܩng 8
303
- hu 8
304
- �nh 8
305
- M 8
306
- �y 8
307
- Th 8
308
- h�_ 8
309
- �_ 8
310
- cho 8
311
- �n_ 8
312
310
  �ng 8
313
- ua 7
314
- � 7
315
- � 7
316
- �n_ 7
317
- ao_ 7
318
- �ch 7
319
- � 7
320
- �nh_ 7
321
- ar 7
311
+ th�_ 8
312
+ nh_ 7
313
+ n 7
322
314
  � 7
315
+ �n 7
316
+ � 7
323
317
  i� 7
324
- hay 7
325
- ao 7
326
- �t_ 7
327
318
  �ch_ 7
328
- anh 7
329
- _L 7
330
- _nh�_ 7
331
- _Th 7
332
- nh�_ 7
333
- kh� 7
319
+ re 7
320
+ 7
334
321
  _�� 7
335
- cho_ 7
322
+ _nh�_ 7
336
323
  vi 7
337
- l� 7
324
+ anh 7
325
+ � 7
326
+ �n_ 7
327
+ kh� 7
328
+ ao_ 7
329
+ _vi 7
338
330
  �n 7
339
- � 7
331
+ u_ 7
332
+ _cho_ 7
333
+ hay 7
334
+ � 7
340
335
  ai_ 7
341
- _��_ 7
342
- ? 7
336
+ ... 7
337
+ �i 7
343
338
  Ng 7
344
- �n 7
345
- re 7
339
+ _��_ 7
340
+ 7
341
+ � 7
346
342
  _kh� 7
347
- �n 7
348
- 7
349
- _cho_ 7
350
- � 7
351
- �i 7
352
- ... 7
353
- _vi 7
343
+ ao 7
344
+ _Th 7
354
345
  ai 7
355
- _ra_ 6
356
- ��n 6
346
+ _L 7
347
+ ua 7
348
+ �ch 7
349
+ cho_ 7
350
+ ar 7
351
+ �nh_ 7
352
+ _Ng 7
353
+ �y_ 7
354
+ l� 7
357
355
  l�i 6
358
- s� 6
359
- �n 6
360
- _r�t_ 6
361
- l�i_ 6
362
- _ 6
363
- h� 6
364
- _th� 6
356
+ i 6
357
+ �� 6
358
+ _M 6
359
+ _ljn 6
360
+ _ 6
361
+ hay_ 6
365
362
  ��ng 6
366
- _ra 6
367
- Nj_ 6
368
- trong 6
369
- ngu 6
370
- h� 6
371
- _Nj 6
372
- �u_ 6
373
- Tr 6
374
363
  _ljn_ 6
375
- _r� 6
376
- al 6
377
- _ 6
378
- d� 6
379
- r�t 6
364
+ v_ 6
365
+ _th� 6
366
+ r� 6
380
367
  � 6
381
- ljn_ 6
382
- Nj 6
368
+ s� 6
383
369
  lj 6
384
- hay_ 6
385
- _M 6
386
- h�nh_ 6
387
- 6
388
- �i_ 6
389
- � 6
390
- _Nj_ 6
370
+ _r� 6
371
+ hi� 6
372
+ h� 6
373
+ _r�t_ 6
391
374
  _s� 6
392
- s_ 6
393
- �� 6
375
+ � 6
376
+ 6
377
+ _� 6
378
+ h� 6
379
+ r�t_ 6
380
+ �ng 6
381
+ d� 6
394
382
  _r�t 6
395
- hi� 6
396
- _s_ 6
397
- v�_ 6
383
+ i_ 6
384
+ it 6
385
+ _S 6
386
+ i�n 6
387
+ �n 6
388
+ Tr 6
389
+ _l� 6
390
+ ung 6
391
+ l�i_ 6
392
+ tron 6
393
+ �_ 6
394
+ th� 6
395
+ tro 6
398
396
  gu 6
399
- ljn 6
400
397
  ia 6
398
+ _Nj_ 6
399
+ Nj_ 6
400
+ r�t 6