RubyGems - scylla - Versions diffs - 0.3.0 → 0.4.0 - Mend

scylla 0.3.0 → 0.4.0

Files changed (23) hide show

data/VERSION +1 -1
data/lib/scylla/generator.rb +0 -1
data/lib/scylla/lms/{greek-iso8859-7.lm → greek.lm} +0 -0
data/lib/scylla/lms/{serbian-ascii.lm → serbian.lm} +0 -0
data/lib/scylla/lms/{slovak-ascii.lm → slovak.lm} +0 -0
data/lib/scylla/lms/{slovenian-ascii.lm → slovenian.lm} +0 -0
data/lib/scylla/lms/swedish.lm +400 -400
data/lib/scylla/lms/{ukrainian-koi8_u.lm → ukrainian.lm} +0 -0
data/lib/scylla/lms/{yiddish-utf.lm → yiddish.lm} +0 -0
data/lib/scylla/resources.rb +53 -0
data/lib/scylla/string.rb +18 -4
data/lib/scylla.rb +2 -1
data/scylla.gemspec +14 -13
data/source_texts/{greek-iso8859-7.txt → greek.txt} +0 -0
data/source_texts/{serbian-ascii.txt → serbian.txt} +0 -0
data/source_texts/{slovak-ascii.txt → slovak.txt} +0 -0
data/source_texts/{slovenian-ascii.txt → slovenian.txt} +0 -0
data/source_texts/swedish.txt +479 -66
data/source_texts/{ukrainian-koi8_u.txt → ukrainian.txt} +0 -0
data/test/classifier_test.rb +1 -1
data/test/loader_test.rb +1 -1
data/test/scylla_test.rb +5 -1
metadata +16 -15

data/lib/scylla/lms/swedish.lm CHANGED Viewed

@@ -1,400 +1,400 @@
-_	1074
-e	312
-n	307
-a	273
-t	252
-r	250
-i	234
-s	228
-l	158
-d	145
-m	117
-o	112
-g	102
-k	102
-en	87
-n_	87
-v	81
-�	76
-f	62
-de	57
-_s	57
-h	57
-u	56
-t_	56
-ar	54
-en_	54
-an	53
-r_	53
-er	50
-�	49
-a_	44
-p	43
-et	42
-_d	39
-in	38
-�	38
-.	38
-_e	37
-st	36
-re	36
-c	35
-e_	35
-b	33
-ti	33
-_a	31
-ng	31
-ll	31
-te	31
-_i	30
-_f	29
-ra	28
-_m	28
-_v	28
-�r	28
-sk	28
-s_	27
-is	27
-tt	26
-m_	26
-ni	26
-si	26
-ta	25
-y	25
-on	25
-ik	25
-na	25
-ig	24
-j	24
-__	24
-ns	24
-at	23
-ka	23
-ge	23
-._	22
-il	22
-_o	22
-kt	22
-i_	22
-_en	22
-�r	21
-nd	21
-om	21
-_t	21
-_de	20
-,	19
-f�	19
-li	19
-es	19
-vi	19
-ch	19
-or	18
-v_	18
-va	18
-_h	18
-ar_	18
-la	18
-av	18
-_i_	17
-d_	17
-nn	17
-,_	17
-den	17
-am	17
-�_	17
-ga	17
-sa	17
-ri	17
-av_	16
-so	16
-f�r	16
-di	16
-_en_	16
-h_	16
-ha	16
-ikt	16
-et_	16
-�n	16
-se	16
-me	16
-oc	16
-id	15
-ill	15
-ne	15
-_k	15
-al	15
-nt	15
-_p	14
-io	14
-_b	14
-de_	14
-ch_	14
-an_	14
-"	14
-el	14
-den_	14
-om_	14
-som	14
-ke	14
-le	14
-tr	14
-us	14
-och	14
-da	14
-_vi	14
-er_	13
-_f�	13
-att	13
-he	13
-_ha	13
-l_	13
-_ti	13
-rn	13
-_och	13
-och_	13
-_av	13
-_oc	13
-til	12
-ska	12
-rd	12
-_den	12
-ing	12
-ion	12
-it	12
-ls	12
-_och_	12
-som_	12
-till	12
-are	12
-_av_	12
-oni	11
-un	11
-sin	11
-ll_	11
-em	11
-_till	11
-gt	11
-_u	11
-and	11
-_til	11
-tt_	11
-as	11
-isk	11
-_den_	11
-_so	10
-der	10
-g_	10
-_si	10
-lig	10
-ck	10
-mi	10
-na_	10
-_l	10
-_som	10
-ds	10
-ad	10
-_g	10
-p�_	10
-_f�r	10
-p�	10
-ans	10
-nde	9
-gen	9
-S	9
-ter	9
-re_	9
-x	9
-m�	9
-v�	9
-_r	9
-ns_	9
-var	9
-�r_	9
-D	9
-_at	9
-ed	9
-to	9
-k_	9
-_att	9
-�n	9
-rs	8
-ste	8
-_me	8
-pr	8
-_in	8
-_D	8
-ern	8
-ss	8
-_p�_	8
-gar	8
-l�	8
-_di	8
-ut	8
-_p�	8
-ning	8
-nin	8
-_som_	8
-ag	8
-ve	8
-ill_	8
-ld	8
-_va	8
-ton	8
-�g	7
-�ng	7
-ade	7
-igt	7
-rm	7
-tar	7
-t�	7
-lan	7
-ol	7
-_�	7
-pp	7
-all	7
-st_	7
-sm	7
-ts	7
-_har	7
-inn	7
-sam	7
-E	7
-har	7
-r�	7
-ro	7
-�l	7
-are_	7
-�r	7
-till_	7
-els	7
-n.	7
-ma	7
-bl	7
-j�	7
-kr	7
-_st	7
-iska	7
-nis	7
-rna	7
-med	7
-rk	7
-nga	7
-era	7
-_sin	7
-in_	6
-est	6
-d�	6
-ktoni	6
-ja	6
-toniu	6
-iu	6
-iv	6
-niu	6
-ren	6
-att_	6
-sion	6
-m�	6
-no	6
-Di	6
-tion	6
-ex	6
-gr	6
-_S	6
-be	6
-ligt	6
-van	6
-_n	6
-mu	6
-_dikt	6
-_var	6
-ess	6
-ism	6
-Dikto	6
-fi	6
-tio	6
-ikton	6
-ra_	6
-else	6
-ius	6
-f�r_	6
-Dik	6
-dikt	6
-ga_	6
-ande	6
-_H	6
-_sk	6
-kton	6
-dik	6
-lse	6
-ten	6
-kto	6
-r�	6
-d�r	6
-Dikt	6
-gt_	6
-sio	6
-_d�	6
-toni	6
-nius	6
-han	6
-oniu	6
-_sa	6
-mm	6
-tid	6
-rb	6
-res	6
-het	6
-for	6
-_dik	6
-fo	6
-ikto	6
-fa	6
-sl	6
-_d�r	6
-ord	6
-rg	6
-onius	6
-H	6
-�r_	6
-nni	5
-up	5
-ny	5
-tra	5
-lle	5
-_�r_	5
-pre	5
-ei	5
-ens	5
-nte	5
-lj	5
-_sin_	5
-kl	5
-nne	5
-_Dikt	5
-_Dik	5
-_vid	5
-iska_	5
-ka_	5
-ko	5
-ati	5
-ver	5
-_med	5
-st�	5
-det	5
-nge	5
-vid	5
-sin_	5
-ade_	5
-gs	5
-lt	5
-ak	5
-_att_	5
-ler	5
-lv	5
-�r_	5
-_ka	5
-net	5
-kan	5
-ly	5
-�d	5
-gen_	5
+_	20224
+e	4682
+r	4185
+a	4010
+n	3825
+t	3529
+i	2832
+s	2764
+__	2494
+l	2337
+�	2073
+d	2021
+o	1814
+g	1572
+k	1402
+m	1359
+v	1194
+er	1164
+r_	1002
+en	976
+ä	888
+�	888
+de	842
+n_	833
+t_	812
+f	745
+a_	744
+ar	732
+u	729
+an	718
+p	716
+h	695
+st	647
+_s	643
+in	614
+ö	597
+�	597
+nd	582
+e_	576
+ri	540
+c	527
+et	526
+en_	523
+�	523
+å	523
+ge	519
+ra	512
+.	509
+te	498
+ti	471
+ig	467
+_i	461
+la	437
+s_	415
+b	412
+ta	403
+re	402
+S	401
+ve	397
+_a	393
+_o	391
+_f	386
+oc	379
+_m	376
+,	376
+ll	375
+,_	370
+_d	364
+ng	362
+._	353
+er_	349
+and	345
+sk	343
+na	342
+om	341
+at	339
+_�	338
+al	337
+ka	334
+_S	325
+i_	318
+or	315
+�r	311
+är	311
+ns	304
+_e	303
+tt	298
+el	288
+_oc	288
+ch	287
+ige	282
+eri	281
+ar_	280
+ver	277
+h_	273
+�r	272
+ör	272
+ed	271
+och	269
+ch_	269
+_och	268
+och_	267
+y	266
+_och_	266
+_i_	266
+li	260
+Sv	257
+ing	257
+Sve	256
+rig	254
+me	254
+on	254
+le	252
+_t	250
+d_	247
+_de	247
+is	246
+j	245
+_v	245
+es	243
+et_	243
+m_	241
+rige	238
+nde	237
+_h	235
+_k	232
+_l	230
+ni	229
+_p	229
+il	228
+erige	226
+verig	226
+f�	226
+erig	226
+veri	226
+Sver	224
+Sveri	224
+_Sv	220
+de_	219
+_Sve	219
+av	217
+ter	217
+v_	212
+va	212
+da	209
+nt	206
+ne	205
+ga	204
+ik	199
+lan	198
+r�	196
+_b	196
+fö	195
+_Sver	193
+g_	193
+rn	191
+l_	190
+om_	190
+_av	187
+ha	187
+se	187
+av_	186
+�n	184
+än	184
+ad	179
+_ä	178
+ska	176
+_me	174
+_av_	174
+_in	173
+_r	173
+land	172
+för	172
+so	172
+ol	171
+it	167
+sta	166
+_u	164
+�r_	164
+är_	164
+kt	163
+to	163
+der	161
+ma	160
+un	160
+v�	160
+_ha	159
+l�	159
+_f�	159
+tr	158
+rs	156
+am	152
+ag	152
+_st	151
+ka_	151
+_en	150
+era	148
+io	147
+ro	146
+�n	143
+ån	143
+�_	143
+å_	143
+-	142
+den	142
+ts	142
+sa	142
+_fö	141
+tt_	139
+]	139
+_är	139
+[	139
+_ti	138
+ut	138
+_är_	137
+ion	136
+ill	136
+med	136
+ge_	131
+gen	131
+ra_	129
+som	129
+nin	129
+ning	129
+_so	128
+rd	128
+rna	127
+be	127
+gs	126
+vi	126
+ko	125
+ens	124
+es_	124
+_n	124
+t�	123
+di	123
+lä	123
+til	122
+ige_	122
+an_	122
+vä	122
+rt	122
+har	121
+_för	121
+rk	121
+rige_	121
+till	119
+som_	119
+as	119
+_l�	119
+_g	118
+_med	118
+_har	118
+ck	118
+ll_	118
+_-	117
+ande	117
+ska_	116
+har_	116
+no	115
+_som	115
+ds	115
+dr	115
+_har_	114
+_en_	114
+ade	114
+ke	114
+pe	113
+na_	113
+nn	113
+lt	112
+del	112
+_till	111
+_til	111
+k_	110
+fr	109
+_som_	109
+mi	107
+pr	107
+ng_	106
+D	106
+em	105
+den_	104
+ent	104
+var	104
+gr	103
+si	102
+nsk	102
+s�	101
+att	101
+m�	101
+ger	101
+tio	100
+ste	100
+län	100
+_lä	99
+ern	99
+tal	97
+det	97
+re_	96
+ed_	96
+ta_	96
+tion	96
+kr	96
+_va	96
+ten	96
+isk	95
+ill_	94
+id	94
+[_	93
+ot	93
+ks	93
+_]	93
+ur	92
+are	92
+ss	92
+sv	92
+ven	92
+till_	90
+ell	89
+_fr	89
+ati	89
+med_	88
+lig	88
+lla	88
+rå	88
+ld	88
+_D	87
+ru	87
+pp	86
+�r	86
+_län	86
+år	86
+gar	85
+der_	85
+ing_	85
+he	83
+N	83
+ls	83
+nder	82
+p�	82
+_med_	82
+_re	82
+rl	82
+up	81
+one	81
+ft	80
+ns_	80
+st�	80
+på	80
+rin	80
+t.	79
+)	78
+(	78
+erna	78
+ner	78
+_p�	77
+j�	77
+eg	77
+nte	77
+_den	77
+E	77
+ät	77
+�t	77
+_på	77
+_(	77
+pa	77
+r,	76
+ie	76
+på_	76
+-_	76
+rg	76
+h�	75
+und	75
+tor	75
+rna_	75
+det_	75
+n.	75
+r,_	75
+nde_	74
+F	74
+ensk	73
+äl	73
+_ut	73
+�l	73
+_på_	73
+ges	73
+ist	73
+rä	73
+dra	73
+ring	73
+_vi	72
+ett	72
+r.	72
+_-_	71
+ms	71
+ter_	71
+gen_	71
+sta_	71
+_be	71