scylla 0.7.5 → 0.8.0

data/lib/scylla/classifier.rb

@@ -5,7 +5,7 @@ module Scylla
     # limit    : Up to how many matching language results should be displayed
     # ngrams   : The total number of ngrams that are stored for each language
     # threshold: The threshold score for matches
-    def initialize(limit = 10, ngrams = 400, threshold = 1.01)
+    def initialize(limit = 10, ngrams = 400, threshold = 1.04)
       @limit = limit
       @ngrams = ngrams
       @threshold = threshold

data/scylla.gemspec

@@ -1,6 +1,6 @@
 Gem::Specification.new do |s|
   s.name = %q{scylla}
-  s.version = "0.7.5"
+  s.version = "0.8.0"
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = ["Ashwin Hegde"]
   s.date = %q{2011-09-21}

data/test/fixtures/lms/danish.lm

@@ -1,4 +1,4 @@
-_	16370
+_	14426
 e	5759
 r	3334
 n	3061
@@ -12,389 +12,389 @@ l	1884
 g	1617
 k	1278
 m	1273
-er	1210
-e_	1186
-__	1181
+er	1209
+e_	1202
 de	1045
 en	993
 �	940
 f	939
-r_	840
+r_	854
 v	770
-t_	732
+t_	738
+n_	725
 an	724
-n_	716
 u	605
 nd	598
 b	585
 et	574
-_s	552
+_s	562
 .	546
+er_	545
 re	543
-er_	541
 te	540
-en_	530
+en_	536
 st	530
-g_	521
+g_	523
+._	513
 _o	503
-_d	487
+_d	488
 ,	480
-,_	478
-h	474
+,_	479
 ge	474
+h	474
 _a	463
 in	440
 p	436
-_f	431
+_f	432
 ar	430
 og	415
 or	411
 ti	406
-._	405
-_e	404
-et_	399
-_m	382
-_i	381
+_e	406
+et_	401
+_m	384
 ed	381
-ne	365
+_i	381
 sk	365
+ne	365
 le	353
 _og	346
-ke	344
+ke	343
 el	342
+d_	338
 og_	338
-ø	332
 �	332
-d_	330
+ø	332
 me	324
 ng	317
-_og_	315
 _de	315
-�	293
+_og_	315
 ig	293
 å	293
+�	293
 _b	290
+i_	287
 æ	286
 �	286
-i_	285
-s_	276
-de_	275
+s_	278
+de_	276
 _h	274
 ri	273
 D	268
+_D	267
 nde	263
-li	262
 om	262
+li	262
 ma	259
+_t	259
 ve	257
-_t	256
 y	256
-af	254
 _i_	254
+af	254
 at	245
 il	244
-es	241
 and	241
-be	234
+es	240
 al	234
+be	234
 is	233
-fo	232
 se	232
+fo	232
 ns	229
-_D	226
 la	224
 on	221
 rk	219
 _af	217
 den	216
 der	214
-_k	212
-_me	210
-m_	209
+_k	213
+k_	212
+_me	212
+m_	210
 ing	207
 _v	203
-k_	202
 ra	191
 f_	188
 af_	186
+l_	186
+_p	186
 for	184
-_p	184
-l_	183
 _af_	180
 ol	174
-ere	173
-ark	172
 _fo	172
+ark	172
+ere	172
 lan	169
 ste	169
 te_	168
-_l	166
+_l	168
 mar	165
 ll	162
 ter	161
-ske	160
+ske	159
 j	159
-ke_	155
+ke_	157
 om_	155
-ha	153
+land	153
+ed_	153
 Da	153
+_Da	153
 mark	153
+ha	153
 den_	153
-land	153
-_st	151
+_st	153
 ni	151
-ed_	151
-_for	149
 so	149
-ta	148
+_for	149
 Dan	148
+_Dan	148
+ta	148
 ger	147
-_er	145
+_er	146
+re_	144
 nge	144
 det	143
-re_	141
 ede	139
-nma	138
 nm	138
+nma	138
 vi	138
 nmar	137
 _en	137
 nmark	137
-anmar	136
-anm	136
-_Da	136
 anma	136
+anm	136
+anmar	136
 ev	135
 rs	135
 der_	134
-Danm	133
 S	133
-Danma	133
 un	133
-_Dan	132
+Danma	133
+Danm	133
+_Danm	133
 ans	132
-med	130
 da	130
-ro	127
+med	130
 io	127
+ro	127
+_er_	126
 til	126
-_er_	125
 ik	125
 som	125
 _ti	124
 rn	124
-em	123
-ds	123
-�_	123
 å_	123
+�_	123
+ds	123
+em	122
 _u	122
 eg	121
-_Danm	121
-_ha	120
 rt	120
-_med	119
-_so	119
+_ha	120
+_r	120
+_so	120
 ld	119
+_med	119
 _g	118
 som_	118
+_S	118
 to	117
 ske_	116
+det_	116
 _som	116
-det_	115
-_r	115
-end	114
-ern	114
 ar_	114
+ern	114
+end	114
 tr	114
 _som_	113
-id	111
-ud	111
 ko	111
+ud	111
+id	111
 del	110
 _til	109
-va	108
 nsk	108
 mi	108
-si	108
 lig	108
+va	108
+si	108
 _be	107
 ls	107
+ne_	106
+_�	106
+_da	105
+ka	105
 ion	105
 ind	105
-_da	105
-�r	105
-bl	105
 gs	105
+bl	105
+�r	105
 ør	105
-ka	105
-_S	104
 lle	104
-_�	104
-dt	103
+med_	104
+_.	104
 t�	103
-ne_	102
-med_	102
-tt	102
-_en_	101
+_._	103
+tt	101
 ag	101
-r�	100
+_en_	101
+dt	101
 c	100
+r�	100
+nt	99
+dan	99
 ansk	99
 ie	99
-dan	99
-nt	99
 _med_	98
 or_	97
-il_	96
+il_	97
+_De	95
 De	95
 �r	95
 ær	95
-rne	94
-lt	94
-ning	94
 na	94
+lt	94
 ner	94
+rne	94
+ning	94
 nin	94
-til_	92
+v_	94
+til_	93
 fr	92
-I	92
 at_	92
+I	92
+ge_	91
 op	91
 ru	91
-ge_	91
+ng_	90
+a_	90
 _dan	90
+_I	90
 erne	89
-v_	89
+_bl	89
 rd	89
-ng_	89
 ige	89
-_bl	89
-_.	88
-a_	88
+_re	89
 gt	88
+inge	87
+tte	87
 p�	87
 kr	87
 _den	87
-tte	87
-inge	87
+rk_	86
 s�	86
+dansk	86
 men	86
 dans	86
-dansk	86
-_til_	85
-isk	85
 ver	85
-es_	85
+isk	85
 it	85
-_re	84
+_til_	85
+am	84
+f�	84
 _dans	84
+es_	84
 els	84
 _at	84
-am	84
-f�	84
-_n	83
 est	83
-ur	82
+_n	83
 _den_	82
+ur	82
 gen	82
+ark_	81
+_ud	81
 he	81
+sk_	81
 _at_	81
-_ud	81
 ble	80
 ene	80
-rk_	80
 ede_	79
-e.	79
-ande	79
-und	79
 od	79
+ande	79
 sa	79
-_I	79
+und	79
 _in	78
+_la	78
 nde_	78
 _fr	78
-_la	78
 eri	78
-sk_	77
 ov	77
 ende	77
-r.	77
-_._	76
-ing_	76
-_si	76
+_si	77
+ing_	77
+r.	76
 tor	76
-lk	75
+mark_	76
 av	75
+nd_	75
 lev	75
+r._	75
 an_	75
-ark_	75
-mm	74
+lk	75
 ft	74
-_De	73
+mm	73
+us	73
 på	73
+e.	73
 F	73
-us	73
+di	72
+E	72
 le_	72
-rin	72
 e,_	72
+rin	72
 e,	72
-di	72
-nd_	72
-E	72
-_der	71
-mark_	71
 _på	71
 nske	71
 _lan	71
+_der	71
 _p�	71
-st�	70
+e._	71
 get	70
+st�	70
 gi	70
-ks	69
-ist	69
 pr	69
+_,_	69
+ist	69
+_,	69
+_E	69
 _blev	68
-_ble	68
-blev	68
+ks	68
 var	68
-ss	67
+blev	68
+_ble	68
+_va	67
 på_	67
 anske	67
-_va	67
-fi	66
-ati	66
+ss	67
 tio	66
 lse	66
+år	66
 tion	66
-_på_	66
-gr	66
+fi	66
 �r	66
-år	66
+_F	66
+gr	66
 _land	66
-sto	65
-one	65
+_på_	66
+ati	66
 ef	65
+one	65
+sto	65
 kt	65
-ev_	64
-sen	64
 else	64
-A	63
-ring	63
+sen	64
+ev_	64
 ren	63
 ende_	63
-e._	62
-ho	62
+A	63
+ig_	63
+ring	63
 for_	62
+ho	62
 _ko	62
-ig_	62
-n,	61
-ste_	61
+ere_	61
 rig	61
-n,_	61
+ste_	61
 dr	61
 ret	60
-lev_	60
 blev_	60
-_F	60
-_E	60
-nger	59
+lev_	60