scylla 0.7.5 → 0.8.0

data/test/fixtures/lms/spanish.lm

@@ -1,4 +1,4 @@
-_	34411
+_	35393
 a	10584
 e	10526
 o	7129
@@ -10,391 +10,391 @@ l	5112
 d	4622
 t	3867
 c	3674
-a_	3001
-e_	2946
+a_	3187
+e_	2979
 u	2914
+s_	2600
 �	2572
-s_	2534
 de	2468
-_d	2335
+_d	2355
 p	2303
 m	2195
-_de	2093
-o_	1885
-_e	1787
-n_	1774
+_de	2113
+o_	1939
+n_	1801
+_e	1792
 en	1746
-de_	1679
-_de_	1591
+de_	1690
+_de_	1615
 la	1459
 es	1454
-_l	1380
+_l	1389
+l_	1290
 ,	1276
-l_	1259
-,_	1252
-os	1222
-er	1194
+,_	1274
+os	1221
+er	1193
 on	1122
 as	1103
 ci	1095
-_p	1077
-_c	1054
-el	1049
+_p	1085
+_c	1065
+el	1048
 an	1032
 ra	1018
-al	997
+al	994
+os_	957
 g	941
-os_	941
-_la	935
+_la	940
 nt	926
 te	922
+_a	906
 co	901
-_a	898
 b	896
 re	888
 ta	858
-ad	827
+la_	834
 ri	825
+ad	822
 ar	816
-la_	816
-or	812
-_s	800
-el_	796
+or	811
+_s	805
+el_	802
 .	766
 pa	757
 �	756
 ó	755
 do	751
+as_	744
 st	737
-as_	727
+._	727
 ro	725
+_la_	724
 y	717
-_la_	714
-na	691
+na	689
 ue	688
 v	663
+es_	660
 in	658
 _en	651
 ca	643
-es_	636
 ic	635
-en_	631
+en_	634
 da	621
 ia	620
 E	615
 to	609
+_m	608
 lo	605
-_m	604
+_co	598
 f	596
-_co	595
-y_	562
-_el	557
+_E	581
+y_	566
+_el	558
 í	557
 �	557
+_en_	537
 ti	535
-_en_	535
 no	532
-_y	526
-ent	513
+_y	531
+r_	520
+_el_	513
 un	513
-r_	510
-_el_	509
-le	507
+ent	513
+le	506
+_y_	500
 io	495
-_y_	495
-ón	488
 �n	488
+ón	488
 i�	487
 po	475
 a�	472
 se	468
-_E	463
 sp	460
 q	456
 qu	455
 ñ	453
 �	453
+_t	452
 C	451
 tr	450
-_t	449
 ma	440
-._	438
 id	432
 ac	431
-is	430
 ió	428
+_C	427
+is	427
 ni	426
 om	425
-nte	414
+do_	415
 ne	414
+nte	414
 con	410
-do_	408
-nc	406
-_r	404
-nd	404
-li	403
+_r	407
+nc	405
+nd	403
+li	402
 ie	401
 si	399
+ón_	396
+�n_	396
 me	396
 añ	395
-�	391
 á	391
+�	391
 h	383
 pr	382
-�n_	379
-ón_	379
-_C	376
 spa	375
 que	374
 ión	373
-ue_	371
+ue_	372
 pa�	363
-ec	341
-_con	341
-ión_	341
+ión_	350
+al_	349
+_con	343
+te_	342
 mi	340
-_re	337
+_re	340
+ec	339
 di	336
 rt	336
 pe	333
-te_	332
-al_	332
-_pr	330
+_pr	331
 A	327
-que_	325
-_qu	320
-_q	320
+que_	326
+_qu	324
+_q	324
 it	317
+_es	317
 pañ	315
-_es	313
 Es	313
-_se	311
+_que	313
+_se	312
+_Es	311
+_lo	311
 mo	310
-_lo	309
-spañ	309
-_que	309
+_po	310
 spa�	309
-_po	308
-a,	305
+spañ	309
+_A	306
 los	305
-a,_	303
-ol	302
 ci�	300
 aci	300
+ol	300
 ció	299
-__	299
-los_	296
-_i	295
+los_	299
+_i	298
+_que_	296
 I	295
+a,	294
 ado	294
-_que_	293
+a,_	293
 ur	293
-_Es	286
 ción	285
 su	282
-_f	279
-ña	278
+_f	282
 �a	278
-_u	275
+ña	278
+_u	276
 z	275
-on_	273
+on_	274
 ica	271
 del	270
-cia	267
+_del	268
 ce	267
-_del	266
+cia	267
+or_	263
+ra_	263
+_h	262
+_del_	262
+del_	262
 �	261
-del_	261
 é	261
-or_	260
-_h	260
 _o	260
 nci	260
-_del_	259
-s,	259
 tu	258
-s,_	258
-_los	257
-_un	256
-am	255
-_los_	254
+_los_	258
+_los	258
+_un	257
+am	254
 sta	253
-ra_	251
 Espa�	250
 Esp	250
 Espa	250
-ll	245
+_Esp	249
+s,_	249
+s,	249
+_Espa	249
 ab	245
 est	245
+ll	245
 las	244
 por	244
-ía	243
 �a	243
 aña	243
+ía	243
+ia_	240
 at	239
 r�	239
-_A	235
+na_	239
 so	234
+_a_	234
 paña	234
-im	232
-_a_	232
-_Esp	230
-las_	230
-_Espa	230
+las_	233
+im	231
 ns	228
-na_	228
 cu	226
 em	226
+nte_	226
 j	224
+to_	223
 _n	220
-ia_	220
 ul	220
-nte_	220
-P	219
-to_	219
 ant	219
-ente	218
+P	219
 rr	218
-se_	215
+ente	218
+se_	218
 dad	215
 vi	213
 il	213
+da_	211
 L	211
+_L	210
+_pa	210
 ter	209
-_pa	208
 ada	205
-o,	204
+ña_	205
+_.	205
+�a_	205
 men	203
-da_	202
 era	202
-o,_	202
 ran	201
-les	201
+_P	200
 _su	200
+les	200
 ig	198
+o,_	197
+o,	197
 ien	195
+_ca	194
 tra	193
+no_	192
+_,_	192
+_,	192
 res	192
-_ca	191
-cio	190
+aña_	191
 com	190
+cio	190
 one	189
 ida	189
+_las	188
+_las_	188
 M	188
-ed	188
 S	187
-_las	186
-_las_	186
-ona	185
-t�	185
 m�	185
-od	185
-ha	184
+t�	185
+_M	185
+ona	185
+_._	184
 ion	184
-no_	184
+_I	184
+ed	184
+ha	184
 nes	183
+od	182
+_in	180
 ale	180
-_com	179
+_com	180
+_por	179
 sa	178
+ía_	178
+�a_	178
 br	178
-_por	178
-_in	178
 mp	177
 bi	176
 pro	175
 ist	175
-oc	173
+ació	173
+_S	173
 dos	173
 aci�	173
-ació	173
+oc	172
 des	172
 ct	172
-_I	170
+d_	169
+_por_	168
+por_	168
 _al	168
+_se_	168
 eg	167
+_v	167
 _pro	166
-por_	166
 an_	166
-_se_	165
-a.	165
 ero	165
-_por_	165
-_v	165
-�o	163
 ño	163
-�a_	163
-_P	163
-ía_	163
+�o	163
+lo_	163
 va	161
 ment	161
-lo_	161
 iv	160
 ndo	159
+ca_	159
 gu	159
 mu	158
 _si	157
-et	157
-d_	156
-ici	155
+et	156
+mo_	156
 fi	155
-_L	154
-ria	154
+ici	155
 go	154
-_S	153
-mo_	153
-s.	152
-op	152
+ria	154
 ron	152
-_ha	151
+a.	152
 ga	151
+nes_	151
+_ha	151
 ones	151
+op	151
 za	151
+ado_	150
 us	150
+a._	150
 mb	149
-ba	148
-año	148
+_Ca	148
 Ca	148
-ncia	147
-nes_	147
+año	148
+ba	148
 sti	147
+ente_	147
+ncia	147
 _pe	147
-ado_	147
+uc	146
 ico	146
-ña_	146
 ua	146
-�a_	146
-uc	146
-ente_	145
-_M	145
+io_	146
 ve	144
-rio	143
+ta_	144
+s.	144
 cion	143
-con_	142
+rio	143
+s._	142
 _con_	142
-rc	141
-io_	141
+con_	142
+les_	141
 ip	141
+_g	140
 ntr	140
-ca_	140
-nto	139
+rc	140
 tor	139
-ta_	139
-_g	139
+nto	139
 ob	138
-aña_	138
 par	138
+dos_	137
 ir	137
 G	137
-_.	137
-dos_	137
-_,	137
-ante	136
-bl	136
 n�	136
-les_	135
-�_	134
-ó_	134
-ori	134
-eri	134
-err	134
-rm	134
+bl	136
+�_	136
+ó_	136
+ante	136

data/test/generator_test.rb

@@ -39,7 +39,7 @@ class GeneratorTest < Test::Unit::TestCase
     end
 
     should "Remove characters that throw off language detection" do
-      assert_equal "Hello Go to  to watch some shitty videos. Woooooo friend WIN TODAY", @sg.clean(@bad_text)
+      assert_equal "Hello Go to to watch some shitty videos. Woooooo friend WIN TODAY", @sg.clean(@bad_text)
     end
   end
 

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: scylla
 version: !ruby/object:Gem::Version 
-  hash: 9
+  hash: 63
   prerelease: 
   segments: 
   - 0
-  - 7
-  - 5
-  version: 0.7.5
+  - 8
+  - 0
+  version: 0.8.0
 platform: ruby
 authors: 
 - Ashwin Hegde