scylla 0.5.0 → 0.6.0

data/test/fixtures/lms/spanish.lm

@@ -1,4 +1,4 @@
-_	34451
+_	34411
 a	10584
 e	10526
 o	7129
@@ -10,128 +10,128 @@ l	5112
 d	4622
 t	3867
 c	3674
-a_	2975
-e_	2938
+a_	3001
+e_	2946
 u	2914
 �	2572
-s_	2494
+s_	2534
 de	2468
-_d	2324
+_d	2335
 p	2303
 m	2195
-_de	2087
-o_	1866
-_e	1761
-n_	1757
+_de	2093
+o_	1885
+_e	1787
+n_	1774
 en	1746
 de_	1679
 _de_	1591
 la	1459
 es	1454
-_l	1371
+_l	1380
 ,	1276
-,_	1240
-l_	1223
-os	1221
+l_	1259
+,_	1252
+os	1222
 er	1194
 on	1122
 as	1103
 ci	1095
-_p	1071
+_p	1077
+_c	1054
 el	1049
-_c	1047
 an	1032
 ra	1018
 al	997
 g	941
-_la	932
-os_	930
+os_	941
+_la	935
 nt	926
 te	922
 co	901
+_a	898
 b	896
-_a	893
 re	888
 ta	858
 ad	827
 ri	825
 ar	816
+la_	816
 or	812
-la_	812
+_s	800
 el_	796
-_s	795
 .	766
 pa	757
 �	756
 ó	755
 do	751
 st	737
+as_	727
 ro	725
 y	717
-as_	715
-_la_	712
+_la_	714
 na	691
 ue	688
 v	663
 in	658
-_en	644
+_en	651
 ca	643
+es_	636
 ic	635
 en_	631
 da	621
 ia	620
-es_	620
 E	615
 to	609
 lo	605
-_m	597
+_m	604
 f	596
-_co	590
+_co	595
 y_	562
-�	557
+_el	557
 í	557
-_el	553
+�	557
 ti	535
+_en_	535
 no	532
-_en_	529
-_y	523
-un	513
+_y	526
 ent	513
+un	513
+r_	510
+_el_	509
 le	507
-_el_	505
-r_	499
 io	495
-_y_	492
+_y_	495
 ón	488
 �n	488
 i�	487
 po	475
 a�	472
 se	468
+_E	463
 sp	460
-_E	459
 q	456
 qu	455
-�	453
 ñ	453
+�	453
 C	451
 tr	450
-_t	444
+_t	449
 ma	440
-._	437
+._	438
 id	432
 ac	431
+is	430
 ió	428
-is	427
 ni	426
 om	425
-ne	414
 nte	414
+ne	414
 con	410
-do_	406
+do_	408
 nc	406
+_r	404
 nd	404
-_r	403
 li	403
 ie	401
 si	399
@@ -141,260 +141,260 @@ añ	395
 á	391
 h	383
 pr	382
+�n_	379
+ón_	379
+_C	376
 spa	375
-�n_	375
-ón_	375
 que	374
 ión	373
-ue_	370
+ue_	371
 pa�	363
-_C	358
 ec	341
+_con	341
+ión_	341
 mi	340
-ión_	339
-_con	338
-_re	336
-rt	336
+_re	337
 di	336
+rt	336
 pe	333
-_pr	328
+te_	332
+al_	332
+_pr	330
 A	327
-te_	327
-que_	324
-_qu	319
-_q	319
+que_	325
+_qu	320
+_q	320
 it	317
 pañ	315
+_es	313
 Es	313
-_se	310
+_se	311
 mo	310
-spa�	309
 _lo	309
 spañ	309
-_que	308
-_po	307
+_que	309
+spa�	309
+_po	308
+a,	305
 los	305
-_es	304
-al_	302
+a,_	303
 ol	302
 ci�	300
 aci	300
 ció	299
+__	299
 los_	296
-a,	295
+_i	295
 I	295
 ado	294
-a,_	293
+_que_	293
 ur	293
-_i	291
-_que_	291
+_Es	286
 ción	285
-_Es	282
 su	282
-�a	278
+_f	279
 ña	278
+�a	278
+_u	275
 z	275
-_f	275
+on_	273
 ica	271
-_u	271
 del	270
-on_	270
 cia	267
 ce	267
 _del	266
+�	261
 del_	261
 é	261
-�	261
+or_	260
+_h	260
+_o	260
 nci	260
 _del_	259
+s,	259
 tu	258
-_o	258
-_h	257
+s,_	258
 _los	257
-or_	256
+_un	256
 am	255
 _los_	254
 sta	253
-_un	252
+ra_	251
 Espa�	250
 Esp	250
 Espa	250
-s,_	249
-s,	249
-ra_	248
-est	245
-ab	245
 ll	245
+ab	245
+est	245
 las	244
 por	244
+ía	243
 �a	243
-__	243
 aña	243
-ía	243
-r�	239
 at	239
+r�	239
+_A	235
 so	234
 paña	234
-_a_	231
-im	231
+im	232
+_a_	232
+_Esp	230
 las_	230
-_A	228
+_Espa	230
 ns	228
-em	226
-_Espa	226
-_Esp	226
+na_	228
 cu	226
+em	226
 j	224
-na_	224
+_n	220
+ia_	220
 ul	220
+nte_	220
 P	219
+to_	219
 ant	219
 ente	218
 rr	218
-to_	217
-nte_	217
-)	216
-_n	216
-(	216
-dad	215
 se_	215
-ia_	215
-_(	214
+dad	215
 vi	213
 il	213
 L	211
 ter	209
-_pa	206
+_pa	208
 ada	205
+o,	204
 men	203
+da_	202
 era	202
+o,_	202
 ran	201
 les	201
-da_	201
+_su	200
 ig	198
-_su	198
-o,	197
-o,_	195
 ien	195
 tra	193
 res	192
+_ca	191
 cio	190
 com	190
-ida	189
 one	189
-_ca	189
-ed	188
+ida	189
 M	188
+ed	188
 S	187
-_las	185
-m�	185
-_las_	185
+_las	186
+_las_	186
 ona	185
 t�	185
-ion	184
+m�	185
+od	185
 ha	184
-od	184
+ion	184
+no_	184
 nes	183
-no_	182
 ale	180
+_com	179
 sa	178
-_com	178
 br	178
-_por	177
+_por	178
+_in	178
 mp	177
 bi	176
-_in	176
-ist	175
 pro	175
+ist	175
+oc	173
+dos	173
 aci�	173
 ació	173
-dos	173
-ct	172
 des	172
-oc	172
+ct	172
+_I	170
+_al	168
 eg	167
-_al	167
-an_	166
-_I	166
+_pro	166
 por_	166
+an_	166
+_se_	165
+a.	165
 ero	165
-_pro	164
-_se_	164
-_por_	164
-ño	163
+_por_	165
+_v	165
 �o	163
-ía_	162
-_v	162
-�a_	162
+ño	163
+�a_	163
+_P	163
+ía_	163
 va	161
 ment	161
-lo_	160
+lo_	161
 iv	160
-_P	160
-gu	159
 ndo	159
+gu	159
 mu	158
-et	156
-_si	156
+_si	157
+et	157
+d_	156
 ici	155
-d_	155
 fi	155
+_L	154
 ria	154
 go	154
-a.	152
-mo_	152
+_S	153
+mo_	153
+s.	152
+op	152
 ron	152
-op	151
 _ha	151
-ones	151
 ga	151
+ones	151
 za	151
 us	150
 mb	149
-año	148
 ba	148
+año	148
 Ca	148
-_pe	147
-sti	147
 ncia	147
+nes_	147
+sti	147
+_pe	147
 ado_	147
+ico	146
+ña_	146
 ua	146
+�a_	146
 uc	146
-ico	146
-_S	145
-nes_	145
-s.	144
-�a_	144
+ente_	145
+_M	145
 ve	144
-ña_	144
 rio	143
 cion	143
-_L	142
-_M	142
-_con_	142
 con_	142
-ente_	142
-ip	141
+_con_	142
 rc	141
+io_	141
+ip	141
 ntr	140
-io_	140
-tor	139
-ca_	139
+ca_	140
 nto	139
-_g	138
+tor	139
+ta_	139
+_g	139
 ob	138
+aña_	138
 par	138
-ta_	138
 ir	137
 G	137
-aña_	136
+_.	137
+dos_	137
+_,	137
+ante	136
 bl	136
 n�	136
-ante	136
-dos_	135
-err	134
+les_	135
 �_	134
-rm	134
 ó_	134
-eri	134
 ori	134
+eri	134
+err	134
+rm	134

data/test/fixtures/test_languages/spanish

@@ -2,7 +2,6 @@ Pablo Ruiz Picasso (n. Málaga, España;  de octubre de  - f. Mougins, Francia;
 Considerado uno de los mayores artistas del siglo XX, participó desde la génesis en muchos movimientos artísticos que se propagaron por el mundo y ejercieron una gran influencia en otros grandes artistas de su tiempo. Incansable y prolífico, pintó más de dos mil obras actualmente presentes en museos y colecciones de toda Europa y del mundo. Además, abordó otros géneros como el dibujo, el grabado, la ilustración de libros, la escultura, la cerámica y el diseño de escenografía y vestuario para montajes teatrales.
 En lo político, Picasso se declaraba pacifista y comunista. Fue miembro del Partido Comunista Francés hasta su muerte, el  de abril de  en Notre-Dame-de-Vie (Mougins, Francia) a los  años. Está enterrado en el parque del castillo de Vauvenargues (Bouches-du-Rhone).
 
-«Pablo Diego José Francisco de Paula Juan Nepomuceno Cipriano de la Santísima Trinidad Ruiz Picasso» (según su certificado de nacimiento) o «Pablo Diego José Francisco de Paula Juan Nepomuceno María de los Remedios Crispiniano de la Santísima Trinidad Ruiz Picasso» (según su partida de bautismo),  fue el primer hijo de José Ruiz Blasco y María Picasso López. Nació el  de octubre de  en Málaga, España, en el seno de una familia pequeñoburguesa. Picasso tuvo dos hermanas, Dolores (-) y Concepción (-). De su padre se sabe que quiso ser pintor y fue profesor de dibujo en la escuela de Málaga llamada San Telmo. De la madre se conoce poco; al parecer era de una personalidad más fuerte que la de su marido, y Picasso tuvo siempre hacia ella mayor respeto y ternura, lo que algunos creen ver en el retrato que le dibujó en .
 Picasso empezó a pintar desde edad temprana. En , a los ocho años, tras una corrida de toros y bajo la dirección de su padre pintó El pequeño picador, su primera pintura al óleo,  de la que siempre se negó a separarse. En , la familia abandonó Málaga, cuando el padre fue nombrado profesor en el Instituto de La Coruña. Allí, Pablo trabajó en sus dibujos y mostró una fuerte confianza en sí y en sus dotes; tenía diez años. Sus primeros trabajos, de un realismo vigoroso y casi feroz, mostraban una temprana predilección por los personajes populares.
 El de  fue un año de sucesos importantes en su infancia; en enero, falleció su hermana Concepción, y en septiembre su padre obtuvo una cátedra en la Lonja, Escuela de Artes y Oficios de Barcelona, donde el joven Pablo fue admitido como alumno y cursó estudios durante dos años, lo que le condujo a pintar, quizás por complacer a su padre, una serie de cuadros en los que el academicismo sentimental del estilo sorprendía tras la vitalidad de los retratos que había realizado en La Coruña.
 Estudiante brillante y precoz, Picasso superó en un solo día, a la edad de catorce años, el examen de ingreso en la Escuela de Bellas Artes de Barcelona, y se le permitió saltarse las dos primeras clases. De acuerdo con una de las muchas leyendas sobre el artista, su padre, tras reconocer el extraordinario talento de su hijo al contemplar sus primeros trabajos infantiles, le entregó sus pinceles y su paleta y prometió no volver a pintar en su vida.

data/test/generator_test.rb

@@ -30,6 +30,19 @@ class GeneratorTest < Test::Unit::TestCase
     end
   end
 
+  context "#clean" do
+    setup do
+      @bad_text = "***Hello*** Go to http://www.youtube.com to watch some shitty videos."
+      @bad_text += ">>> Woooooo <<< <a href='blah.com/no'>friend</a> WIN TODAY!!!!"
+      @bad_text += "???? @#!!(**%#)} [[}}||]]"
+      @sg = Scylla::Generator.new
+    end
+
+    should "Remove characters that throw off language detection" do
+      assert_equal "Hello Go to  to watch some shitty videos. Woooooo friend WIN TODAY", @sg.clean(@bad_text)
+    end
+  end
+
   context "create .lm files out of text files" do
     setup do
       Scylla::Loader.set_dir(File.join("test","fixtures","lms"))

data/test/helper.rb

@@ -1,8 +1,10 @@
 require 'rubygems'
+require 'ruby-debug'
 require 'bundler'
 require 'test/unit'
 require 'shoulda'
 require 'scylla'
+require 'sanitize'
 require 'mocha'
 
 

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: scylla
 version: !ruby/object:Gem::Version 
-  hash: 11
+  hash: 7
   prerelease: 
   segments: 
   - 0
-  - 5
+  - 6
   - 0
-  version: 0.5.0
+  version: 0.6.0
 platform: ruby
 authors: 
 - Ashwin Hegde
@@ -15,12 +15,12 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-09-21 00:00:00 -07:00
-default_executable: scylla
+date: 2011-09-21 00:00:00 Z
 dependencies: 
 - !ruby/object:Gem::Dependency 
   name: bundler
-  version_requirements: &id001 !ruby/object:Gem::Requirement 
+  prerelease: false
+  requirement: &id001 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -31,12 +31,12 @@ dependencies:
         - 0
         - 0
         version: 1.0.0
-  prerelease: false
   type: :development
-  requirement: *id001
+  version_requirements: *id001
 - !ruby/object:Gem::Dependency 
   name: jeweler
-  version_requirements: &id002 !ruby/object:Gem::Requirement 
+  prerelease: false
+  requirement: &id002 !ruby/object:Gem::Requirement 
     none: false
     requirements: 
     - - ~>
@@ -47,9 +47,8 @@ dependencies:
         - 6
         - 4
         version: 1.6.4
-  prerelease: false
   type: :development
-  requirement: *id002
+  version_requirements: *id002
 description: Allows for text categorization by guessing the language of a given text using n-grams
 email: ahegde@zendesk.com
 executables: 
@@ -60,18 +59,11 @@ extra_rdoc_files:
 - LICENSE.txt
 - README.rdoc
 files: 
-- .document
+- bin/scylla
 - Gemfile
 - Gemfile.lock
-- LICENSE.txt
-- README.rdoc
-- Rakefile
-- VERSION
-- bin/scylla
-- lib/scylla.rb
 - lib/scylla/classifier.rb
 - lib/scylla/generator.rb
-- lib/scylla/lms/13375P33K.lm
 - lib/scylla/lms/afrikaans.lm
 - lib/scylla/lms/arabic.lm
 - lib/scylla/lms/bulgarian.lm
@@ -108,9 +100,12 @@ files:
 - lib/scylla/resources.rb
 - lib/scylla/string.rb
 - lib/scylla/tasks.rb
-- scylla-0.1.0.gem
+- lib/scylla.rb
+- LICENSE.txt
+- Rakefile
+- README.rdoc
+- scylla-0.6.0.gem
 - scylla.gemspec
-- source_texts/13375P33K.txt
 - source_texts/afrikaans.txt
 - source_texts/arabic.txt
 - source_texts/bulgarian.txt
@@ -144,7 +139,6 @@ files:
 - source_texts/vietnamese.txt
 - source_texts/welsh.txt
 - test/classifier_test.rb
-- test/fixtures/lms/13375p33k.lm
 - test/fixtures/lms/danish.lm
 - test/fixtures/lms/english.lm
 - test/fixtures/lms/french.lm
@@ -154,7 +148,6 @@ files:
 - test/fixtures/lms/japanese.lm
 - test/fixtures/lms/norwegian.lm
 - test/fixtures/lms/spanish.lm
-- test/fixtures/source_texts/13375P33K.txt
 - test/fixtures/source_texts/danish.txt
 - test/fixtures/source_texts/english.txt
 - test/fixtures/source_texts/french.txt
@@ -177,7 +170,7 @@ files:
 - test/language_test.rb
 - test/loader_test.rb
 - test/scylla_test.rb
-has_rdoc: true
+- VERSION
 homepage: http://github.com/hashwin/scylla
 licenses: 
 - MIT
@@ -207,7 +200,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
 requirements: []
 
 rubyforge_project: 
-rubygems_version: 1.5.3
+rubygems_version: 1.8.11
 signing_key: 
 specification_version: 3
 summary: Ruby port of Textcat language guesser