rika 0.9.8-java → 0.9.9-java

data/README.md

@@ -48,6 +48,15 @@ Something like this:
 	# Return content from URL
 	parser = Rika::Parser.new('http://riakhandbook.com/sample.pdf', 200)
 	parser.content
+
+	# Return the language for the content
+	parser = parser = Rika::Parser.new('german document.pdf')
+	parser.language
+	=> "de"
+
+	# Check whether the langugage identification is certain enough to be trusted
+	parser.language_is_reasonably_certain?
+	
 ```
 ## Contributing
 

data/lib/rika.rb

@@ -15,6 +15,7 @@ end
 module Rika
   import org.apache.tika.metadata.Metadata
   import org.apache.tika.Tika
+  import org.apache.tika.language.LanguageIdentifier
   import java.io.FileInputStream
   import java.net.URL
   
@@ -62,6 +63,18 @@ module Rika
       @input_type == :file
     end
 
+    def language
+      @lang ||= LanguageIdentifier.new(content)
+      
+      @lang.language
+    end
+
+    def language_is_reasonably_certain?
+      @lang ||= LanguageIdentifier.new(content)
+
+      @lang.is_reasonably_certain
+    end
+
     protected
     
     def parse

data/lib/rika/version.rb

@@ -1,3 +1,3 @@
 module Rika
-  VERSION = "0.9.8"
+  VERSION = "0.9.9"
 end

data/spec/fixtures/de.txt

@@ -0,0 +1 @@
+Er hörte leise Schritte hinter sich. Das bedeutete nichts Gutes. Wer würde ihm schon folgen, spät in der Nacht und dazu noch in dieser engen Gasse mitten im übel beleumundeten Hafenviertel? Gerade jetzt, wo er das Ding seines Lebens gedreht hatte und mit der Beute verschwinden wollte! Hatte einer seiner zahllosen Kollegen dieselbe Idee gehabt, ihn beobachtet und abgewartet, um ihn nun um die Früchte seiner Arbeit zu erleichtern? Oder gehörten die Schritte hinter ihm zu einem der unzähligen Gesetzeshüter dieser Stadt, und die stählerne Acht um seine Handgelenke würde gleich zuschnappen? Er konnte die Aufforderung stehen zu bleiben schon hören. Gehetzt sah er sich um. Plötzlich erblickte er den schmalen Durchgang. Blitzartig drehte er sich nach rechts und verschwand zwischen den beiden Gebäuden. Beinahe wäre er dabei über den umgestürzten Mülleimer gefallen, der mitten im Weg lag. Er versuchte, sich in der Dunkelheit seinen Weg zu ertasten und erstarrte: Anscheinend gab es keinen anderen Ausweg aus diesem kleinen Hof als den Durchgang, durch den er gekommen war. Die Schritte wurden lauter und lauter, er sah eine dunkle Gestalt um die Ecke biegen. Fieberhaft irrten seine Augen durch die nächtliche Dunkelheit und suchten einen Ausweg. War jetzt wirklich alles vorbei,

data/spec/fixtures/en.txt

@@ -0,0 +1 @@
+Far far away, behind the word mountains, far from the countries Vokalia and Consonantia, there live the blind texts. Separated they live in Bookmarksgrove right at the coast of the Semantics, a large language ocean. A small river named Duden flows by their place and supplies it with the necessary regelialia. It is a paradisematic country, in which roasted parts of sentences fly into your mouth. Even the all-powerful Pointing has no control about the blind texts it is an almost unorthographic life One day however a small line of blind text by the name of Lorem Ipsum decided to leave for the far World of Grammar. The Big Oxmox advised her not to do so, because there were thousands of bad Commas, wild Question Marks and devious Semikoli, but the Little Blind Text didn’t listen. She packed her seven versalia, put her initial into the belt and made herself on the way. When she reached the first hills of the Italic Mountains, she had a last view back on the skyline of her hometown Bookmarksgrove, the headline of Alphabet Village and the subline of her own road, the Line Lane. Pityful a rethoric question ran over her cheek, then

data/spec/fixtures/es.txt

@@ -0,0 +1 @@
+Una mañana, tras un sueño intranquilo, Gregorio Samsa se despertó convertido en un monstruoso insecto. Estaba echado de espaldas sobre un duro caparazón y, al alzar la cabeza, vio su vientre convexo y oscuro, surcado por curvadas callosidades, sobre el que casi no se aguantaba la colcha, que estaba a punto de escurrirse hasta el suelo. Numerosas patas, penosamente delgadas en comparación con el grosor normal de sus piernas, se agitaban sin concierto. - ¿Qué me ha ocurrido? No estaba soñando. Su habitación, una habitación normal, aunque muy pequeña, tenía el aspecto habitual. Sobre la mesa había desparramado un muestrario de paños - Samsa era viajante de comercio-, y de la pared colgaba una estampa recientemente recortada de una revista ilustrada y puesta en un marco dorado. La estampa mostraba a una mujer tocada con un gorro de pieles, envuelta en una estola también de pieles, y que, muy erguida, esgrimía un amplio manguito, asimismo de piel, que ocultaba todo su antebrazo. Gregorio miró hacia la ventana; estaba nublado, y sobre el cinc del alféizar repiqueteaban las gotas de lluvia, lo que le hizo sentir una gran melancolía. «Bueno -pensó-; ¿y si siguiese durmiendo un rato y me olvidase de

data/spec/fixtures/fr.txt

@@ -0,0 +1 @@
+En se réveillant un matin après des rêves agités, Gregor Samsa se retrouva, dans son lit, métamorphosé en un monstrueux insecte. Il était sur le dos, un dos aussi dur qu’une carapace, et, en relevant un peu la tête, il vit, bombé, brun, cloisonné par des arceaux plus rigides, son abdomen sur le haut duquel la couverture, prête à glisser tout à fait, ne tenait plus qu’à peine. Ses nombreuses pattes, lamentablement grêles par comparaison avec la corpulence qu’il avait par ailleurs, grouillaient désespérément sous ses yeux.« Qu’est-ce qui m’est arrivé ? » pensa-t-il. Ce n’était pas un rêve. Sa chambre, une vraie chambre humaine, juste un peu trop petite, était là tranquille entre les quatre murs qu’il connaissait bien. Au-dessus de la table où était déballée une collection d’échantillons de tissus - Samsa était représentant de commerce - on voyait accrochée l’image qu’il avait récemment découpée dans un magazine et mise dans un joli cadre doré. Elle représentait une dame munie d’une toque et d’un boa tous les deux en fourrure et qui, assise bien droite, tendait vers le spectateur un lourd manchon de fourrure où tout son avant-bras avait disparu. Le regard de Gregor se tourna ensuite vers

data/spec/fixtures/lang_cant_be_determined.txt

@@ -0,0 +1 @@
+hej

data/spec/fixtures/ru.txt

@@ -0,0 +1 @@
+Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч. Шеф взъярён тчк щипцы с эхом гудбай Жюль. Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф. Экс-граф? Плюш изъят. Бьём чуждый цен хвощ! Эх, чужак! Общий съём цен шляп (юфть) — вдрызг! Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч. Шеф взъярён тчк щипцы с эхом гудбай Жюль. Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф. Экс-граф? Плюш изъят. Бьём чуждый цен хвощ! Эх, чужак! Общий съём цен шляп (юфть) — вдрызг! Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч. Шеф взъярён тчк щипцы с эхом гудбай Жюль. Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф. Экс-граф? Плюш изъят. Бьём чуждый цен хвощ! Эх, чужак! Общий съём цен шляп (юфть) — вдрызг! Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч. Шеф взъярён тчк щипцы с эхом гудбай Жюль. Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф. Экс-граф? Плюш изъят. Бьём чуждый цен хвощ! Эх, чужак! Общий съём цен шляп (юфть) — вдрызг!Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч. Шеф взъярён тчк щипцы с эхом гудбай Жюль. Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф. Экс-граф? Плюш изъят. Бьём чуждый цен

data/spec/rika_spec.rb

@@ -151,4 +151,26 @@ describe Rika::Parser do
       @unknown_parser.media_type.should == "application/octet-stream"
     end
   end
-end
+
+  describe '#language' do
+    it "should return the language of the content" do
+      
+      ["en", "de", "fr", "ru", "es"].each do |lang|
+        txt = Rika::Parser.new(file_path("#{lang}.txt"))
+        txt.language.should == lang
+      end
+    end
+  end
+
+  describe '#language_is_reasonably_certain?' do
+    it "should return false if lang can't be determined" do
+      lang = Rika::Parser.new(file_path("lang_cant_be_determined.txt"))
+      lang.language_is_reasonably_certain? == false
+    end
+
+    it "should return true if language can be determined" do
+      lang = Rika::Parser.new(file_path("en.txt"))
+      lang.language_is_reasonably_certain? == true
+    end
+  end
+end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: rika
 version: !ruby/object:Gem::Version
-  version: 0.9.8
+  version: 0.9.9
   prerelease:
 platform: java
 authors:
@@ -9,7 +9,7 @@ authors:
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2013-01-25 00:00:00.000000000 Z
+date: 2013-02-11 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec
@@ -47,11 +47,17 @@ files:
 - lib/rika/version.rb
 - pom.xml
 - rika.gemspec
+- spec/fixtures/de.txt
 - spec/fixtures/document.doc
 - spec/fixtures/document.docx
 - spec/fixtures/document.pdf
+- spec/fixtures/en.txt
+- spec/fixtures/es.txt
+- spec/fixtures/fr.txt
 - spec/fixtures/image.jpg
+- spec/fixtures/lang_cant_be_determined.txt
 - spec/fixtures/over_100k_file.txt
+- spec/fixtures/ru.txt
 - spec/fixtures/text_file.txt
 - spec/fixtures/text_file_without_extension
 - spec/fixtures/unknown.bin
@@ -121,11 +127,17 @@ signing_key:
 specification_version: 3
 summary: A JRuby wrapper for Apache Tika to extract text and metadata from various file formats.
 test_files:
+- spec/fixtures/de.txt
 - spec/fixtures/document.doc
 - spec/fixtures/document.docx
 - spec/fixtures/document.pdf
+- spec/fixtures/en.txt
+- spec/fixtures/es.txt
+- spec/fixtures/fr.txt
 - spec/fixtures/image.jpg
+- spec/fixtures/lang_cant_be_determined.txt
 - spec/fixtures/over_100k_file.txt
+- spec/fixtures/ru.txt
 - spec/fixtures/text_file.txt
 - spec/fixtures/text_file_without_extension
 - spec/fixtures/unknown.bin