nlp 0.2.2 → 0.2.3

data/dict/rid

@@ -159,7 +159,7 @@ PIERWOTNE
 			sherry
 			skubać
 			ślina
-			ślinić się
+			ślinić
 			Smacznego
 			smoczek
 			śniadanie
@@ -168,7 +168,7 @@ PIERWOTNE
 			sos
 			spożywać
 			spragniony
-			środek spożywcze
+			spożywczy
 			ssać
 			strawić
 			surowo
@@ -231,10 +231,11 @@ PIERWOTNE
 			bźdić
 			bździna
 			cuchnący
-			cztery litery
 			defakacja
 			dupa
-			dupek dupsko enema
+			dupek 
+                        dupsko
+                        enema
 			fetor
 			gazy
 			gnić
@@ -246,7 +247,6 @@ PIERWOTNE
 			gówno
 			jelito
 			kał
-			kał
 			kanalizacja
 			kloaka
 			kupa
@@ -262,7 +262,6 @@ PIERWOTNE
 			nieczystość
 			nieczystości
 			nieczysty
-			nieczysty
 			nieumyty
 			niporządek
 			obleśny
@@ -270,7 +269,6 @@ PIERWOTNE
 			obrzydzenie
 			obstrukcja
 			odbyt
-			odbyt
 			odbytnica
 			odchody
 			odraza
@@ -283,7 +281,7 @@ PIERWOTNE
 			pośladek
 			pot
 			przeczyszczenie
-			psuć się
+			psuć
 			pupa
 			robaczywy
 			rozkładający się
@@ -333,7 +331,6 @@ PIERWOTNE
 			amant
 			amorek
 			bezwstydny
-			bezwstydny
 			burdel
 			chuć
 			ciąża
@@ -342,8 +339,7 @@ PIERWOTNE
 			cudzołóstwo
 			cudzołożnik
 			cudzołożyć
-			czulić się
-			dom publiczny
+			czulić
 			dziwka
 			ejakulat
 			erotyczny
@@ -385,7 +381,7 @@ PIERWOTNE
 			menstruacja
 			menstruacyjny
 			nagi
-			na golasa
+			golas
 			namiętność
 			nędzić
 			niedyskretny
@@ -540,7 +536,7 @@ PIERWOTNE
 			stęchły
 			wąchać
 			wdychać
-			woda kolońska
+			kolońska
 			woń
 			wonność
 			zapach
@@ -606,13 +602,11 @@ PIERWOTNE
 			głuchy
 			grzechotać
 			grzmot
-			grzmot
 			gwizd
 			hałas
 			hałaśliwy
 			harmier
 			huk
-			huk
 			jazgot
 			klekot
 			klekotać
@@ -671,7 +665,7 @@ PIERWOTNE
 			wrzawa
 			wrzeszczeć
 			wycie
-			wydzierać się
+			wydzierać
 			zgrzyt
 		WZROK
 			aureola
@@ -697,7 +691,7 @@ PIERWOTNE
 			fluorescencyjny
 			gwiazda
 			jasny
-			jawić się
+			jawić
 			jednooczny
 			jutrzenka
 			kamerować
@@ -732,7 +726,7 @@ PIERWOTNE
 			oświetlić
 			patrzyć
 			pogląd
-			pojawić się
+			pojawić
 			półprzejrzysty
 			połysk
 			połyskliwy
@@ -752,7 +746,6 @@ PIERWOTNE
 			rozpromieniony
 			rubinowy
 			rumiany
-			rzucić okiem
 			scena
 			sceniczny
 			skanować
@@ -782,11 +775,10 @@ PIERWOTNE
 			zabarwienie
 			zdjęcie
 			zerknąć
-			zerknąć
 			zielony
 			zobaczyć
 			żółty
-			zorza polarna
+			zorza
 		ZIMNO
 			Alaska
 			arktyczny
@@ -810,7 +802,6 @@ PIERWOTNE
 			północ
 			północny
 			schładzać
-			skuwać lodem
 			śnieg
 			śnieżny
 			studzić
@@ -946,7 +937,6 @@ PIERWOTNE
 			schnąć
 			śmierć
 			spokój
-			spokojny
 			spokojny	
 			stagnacja
 			statyczny
@@ -958,7 +948,7 @@ PIERWOTNE
 			uspokoić
 			uspokojenie
 			usypiać
-			wałkonić się
+			wałkonić
 			wypoczynek
 			zadowolenie
 			zadowolony
@@ -977,10 +967,10 @@ PIERWOTNE
 			aktywności
 			badać
 			badacz
-			błąkać się
+			błąkać
 			brnąć
 			chwiać
-			chwiać się
+			chwiać
 			chybotać
 			czynności
 			drżeć
@@ -1011,7 +1001,7 @@ PIERWOTNE
 			migrować
 			nawigować
 			obracać
-			obracać się
+			obracać
 			odległy
 			odludzie
 			okrążać
@@ -1054,7 +1044,7 @@ PIERWOTNE
 			wiercić
 			wirować
 			włóczęga
-			włóczyć się
+			włóczyć
 			wrzeć
 			wstrząsać
 			wycieczka
@@ -1066,7 +1056,7 @@ PIERWOTNE
 			zachwiać
 			zakręcać
 			zamieszać
-			zaokrętować się
+			zaokrętować
 			zataczać
 			zatrząść
 			żeglarz
@@ -1192,7 +1182,6 @@ PIERWOTNE
 			bezustanny
 			ciągły
 			eon
-			na zawsze
 			nieskończony
 			nieśmiertelny
 			nieustanny
@@ -1234,7 +1223,6 @@ PIERWOTNE
 			gorączka
 			gorączkowy
 			granica
-			hall
 			halucynacje
 			haszysz
 			hibernacja
@@ -1348,11 +1336,10 @@ PIERWOTNE
 			wariactwo
 			wariat
 			wejście
-			we śnie
 			wiadukt
 			wizjoner
 			wybrzeże
-			wyobrażać sobie
+			wyobrażać
 			wyobraźnia
 			wyrocznia
 			zaczarować
@@ -1360,7 +1347,6 @@ PIERWOTNE
 			zahipnotyzowany
 			zamyślenie
 			zauroczony
-			zawrót głowy
 			zwariowany
 		NARCYZM
 			bark
@@ -1419,13 +1405,11 @@ PIERWOTNE
 			gdzieś
 			koniuszek
 			krzywa
-			ku
 			kwadrat
 			kwadratowy
 			łuk
 			między
 			miejsce
-			na bok
 			naprzeciw
 			naprzód
 			obok
@@ -1488,12 +1472,11 @@ PIERWOTNE
 			wzdłuż
 			za
 			zachód
-			z dala
 			zewnątrz
 			zewnętrzny
 	IKARIAN
 		WSPINANIE
-			bujać się
+			bujać
 			dyndać
 			góra
 			ikaryjski
@@ -1504,10 +1487,9 @@ PIERWOTNE
 			lot
 			lotnik
 			lotu
-			odbijać się
+			odbijać
 			pływak
 			podnosić
-			podnosić się
 			podrzucać
 			podskakiwać	
 			powiesić
@@ -1523,12 +1505,9 @@ PIERWOTNE
 			świt
 			trzepotać
 			trzepotanie
-			unosić się w powietrzu
-			w górę
-			w górze
 			wschodzić
-			wspiąć się
-			wznieść się
+			wspiąć
+			wznieść
 			wzrastać
 			wzrost
 			zbocze
@@ -1550,8 +1529,7 @@ PIERWOTNE
 			kopiec
 			krokiew
 			mur
-			nad głową
-			na górze
+			nad
 			niebo
 			obelisk
 			piramida
@@ -1588,12 +1566,12 @@ PIERWOTNE
 			zenit
 		POCHODZENIE
 			baza
-			chylić się
+			chylić
 			kopać
 			nora
 			nurkować
 			obalać
-			obniżyć się
+			obniżyć
 			opadać
 			pikować
 			pochodzenie
@@ -1618,11 +1596,10 @@ PIERWOTNE
 			upadły
 			ustępować
 			więdnąć
-			zachód słońca
 			zatapiać
 			zawalić
 			zjazd
-			zniżać się
+			zniżać
 		GŁĘBOKOŚĆ
 			dno
 			dół
@@ -1647,7 +1624,6 @@ PIERWOTNE
 			spadzisty
 			szczelina
 			tunel
-			w dół
 			żleb
 		OGIEŃ
 			ciepło
@@ -1684,12 +1660,11 @@ PIERWOTNE
 			stopić
 			świeca
 			świeczka
-			tlić się
+			tlić
 			tropikalny
 			tropiki
 			udar
 			węgiel
-			w ogniu
 			wybuch
 			wybuchnąć
 			wzniecać
@@ -1712,7 +1687,7 @@ PIERWOTNE
 			jezioro
 			kapać
 			kąpiel
-			lać się
+			lać
 			mech
 			moczyć
 			mokro
@@ -1795,7 +1770,7 @@ WTORNE
 		determiować
 		dlaczego
 		doktryna
-		domyślać się
+		domyślać
 		dowieść
 		dowód
 		dowodzić
@@ -1863,7 +1838,6 @@ WTORNE
 		powodować
 		poza tym
 		prawda
-		prawdobodobne
 		prawdobodobny
 		prawdziwy
 		prawie
@@ -1897,7 +1871,7 @@ WTORNE
 		sądzić
 		schemat
 		selekcjonować
-		skłaniać się
+		skłaniać
 		skupiać
 		sprawdzać
 		stwierdzać
@@ -1905,7 +1879,7 @@ WTORNE
 		temat
 		teoretycznie
 		teoria
-		uczyć się
+		uczyć
 		udowadniać
 		uogólniać
 		urozmaicenie
@@ -1921,16 +1895,15 @@ WTORNE
 		właściwość
 		wnioskować
 		wszechstronny
-		wyballać
 		wybierać
 		wybór
 		wyrazisty
 		wyraźny
 		wywoływać
 		wyznaczać
-		zaliczać się
+		zaliczać
 		zamiar
-		zastanawiać się
+		zastanawiać
 		zdecydować
 		zgadywać
 		zmierzać
@@ -2068,8 +2041,8 @@ WTORNE
 		świadczyć
 		sygnał
 		szczodry
-		targować się
-		tłumaczyć się
+		targować
+		tłumaczyć
 		towarzyski
 		towarzyszyć
 		traktować
@@ -2081,7 +2054,7 @@ WTORNE
 		ułaskawiać
 		umowa
 		umożliwić
-		upewniać się
+		upewniać
 		uratować
 		uwaga
 		uzgodnić
@@ -2117,10 +2090,10 @@ WTORNE
 		zatwierdzić
 		zdolny
 		zezwolenie
-		zgadzać się
+		zgadzać
 		zgoda
 		zobowiązanie
-		zwierzać się
+		zwierzać
 	ZACHOWANIE_INSTRUMENTALNE
 		aplikacja
 		architekt
@@ -2195,7 +2168,7 @@ WTORNE
 		pochłaniać
 		poprawiać
 		posiadać
-		pozbywać się
+		pozbywać
 		pożytek
 		praca
 		pracochłonny
@@ -2322,7 +2295,7 @@ WTORNE
 		odmówić
 		ogradzać
 		ograniczać
-		opierać się
+		opierać
 		opór
 		oprócz
 		penitencjarny
@@ -2465,12 +2438,10 @@ WTORNE
 		długookresowy
 		długoterminowy
 		długowieczność
-		do
 		dzisiaj
 		efemeryczny
 		godzina
 		ilekroć
-		jeszcze raz
 		już
 		kiedy
 		kiedykolwiek
@@ -2482,7 +2453,6 @@ WTORNE
 		minuta
 		moment
 		nagły
-		na pół etatu
 		następnie
 		natychmiast
 		natychmiastowy
@@ -2521,8 +2491,8 @@ WTORNE
 		cenić
 		cnota
 		dostosować
+		godny
 		etyczny
-		godny zaufania
 		honor
 		honorowy
 		klient
@@ -2569,13 +2539,11 @@ WTORNE
 EMOCJE
 	POZYTYWNY_AFEKT
 		bawić
-		bawić się
 		beztroski
 		beztrosko
 		celebracja
 		chichotać
 		cieszyć
-		cieszyć się
 		dowcip
 		dreszczyk
 		ekscytować
@@ -2664,10 +2632,10 @@ EMOCJE
 		horror
 		kłopot
 		kryzys
-		kulić się
+		kulić
 		lęk
 		lękliwy
-		martwić się
+		martwić
 		męczarnia
 		męka
 		nerwowy
@@ -2681,7 +2649,7 @@ EMOCJE
 		poddenerwować
 		poruszony
 		przejęcie
-		przejmować się
+		przejmować
 		przerażać
 		przerażający
 		przerażenie
@@ -2705,7 +2673,7 @@ EMOCJE
 		uraz
 		wrzask
 		zaczerwienić
-		zarumienić się
+		zarumienić
 		zdenerwowanie
 		zdenerwowany
 		zgroza
@@ -2754,7 +2722,7 @@ EMOCJE
 		samotność
 		samotny
 		sierota
-		skarżyć się
+		skarżyć
 		skruszony
 		smutek
 		szloch
@@ -2789,7 +2757,6 @@ EMOCJE
 		czułość
 		czuły
 		doceniać
-		do widzenia
 		drogi
 		flirt
 		hołubić
@@ -2811,7 +2778,6 @@ EMOCJE
 		obejmować
 		objęcie
 		ożenić
-		panna młoda
 		pogłaskać
 		poklepywać
 		poświęcać
@@ -2822,7 +2788,7 @@ EMOCJE
 		przyjaciel
 		przyjaźń
 		przyjaźnić
-		przymilać się
+		przymilać
 		romans
 		rozkochać
 		serdeczny
@@ -2841,13 +2807,12 @@ EMOCJE
 		wdzięczny
 		weselny
 		witać
-		wyjśc za mąż
 		zakochać
-		zalecać się
+		zalecać
 		zaloty
 		zamężna
 		zamiłowanie
-		zaprzyjaźnić się
+		zaprzyjaźnić
 		zażyłość
 		znajomy
 		żonaty
@@ -2899,7 +2864,7 @@ EMOCJE
 		irytować
 		karcić
 		klaps
-		kłócić sie
+		kłócić
 		kłótnia
 		konflikt
 		kontrowersja
@@ -2917,7 +2882,7 @@ EMOCJE
 		maltretowanie
 		męka
 		miecz
-		mocować się
+		mocować
 		morderstwo
 		mścić
 		mściwy
@@ -2937,9 +2902,7 @@ EMOCJE
 		nieugięty
 		niewdzięczność
 		niezadowolenie
-		nie zgadzać się
 		niezgoda
-		nie znosić
 		niszczyć
 		nóż
 		obelżywy
@@ -2950,7 +2913,8 @@ EMOCJE
 		odwet
 		okaleczyć
 		okłamać
-		okraść okrutny
+		okraść
+		okrutny
 		oporny
 		oskarżać
 		oszczerstwo
@@ -2989,14 +2953,14 @@ EMOCJE
 		sarkastyczny
 		sarkazm
 		skalp
-		skarżyć się
+		skarżyć
 		skradziony
 		skrzyczeć
 		spór
 		sprofanować
-		sprzeciwiać się
+		sprzeciwiać
+		sprzeczać
 		sprzeczać
-		sprzeczać się
 		srogi		
 		strzał
 		strzała
@@ -3042,7 +3006,7 @@ EMOCJE
 		wrogość
 		wściekły
 		wykorzystać
-		wyśmiewanie się
+		wyśmiewanie
 		zabić
 		zabijać
 		zabity
@@ -3074,7 +3038,7 @@ EMOCJE
 		zmagać
 		zmiażdżyć
 		zmora
-		znęcać się
+		znęcać
 		znęcanie
 		zniecierpliwienie
 		znieważać
@@ -3142,7 +3106,7 @@ EMOCJE
 		chełpliwy
 		chwała
 		chwalić
-		chwalić się
+		chwalić
 		cudowny
 		duma
 		dumny
@@ -3172,7 +3136,7 @@ EMOCJE
 		podziwiać
 		pogarda
 		prestiż
-		przechwalać się
+		przechwalać
 		przepych
 		przyklaskiwać
 		pycha
@@ -3184,7 +3148,7 @@ EMOCJE
 		śmietanka
 		splendor
 		świetny
-		szczycić się
+		szczycić
 		szlachetny
 		triumf
 		tron

data/lib/analyzer.rb

@@ -5,6 +5,7 @@ require 'word'
 require 'emoticon'
 require 'sentence'
 require "token_scanner.rb"
+require "lemmatizer"
 
 $KODE = "UTF8"
 
@@ -12,7 +13,6 @@ module NLP
 
   class Analyzer
 
-    include REXML
     
     def initialize( category_file, restore = true )
         state_file = File.expand_path(Dictionary::CACHE_DIR)
@@ -36,18 +36,21 @@ module NLP
         :words => [] 
       }
 
+
+
      while token = scanner.current
         word = token.lemat
 
         categories = @dictionary.find( word.gsub( /[^\w-]/, "" ) ) 
         unless categories.nil?
             categories.each do |category|
-                
+               puts "Znalazłem słowo #{word} : #{category}"
                 results[:scores][category] = results[:scores][category] + 1
+		results[:word_count] += 1
+            	results[:words].push word
             end
             
-            results[:word_count] += 1
-            results[:words].push word
+            
         end
 
         results[:word_total] += 1
@@ -55,10 +58,15 @@ module NLP
      end
       
       results[:sorted_scores] = results[:scores].to_a.sort_by { |result| -result[1] }
+	primary_sum = results[:sorted_scores].select { |result| result[0].primary? }.inject( 0 ) { |count,result| count + result[1] }
+	secondary_sum = results[:sorted_scores].select { |result| result[0].secondary? }.inject( 0 ) { |count,result| count + result[1] }
+	emotion_sum = results[:sorted_scores].select { |result| result[0].emotions? }.inject( 0 ) { |count,result| count + result[1] }
+	
+
       results[:classes] = {
-        :primary => Float(results[:sorted_scores].select { |result| result[0].primary? }.inject( 0 ) { |count,result| count + result[1] }) / results[:word_count],
-        :secondary => Float(results[:sorted_scores].select { |result| result[0].secondary? }.inject( 0 ) { |count,result| count + result[1] }) / results[:word_count],
-        :emotions => Float(results[:sorted_scores].select { |result| result[0].emotions? }.inject( 0 ) { |count,result| count + result[1] }) / results[:word_count]
+        :primary => Float(primary_sum) / results[:word_count],
+        :secondary => Float(secondary_sum) / results[:word_count],
+        :emotions => Float(emotion_sum) / results[:word_count]
       }
       
       results
@@ -66,3 +74,6 @@ module NLP
 
   end
 end
+
+require "rid_analyzer.rb"
+require "liwc_analyzer.rb"

data/lib/lemmatizer.rb

@@ -0,0 +1,108 @@
+require 'takipi_web_service'
+require 'rexml/document'
+require 'morfeusz'
+
+module NLP
+class Lemmatizer
+    include REXML
+    
+    def self.lematize(text,method,input_type)
+        if text.is_a? File
+            str = text.read
+            text.close
+        elsif text.is_a? String
+           str = text
+        else
+            raise ArgumentError, "Argument is not String or File"
+        end
+
+        if method === :takipi
+            takipi_lematize(str,input_type)
+        #Default lematization method is  Morfeusz 
+        else 
+            morfeusz_lematize(str)
+        end
+
+    end
+
+
+
+    def self.takipi_lematize(text,method)
+        
+        if method === :local
+
+            t1 = Thread.new do 
+                 `takipi -i text.txt -o output.xml -it TXT`
+            end
+
+            t1.join
+
+            f = File.open("output.xml","r")
+            doc = Document.new f
+        elsif method === :remote
+            xml = TakipiWebService.request(text)
+            doc = Document.new xml
+        else
+            raise ArgumentError, 'Argument is not :local or :remote'
+        end
+
+        parse_lematized_xml(doc)    
+    end 
+
+
+    def self.morfeusz_lematize(text)
+            temp_text = []
+            
+            #simple tagger
+            #TODO lematizer should take block or object Tagger that defines
+            #how split string
+            text.split(/\.|!|\?/).each do |s|
+                sentence = Sentence.new
+                sentence << s.split(" ").collect{ |t|
+                    if word = Morfeusz::Lexeme.find(t)
+                       if word[0]
+                            Word.new(t,word[0].base_form,"") 
+                       else
+                            Word.new(t,"","")
+                       end
+                    else
+                        Word.new(t,"","")
+                    end
+                }
+                temp_text.push  sentence
+           end
+           temp_text
+       end
+
+
+    def self.parse_lematized_xml(doc)
+        
+        text = []
+
+        doc.elements.each("*/chunkList/chunk") do |chunk| 
+            sentence = Sentence.new
+            tokens = []
+
+            chunk.elements.each("tok") do |tok|
+               word = tok.elements[1].text
+               lemat, inflect = ""
+
+               tok.elements.each("lex") do |lex|
+                    if lex.has_attributes?
+                        lemat = lex.elements[1].text
+                        inflect = lex.elements[2].text
+                    end
+               end
+              
+               tokens << Word.new(word,lemat,inflect)
+            end
+
+            sentence << tokens
+            text << sentence
+        end
+        text
+    end
+
+
+end
+end

data/lib/liwc_analyzer.rb

@@ -0,0 +1,11 @@
+module NLP
+class LIWC_Analyzer < Analyzer
+	
+        def analyze
+		
+	end
+
+
+end
+
+end	

data/lib/rid_analyzer.rb

@@ -0,0 +1,52 @@
+module NLP
+    class  RIDAnalyzer < NLP::Analyzer
+
+        def analyze(scanner)
+             results = {
+                :word_count => 0,
+                :word_total => 0,
+                :scores => Hash.new { 0 },
+                :words => [] 
+              }
+
+             while token = scanner.current
+                word = token.lemat
+
+                categories = @dictionary.find( word.gsub( /[^\w-]/, "" ) ) 
+                unless categories.nil?
+                    categories.each do |category|
+                       puts "Znalazłem słowo #{word} : #{category}"
+                        results[:scores][category] = results[:scores][category] + 1
+                        results[:word_count] += 1
+                        results[:words].push word
+                    end
+                    
+                    
+                end
+
+                results[:word_total] += 1
+                scanner.next(:word)
+             end
+              
+              results[:sorted_scores] = results[:scores].to_a.sort_by { |result| -result[1] }
+                p primary_sum = results[:sorted_scores].select { |result| result[0].primary? }.inject( 0 ) { |count,result| count + result[1] }
+                p secondary_sum = results[:sorted_scores].select { |result| result[0].secondary? }.inject( 0 ) { |count,result| count + result[1] }
+                p emotion_sum = results[:sorted_scores].select { |result| result[0].emotions? }.inject( 0 ) { |count,result| count + result[1] }
+                
+
+
+              results[:classes] = {
+                :primary => Float(primary_sum) / results[:word_count],
+                :secondary => Float(secondary_sum) / results[:word_count],
+                :emotions => Float(emotion_sum) / results[:word_count]
+              }
+              
+              results
+        end
+
+
+
+    end
+	
+	
+end

data/lib/stdlib/ext/string.rb

@@ -1,7 +1,7 @@
 class String
     alias old_memeber []
 
-    def ord (index)
+    def ordinary (index)
         self.old_memeber index
     end
 

data/lib/takipi_web_service.rb

@@ -0,0 +1,51 @@
+require 'rubygems'
+require 'savon'
+
+class TakipiWebService
+    URL = 'http://nlp.pwr.wroc.pl/clarin/ws/takipi/'
+    WSDL_URL = URL + 'takipi.wsdl'
+    
+    def self.request(text)
+        client  = Savon::Client.new WSDL_URL, :soap_endpoint => URL
+
+       # Call remote service methods
+        response =  client.tag do |soap|
+            soap.body = "<text>#{text}</text><format>TXT</format><useGuesser>true</useGuesser>"
+        end
+
+        response =  response.to_hash
+        token =  response[:tag_response][:tag_response][:msg]
+        status = (response[:tag_response][:tag_response][:status]).to_i
+
+         #checking status   
+         timeout = 60
+         step = 5
+         count = 0
+         loop do 
+            break if count > timeout
+            if status == 1
+                    break
+            elsif status == 2 or status == 3
+                            count += 5
+                            sleep(1)
+                            r = client.get_status do |soap|
+                                soap.body = "<token>#{token}</token>"
+                            end.to_hash
+                            status =  (r[:get_status_response][:status]).to_i   
+
+            end
+         end
+
+         #geting result
+
+        result = client.get_result do |soap|
+            soap.body="<token>#{token}</token>"
+        end
+
+        response_document = result.to_hash[:get_result_response][:tag_response][:msg]
+
+        #transforming response to well formed xml string
+       return "<xml><chunkList>#{response_document}</chunkList></xml>"
+    end 
+end
+

data/lib/token_scanner.rb

@@ -1,23 +1,11 @@
 
-require 'rexml/document'
-require 'soap/rpc/driver'
-
 module NLP
     class TokenScanner
-        include REXML
         
         attr_reader :text, :tokens
 
-        def initialize(text, method)
-            
-            if method === :takipi
-                @text = load_lemated_text(text)
-            elsif method === :morfeusz
-                @text = lematize_text(text)
-            else
-                @text = text
-            end
-            
+        def initialize(text)
+            @text = text
             @pos = 0
             @tokens = flatten_text(@text)
         end
@@ -43,6 +31,7 @@ module NLP
             end
         end
 
+
         def current
             
             if @pos == @tokens.size
@@ -53,10 +42,12 @@ module NLP
 
         end
 
+
         def index
             @pos
         end
 
+
         def end?
             @pos == tokens.size
         end
@@ -70,67 +61,5 @@ module NLP
             flattened
         end
 
-        #Tok
-        
-       def load_lemated_text(text)
-
-            t1 = Thread.new do 
-                `echo #{text} | takipi -i  -o output.xml -it TXT`
-            end
-            t1.join
-
-           text = []
-           File.open("output.xml") do |f|
-               doc = Document.new(f)
-
-               doc.elements.each("*/chunkList/chunk") do |chunk| 
-                    sentence = Sentence.new
-                    tokens = []
-
-                    chunk.elements.each("tok") do |tok|
-                       word = tok.elements[1].text
-                       lemat, inflect = ""
-
-                       tok.elements.each("lex") do |lex|
-                            if lex.has_attributes?
-                                lemat = lex.elements[1].text
-                                inflect = lex.elements[2].text
-                            end
-                       end
-                      
-                       tokens << Word.new(word,lemat,inflect)
-                   end
-
-                    sentence << tokens
-                    text << sentence
-            end
-        end
-        text
-        end 
-
-       def lematize_text(text)
-            temp_text = []
-           text.split(/\.|!|\?/).each do |s|
-                sentence = Sentence.new
-                sentence << s.split(" ").collect{ |t|
-                    if word = Morfeusz::Lexeme.find(t)
-                       if word[0]
-                            Word.new(t,word[0].base_form,"") 
-                       else
-                            Word.new(t,"","")
-                       end
-                    else
-                        Word.new(t,"","")
-                    end
-                }
-                temp_text.push  sentence
-           end
-           temp_text
-       end
-
-
-
-
-    end
-
+end
 end

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: nlp
 version: !ruby/object:Gem::Version 
-  hash: 19
+  hash: 17
   prerelease: false
   segments: 
   - 0
   - 2
-  - 2
-  version: 0.2.2
+  - 3
+  version: 0.2.3
 platform: ruby
 authors: 
 - knife
@@ -15,7 +15,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-09-06 00:00:00 +02:00
+date: 2010-09-18 00:00:00 +02:00
 default_executable: 
 dependencies: []
 
@@ -35,15 +35,20 @@ files:
 - lib/dictionary.rb
 - lib/emoticon.rb
 - lib/inflectable.rb
+- lib/lemmatizer.rb
+- lib/liwc_analyzer.rb
 - lib/liwc_category.rb
 - lib/meaningable.rb
 - lib/morfeusz.rb
 - lib/nlp.rb
+- lib/rid_analyzer.rb
 - lib/rid_category.rb
 - lib/sentence.rb
 - lib/stdlib/ext/array.rb
 - lib/stdlib/ext/string.rb
 - lib/stree.rb
+- lib/takipi_web_service
+- lib/takipi_web_service.rb
 - lib/token.rb
 - lib/token_scanner.rb
 - lib/word.rb