ckip_client 0.0.4 → 0.0.5

data/README.md

@@ -1,4 +1,4 @@
-#CKIP_CLient
+#CKIP_Client
 
 [RubyGems](http://rubygems.org/gems/ckip_client)
 
@@ -11,11 +11,11 @@ CKIP_Client是連接[中央研究院][中央研究院][詞庫小組][詞庫小
 請先至中文斷詞系統[網站][斷詞申請]或中文剖析系統[網站][剖析申請]申請：帳號/密碼  
 再安裝本Gem
 
-	gem install chinese_convt
+	gem install ckip_client
 
 安裝完成後至Gem所在資料夾中修改帳號密碼資料。  
 資料夾位置通常在：/usr/local/lib/ruby/gems/1.9.1/gems/  
-進入：ckip_client-0.0.3/lib/config/  
+進入：ckip_client-0.0.5/lib/config/  
 於 segment.yml 檔案中輸入中文斷詞系統之帳號密碼，  
 於 parser.yml 檔案中輸入中文剖析系統之帳號密碼，  
 至此安裝設定就緒。
@@ -36,9 +36,10 @@ CKIP_Client是連接[中央研究院][中央研究院][詞庫小組][詞庫小
 	CKIP.segment( text , 'neat' )
 	CKIP.parser( text , 'neat' )
 
-注：  
-輸入的字串編碼可以是 UTF-8 或是 Big5 或 Big5-UAO 三種其中之一。  
-但是輸出結果一律為 UTF-8 編碼。
+文字編碼：
+輸入的字串編碼可以是 UTF-8 或 Big5 或是 Big5-UAO 三種其中之一。  
+而輸出結果一律為 UTF-8 編碼。
+CKIP系統不支援 Big5-HKSCS 之特有港字。
 
 
 ## 範例 Example

data/lib/CKIP_Client.rb

@@ -7,12 +7,20 @@ module CKIP
   class Client
     
     def self.get( sys , text )
+      begin
+        text.encode("Big5-UAO")
+      rescue Encoding::UndefinedConversionError
+        trans_text = text.encode("Big5-UAO", :undef => :replace).encode("UTF-8")
+        un_w = text.delete( trans_text )
+        puts "!!contains unsupported character: #{un_w}!!"
+        raise $!
+      end
       text_encoding = text.encoding.to_s
       unless ['Big5','Big5-UAO','UTF-8'].include? text_encoding
-        raise 'Encoding ERROR : CKIP_Client only support UTF-8 or Big5 or Big5-UAO encodings.'
+        raise 'Encoding ERROR!! CKIP_Client only support UTF-8 or Big5 or Big5-UAO encodings.'
       end
       input_encoding = (text_encoding == 'Big5-UAO')? 'Big5' : text_encoding
-      
+      sst = 1.6 - 1020.0 / (text.size + 640)
       config = YAML::load( File.open( File.dirname(__FILE__) + "/config/#{sys}.yml" ).read )
       request = "<?xml version=\"1.0\" ?>
 <wordsegmentation version=\"0.1\" charsetcode=\"#{input_encoding.downcase}\">
@@ -24,10 +32,11 @@ module CKIP
         Timeout::timeout(5) {
           socket = TCPSocket.open( config['host'] , config['port'] )
           socket.write( request )
-          xml_result = socket.gets.force_encoding( text_encoding )
+          @xml_result = socket.gets.force_encoding( text_encoding )
           socket.close
-          return xml_result
         }
+        sleep (rand + 0.25) * sst
+        return @xml_result
       rescue Timeout::Error
         puts "CKIP Connection Timeout!!!"
         raise Timeout::Error
@@ -36,6 +45,7 @@ module CKIP
     
     def self.xml2str( xml )
       xml.encode!('UTF-8')
+      sleep (rand * 0.1 + 0.05)
       if /<result>(.*?)<\/result>/m.match( xml )
         return $1.gsub(/<\/sentence>\r?\n?\t*?\s*?<sentence>/,"\n").gsub("\n　\n","\n\n").sub(/\t*?\s*?<sentence>　?/,'').sub(/<\/sentence>/,'').gsub("\n　", "\n")
       elsif /<processstatus code="\d">(.*?)<\/processstatus>/.match( xml )
@@ -44,7 +54,7 @@ module CKIP
         raise "XML result format error!!"
       end
     end
-        
+    
   end
   
   def self.segment( text , mode = nil )
@@ -65,7 +75,6 @@ module CKIP
     else
       return output
     end
-    
   end
   
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: ckip_client
 version: !ruby/object:Gem::Version
-  version: 0.0.4
+  version: 0.0.5
   prerelease: 
 platform: ruby
 authors:
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2013-04-30 00:00:00.000000000 Z
+date: 2013-05-02 00:00:00.000000000 Z
 dependencies: []
 description: CKIP_CLient是連接中央研究院詞庫小組研發之中文斷詞系統與中文剖析系統的Ruby程式界面。感謝中央研究院詞庫小組多年來之研究成果！
 email: xxxooo.tw@gmail.com