igo 0.1.4.3 → 0.1.4.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: cb6aa82cbe2554d14aac09e8d583297de352c4e005cf15f27b78ca50fb354f95
-  data.tar.gz: 8dcf65e8294c2daf4bb0ec830ecccc42cda0cc1687d7be71f4c15494148f4fc5
+  metadata.gz: f8d29ccb85327a2b7ed069ef514f2f93601219bfea47aa793560f7275a9d24cc
+  data.tar.gz: 1ab3272f76a86437873d4272148271972ec3e9d28fa672bd47d96a342af127b1
 SHA512:
-  metadata.gz: 18467db48f62b0b71a020a3f1874997a9dbfeed0ab0100aa18d8b0e622fd14cfddee7ec7d9725e4bbe452c47769af009afe2846f8ceeee8d3d59207081eb0468
-  data.tar.gz: 64f3908baa695f3538b66ad98a9783656a802fbbc187a4cf23635bcf90833dbbd05c88e5c3f0795ae33caf7154db9a790fd28b309321f48e32596cbbffb07eec
+  metadata.gz: abad6bdf5a657706408f6f2303624523eb4cdfefe31d010a69d09a558bce145a6bef92679266576c9a48a40750a332c3f814738da4b9fe31690a23e8e5436bc2
+  data.tar.gz: baca5c388703bd4788df84a6087e701d630e25df50cb3dc09c5b753304f66bd3bafd7ed0769b695ef4466a48b8bb1c8aaa5129cd24e1518cc1d978e911579a47

data/README.en.md

@@ -5,11 +5,11 @@
 Support `zh-CN`, `ja-JP`
 
 ```ruby
-ja.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-zh.tag "全世界的无产者，联合起来！", s: true
-#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
+#=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
 
 ```
 
@@ -36,10 +36,10 @@ require 'igo/ja'
 j = Igo::Ja
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
 
 ```
 
@@ -61,7 +61,7 @@ z = Igo::Zh
 
 ```ruby
 z.pinyin "全世界的无产者，联合起来！"
-#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+#=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
 ```

data/README.ja.md

@@ -5,11 +5,11 @@
 Support `zh-CN`, `ja-JP`
 
 ```ruby
-ja.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-zh.tag "全世界的无产者，联合起来！", s: true
-#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
+#=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
 
 ```
 
@@ -35,10 +35,10 @@ require 'igo/ja'
 j = Igo::Ja
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
 
 ```
 
@@ -60,7 +60,7 @@ z = Igo::Zh
 
 ```ruby
 z.pinyin "全世界的无产者，联合起来！"
-#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+#=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
 ```

data/README.md

@@ -6,7 +6,7 @@ Support `zh-CN`, `ja-JP`
 
 ```ruby
 ja.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#=>  ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
 zh.tag "全世界的无产者，联合起来！", s: true
 #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
@@ -36,10 +36,10 @@ require 'igo/ja'
 j = Igo::Ja
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
+#=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
 
 ```
 
@@ -61,7 +61,7 @@ z = Igo::Zh
 
 ```ruby
 z.pinyin "全世界的无产者，联合起来！"
-#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+#=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
 ```

data/README.zh.md

@@ -5,11 +5,11 @@
 Support `zh-CN`, `ja-JP`
 
 ```ruby
-ja.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-zh.tag "全世界的无产者，联合起来！", s: true
-#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
+#=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
 
 ```
 
@@ -36,10 +36,10 @@ require 'igo/ja'
 j = Igo::Ja
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
-#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
 cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
 
 ```
 
@@ -61,7 +61,7 @@ z = Igo::Zh
 
 ```ruby
 z.pinyin "全世界的无产者，联合起来！"
-#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+#=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
 ```

data/lib/igo/ja.rb

@@ -3,16 +3,46 @@ require 'open-uri'
 require 'uri'
 
 module Igo
+
+  # ## 使い方 :: Usage / Ja
+  #
+  #   require 'igo'
+  #   require 'igo/ja'
+  #
+  #   j = Igo::Ja
+  #
+  #   cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+  #   #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
+  #
+  #   cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
+  #   #=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
+  #
+  # 下ノ関数は、暫く未完成です、ごめんね：
+  #
+  # `j.romaji`, `j.kana`, `j.tag`。
+  #
   module Ja
 
     SEARCH_URL = "https://jisho.org/search/"
 
     class << self
+      # ## 使い方 :: Usage / Ja
+      #
+      #   j = Igo::Ja
+      #
+      #   cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+      #   #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
+      #
+      #   cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
+      #   #=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
+      #
       def cut str, s: false
         str = URI.encode_www_form_component(str)
         doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
         cutted = doc.css(".japanese_word__text_wrapper").map{_1.text.strip}
-        s ? cutted.join(" ") : cutted
+        # s ? cutted.join(s) : cutted
+        sep = s.is_a?(String) ? s : " "
+        s ? cutted.join(sep) : cutted
       end
       # def romaji str
       # end
@@ -21,8 +51,10 @@ module Igo
       # end
     end
 
+    # TODO: tag word function
+    #
     def tag str, s: false, ns: 0
-
+      # TODO
     end
 
   end

data/lib/igo/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Igo
-  VERSION = "0.1.4.3"
+  VERSION = "0.1.4.5"
 end

data/lib/igo/zh.rb

@@ -1,25 +1,85 @@
 require 'ruby_pinyin'
 
+
+
 module Igo
+  # # 用法 :: Usage / Zh
+
+  # Lack __Trad-Zh__ :: 暂不支持「正體中文」
+  #
+  # ```ruby
+  # require 'igo'
+  # require 'igo/zh'
+  # z = Igo::Zh
+  # ```
+  #
+  # ### Pinyin :: 拼音
+  #
+  # ```ruby
+  # z.pinyin "全世界的无产者，联合起来！"
+  # #=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+  # z.pinyin "全世界的无产者，联合起来！", s: 1
+  # #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+  # ```
+  #
+  # ### seperate word :: 分词
+  #
+  # ```ruby
+  # z.cut "全世界的无产者，联合起来！"
+  # #=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
+  # z.cut "全世界的无产者，联合起来！", s: true
+  # #=> "全世界 的 无产者 ！ 联合 起来 ！"
+  # ```
+  # ### Taging word :: 标注词类
+  #
+  # 后续可能添加 `by` 关键词指定函数。
+  #
+  # ```ruby
+  # z.tag "全世界的无产者，联合起来！"
+  # #=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+  # z.tag "全世界的无产者，联合起来！", s: true
+  # #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+  # ```
+  # ### 词频统计
+  #
+  # ```ruby
+  # z.freq "全世界的无产者，联合起来！", 5
+  # #=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
+  #
+  # # alias 拼音, 分词, 标记, 词频
+  #
+  # ```
   module Zh
 
     Tagging = JiebaRb::Tagging.new
     Segment = JiebaRb::Segment.new mode: :mix, user_dict: "ext/cppjieba/dict/user.dict.utf8"
     Keyword = JiebaRb::Keyword.new
 
-    # @params chinese: String
-    # @returns pinyin_numeraltone: String
     class << self
-      def pinyin str, s: false
-        res = str.each_char.map{PinYin.of_string(_1, :ascii)}.flatten
-        s ? res.join(" ") : res
+      # ### Pinyin :: 拼音
+      #
+      #   z.pinyin "全世界的无产者，联合起来！"
+      #   #=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+      #   z.pinyin "全世界的无产者，联合起来！", s: " "
+      #   #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+      #
+      # @params chinese: String
+      # @returns pinyin_numeraltone: String
+      def pinyin str, s: false, ommit: " "
+        # tone 1, 2, 3, 4, 5
+        hanzi_ords = [13312..19903, 19968..40959, 63744..64255, 131072..173791, 173824..177983, 194560..195103]
+
+        res = str.split(/(?=[^A-Z\d])|(?<=[^A-Z\d])/i).map do |ch|
+            if hanzi_ords.map{|range| range.include? ch.ord}.any?
+              py = PinYin.sentence(ch, :ascii)
+              py =~ /\d/ ? py : (py+"5")
+            else ch
+            end
+          end.flatten.select{_1 != s and _1 != ommit}
+
+        sep = s.is_a?(String) ? s : " "
+        s ? res.join(sep) : res
 
-      end
-      def pinyin_tonal_s str
-        PinYin.sentence(token, :ascii)
-      end
-      def pinyin_tonal_a str
-        PinYin.of_string(token, :ascii)
       end
 
       def cut str, s: false, tag: false, by: "jieba"
@@ -28,8 +88,9 @@ module Igo
           if tag
             s ? Tagging.tag(str).map{_1.to_a.flatten.join("_")}.join(" ") : Tagging.tag(str).map{_1.to_a.flatten}
           else
-            res = Segment.cut(str)
-            s ? res.join(" ") : res
+            cutted = Segment.cut(str)
+            sep = s.is_a?(String) ? s : " "
+            s ? cutted.join(sep) : cutted
           end
         when /thulac/
           require_relative 'thulac'
@@ -37,6 +98,15 @@ module Igo
         end
       end
 
+      # ### Taging word :: 标注词类
+      #
+      # 后续可能添加 `by` 关键词指定函数。
+      #
+      #   z.tag "全世界的无产者，联合起来！"
+      #   #=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+      #   z.tag "全世界的无产者，联合起来！", s: true
+      #   #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+      #
       def tag str, s: false, by: 0
         case by
         when /thu/
@@ -47,6 +117,10 @@ module Igo
         end
       end
 
+      # ### 词频统计
+      #
+      #   z.freq "全世界的无产者，联合起来！", 5
+      #   #=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
       def termfreq string, num
         Keyword.extract string, num
       end

data/lib/igo.rb

@@ -5,6 +5,20 @@ require 'jieba_rb'
 require_relative 'igo/zh'
 require_relative 'igo/ja'
 
+
+#
+# __AUTHOR__: *saisui* saisui.github.io
+#
+#    ja.cut "あー、合成は結合法則を満たすんでしたね"
+#    #=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+#
+#    zh.pinyin "床前明月光，疑是地上霜，好了", s: 1
+#    #=> chuang2 qian2 ming2 yue4 guang1, yi2 shi4 di4 shang4 shuang1, hao3 le5.
+#
+#    zh.tag "全世界的无产者，联合起来！", s: true
+#    #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+#
+
 module Igo
   class Error < StandardError; end
   # Your code goes here...

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: igo
 version: !ruby/object:Gem::Version
-  version: 0.1.4.3
+  version: 0.1.4.5
 platform: ruby
 authors:
 - saisui