igo 0.1.4.7 → 0.1.5.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 0c8f0d9f5ea87020a04c9a3a59b91a7db5dc67d114783ac545f4823a57435694
-  data.tar.gz: 00eb62090811353dff3727322c5f8b54122a05210fe9f26ec7ae11147282ac0d
+  metadata.gz: 81b5f3fec925891f2ab69645a249aebd65c2e2cf1ae14957cb80d4c85861c138
+  data.tar.gz: 0aacd859a7c85dc0385be5630083b1862293c008214bf6c0c230ebd071a0a65e
 SHA512:
-  metadata.gz: 218524a62e6cada3389d228cec2b0f3245fba6193045fff8ce85c000a6f9537ba6e437b3132dee1cfdd8d3caccbc48546cc878bb5cba621143e5c2817c6059c8
-  data.tar.gz: 9084751b5d917ce6ed9228c0258070e593c6f549787bc9faff24be95caee0c8bc8f729f88249bcdb06dace9c0d2b48f2204adeffac698f54563d4fd3df99603c
+  metadata.gz: 6d995a0dca73847507437bf4c33bf0e937f58ee4f8e959836cea94f643e2dff2ae4a9ffeb62dca790fc1aaf8a433fa7b16855f233c401be7cad6f73567718c5b
+  data.tar.gz: 04c947e5b3e0cb76b77afddb6f271fdfa998243bb4aea60a036073873c013a0435cdb59db62bb98c2b40cf7da360c7573e1ccc6d76013b7a6486ec59a6396378

data/README.en.md

@@ -35,17 +35,26 @@ require 'igo/ja'
 
 j = Igo::Ja
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+j.cut "あー、合成は結合法則を満たすんでしたね"
 #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
+j.kana ["無色で透明な私たちは互いに融合しながらも、", "他方で消えない血液と己の半身を希求する。"], s: "/", lr: "（）"
+#=> ["無色（むしょく）/で/透明な（とうめいな）/私たち（わたしたち）/は/互いに（たがいに）/融合し（ゆうごうし）/ながら/も/、", "他方（たほう）/で/消えない（きえない）/血液（けつえき）/と/己（おのれ）/の/半身（はんしん）/を/希求する（ききゅうする）/。"]
+
+j.tag "ゆかりさんが勉強してる圏論に興味を持ったそして", s: "/", kana: 1, short: 4, lr: "[]"
+
+# "ゆかり_prop/さん_suff/が_part/勉強してる[べんきょうしてる]_verb/圏論[けんろん]_noun/に_part/興味[きょうみ]_noun/を_part/持った[もった]_verb/そして_conj"
 
 ```
 
+reference:
+- UCEjVFAKrcjUWqBnHl_NlacQ - [【圏論】圏の圏を考えたい！そうだ関手を定義しよう！](https://www.youtube.com/watch?v=8ycVEcgH4bI&t=703s)
+- ukiyojingu [「無色で透明な私たちは互いに融合しながらも、他方で消えない血液と己の半身を希求する。」](https://www.nicovideo.jp/watch/so40804464) 
+
+
 下ノ関数は、暫く未完成です、ごめんね：
 
-`j.romaji`, `j.kana`, `j.tag`。
+`j.romaji`
 
 ## 用法 :: Usage / Zh
 
@@ -64,6 +73,7 @@ z.pinyin "全世界的无产者，联合起来！"
 #=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+
 ```
 
 ### seperate word :: 分词
@@ -73,6 +83,8 @@ z.cut "全世界的无产者，联合起来！"
 #=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
 z.cut "全世界的无产者，联合起来！", s: true
 #=> "全世界 的 无产者 ！ 联合 起来 ！"
+
+
 ```
 ### Taging word :: 标注词类
 
@@ -83,6 +95,7 @@ z.tag "全世界的无产者，联合起来！"
 #=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
 z.tag "全世界的无产者，联合起来！", s: true
 #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
 ```
 ### 词频统计
 

data/README.ja.md

@@ -22,7 +22,6 @@ gem install igo
 __Python__ ノ `Thulac` 使いたいなら、以下の pip がインストール必要です:
 
 ```cmd
-
 pip install thulac
 ```
 
@@ -34,17 +33,26 @@ require 'igo/ja'
 
 j = Igo::Ja
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+j.cut "あー、合成は結合法則を満たすんでしたね"
 #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
+j.kana ["無色で透明な私たちは互いに融合しながらも、", "他方で消えない血液と己の半身を希求する。"], s: "/", lr: "（）"
+#=> ["無色（むしょく）/で/透明な（とうめいな）/私たち（わたしたち）/は/互いに（たがいに）/融合し（ゆうごうし）/ながら/も/、", "他方（たほう）/で/消えない（きえない）/血液（けつえき）/と/己（おのれ）/の/半身（はんしん）/を/希求する（ききゅうする）/。"]
+
+j.tag "ゆかりさんが勉強してる圏論に興味を持ったそして", s: "/", kana: 1, short: 4, lr: "[]"
+
+# "ゆかり_prop/さん_suff/が_part/勉強してる[べんきょうしてる]_verb/圏論[けんろん]_noun/に_part/興味[きょうみ]_noun/を_part/持った[もった]_verb/そして_conj"
 
 ```
 
+reference:
+- UCEjVFAKrcjUWqBnHl_NlacQ - [【圏論】圏の圏を考えたい！そうだ関手を定義しよう！](https://www.youtube.com/watch?v=8ycVEcgH4bI&t=703s)
+- ukiyojingu [「無色で透明な私たちは互いに融合しながらも、他方で消えない血液と己の半身を希求する。」](https://www.nicovideo.jp/watch/so40804464) 
+
+
 下ノ関数は、暫く未完成です、ごめんね：
 
-`j.romaji`, `j.kana`, `j.tag`。
+`j.romaji`
 
 ## 用法 :: Usage / Zh
 
@@ -63,6 +71,7 @@ z.pinyin "全世界的无产者，联合起来！"
 #=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
 z.pinyin "全世界的无产者，联合起来！", s: 1
 #=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+
 ```
 
 ### seperate word :: 分词
@@ -70,8 +79,10 @@ z.pinyin "全世界的无产者，联合起来！", s: 1
 ```ruby
 z.cut "全世界的无产者，联合起来！"
 #=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
+
 z.cut "全世界的无产者，联合起来！", s: true
 #=> "全世界 的 无产者 ！ 联合 起来 ！"
+
 ```
 ### Taging word :: 标注词类
 
@@ -82,6 +93,7 @@ z.tag "全世界的无产者，联合起来！"
 #=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
 z.tag "全世界的无产者，联合起来！", s: true
 #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
 ```
 ### 词频统计
 

data/README.md

@@ -22,9 +22,7 @@ gem install igo
 for use `Thulac` in __Python__, you need to install:
 
 ```cmd
-
 pip install thulac
-
 ```
 
 ## 使い方 :: Usage / Ja
@@ -35,17 +33,26 @@ require 'igo/ja'
 
 j = Igo::Ja
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+j.cut "あー、合成は結合法則を満たすんでしたね"
 #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: "/"
-#=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
+j.kana ["無色で透明な私たちは互いに融合しながらも、", "他方で消えない血液と己の半身を希求する。"], s: "/", lr: "（）"
+#=> ["無色（むしょく）/で/透明な（とうめいな）/私たち（わたしたち）/は/互いに（たがいに）/融合し（ゆうごうし）/ながら/も/、", "他方（たほう）/で/消えない（きえない）/血液（けつえき）/と/己（おのれ）/の/半身（はんしん）/を/希求する（ききゅうする）/。"]
+
+j.tag "ゆかりさんが勉強してる圏論に興味を持ったそして", s: "/", kana: 1, short: 4, lr: "[]"
+
+# "ゆかり_prop/さん_suff/が_part/勉強してる[べんきょうしてる]_verb/圏論[けんろん]_noun/に_part/興味[きょうみ]_noun/を_part/持った[もった]_verb/そして_conj"
 
 ```
 
+reference:
+- UCEjVFAKrcjUWqBnHl_NlacQ - [【圏論】圏の圏を考えたい！そうだ関手を定義しよう！](https://www.youtube.com/watch?v=8ycVEcgH4bI&t=703s)
+- ukiyojingu [「無色で透明な私たちは互いに融合しながらも、他方で消えない血液と己の半身を希求する。」](https://www.nicovideo.jp/watch/so40804464) 
+
+
 下ノ関数は、暫く未完成です、ごめんね：
 
-`j.romaji`, `j.kana`, `j.tag`。
+`j.romaji`
 
 ## 用法 :: Usage / Zh
 
@@ -62,8 +69,10 @@ z = Igo::Zh
 ```ruby
 z.pinyin "全世界的无产者，联合起来！"
 #=> ["quan2", "shi4", "jie4", "de5", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
-z.pinyin "全世界的无产者，联合起来！", s: 1
-#=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+
+z.pinyin "全世界的无产者，联合起来！", s: " "
+#=> "quan2 shi4 jie4 de5 wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+
 ```
 
 ### seperate word :: 分词
@@ -71,8 +80,10 @@ z.pinyin "全世界的无产者，联合起来！", s: 1
 ```ruby
 z.cut "全世界的无产者，联合起来！"
 #=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
-z.cut "全世界的无产者，联合起来！", s: true
-#=> "全世界 的 无产者 ！ 联合 起来 ！"
+
+z.cut "全世界的无产者，联合起来！", s: "/"
+#=> "全世界/的/无产者/！/联合/起来/！"
+
 ```
 ### Taging word :: 标注词类
 
@@ -81,8 +92,10 @@ z.cut "全世界的无产者，联合起来！", s: true
 ```ruby
 z.tag "全世界的无产者，联合起来！"
 #=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+
 z.tag "全世界的无产者，联合起来！", s: true
 #=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
 ```
 ### 词频统计
 
@@ -90,9 +103,8 @@ z.tag "全世界的无产者，联合起来！", s: true
 z.freq "全世界的无产者，联合起来！", 5
 #=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
 
-# alias 拼音, 分词, 标记, 词频
-
 ```
+所有方法都有别名：`拼音`, `分词`, `标记`, `词频`
 
 ## LINCENCE :: 协议
 

data/README.zh.md

@@ -35,18 +35,25 @@ require 'igo/ja'
 
 j = Igo::Ja
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+j.cut "あー、合成は結合法則を満たすんでしたね"
 #=> ["あー", "、", "合成", "は", "結合法則", "を", "満たす", "ん", "でした", "ね"]
 
-cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
-#=>  "あー 、 合成 は 結合法則 を 満たす ん でした ね"
+j.kana ["無色で透明な私たちは互いに融合しながらも、", "他方で消えない血液と己の半身を希求する。"], s: "/", lr: "（）"
+#=> ["無色（むしょく）/で/透明な（とうめいな）/私たち（わたしたち）/は/互いに（たがいに）/融合し（ゆうごうし）/ながら/も/、", "他方（たほう）/で/消えない（きえない）/血液（けつえき）/と/己（おのれ）/の/半身（はんしん）/を/希求する（ききゅうする）/。"]
+
+j.tag "ゆかりさんが勉強してる圏論に興味を持ったそして", s: "/", kana: 1, short: 4, lr: "[]"
 
+# "ゆかり_prop/さん_suff/が_part/勉強してる[べんきょうしてる]_verb/圏論[けんろん]_noun/に_part/興味[きょうみ]_noun/を_part/持った[もった]_verb/そして_conj"
 ```
 
-下ノ関数は、暫く未完成です、ごめんね：
+reference:
+- UCEjVFAKrcjUWqBnHl_NlacQ - [【圏論】圏の圏を考えたい！そうだ関手を定義しよう！](https://www.youtube.com/watch?v=8ycVEcgH4bI&t=703s)
+- ukiyojingu [「無色で透明な私たちは互いに融合しながらも、他方で消えない血液と己の半身を希求する。」](https://www.nicovideo.jp/watch/so40804464) 
 
-`j.romaji`, `j.kana`, `j.tag`。
 
+下ノ関数は、暫く未完成です、ごめんね：
+
+`j.romaji`
 ## 用法 :: Usage / Zh
 
 Lack __Trad-Zh__ :: 暂不支持「正體中文」

data/lib/igo/ja.rb

@@ -1,6 +1,8 @@
 require 'nokogiri'
 require 'open-uri'
 require 'uri'
+require 'concurrent'
+require 'timeout'
 
 module Igo
 
@@ -37,26 +39,155 @@ module Igo
       #   #=>  "あー/、/合成/は/結合法則/を/満たす/ん/でした/ね"
       #
       def cut str, s: false
-        str = URI.encode_www_form_component(str)
-        doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
-        cutted = doc.css(".japanese_word__text_wrapper").map{_1.text.strip}
-        # s ? cutted.join(s) : cutted
-        sep = s.is_a?(String) ? s : " "
-        s ? cutted.join(sep) : cutted
+        # str = URI.encode_www_form_component(str)
+        # doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
+        # cutted = doc.css(".japanese_word__text_wrapper").map{_1.text.strip}
+        # # s ? cutted.join(s) : cutted
+        # sep = s.is_a?(String) ? s : " "
+        # s ? cutted.join(sep) : cutted
+
+        tag(str, s: s, kana: false, tag: false)
       end
       # def romaji str
       # end
 
       # def kana str
       # end
-    end
+      def kana str, s: false, lr: "（）"
+        # str = URI.encode_www_form_component(str)
+        # doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
 
-    # TODO: tag word function
-    #
-    def tag str, s: false, ns: 0
-      # TODO
-    end
+        # cutted = doc.css(".japanese_word__furigana, .japanese_word__text_wrapper").select{_1.css(".japanese_word__text_with_furigana").empty?}
+        # cutted = cutted.map do kanji = _1.attr("data-text")
+        #   (kanji.nil? or kanji.empty?) ? [_1.text] : [kanji, _1.text]
+        # end
+
+        # if s
+        #   unless s.is_a?(String)
+        #     s = " "
+        #   end
+        #   cutted.map(&:last).join(s)
+        # else cutted.map(&:last)
+        # end
+
+        tag(str, s: s, lr: lr, tag: false, kana: true, kana_only: true)
+      end
+
+      def ruby str, s: false, lr: "（）"
+        # str = URI.encode_www_form_component(str)
+        # doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
+
+        # cutted = doc.css(".japanese_word__furigana, .japanese_word__text_wrapper").select{_1.css(".japanese_word__text_with_furigana").empty?}
+        # cutted = cutted.map do kanji = _1.attr("data-text")
+        #   (kanji.nil? or kanji.empty?) ? [_1.text] : [kanji, _1.text]
+        # end
+
+        # if s
+        #   unless s.is_a?(String)
+        #     s = " "
+        #   end
+        #   left, right = case lr
+        #   when String then (lr*2).split("").values_at(0, -1)
+        #   when Array then lr
+        #   end
+        #   cutted.map{ _1.size >= 2 ? _1[0]+left+_1[1]+right : _1[0] }.join(s)
+        # else cutted
+        # end
+
+        tag(str, s: s, lr: lr, kana: true, tag: false)
+
+      end
+      # TODO: tag word function
+      #
+      def romaji str, s: false
 
+      end
+
+      def tag str, s: false, ns: 0, lr: "（）", sp:"_", short: false, tag: true, kana: false, timeout: 10, kana_only: false
+
+        def async_query(arr, timeout=0, &block)
+          promises = arr.map do |element|
+            Concurrent::Promise.execute do
+              begin
+                Timeout.timeout(timeout) do # 设置最大执行时间为5秒
+                  block.call(element)
+                end
+              rescue Timeout::Error
+                # 处理超时异常
+                puts "任务执行超时, #{timeout} 秒！关键词参数 timeout: 指定超时秒数！"
+                nil
+              end
+            end
+          end
+
+          # 等待所有任务完成
+          results = promises.map(&:value!)
+
+          # 获取结果数组
+          results
+        end
+
+        def _tag str
+          str = URI.encode_www_form_component(str)
+          doc = Nokogiri::HTML(URI.open(SEARCH_URL + str).read)
+
+          cutted = doc.css(".japanese_word")
+          .map do [_1.css(".japanese_word__text_wrapper, japanese_word__text_wrapper").text.strip, # text
+            _1&.css(".japanese_word__furigana").text||nil, # kana
+            _1.attr("data-pos")] # tag
+          end
+        end
+
+        def _stringify cutted, s: "/", lr: "（）", sp:"_", short: false, vis_tag: true, vis_kana: true, kana_only: false
+          # cutted.each{ _1[1] = nil } unless vis_kana
+          # cutted.each{ _1[2] = nil } unless vis_tag
+          if kana_only
+            return cutted.map do
+              (_1[1].empty? ? _1[0] : _1[1]) +
+              ((vis_kana && _1[2]) ? (sp + _1[2]) : "")
+            end.join(s)
+          else
+            unless s.is_a?(String)
+              s = " "
+            end
+            left, right = case lr
+            when String then (lr*2).split("").values_at(0, -1)
+            when Array then lr
+            end
+            cutted.map do
+              _1[0] +
+              ((vis_tag && !_1[1]&.empty? )? (left + _1[1] + right) : "") +
+              ((vis_kana && _1[2]) ? (sp + _1[2]) : "")
+            end.join(s)
+          end
+        end
+
+        def singo_proc str, s: false, ns: 0, lr: "（）", sp:"_", short: false, vis_tag: true, vis_kana: true, kana_only: false
+          cutted = _tag str
+          if short
+            short = short.is_a?(Integer) ? short : 4
+            cutted = cutted.map{[ *_1[0,2],      (_1[2][0, short].downcase rescue nil)   ]}
+          end
+
+          if s
+            _stringify cutted, s: s, lr: lr, sp: sp, short: short, vis_tag: vis_kana, vis_kana: vis_tag, kana_only: kana_only
+          else
+            cutted = cutted.map{_1.values_at(* [0, vis_kana ? 1 : 0, vis_tag ? 2 : 0].uniq)}
+            cutted[0].size == 1 ? cutted.flatten : cutted
+          end
+        end
+
+        case str
+        when String
+          singo_proc str, s: s, ns: ns, lr: lr, sp: sp, short: short, vis_tag: tag, vis_kana: kana, kana_only: kana_only
+        when Array
+          async_query str, timeout do
+            singo_proc _1, s: s, ns: ns, lr: lr, sp: sp, short: short, vis_tag: tag, vis_kana: kana, kana_only: kana_only
+          end
+        end
+        # TODO
+      end
+    end
   end
 
 

data/lib/igo/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Igo
-  VERSION = "0.1.4.7"
+  VERSION = "0.1.5.1"
 end

data/lib/igo/zh.rb

@@ -127,11 +127,13 @@ module Igo
         Keyword.extract string, num
       end
 
+      alias 拼音 pinyin
       alias 分词 cut
       alias 标记 tag
+      alias 词频 termfreq
+
       alias freq termfreq
       alias tf termfreq
-      alias 词频 freq
       alias freq_word freq
     end
   end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: igo
 version: !ruby/object:Gem::Version
-  version: 0.1.4.7
+  version: 0.1.5.1
 platform: ruby
 authors:
 - saisui
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2023-12-24 00:00:00.000000000 Z
+date: 2023-12-25 00:00:00.000000000 Z
 dependencies: []
 description: It is easy.
 email: