igo 0.1.3 → 0.1.4.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: cd6b6d4214bdb3825759167d9d17797e0b988b72665cde7ecbd9162d9723deff
-  data.tar.gz: a1e18a3d1e598b553a2da2e47a1955312d08fb0dc6a56bf4bea35d9eb26defc9
+  metadata.gz: e864f1dc86ce2b7164e50d13f42bc10d28b33fa4ae4f271ec912e410d461f697
+  data.tar.gz: 6e8ee3d9ac2e39306d2d02b79e9d86291bea4af1559cd7c4faf64bd009d947e3
 SHA512:
-  metadata.gz: 4855cc233e4594677d671eb8cfea48ff20fddd51b22a7abda157229652761dc9af4a55b66ea71649a27ade2c9afba3435085d3d78d9ce883c1022030e09c7602
-  data.tar.gz: 2ba7a4d3ea3749d69aba62f1edbcf057a68a5e39c1db6866d3b178f3ff1676be6f9a494ad7a924b735d8de85dab08391ca208841a452946a6cdca8adbe9679aa
+  metadata.gz: ae7bee63027e8de27766e941f99e38b4775be1fc8bf8aaf5ca454d41bf7d0346ea9eb7e9f502f93ce5e0f1f347ab6e0eb9a2f01f8c6f1ce0e7362108a2813997
+  data.tar.gz: 97aa666160536500f5910a8d7c072e5652b435d1d9cecf6a5d5b98211ba45e1e4a76f6831d7cd90ed31fb394074f48962507a9475859a23fde355533a0a76330

data/README.en.md

@@ -0,0 +1,106 @@
+# 言語 :: Igo
+
+[🌏](README.md) | [中文](README.zh.md) | [English](README.en.md) | [日本語](README.ja.md)
+
+Support `zh-CN`, `ja-JP`
+
+```ruby
+ja.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+zh.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
+```
+
+## Install :: インストール
+
+```cmd
+gem install igo
+```
+
+for use `jisho-api`, `Thulac` in __Python__, you need to install:
+
+```cmd
+pip install jisho-api
+
+pip install thulac
+
+```
+
+## 使い方 :: Usage / Ja
+
+```ruby
+require 'igo'
+require 'igo/ja'
+
+j = Igo::Ja
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
+#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+
+```
+
+下ノ関数は、暫く未完成です、ごめんね：
+
+`j.romaji`, `j.kana`, `j.tag`。
+
+## 用法 :: Usage / Zh
+
+Lack __Trad-Zh__ :: 暂不支持「正體中文」
+
+```ruby
+require 'igo'
+require 'igo/zh'
+z = Igo::Zh
+```
+
+### Pinyin :: 拼音
+
+```ruby
+z.pinyin "全世界的无产者，联合起来！"
+#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+z.pinyin "全世界的无产者，联合起来！", s: 1
+#=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+```
+
+### seperate word :: 分词
+
+```ruby
+z.cut "全世界的无产者，联合起来！"
+#=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
+z.cut "全世界的无产者，联合起来！", s: true
+#=> "全世界 的 无产者 ！ 联合 起来 ！"
+```
+### Taging word :: 标注词类
+
+后续可能添加 `by` 关键词指定函数。
+
+```ruby
+z.tag "全世界的无产者，联合起来！"
+#=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+z.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+```
+### 词频统计
+
+```ruby
+z.freq "全世界的无产者，联合起来！", 5
+#=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
+
+# alias 拼音, 分词, 标记, 词频
+
+```
+
+## LINCENCE :: 协议
+
+__MPL 2.0__
+
+## Requires
+
+- `jieba-rb`
+- `nokogiri`
+- `open-uri`

data/README.ja.md

@@ -0,0 +1,105 @@
+# 言語 :: Igo
+
+[🌏](README.md) | [中文](README.zh.md) | [English](README.en.md) | [日本語](README.ja.md)
+
+Support `zh-CN`, `ja-JP`
+
+```ruby
+ja.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+zh.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
+```
+
+## Install :: インストール
+
+```cmd
+gem install igo
+```
+
+__Python__ ノ `Jisho-api`・`Thulac` 使いたいなら、以下の pip がインストール必要です:
+
+```cmd
+pip install jisho-api
+
+pip install thulac
+```
+
+## 使い方 :: Usage / Ja
+
+```ruby
+require 'igo'
+require 'igo/ja'
+
+j = Igo::Ja
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
+#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+
+```
+
+下ノ関数は、暫く未完成です、ごめんね：
+
+`j.romaji`, `j.kana`, `j.tag`。
+
+## 用法 :: Usage / Zh
+
+Lack __Trad-Zh__ :: 暂不支持「正體中文」
+
+```ruby
+require 'igo'
+require 'igo/zh'
+z = Igo::Zh
+```
+
+### Pinyin :: 拼音
+
+```ruby
+z.pinyin "全世界的无产者，联合起来！"
+#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+z.pinyin "全世界的无产者，联合起来！", s: 1
+#=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+```
+
+### seperate word :: 分词
+
+```ruby
+z.cut "全世界的无产者，联合起来！"
+#=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
+z.cut "全世界的无产者，联合起来！", s: true
+#=> "全世界 的 无产者 ！ 联合 起来 ！"
+```
+### Taging word :: 标注词类
+
+后续可能添加 `by` 关键词指定函数。
+
+```ruby
+z.tag "全世界的无产者，联合起来！"
+#=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+z.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+```
+### 词频统计
+
+```ruby
+z.freq "全世界的无产者，联合起来！", 5
+#=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
+
+# alias 拼音, 分词, 标记, 词频
+
+```
+
+## LINCENCE :: 协议
+
+__MPL 2.0__
+
+## Requires
+
+- `jieba-rb`
+- `nokogiri`
+- `open-uri`

data/README.md

@@ -1,12 +1,33 @@
 # 言語 :: Igo
 
+[🌏](README.md) | [中文](README.zh.md) | [English](README.en.md) | [日本語](README.ja.md)
+
 Support `zh-CN`, `ja-JP`
 
-install
+```ruby
+ja.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+zh.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
+```
+
+## Install :: インストール
+
 ```cmd
 gem install igo
 ```
 
+for use `jisho-api`, `Thulac` in __Python__, you need to install:
+
+```cmd
+pip install jisho-api
+
+pip install thulac
+
+```
+
 ## 使い方 :: Usage / Ja
 
 ```ruby

data/README.zh.md

@@ -0,0 +1,106 @@
+# 言語 :: Igo
+
+[🌏](README.md) | [中文](README.zh.md) | [English](README.en.md) | [日本語](README.ja.md)
+
+Support `zh-CN`, `ja-JP`
+
+```ruby
+ja.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+zh.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+
+```
+
+## Install :: 安装
+
+```cmd
+gem install igo
+```
+
+要使用 __Python__ 库的 `jisho_api`, `Thulac`，你得先安装...：
+
+```cmd
+pip install jisho-api
+
+pip install thulac
+
+```
+
+## 使い方 :: Usage / Ja
+
+```ruby
+require 'igo'
+require 'igo/ja'
+
+j = Igo::Ja
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね"
+#=> ["では", "、", "圏論", "の", "話", "を", "しましょ", "う", "か", "N", "この", "前", "は", "、圏", "について", "紹介 しました"]
+
+cutted = j.cut "あー、合成は結合法則を満たすんでしたね", s: true
+#=> "では 、 圏論 の 話 を しましょ う か N この 前 は 、圏 について 紹介しました"
+
+```
+
+下ノ関数は、暫く未完成です、ごめんね：
+
+`j.romaji`, `j.kana`, `j.tag`。
+
+## 用法 :: Usage / Zh
+
+Lack __Trad-Zh__ :: 暂不支持「正體中文」
+
+```ruby
+require 'igo'
+require 'igo/zh'
+z = Igo::Zh
+```
+
+### Pinyin :: 拼音
+
+```ruby
+z.pinyin "全世界的无产者，联合起来！"
+#=> ["quan2", "shi4", "jie4", "de", "wu2", "chan3", "zhe3", "lian2", "he2", "qi3", "lai2"]
+z.pinyin "全世界的无产者，联合起来！", s: 1
+#=> "quan2 shi4 jie4 de wu2 chan3 zhe3 lian2 he2 qi3 lai2"
+```
+
+### seperate word :: 分词
+
+```ruby
+z.cut "全世界的无产者，联合起来！"
+#=> ["全世界", "的", "無產階級", "，", "聯合", "起來", "！"]
+z.cut "全世界的无产者，联合起来！", s: true
+#=> "全世界 的 无产者 ！ 联合 起来 ！"
+```
+### Taging word :: 标注词类
+
+后续可能添加 `by` 关键词指定函数。
+
+```ruby
+z.tag "全世界的无产者，联合起来！"
+#=>  [["全世界", "n"], ["的", "uj"], ["无产者", "n"], ["！", "x"], ["联合", "v"], ["起来", "v"], ["！", "x"]]
+z.tag "全世界的无产者，联合起来！", s: true
+#=> "全世界_n 的_uj 无产者_n ，_x 联合_v 起来_v ！_x"
+```
+### 词频统计
+
+```ruby
+z.freq "全世界的无产者，联合起来！", 5
+#=>  [["无产者", 9.96885201925], ["全世界", 6.80147590842], ["联合", 5.64979650728], ["起来", 3.96134044655]]
+
+# alias 拼音, 分词, 标记, 词频
+
+```
+
+## LINCENCE :: 协议
+
+__MPL 2.0__
+
+## Requires
+
+- `jieba-rb`
+- `nokogiri`
+- `open-uri`

data/lib/igo/ja.rb

@@ -2,9 +2,10 @@ require 'jisho_api'
 require 'nokogiri'
 require 'open-uri'
 require 'uri'
+require 'nagisa'
 
 module Igo
-  module Jisho
+  module Ja
 
     SEARCH_URL = "https://jisho.org/search/"
 
@@ -21,9 +22,13 @@ module Igo
       # def kana str
       # end
     end
+
+    def tag str, s: false, ns: 0
+
+    end
+
   end
 
-  Ja = Jisho
 
   class << self
     def 日本語

data/lib/igo/thulac.rb

@@ -0,0 +1,15 @@
+require 'pycall/import'
+
+module Thulac
+  PyCall.exec("import thulac")
+  PyCall.exec("thulac1 = thulac.thulac()")
+end
+class << Thulac
+  def cut str, text: false
+    text = text ? "True" : "False"
+    PyCall.eval(<<-EOF
+      thulac1.cut(#{str.inspect}, text=#{text})
+    EOF
+    )
+  end
+end

data/lib/igo/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Igo
-  VERSION = "0.1.3"
+  VERSION = "0.1.4.1"
 end

data/lib/igo/zh.rb

@@ -22,17 +22,28 @@ module Igo
         PinYin.of_string(token, :ascii)
       end
 
-      def cut str, s: false, tag: false
-        if tag
-          s ? Tagging.tag(str).map{_1.to_a.flatten.join("_")}.join(" ") : Tagging.tag(str).map{_1.to_a.flatten}
-        else
-          res = Segment.cut(str)
-          s ? res.join(" ") : res
+      def cut str, s: false, tag: false, by: "jieba"
+        case by
+        when /jieba/
+          if tag
+            s ? Tagging.tag(str).map{_1.to_a.flatten.join("_")}.join(" ") : Tagging.tag(str).map{_1.to_a.flatten}
+          else
+            res = Segment.cut(str)
+            s ? res.join(" ") : res
+          end
+        when /thulac/
+          Thulac.cut(str, text: s)
         end
       end
 
-      def tag str, s: false
-        s ? Tagging.tag(str).map{_1.to_a.flatten.join("_")}.join(" ") : Tagging.tag(str).map{_1.to_a.flatten}
+      def tag str, s: false, by: 0
+        case by
+        when /thu/
+          require './thulac'
+          Thulac.cut str, text: s
+        else
+          s ? Tagging.tag(str).map{_1.to_a.flatten.join("_")}.join(" ") : Tagging.tag(str).map{_1.to_a.flatten}
+        end
       end
 
       def termfreq string, num

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: igo
 version: !ruby/object:Gem::Version
-  version: 0.1.3
+  version: 0.1.4.1
 platform: ruby
 authors:
 - saisui
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2023-12-23 00:00:00.000000000 Z
+date: 2023-12-24 00:00:00.000000000 Z
 dependencies: []
 description: It is easy.
 email:
@@ -22,11 +22,15 @@ files:
 - CHANGELOG.md
 - CODE_OF_CONDUCT.md
 - LICENSE.txt
+- README.en.md
+- README.ja.md
 - README.md
+- README.zh.md
 - Rakefile
 - igo.rb
 - lib/igo.rb
 - lib/igo/ja.rb
+- lib/igo/thulac.rb
 - lib/igo/version.rb
 - lib/igo/zh.rb
 - sig/igo.rbs