llm_translator 0.0.1 → 0.0.4
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/bin/llm_translator +2 -12
- data/lib/llm_translator.rb +198 -94
- metadata +2 -2
checksums.yaml
CHANGED
@@ -1,7 +1,7 @@
|
|
1
1
|
---
|
2
2
|
SHA256:
|
3
|
-
metadata.gz:
|
4
|
-
data.tar.gz:
|
3
|
+
metadata.gz: 2eaa70543efe06ebcff7a1eca548dc36e8ab0983a7d3b180b5953fec12c2c71f
|
4
|
+
data.tar.gz: 249fc33eb499585ac53bb95bbd1c4156c6c562d411752befd34c3946df0fd5f4
|
5
5
|
SHA512:
|
6
|
-
metadata.gz:
|
7
|
-
data.tar.gz:
|
6
|
+
metadata.gz: 390b2f53bb562d431eb203aa007a1a46dbb9ad2a079abaa116de33007769eac1dadc30576650e411057ff0699d6dd19dff5aee27ab97647c225ce9b83e66b7a8
|
7
|
+
data.tar.gz: 423480766fcc286f93840540fc75bead95bcbb6a7a2cf7ded757faeb0c55393bbdc8c0e777abd33ade79457e9c1ab5ea6cfa1cea107c44c537df39f2039589a3
|
data/bin/llm_translator
CHANGED
@@ -1,15 +1,5 @@
|
|
1
1
|
#!/usr/bin/env ruby
|
2
|
-
|
3
2
|
require 'llm_translator'
|
4
3
|
|
5
|
-
|
6
|
-
|
7
|
-
:appscr => 'JLKxQO22jBft6w3PgLBh5as5iNJ1w5wS'
|
8
|
-
}
|
9
|
-
|
10
|
-
translator = LlmTranslator.new(config[:appkey], config[:appscr])
|
11
|
-
if ARGV[0] == '-f'
|
12
|
-
puts(translator.translate_mix_w File::readlines(ARGV[1]).join)
|
13
|
-
else
|
14
|
-
puts(translator.translate_mix_w ARGV[0])
|
15
|
-
end
|
4
|
+
llm = LlmTranslator.new nil
|
5
|
+
pp llm.command(ARGV)
|
data/lib/llm_translator.rb
CHANGED
@@ -3,114 +3,218 @@ require 'digest'
|
|
3
3
|
require 'net/http'
|
4
4
|
require 'securerandom'
|
5
5
|
require 'json'
|
6
|
+
require 'optparse'
|
7
|
+
|
8
|
+
LANG_CODE = %|
|
9
|
+
中文 zh-CHS
|
10
|
+
中文繁体 zh-CHT
|
11
|
+
英文 en
|
12
|
+
日文 ja
|
13
|
+
韩文 ko
|
14
|
+
法文 fr
|
15
|
+
西班牙文 es
|
16
|
+
葡萄牙文 pt
|
17
|
+
意大利文 it
|
18
|
+
俄文 ru
|
19
|
+
越南文 vi
|
20
|
+
德文 de
|
21
|
+
阿拉伯文 ar
|
22
|
+
印尼文 id
|
23
|
+
南非荷兰语 af
|
24
|
+
波斯尼亚语 bs
|
25
|
+
保加利亚语 bg
|
26
|
+
粤语 yue
|
27
|
+
加泰隆语 ca
|
28
|
+
克罗地亚语 hr
|
29
|
+
捷克语 cs
|
30
|
+
丹麦语 da
|
31
|
+
荷兰语 nl
|
32
|
+
爱沙尼亚语 et
|
33
|
+
斐济语 fj
|
34
|
+
芬兰语 fi
|
35
|
+
希腊语 el
|
36
|
+
海地克里奥尔语 ht
|
37
|
+
希伯来语 he
|
38
|
+
印地语 hi
|
39
|
+
白苗语 mww
|
40
|
+
匈牙利语 hu
|
41
|
+
斯瓦希里语 sw
|
42
|
+
克林贡语 tlh
|
43
|
+
拉脱维亚语 lv
|
44
|
+
立陶宛语 lt
|
45
|
+
马来语 ms
|
46
|
+
马耳他语 mt
|
47
|
+
挪威语 no
|
48
|
+
波斯语 fa
|
49
|
+
波兰语 pl
|
50
|
+
克雷塔罗奥托米语 otq
|
51
|
+
罗马尼亚语 ro
|
52
|
+
塞尔维亚语(西里尔文) sr-Cyrl
|
53
|
+
塞尔维亚语(拉丁文) sr-Latn
|
54
|
+
斯洛伐克语 sk
|
55
|
+
斯洛文尼亚语 sl
|
56
|
+
瑞典语 sv
|
57
|
+
塔希提语 ty
|
58
|
+
泰语 th
|
59
|
+
汤加语 to
|
60
|
+
土耳其语 tr
|
61
|
+
乌克兰语 uk
|
62
|
+
乌尔都语 ur
|
63
|
+
威尔士语 cy
|
64
|
+
尤卡坦玛雅语 yua
|
65
|
+
阿尔巴尼亚语 sq
|
66
|
+
阿姆哈拉语 am
|
67
|
+
亚美尼亚语 hy
|
68
|
+
阿塞拜疆语 az
|
69
|
+
孟加拉语 bn
|
70
|
+
巴斯克语 eu
|
71
|
+
白俄罗斯语 be
|
72
|
+
宿务语 ceb
|
73
|
+
科西嘉语 co
|
74
|
+
世界语 eo
|
75
|
+
菲律宾语 tl
|
76
|
+
弗里西语 fy
|
77
|
+
加利西亚语 gl
|
78
|
+
格鲁吉亚语 ka
|
79
|
+
古吉拉特语 gu
|
80
|
+
豪萨语 ha
|
81
|
+
夏威夷语 haw
|
82
|
+
冰岛语 is
|
83
|
+
伊博语 ig
|
84
|
+
爱尔兰语 ga
|
85
|
+
爪哇语 jw
|
86
|
+
卡纳达语 kn
|
87
|
+
哈萨克语 kk
|
88
|
+
高棉语 km
|
89
|
+
库尔德语 ku
|
90
|
+
柯尔克孜语 ky
|
91
|
+
老挝语 lo
|
92
|
+
拉丁语 la
|
93
|
+
卢森堡语 lb
|
94
|
+
马其顿语 mk
|
95
|
+
马尔加什语 mg
|
96
|
+
马拉雅拉姆语 ml
|
97
|
+
毛利语 mi
|
98
|
+
马拉地语 mr
|
99
|
+
蒙古语 mn
|
100
|
+
缅甸语 my
|
101
|
+
尼泊尔语 ne
|
102
|
+
齐切瓦语 ny
|
103
|
+
普什图语 ps
|
104
|
+
旁遮普语 pa
|
105
|
+
萨摩亚语 sm
|
106
|
+
苏格兰盖尔语 gd
|
107
|
+
塞索托语 st
|
108
|
+
修纳语 sn
|
109
|
+
信德语 sd
|
110
|
+
僧伽罗语 si
|
111
|
+
索马里语 so
|
112
|
+
巽他语 su
|
113
|
+
塔吉克语 tg
|
114
|
+
泰米尔语 ta
|
115
|
+
泰卢固语 te
|
116
|
+
乌兹别克语 uz
|
117
|
+
南非科萨语 xh
|
118
|
+
意第绪语 yi
|
119
|
+
约鲁巴语 yo
|
120
|
+
南非祖鲁语 zu|
|
6
121
|
|
7
122
|
class LlmTranslator
|
8
|
-
attr_accessor :q, :from, :to, :debug
|
9
|
-
T_URL_PATH = "https://openapi.youdao.com/api"
|
10
|
-
EN_REGEX = /\w+/
|
11
|
-
ZH_REGEX = /[\u4e00-\u9fa5]+/
|
12
|
-
MIX_EN_ZH_REGEX = /\w+|[^\w]+/
|
13
|
-
MIX_ZH_EN_REGEX = /[\u4e00-\u9fa5]+|[^\u4e00-\u9fa5]+/
|
14
|
-
ZH_SYMBOL = 'zh-CHS'
|
15
|
-
EN_SYMBOL = 'en'
|
16
123
|
|
17
|
-
|
18
|
-
|
19
|
-
|
20
|
-
|
21
|
-
|
22
|
-
|
23
|
-
|
24
|
-
end
|
25
|
-
|
26
|
-
def translate_parsed(q, from=nil, to=nil, ext=nil, voice=nil, strict=nil, vocabld=nil)
|
27
|
-
json = translate_request q, from, to
|
28
|
-
begin
|
29
|
-
JSON.parse json
|
30
|
-
rescue => exception
|
31
|
-
puts exception
|
32
|
-
puts json if @debug
|
33
|
-
end
|
34
|
-
end
|
124
|
+
CONFIG_PATH = File.expand_path('~/.llm_translator')
|
125
|
+
attr_accessor :text,
|
126
|
+
:history,
|
127
|
+
:auto, # 自动中英互译
|
128
|
+
:detail, # 详细翻译
|
129
|
+
:from, # 源语言
|
130
|
+
:to # 目标语言
|
35
131
|
|
36
|
-
def
|
37
|
-
|
38
|
-
|
39
|
-
begin
|
40
|
-
@dict_w_buffer[q] = res['translation'][0]
|
41
|
-
rescue => exception
|
42
|
-
puts "havn't result for #{q}"
|
43
|
-
puts res.to_json if @debug
|
132
|
+
def initialize(text)
|
133
|
+
if !Dir.exists?(CONFIG_PATH)
|
134
|
+
Dir.mkdir(CONFIG_PATH)
|
44
135
|
end
|
136
|
+
@text = text
|
137
|
+
@history= File.open("#{CONFIG_PATH}/history.csv", 'a+')
|
138
|
+
@url = 'https://openapi.youdao.com/api'
|
139
|
+
@appkey = '0b53e81a10846a3a'
|
140
|
+
@appscr = 'JLKxQO22jBft6w3PgLBh5as5iNJ1w5wS'
|
141
|
+
@sign_type = 'v3'
|
142
|
+
@auto = true
|
143
|
+
@detail= false
|
45
144
|
end
|
46
|
-
|
47
|
-
def
|
48
|
-
|
49
|
-
|
50
|
-
|
51
|
-
@dict_s_buffer[q] = res['web']
|
52
|
-
rescue => exception
|
53
|
-
puts "havn't result for #{q}"
|
54
|
-
puts res.to_json if @debug
|
55
|
-
end
|
56
|
-
end
|
57
|
-
|
58
|
-
def translate_mix_w(q)
|
59
|
-
if (from == EN_SYMBOL)
|
60
|
-
q.scan(MIX_EN_ZH_REGEX).map { |w| w.match?(EN_REGEX) ? snake_style(translate_get_w(w)) : w }.join
|
61
|
-
else
|
62
|
-
q.scan(MIX_ZH_EN_REGEX).map { |w| w.match?(ZH_REGEX) ? snake_style(translate_get_w(w)) : w }.join
|
63
|
-
end
|
64
|
-
end
|
65
|
-
|
66
|
-
def translate_request(q, from=nil, to=nil, ext=nil, voice=nil, strict=nil, vocabld=nil)
|
67
|
-
@curtime = Time.now.to_i.to_s
|
68
|
-
@q = q
|
69
|
-
@from = from
|
70
|
-
@to = to
|
71
|
-
auto_from_to q if @from.nil? || @to.nil?
|
72
|
-
@salt=SecureRandom::uuid
|
145
|
+
|
146
|
+
def to_result
|
147
|
+
salt=SecureRandom::uuid
|
148
|
+
curtime = Time.now.utc.to_i.to_s
|
149
|
+
input = @text.length > 20 ? @text[0..10] + @text.length.to_s + @text[-10..-1] : @text
|
73
150
|
params = {
|
74
|
-
q:
|
75
|
-
from:
|
76
|
-
to:
|
77
|
-
appKey:
|
78
|
-
salt:
|
79
|
-
sign:
|
151
|
+
q: @text,
|
152
|
+
from: @from,
|
153
|
+
to: @to,
|
154
|
+
appKey: @appkey,
|
155
|
+
salt: salt,
|
156
|
+
sign: Digest::SHA256.hexdigest(@appkey + input + salt + curtime + @appscr),
|
80
157
|
signType: @sign_type,
|
81
|
-
curtime:
|
158
|
+
curtime: curtime,
|
159
|
+
strict: !@auto
|
82
160
|
}
|
83
|
-
|
84
|
-
res = Net::HTTP.post_form(@uri, params)
|
85
|
-
res.body if res.is_a?(Net::HTTPSuccess)
|
161
|
+
JSON.parse Net::HTTP.post_form(URI(@url), params).body
|
86
162
|
end
|
87
163
|
|
88
|
-
def
|
89
|
-
|
90
|
-
|
164
|
+
def run
|
165
|
+
result = to_result()
|
166
|
+
history.write("#{text} #{result['translation'][0]} #{Time.now}\n") if @history
|
167
|
+
return result if @detail
|
91
168
|
|
92
|
-
|
93
|
-
input = q.length > 20 ? q[0,10] + q.length.to_s + q.reverse[0, 10].reverse : q
|
169
|
+
result['translation'][0]
|
94
170
|
end
|
95
171
|
|
96
|
-
|
97
|
-
|
98
|
-
|
99
|
-
|
100
|
-
|
101
|
-
else
|
102
|
-
@from = EN_SYMBOL
|
103
|
-
@to = ZH_SYMBOL
|
104
|
-
end
|
105
|
-
end
|
172
|
+
def command(args)
|
173
|
+
OptionParser.new do |parser|
|
174
|
+
parser.banner = "用法: llm_translator [options]"
|
175
|
+
parser.separator ""
|
176
|
+
parser.separator "指定选项:"
|
106
177
|
|
107
|
-
|
108
|
-
|
109
|
-
|
110
|
-
|
111
|
-
|
178
|
+
parser.on('-d', '--detail', '显示详细翻译结果,默认false') do
|
179
|
+
self.detail = true
|
180
|
+
end
|
181
|
+
parser.on('-a', '--auto', '严格按照指定from和to进行,默认false') do
|
182
|
+
self.auto = true
|
183
|
+
end
|
184
|
+
|
185
|
+
parser.on('-i TEXT', '--input=TEXT', '待翻译文本, 必填项') do |text|
|
186
|
+
self.text = text
|
187
|
+
end
|
188
|
+
parser.on('-f FROM', '--from=FROM', '源语言') do |from|
|
189
|
+
self.from = from
|
190
|
+
end
|
191
|
+
parser.on('-t TO', '--to=TO', '目标语言') do |to|
|
192
|
+
self.to = to
|
193
|
+
end
|
194
|
+
|
195
|
+
parser.separator ""
|
196
|
+
parser.separator "通用选项:"
|
197
|
+
parser.on_tail("-h", "--help", "帮助信息") do
|
198
|
+
puts parser
|
199
|
+
exit
|
200
|
+
end
|
201
|
+
parser.on_tail("--lang", "语言编码信息") do
|
202
|
+
puts LANG_CODE
|
203
|
+
exit
|
204
|
+
end
|
205
|
+
parser.on_tail("--version", "版本信息") do
|
206
|
+
puts '0.0.1'
|
207
|
+
exit
|
208
|
+
end
|
209
|
+
|
210
|
+
end.parse!(args)
|
211
|
+
|
212
|
+
if self.text.nil?
|
213
|
+
puts '请输入文本'
|
214
|
+
puts '-i, --input=TEXT 待翻译文本, 必填项'
|
215
|
+
exit
|
216
|
+
end
|
112
217
|
|
113
|
-
|
114
|
-
s.split(' ').map {|w| w.downcase}.join('_')
|
218
|
+
run
|
115
219
|
end
|
116
|
-
end
|
220
|
+
end
|
metadata
CHANGED
@@ -1,7 +1,7 @@
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
2
2
|
name: llm_translator
|
3
3
|
version: !ruby/object:Gem::Version
|
4
|
-
version: 0.0.
|
4
|
+
version: 0.0.4
|
5
5
|
platform: ruby
|
6
6
|
authors:
|
7
7
|
- Liuliming
|
@@ -39,7 +39,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
|
|
39
39
|
- !ruby/object:Gem::Version
|
40
40
|
version: '0'
|
41
41
|
requirements: []
|
42
|
-
rubygems_version: 3.
|
42
|
+
rubygems_version: 3.2.3
|
43
43
|
signing_key:
|
44
44
|
specification_version: 4
|
45
45
|
summary: a simple translator!
|