jp_translator_from_gpt 1.0.3

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: d259dbbb5640c1f7e1b806984fb3f98ea12499fa8c4c722d0e28ffe116f3139c
+  data.tar.gz: '059bf1056a77bb969665d72dce098ea79bee0db6a0dcbf05ad612242a9fc187b'
+SHA512:
+  metadata.gz: 78cdc0c0c022749eca2864321466214e8ba9c314fc9dfbd4634f91fa756a38455be2fe21de31446b87d3d596f589e83782fa6aa8824f95800bbf9f71e2dfcfee
+  data.tar.gz: e96f63804629b36de2733dec301387dda7161fe98cd6fb0b59a7b90eda8282bfadd0c08ceb51d582f8a75a358ab0c25763f8659d91b7a089697e666e8708cd04

data/.rspec

@@ -0,0 +1,3 @@
+--format documentation
+--color
+--require spec_helper

data/.rubocop.yml

@@ -0,0 +1,32 @@
+AllCops:
+  TargetRubyVersion: 3.0
+  NewCops: enable
+
+Style/StringLiterals:
+  EnforcedStyle: double_quotes
+
+Style/StringLiteralsInInterpolation:
+  EnforcedStyle: double_quotes
+
+Style/Documentation:
+  Enabled: false
+
+Style/ParallelAssignment:
+  Enabled: false
+
+Metrics/MethodLength:
+  CountComments: true
+  Max: 20
+
+Lint/ScriptPermission:
+  Enabled: false
+
+Style/FetchEnvVar:
+  Enabled: false
+
+RSpec/ExampleLength:
+  Max: 10
+
+require:
+  - rubocop-rake
+  - rubocop-rspec

data/CHANGELOG.md

@@ -0,0 +1,13 @@
+## [Unreleased]
+
+## [0.1.0] - 2024-09-29
+
+- Initial release
+
+## [1.0.0] - 2024-09-30
+
+- ログの出力をするかどうかと除外する単語をオプションとして追加
+
+## [1.0.2] - 2024-09-30
+
+- リファクタリングのみ

data/LICENSE.txt

@@ -0,0 +1,21 @@
+The MIT License (MIT)
+
+Copyright (c) 2024 milkeclair
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
+THE SOFTWARE.

data/README.md

@@ -0,0 +1,17 @@
+## 概要
+
+ChatGPTを使って文字列を日本語に翻訳する  
+OpenAIのAPIキーが必要  
+`.env`を作成し、`OPENAI_API_KEY=YOUR_API_KEY`を追加する  
+`ENV["OPENAI_MODEL"]`がない場合は、[gpt-4o-mini](https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/)をデフォルトで使用する  
+
+* 翻訳されたテキスト
+* 使用したトークン数
+* 掛かった金額([参考](https://openai.com/api/pricing/))
+
+が出力される  
+
+## 使用例
+
+詳しくは、example.rbを参照  
+`ruby example.rb "text"`で実行できる

data/Rakefile

@@ -0,0 +1,39 @@
+# frozen_string_literal: true
+
+require "bundler/gem_tasks"
+require "rspec/core/rake_task"
+require "rubocop/rake_task"
+require "yard"
+require_relative "rake_helper"
+
+desc "analysis"
+task :analysis do
+  sh "bundle install"
+
+  RakeHelper.init_rake_tasks
+
+  puts "--- rspec ---"
+  Rake::Task[:spec].invoke
+
+  puts "--- rubocop ---"
+  Rake::Task[:rubocop].invoke
+
+  puts "--- yard ---"
+  Rake::Task[:yard].invoke
+end
+
+desc "push to github packages and rubygems"
+task :push do
+  sh "bundle install"
+
+  puts "--- build ---"
+  RakeHelper.build_gem
+
+  puts "--- push to github packages ---"
+  RakeHelper.push_to_github_packages
+
+  puts "--- push to rubygems ---"
+  RakeHelper.push_to_rubygems
+end
+
+task default: :analysis

data/example.rb

@@ -0,0 +1,13 @@
+# frozen_string_literal: true
+
+require_relative "lib/jp_translator_from_gpt"
+
+if ARGV.empty?
+  puts "引数が必要です: ruby example.rb \"text\""
+  exit
+end
+
+text = ARGV.join(" ")
+translator =
+  JpTranslatorFromGpt::Translator.new(output_logs: false, except_words: ["hoge"])
+translator.translate_to_jp(text)

data/how_to_publish.txt

@@ -0,0 +1,10 @@
+some code change
+version.rb change
+changelog.md change
+
+$rake analysis
+
+$git commit
+$git push
+
+$rake push

data/lib/jp_translator_from_gpt/calculator.rb

@@ -0,0 +1,76 @@
+# frozen_string_literal: true
+
+require_relative "writer"
+
+module JpTranslatorFromGpt
+  class Calculator
+    class ArgumentError < StandardError; end
+    MODEL_ERROR_MESSAGE =
+      "設定に無いモデルです。モデルをmodules/writerに追加するか、ENV[\"OPENAI_MODEL\"]を変更してください。"
+
+    # トークン数から利用料金を計算する
+    #
+    # @param [Integer] used_tokens 使用したトークン数
+    # @param [String] token_type トークンの種類
+    # @return [Float] 利用料金
+    def self.calc_total_cost(used_tokens, token_type)
+      model = ENV["OPENAI_MODEL"] || "gpt-4o-mini"
+      rate = get_token_rate(model, token_type)
+      used_tokens * rate
+    end
+
+    # モデルとトークンの種類からトークンの単価を取得する
+    # モデルが設定に無い場合はエラーを投げる
+    #
+    # @param [String] model モデル名
+    # @param [String] token_type トークンの種類
+    # @return [Float] トークンの単価
+    def self.get_token_rate(model, token_type)
+      token_rate = token_rate_hash
+      validate_model(model, token_rate)
+      token_rate[model][token_type.to_sym]
+    end
+
+    # トークン単価のハッシュを返す
+    #
+    # @return [Hash] トークン単価のハッシュ
+    def self.token_rate_hash
+      one_million = 1_000_000
+      {
+        "gpt-4o" => {
+          input: 5.0 / one_million,
+          output: 15.0 / one_million
+        },
+        "gpt-4o-2024-08-06" => {
+          input: 2.5 / one_million,
+          output: 10.0 / one_million
+        },
+        "gpt-4o-mini" => {
+          input: 0.15 / one_million,
+          output: 0.6 / one_million
+        }
+      }
+    end
+
+    # モデルが存在するかどうかを確認する
+    #
+    # @param [String] model モデル名
+    # @param [Hash] token_rate トークンレートのハッシュ
+    # @raise [Calculator::ArgumentError] モデルが存在しない場合
+    def self.validate_model(model, token_rate)
+      return if token_rate.key?(model)
+
+      clear_files
+      raise Calculator::ArgumentError, MODEL_ERROR_MESSAGE
+    end
+
+    # ファイルの内容を削除する
+    #
+    # @return [void]
+    def self.clear_files
+      File.write(Writer.text_path("translated_text.txt"), "")
+      File.write(Writer.text_path("tokens.txt"), "")
+      File.write(Writer.text_path("cost.txt"), "")
+    end
+  end
+end

data/lib/jp_translator_from_gpt/translator.rb

@@ -0,0 +1,81 @@
+# frozen_string_literal: true
+
+require "dotenv"
+require "openai"
+require_relative "writer"
+
+module JpTranslatorFromGpt
+  class Translator
+    SYSTEM_CONTENT_BASE = <<~TEXT
+      Translate only. Return result only, no extra info. Keep symbols.
+    TEXT
+
+    def initialize(output_logs: true, except_words: [])
+      # 環境変数の読み込み
+      Dotenv.load
+
+      @client = OpenAI::Client.new(
+        access_token: ENV["OPENAI_API_KEY"],
+        log_errors: true # 好み
+      )
+      @output_logs = output_logs
+      @system_content = SYSTEM_CONTENT_BASE + except_option_text(except_words)
+    end
+
+    # テキストを日本語に翻訳し、結果をファイルに書き込む
+    #
+    # @param [String] text 翻訳するテキスト
+    # @return [void]
+    def translate_to_jp(text)
+      response = chat_to_api(text)
+      Writer.write_logs(response) if @output_logs
+
+      translated_text = response["choices"][0]["message"]["content"]
+      puts translated_text
+      translated_text
+    end
+
+    # レスポンスから使用したトークン数を取得する
+    #
+    # @param [Hash] response OpenAI APIからのレスポンス
+    # @param [String] token_type トークンの種類 (input or output)
+    # @return [Integer] 使用したトークン数
+    def self.dig_used_tokens(response, token_type)
+      if token_type == "input"
+        response["usage"]["prompt_tokens"]
+      elsif token_type == "output"
+        response["usage"]["completion_tokens"]
+      end
+    end
+
+    private
+
+    # OpenAI APIにテキストを送信し、翻訳結果を取得する
+    #
+    # @param [String] text 翻訳するテキスト
+    # @return [Hash] OpenAI APIからのレスポンス
+    def chat_to_api(text)
+      @client.chat(
+        parameters: {
+          model: ENV["OPENAI_MODEL"] || "gpt-4o-mini",
+          messages: [
+            { role: "system", content: @system_content },
+            { role: "user", content: "please translate this to Japanese: #{text}" }
+          ]
+        }
+      )
+    end
+
+    # 除外する単語を指定するプロンプト
+    #
+    # @param [Array<String>] except_words 除外する単語のリスト
+    # @return [String] 除外する単語を指定するテキスト
+    def except_option_text(except_words)
+      return "" if except_words.empty?
+
+      <<~TEXT
+        Words listed next are not translated: #{except_words.join(", ")}
+      TEXT
+    end
+  end
+end

data/lib/jp_translator_from_gpt/version.rb

@@ -0,0 +1,5 @@
+# frozen_string_literal: true
+
+module JpTranslatorFromGpt
+  VERSION = "1.0.3"
+end

data/lib/jp_translator_from_gpt/writer.rb

@@ -0,0 +1,105 @@
+# frozen_string_literal: true
+
+require "fileutils"
+require_relative "calculator"
+
+module JpTranslatorFromGpt
+  class Writer
+    # ログをファイルに書き込む
+    #
+    # @param [Hash] response OpenAI APIからのレスポンス
+    # @return [void]
+    def self.write_logs(response)
+      input_tokens = Translator.dig_used_tokens(response, "input")
+      output_tokens = Translator.dig_used_tokens(response, "output")
+
+      write_translated_text(response)
+      write_used_tokens(input_tokens, output_tokens)
+      write_total_cost(input_tokens, output_tokens)
+    end
+
+    # 出力先のテキストファイルのパスを返す
+    # main.rbから見たパスで指定している
+    #
+    # @param [String] under_logs_path translator_logsディレクトリ配下のパス
+    # @return [String] 出力先のテキストファイルのパス
+    def self.text_path(under_logs_path)
+      output_dir = "translator_logs"
+      FileUtils.mkdir_p(output_dir) unless File.directory?(output_dir)
+      File.join("translator_logs", under_logs_path)
+    end
+
+    # 翻訳されたテキストをファイルに書き込み、ターミナルに出力する
+    # テキストはファイルの末尾に追記される
+    #
+    # @param [Hash] response OpenAI APIからのレスポンス
+    # @return [void]
+    def self.write_translated_text(response)
+      log_file_path = text_path("translated_text.txt")
+      File.open(log_file_path, "a") do |file|
+        translated_text = response["choices"][0]["message"]["content"]
+        file.puts(translated_text)
+      end
+    end
+
+    # 使用したトークン数をファイルに書き込む
+    # ファイルのテキストは上書きされる
+    #
+    # @param [Integer] input_tokens 入力トークン数
+    # @param [Integer] output_tokens 出力トークン数
+    # @return [void]
+    def self.write_used_tokens(input_tokens, output_tokens)
+      log_file_path = text_path("tokens.txt")
+      existing_input_tokens, existing_output_tokens = read_existing_tokens(log_file_path)
+
+      total_input_tokens = existing_input_tokens + input_tokens
+      total_output_tokens = existing_output_tokens + output_tokens
+
+      File.open(log_file_path, "w") do |file|
+        file.puts("input: #{total_input_tokens}")
+        file.puts("output: #{total_output_tokens}")
+      end
+    end
+
+    # ファイルにあるトークン数を読み込む
+    #
+    # @param [String] log_file_path トークン数が書かれたファイルのパス
+    # @return [Array<Integer>] 入力トークン数と出力トークン数
+    def self.read_existing_tokens(log_file_path)
+      existing_input_tokens, existing_output_tokens = 0, 0
+
+      if File.exist?(log_file_path)
+        File.readlines(log_file_path).each do |line|
+          existing_input_tokens = line.split(":").last.strip.to_i if line.start_with?("input:")
+          existing_output_tokens = line.split(":").last.strip.to_i if line.start_with?("output:")
+        end
+      end
+
+      [existing_input_tokens, existing_output_tokens]
+    end
+
+    # トークン数から利用料金を計算し、ファイルにある合計金額に加算して書き込む
+    # ファイルのテキストは上書きされる
+    #
+    # @param [Integer] input_tokens 入力トークン数
+    # @param [Integer] output_tokens 出力トークン数
+    # @return [void]
+    def self.write_total_cost(input_tokens, output_tokens)
+      log_file_path = text_path("cost.txt")
+      this_cost =
+        Calculator.calc_total_cost(input_tokens, "input") + Calculator.calc_total_cost(output_tokens, "output")
+      existing_cost =
+        if File.exist?(log_file_path)
+          File.read(log_file_path).gsub("$", "").to_f
+        else
+          0.0
+        end
+      total_cost = this_cost + existing_cost
+
+      File.open(log_file_path, "w") do |file|
+        # 小数点以下8桁まで表示
+        file.puts("$#{format("%.8f", total_cost)}")
+      end
+    end
+  end
+end

data/lib/jp_translator_from_gpt.rb

@@ -0,0 +1,7 @@
+# frozen_string_literal: true
+
+require_relative "jp_translator_from_gpt/version"
+require_relative "jp_translator_from_gpt/translator"
+
+module JpTranslatorFromGpt
+end

data/rake_helper.rb

@@ -0,0 +1,29 @@
+# frozen_string_literal: true
+
+class RakeHelper
+  GITHUB_PACKAGES_PUSH_COMMAND =
+    "gem push --key github --host https://rubygems.pkg.github.com/milkeclair " \
+    "pkg/jp_translator_from_gpt-#{JpTranslatorFromGpt::VERSION}.gem".freeze
+
+  RUBYGEMS_PUSH_COMMAND =
+    "gem push --host https://rubygems.org " \
+    "pkg/jp_translator_from_gpt-#{JpTranslatorFromGpt::VERSION}.gem".freeze
+
+  def self.init_rake_tasks
+    RSpec::Core::RakeTask.new(:spec) { |task| task.verbose = false }
+    RuboCop::RakeTask.new
+    YARD::Rake::YardocTask.new
+  end
+
+  def self.build_gem
+    abort("gemのビルドに失敗しました") unless system("rake build")
+  end
+
+  def self.push_to_github_packages
+    abort("githubへのgemのpushに失敗しました") unless system(GITHUB_PACKAGES_PUSH_COMMAND)
+  end
+
+  def self.push_to_rubygems
+    abort("rubygemsへのgemのpushに失敗しました") unless system(RUBYGEMS_PUSH_COMMAND)
+  end
+end

data/sig/jp_translator_from_gpt.rbs

@@ -0,0 +1,4 @@
+module JpTranslatorFromGpt
+  VERSION: String
+  # See the writing guide of rbs: https://github.com/ruby/rbs#guides
+end

metadata

@@ -0,0 +1,90 @@
+--- !ruby/object:Gem::Specification
+name: jp_translator_from_gpt
+version: !ruby/object:Gem::Version
+  version: 1.0.3
+platform: ruby
+authors:
+- milkeclair
+autorequire: 
+bindir: exe
+cert_chain: []
+date: 2024-10-03 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: dotenv
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 3.1.4
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 3.1.4
+- !ruby/object:Gem::Dependency
+  name: ruby-openai
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 7.1.0
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 7.1.0
+description: gpt-4o-miniを使って日本語に翻訳する
+email:
+- milkeclair.noreply@gmail.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".rspec"
+- ".rubocop.yml"
+- CHANGELOG.md
+- LICENSE.txt
+- README.md
+- Rakefile
+- example.rb
+- how_to_publish.txt
+- lib/jp_translator_from_gpt.rb
+- lib/jp_translator_from_gpt/calculator.rb
+- lib/jp_translator_from_gpt/translator.rb
+- lib/jp_translator_from_gpt/version.rb
+- lib/jp_translator_from_gpt/writer.rb
+- rake_helper.rb
+- sig/jp_translator_from_gpt.rbs
+homepage: https://github.com/milkeclair/jp_translator_from_gpt
+licenses:
+- MIT
+metadata:
+  homepage_uri: https://github.com/milkeclair/jp_translator_from_gpt
+  source_code_uri: https://github.com/milkeclair/jp_translator_from_gpt/blob/main
+  changelog_uri: https://github.com/milkeclair/jp_translator_from_gpt/blob/main/CHANGELOG.md
+  rubygems_mfa_required: 'true'
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: 3.0.0
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.5.16
+signing_key: 
+specification_version: 4
+summary: translate to japanese
+test_files: []