i18n-youdao-tasks 0.9.37

data/config/locales/ru.yml

@@ -0,0 +1,131 @@
+---
+ru:
+  i18n_tasks:
+    add_missing:
+      added: Добавлены ключи (%{count})
+    cmd:
+      args:
+        default_text: 'По умолчанию: %{value}'
+        desc:
+          all_locales: Не ожидать, что маски ключа начинаются с локали. Применять маски ко всем локалям.
+          config: Путь к файлу конфигурации
+          confirm: Подтвердить автоматом
+          data_format: 'Формат данных: %{valid_text}.'
+          keep_order: Keep the order of the keys
+          key_pattern: Маска ключа (например, common.*)
+          key_pattern_to_rename: Полный ключ (шаблон) для переименования. Необходимый параметр.
+          locale: 'Язык. По умолчанию: base'
+          locale_to_translate_from: 'Язык, с которого переводить (по умолчанию: base)'
+          locales_filter: >-
+            Список языков для обработки, разделенный запятыми (,). По умолчанию: все. Специальное
+            значение: base.
+          missing_types: 'Типы недостающих переводов: %{valid}. По умолчанию: все'
+          new_key_name: Новое имя, интерполирует оригинальное название как %{key}. Необходимый параметр.
+          nostdin: Не читать дерево из стандартного ввода
+          out_format: 'Формат вывода: %{valid_text}.'
+          pattern_router: 'Использовать pattern_router: ключи распределятся по файлам согласно data.write'
+          strict: Не угадывать динамические использования ключей, например `t("category.#{category.key}")`
+          translation_backend: Движок перевода (google или deepl)
+          value: >-
+            Значение, интерполируется с %{value}, %{human_key}, %{key}, %{default}, %{value_or_human_key},
+            %{value_or_default_or_human_key}
+      desc:
+        add_missing: добавить недостающие ключи к переводам
+        check_consistent_interpolations: убедитесь, что во всех переводах используются правильные
+          интерполяционные переменные
+        check_normalized: проверить, что все файлы переводов нормализованы
+        config: показать конфигурацию
+        data: показать данные переводов
+        data_merge: добавить дерево к переводам
+        data_remove: удалить ключи, которые есть в дереве, из данных
+        data_write: заменить переводы деревом
+        eq_base: показать переводы, равные значениям в основном языке
+        find: показать, где ключи используются в коде
+        gem_path: показать путь к ruby gem
+        health: Всё ОК?
+        irb: начать REPL сессию в контексте i18n-tasks
+        missing: показать недостающие переводы
+        mv: переименовать / объединить ключи, которые соответствуют заданному шаблону
+        normalize: нормализовать файлы переводов (сортировка и распределение)
+        remove_unused: удалить неиспользуемые ключи
+        rm: удалить ключи, которые соответствуют заданному шаблону
+        translate_missing: перевести недостающие переводы с Google Translate / DeepL Pro
+        tree_convert: преобразовать дерево между форматами
+        tree_filter: фильтровать дерево по ключу
+        tree_merge: объединенить деревья
+        tree_mv_key: переименованить / объединить / удалить ключи соответствующие заданному шаблону
+        tree_set_value: заменить значения ключей
+        tree_subtract: дерево A минус ключи в дереве B
+        tree_translate: Перевести дерево при помощи Google Translate на язык корневых узлов
+        unused: показать неиспользуемые переводы
+      encourage:
+      - Хорошая работа!
+      - Отлично!
+      - Прекрасно!
+      enum_list_opt:
+        invalid: "%{invalid} не в: %{valid}."
+      enum_opt:
+        invalid: "%{invalid} не является одним из: %{valid}."
+      errors:
+        invalid_format: 'Неизвестный формат %{invalid}. Форматы: %{valid}.'
+        invalid_locale: Неверный язык %{invalid}
+        invalid_missing_type:
+          few: 'Неизвестные типы: %{invalid}. Типы: %{valid}.'
+          many: 'Неизвестные типы: %{invalid}. Типы: %{valid}.'
+          one: 'Неизвестный тип %{invalid}. Типы: %{valid}.'
+          other: 'Неизвестные типы: %{invalid}. Типы: %{valid}.'
+        pass_forest: Передайте дерево
+    common:
+      continue_q: Продолжить?
+      key: Ключ
+      locale: Язык
+      n_more: ещё %{count}
+      value: Значение
+    data_stats:
+      text: >-
+        %{key_count} ключей в %{locale_count} языках. В среднем, длина строки: %{value_chars_avg},
+        сегменты ключей: %{key_segments_avg}, ключей в языке %{per_locale_avg}.
+      text_single_locale: >-
+        %{key_count} ключей. В среднем, длина строки: %{value_chars_avg}, сегменты ключей: %{key_segments_avg}.
+      title: 'Данные (%{locales}):'
+    deepl_translate:
+      errors:
+        no_api_key: >-
+          Задайте ключ API DeepL через переменную окружения DEEPL_AUTH_KEY или translation.deepl_api_key
+          Получите ключ через https://www.deepl.com/pro.
+        no_results: DeepL не дал результатов.
+    google_translate:
+      errors:
+        no_api_key: >-
+          Задайте ключ API Google через переменную окружения GOOGLE_TRANSLATE_API_KEY или translation.google_translate_api_key
+          в config/i18n-tasks.yml. Получите ключ через https://code.google.com/apis/console.
+        no_results: >-
+          Google Translate не дал результатов. Убедитесь в том, что платежная информация добавлена
+          в https://code.google.com/apis/console.
+    health:
+      no_keys_detected: Ключи не обнаружены. Проверьте data.read в config/i18n-tasks.yml.
+    inconsistent_interpolations:
+      none: Не найдено несогласованных интерполяций.
+    missing:
+      details_title: На других языках или в коде
+      none: Всё переведено.
+    remove_unused:
+      confirm:
+        few: Переводы (%{count}) будут удалены из %{locales}.
+        many: Переводы (%{count}) будут удалены из %{locales}.
+        one: "%{count} перевод будут удалён из %{locales}."
+        other: Переводы (%{count}) будут удалены из %{locales}.
+      noop: Нет неиспользуемых ключей
+      removed: Удалены ключи (%{count})
+    translate_missing:
+      translated: Переведены ключи (%{count})
+    unused:
+      none: Все переводы используются.
+    usages:
+      none: Не найдено использований.
+    yandex_translate:
+      errors:
+        no_api_key: |-
+          Установить ключ API Яндекса с помощью переменной среды YANDEX_API_KEY или translation.yandex_api_key
+           в config / i18n-tasks.yml. Получите ключ по адресу https://tech.yandex.com/translate/.
+        no_results: Яндекс не дал результатов.

data/i18n-tasks.gemspec

@@ -0,0 +1,58 @@
+# frozen_string_literal: true
+
+lib = File.expand_path('lib', __dir__)
+$LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
+require 'i18n/tasks/version'
+
+Gem::Specification.new do |s| # rubocop:disable Metrics/BlockLength
+  s.name          = 'i18n-youdao-tasks'
+  s.version       = I18n::Tasks::VERSION
+  s.authors       = ['glebm']
+  s.email         = ['glex.spb@gmail.com']
+  s.license       = 'MIT'
+  s.summary       = 'Manage localization and translation with the awesome power of static analysis'
+  s.description   = <<~TEXT
+    i18n-tasks helps you find and manage missing and unused translations.
+
+    It analyses code statically for key usages, such as `I18n.t('some.key')`, in order to report keys that are missing or unused,
+    pre-fill missing keys (optionally from Google Translate), and remove unused keys.
+  TEXT
+  s.post_install_message = <<~TEXT
+    # Install default configuration:
+    cp $(bundle exec i18n-tasks gem-path)/templates/config/i18n-tasks.yml config/
+    # Add an RSpec for missing and unused keys:
+    cp $(bundle exec i18n-tasks gem-path)/templates/rspec/i18n_spec.rb spec/
+  TEXT
+  s.homepage = 'https://github.com/glebm/i18n-tasks'
+  s.metadata = { 'issue_tracker' => 'https://github.com/glebm/i18n-tasks' } if s.respond_to?(:metadata=)
+  s.required_ruby_version = '>= 2.6', '< 4.0' if s.respond_to?(:required_ruby_version=)
+
+  s.files = `git ls-files`.split($/)
+  s.files -= s.files.grep(%r{^(doc/|\.|spec/)}) + %w[CHANGES.md config/i18n-tasks.yml Gemfile]
+  s.executables   = s.files.grep(%r{^bin/}) { |f| File.basename(f) } - %w[i18n-tasks.cmd]
+  s.test_files    = s.files.grep(%r{^(test|spec|features)/})
+  s.require_paths = ['lib']
+
+  s.add_dependency 'activesupport', '>= 4.0.2'
+  s.add_dependency 'ast', '>= 2.1.0'
+  s.add_dependency 'better_html', '~> 1.0'
+  s.add_dependency 'erubi'
+  s.add_dependency 'highline', '>= 2.0.0'
+  s.add_dependency 'i18n'
+  s.add_dependency 'parser', '>= 2.2.3.0'
+  s.add_dependency 'rails-i18n'
+  s.add_dependency 'rainbow', '>= 2.2.2', '< 4.0'
+  s.add_dependency 'terminal-table', '>= 1.5.1'
+  s.add_development_dependency 'axlsx', '~> 2.0'
+  s.add_development_dependency 'bundler', '~> 2.0', '>= 2.0.1'
+  s.add_development_dependency 'rake'
+  s.add_development_dependency 'rspec', '~> 3.3'
+  s.add_development_dependency 'rubocop', '~> 1.6.1'
+  s.add_development_dependency 'simplecov'
+  s.add_development_dependency 'yard'
+
+  # Translation backends
+  s.add_development_dependency 'deepl-rb', '>= 2.1.0'
+  s.add_development_dependency 'easy_translate', '>= 0.5.1' # Google Translate
+  s.add_development_dependency 'yandex-translator', '>= 0.3.3'
+end

data/lib/i18n/tasks/base_task.rb

@@ -0,0 +1,52 @@
+# frozen_string_literal: true
+
+require 'i18n/tasks/command_error'
+require 'i18n/tasks/split_key'
+require 'i18n/tasks/key_pattern_matching'
+require 'i18n/tasks/logging'
+require 'i18n/tasks/plural_keys'
+require 'i18n/tasks/references'
+require 'i18n/tasks/html_keys'
+require 'i18n/tasks/used_keys'
+require 'i18n/tasks/ignore_keys'
+require 'i18n/tasks/missing_keys'
+require 'i18n/tasks/interpolations'
+require 'i18n/tasks/unused_keys'
+require 'i18n/tasks/translation'
+require 'i18n/tasks/locale_pathname'
+require 'i18n/tasks/locale_list'
+require 'i18n/tasks/string_interpolation'
+require 'i18n/tasks/data'
+require 'i18n/tasks/configuration'
+require 'i18n/tasks/stats'
+
+module I18n
+  module Tasks
+    class BaseTask
+      include SplitKey
+      include KeyPatternMatching
+      include PluralKeys
+      include References
+      include HtmlKeys
+      include UsedKeys
+      include IgnoreKeys
+      include MissingKeys
+      include Interpolations
+      include UnusedKeys
+      include Translation
+      include Logging
+      include Configuration
+      include Data
+      include Stats
+
+      def initialize(config_file: nil, **config)
+        @config_override = config_file
+        self.config = config || {}
+      end
+
+      def inspect
+        "#{self.class.name}#{config_for_inspect}"
+      end
+    end
+  end
+end

data/lib/i18n/tasks/cli.rb

@@ -0,0 +1,214 @@
+# frozen_string_literal: true
+
+require 'i18n/tasks'
+require 'i18n/tasks/commands'
+require 'optparse'
+
+class I18n::Tasks::CLI
+  include ::I18n::Tasks::Logging
+
+  def self.start(argv)
+    new.start(argv)
+  end
+
+  def initialize; end
+
+  def start(argv)
+    auto_output_coloring do
+      exit 1 if run(argv) == :exit1
+    rescue OptionParser::ParseError => e
+      error e.message, 64
+    rescue I18n::Tasks::CommandError => e
+      begin
+        error e.message, 78
+      ensure
+        log_verbose e.backtrace * "\n"
+      end
+    rescue Errno::EPIPE
+      # ignore Errno::EPIPE which is throw when pipe breaks, e.g.:
+      # i18n-tasks missing | head
+      exit 1
+    end
+  rescue ExecutionError => e
+    exit e.exit_code
+  end
+
+  def run(argv)
+    argv.each_with_index do |arg, i|
+      if ["--config", "-c"].include?(arg)
+        if File.exist?(argv[i+1])
+          @config_file = argv[i+1]
+          break
+        else
+          error "Config file doesn't exist: #{argv[i+1]}", 128
+        end
+      end
+    end
+
+    I18n.with_locale(base_task(config_file: @config_file).internal_locale) do
+      name, *options = parse!(argv.dup)
+      context.run(name, *options)
+    end
+  end
+
+  def context
+    @context ||= ::I18n::Tasks::Commands.new(base_task)
+  end
+
+  def commands
+    # load base task to initialize plugins
+    base_task
+    @commands ||= ::I18n::Tasks::Commands.cmds.transform_keys { |k| k.to_s.tr('_', '-') }
+  end
+
+  private
+
+  def base_task(config_file: nil)
+    @base_task ||= I18n::Tasks::BaseTask.new(config_file: config_file)
+  end
+
+  def parse!(argv)
+    command = parse_command! argv
+    options = optparse! command, argv
+    parse_options! options, command, argv
+    [command.tr('-', '_'), options.update(arguments: argv)]
+  end
+
+  def optparse!(command, argv)
+    if command
+      optparse_command!(command, argv)
+    else
+      optparse_no_command!(argv)
+    end
+  end
+
+  def optparse_command!(command, argv)
+    cmd_conf = commands[command]
+    flags    = cmd_conf[:args].dup
+    options  = {}
+    OptionParser.new("Usage: #{program_name} #{command} [options] #{cmd_conf[:pos]}".strip) do |op|
+      flags.each do |flag|
+        op.on(*optparse_args(flag)) { |v| options[option_name(flag)] = v }
+      end
+      verbose_option op
+      help_option op
+    end.parse!(argv)
+    options
+  end
+
+  def optparse_no_command!(argv)
+    argv << '--help' if argv.empty?
+    OptionParser.new("Usage: #{program_name} [command] [options]") do |op|
+      op.on('-v', '--version', 'Print the version') do
+        puts I18n::Tasks::VERSION
+        exit
+      end
+      help_option op
+      commands_summary op
+    end.parse!(argv)
+  end
+
+  def allow_help_arg_first!(argv)
+    # allow `i18n-tasks --help command` in addition to `i18n-tasks command --help`
+    argv[0], argv[1] = argv[1], argv[0] if %w[-h --help].include?(argv[0]) && argv[1] && !argv[1].start_with?('-')
+  end
+
+  def parse_command!(argv)
+    allow_help_arg_first! argv
+    if argv[0] && !argv[0].start_with?('-')
+      if commands.keys.include?(argv[0])
+        argv.shift
+      else
+        error "unknown command: #{argv[0]}", 64
+      end
+    end
+  end
+
+  def verbose_option(op)
+    op.on('--verbose', 'Verbose output') do
+      ::I18n::Tasks.verbose = true
+    end
+  end
+
+  def help_option(op)
+    op.on('-h', '--help', 'Show this message') do
+      $stderr.puts op
+      exit
+    end
+  end
+
+  # @param [OptionParser] op
+  def commands_summary(op)
+    op.separator ''
+    op.separator 'Available commands:'
+    op.separator ''
+    commands.each do |cmd, cmd_conf|
+      op.separator "    #{cmd.ljust(op.summary_width + 1, ' ')}#{try_call cmd_conf[:desc]}"
+    end
+    op.separator ''
+    op.separator 'See `i18n-tasks <command> --help` for more information on a specific command.'
+  end
+
+  def optparse_args(flag)
+    args = flag.dup
+    args.map! { |v| try_call v }
+    conf = args.extract_options!
+    if conf.key?(:default)
+      args[-1] = "#{args[-1]}. #{I18n.t('i18n_tasks.cmd.args.default_text', value: conf[:default])}"
+    end
+    args
+  end
+
+  def parse_options!(options, command, argv)
+    commands[command][:args].each do |flag|
+      name          = option_name flag
+      options[name] = parse_option flag, options[name], argv, context
+    end
+  end
+
+  def parse_option(flag, val, argv, context)
+    conf = flag.last.is_a?(Hash) ? flag.last : {}
+    if conf[:consume_positional]
+      val = Array(val) + Array(flag.include?(Array) ? argv.flat_map { |x| x.split(',') } : argv)
+    end
+    val = conf[:default] if val.nil? && conf.key?(:default)
+    val = conf[:parser].call(val, context) if conf.key?(:parser)
+    val
+  end
+
+  def option_name(flag)
+    flag.detect do |f|
+      f.start_with?('--')
+    end.sub(/\A--(\[no-\])?/, '').sub(/[^\-\w].*\z/, '').to_sym
+  end
+
+  def try_call(v)
+    if v.respond_to? :call
+      v.call
+    else
+      v
+    end
+  end
+
+  def error(message, exit_code)
+    log_error message
+    fail ExecutionError.new(message, exit_code)
+  end
+
+  class ExecutionError < RuntimeError
+    attr_reader :exit_code
+
+    def initialize(message, exit_code)
+      super(message)
+      @exit_code = exit_code
+    end
+  end
+
+  def auto_output_coloring(coloring = ENV['I18N_TASKS_COLOR'] || $stdout.isatty)
+    coloring_was    = Rainbow.enabled
+    Rainbow.enabled = coloring
+    yield
+  ensure
+    Rainbow.enabled = coloring_was
+  end
+end

data/lib/i18n/tasks/command/collection.rb

@@ -0,0 +1,21 @@
+# frozen_string_literal: true
+
+require 'i18n/tasks/command/dsl'
+require 'i18n/tasks/command/options/common'
+require 'i18n/tasks/command/options/locales'
+require 'i18n/tasks/command/options/data'
+
+module I18n::Tasks
+  module Command
+    module Collection
+      def self.included(base)
+        base.module_eval do
+          include Command::DSL
+          include Command::Options::Common
+          include Command::Options::Locales
+          include Command::Options::Data
+        end
+      end
+    end
+  end
+end

data/lib/i18n/tasks/command/commander.rb

@@ -0,0 +1,38 @@
+# frozen_string_literal: true
+
+require 'i18n/tasks/cli'
+require 'i18n/tasks/reports/terminal'
+
+module I18n::Tasks
+  module Command
+    class Commander
+      include ::I18n::Tasks::Logging
+
+      attr_reader :i18n
+
+      # @param [I18n::Tasks::BaseTask] i18n
+      def initialize(i18n)
+        @i18n = i18n
+      end
+
+      def run(name, opts = {})
+        name = name.to_sym
+        public_name = name.to_s.tr '_', '-'
+        log_verbose "task: #{public_name}(#{opts.map { |k, v| "#{k}: #{v.inspect}" } * ', '})"
+        if opts.empty? || method(name).arity.zero?
+          send name
+        else
+          send name, **opts
+        end
+      end
+
+      protected
+
+      def terminal_report
+        @terminal_report ||= I18n::Tasks::Reports::Terminal.new(i18n)
+      end
+
+      delegate :base_locale, :locales, :t, to: :i18n
+    end
+  end
+end

data/lib/i18n/tasks/command/commands/data.rb

@@ -0,0 +1,107 @@
+# frozen_string_literal: true
+
+module I18n::Tasks
+  module Command
+    module Commands
+      module Data
+        include Command::Collection
+
+        arg :pattern_router,
+            '-p',
+            '--pattern_router',
+            t('i18n_tasks.cmd.args.desc.pattern_router')
+
+        cmd :normalize,
+            pos: '[locale ...]',
+            desc: t('i18n_tasks.cmd.desc.normalize'),
+            args: %i[locales pattern_router]
+
+        def normalize(opt = {})
+          i18n.normalize_store! locales: opt[:locales],
+                                force_pattern_router: opt[:pattern_router]
+        end
+
+        cmd :check_normalized,
+            pos: '[locale ...]',
+            desc: t('i18n_tasks.cmd.desc.check_normalized'),
+            args: %i[locales]
+
+        def check_normalized(opt)
+          non_normalized = i18n.non_normalized_paths locales: opt[:locales]
+          terminal_report.check_normalized_results(non_normalized)
+          :exit1 unless non_normalized.empty?
+        end
+
+        cmd :mv,
+            pos: 'FROM_KEY_PATTERN TO_KEY_PATTERN',
+            desc: t('i18n_tasks.cmd.desc.mv')
+        def mv(opt = {})
+          fail CommandError, 'requires FROM_KEY_PATTERN and TO_KEY_PATTERN' if opt[:arguments].size < 2
+
+          from_pattern = opt[:arguments].shift
+          to_pattern = opt[:arguments].shift
+          forest = i18n.data_forest
+          results = forest.mv_key!(compile_key_pattern(from_pattern), to_pattern, root: false)
+          i18n.data.write forest
+          terminal_report.mv_results results
+        end
+
+        cmd :rm,
+            pos: 'KEY_PATTERN [KEY_PATTERN...]',
+            desc: t('i18n_tasks.cmd.desc.rm')
+        def rm(opt = {})
+          fail CommandError, 'requires KEY_PATTERN' if opt[:arguments].empty?
+
+          forest = i18n.data_forest
+          results = opt[:arguments].each_with_object({}) do |key_pattern, h|
+            h.merge! forest.mv_key!(compile_key_pattern(key_pattern), '', root: false)
+          end
+          i18n.data.write forest
+          terminal_report.mv_results results
+        end
+
+        cmd :data,
+            pos: '[locale ...]',
+            desc: t('i18n_tasks.cmd.desc.data'),
+            args: %i[locales out_format]
+
+        def data(opt = {})
+          print_forest i18n.data_forest(opt[:locales]), opt
+        end
+
+        cmd :data_merge,
+            pos: '[tree ...]',
+            desc: t('i18n_tasks.cmd.desc.data_merge'),
+            args: %i[data_format nostdin]
+
+        def data_merge(opt = {})
+          forest = merge_forests_stdin_and_pos!(opt)
+          merged = i18n.data.merge!(forest)
+          print_forest merged, opt
+        end
+
+        cmd :data_write,
+            pos: '[tree]',
+            desc: t('i18n_tasks.cmd.desc.data_write'),
+            args: %i[data_format nostdin]
+
+        def data_write(opt = {})
+          forest = forest_pos_or_stdin!(opt)
+          i18n.data.write forest
+          print_forest forest, opt
+        end
+
+        cmd :data_remove,
+            pos: '[tree]',
+            desc: t('i18n_tasks.cmd.desc.data_remove'),
+            args: %i[data_format nostdin]
+
+        def data_remove(opt = {})
+          removed = i18n.data.remove_by_key!(forest_pos_or_stdin!(opt))
+          log_stderr 'Removed:'
+          print_forest removed, opt
+        end
+      end
+    end
+  end
+end

data/lib/i18n/tasks/command/commands/eq_base.rb

@@ -0,0 +1,22 @@
+# frozen_string_literal: true
+
+module I18n::Tasks
+  module Command
+    module Commands
+      module EqBase
+        include Command::Collection
+
+        cmd :eq_base,
+            pos: '[locale ...]',
+            desc: t('i18n_tasks.cmd.desc.eq_base'),
+            args: %i[locales out_format]
+
+        def eq_base(opt = {})
+          forest = i18n.eq_base_keys(opt)
+          print_forest forest, opt, :eq_base_keys
+          :exit1 unless forest.empty?
+        end
+      end
+    end
+  end
+end

data/lib/i18n/tasks/command/commands/health.rb

@@ -0,0 +1,30 @@
+# frozen_string_literal: true
+
+module I18n::Tasks
+  module Command
+    module Commands
+      module Health
+        include Command::Collection
+
+        cmd :health,
+            pos: '[locale ...]',
+            desc: t('i18n_tasks.cmd.desc.health'),
+            args: %i[locales out_format config]
+
+        def health(opt = {})
+          forest = i18n.data_forest(opt[:locales])
+          stats  = i18n.forest_stats(forest)
+          fail CommandError, t('i18n_tasks.health.no_keys_detected') if stats[:key_count].zero?
+
+          terminal_report.forest_stats forest, stats
+          [
+            missing(**opt),
+            unused(**opt),
+            check_consistent_interpolations(**opt),
+            check_normalized(**opt)
+          ].detect { |result| result == :exit1 }
+        end
+      end
+    end
+  end
+end