bizside 2.0.1

data/lib/bizside/itamae_conf.rb

@@ -0,0 +1,186 @@
+require 'singleton'
+require 'yaml'
+
+module Bizside
+  # itamae_conf をテストするため、 singleton 以前のクラスを定義
+  #
+  # TODO: HanaitaConf と類似していますが HanaitaConf は obsolete 予定なので
+  # 敢えて refactoring はやっていません。
+  class ItamaeConfSub
+    class << self
+      # base..derived の順
+      def conf_files
+        if ENV['ITAMAE_CONFS']
+          ENV['ITAMAE_CONFS'].split
+        else
+          result = ['/etc/bizside/hanaita.yml']
+          add_yml(result, 'itamae.yml')
+          add_yml(result, 'database.yml')
+          result
+        end
+      end
+
+      private
+
+      # shared/*.yml を優先して指定。存在しない時にのみ config/*.yml を指定。
+      def add_yml(paths, basename)
+        candidates = []
+        candidates << File.join(ENV['DEPLOY_TO'], 'shared', basename).to_s unless ENV['DEPLOY_TO'].to_s.empty?
+        candidates << File.join('config', basename).to_s
+
+        candidates.each do |path|
+          if File.exist?(path)
+            paths << path
+            break
+          end
+        end
+      end
+    end
+
+    def initialize
+      for conf_file in self.class.conf_files do
+        if File.exist?(conf_file)
+          @_conf ||= {}
+          hash = YAML.load(ERB.new(File.read(conf_file)).result)
+
+          case conf_file
+          # itamae.yml スペシャルロジック。ROLE必須。
+          when /itamae.yml$/
+            role = ENV['ROLE']
+            next if role.nil? || role.empty?
+            hash = hash[role]
+
+          # database.yml スペシャルロジック。例:
+          #
+          # database.yml::  RAILS_ENV.adapter
+          # ↓::             ↓
+          # itamae_conf::   db.adapter
+          when /database.yml$/
+            partial = hash[Bizside.env]
+            hash = {'db' => partial.dup} if partial
+          end
+          deep_merge!(@_conf, hash) if hash
+        else
+          $stderr.printf("WARN: %s does NOT exist.\n", conf_file)
+        end
+      end
+    end
+
+    def conf
+      @_conf
+    end
+
+    private
+
+    # (c)Rails
+    def deep_merge(h1, h2, &block)
+      deep_merge!(h1.dup, h2, &block)
+    end
+
+    # (c)Rails
+    def deep_merge!(h1, h2, &block)
+      h2.each_pair do |current_key, other_value|
+        this_value = h1[current_key]
+        h1[current_key] = if this_value.is_a?(Hash) && other_value.is_a?(Hash)
+                            deep_merge(this_value, other_value, &block)
+                          else
+                            if block_given? && key?(current_key)
+                              block.call(current_key, this_value, other_value)
+                            else
+                              other_value
+                            end
+                          end
+      end
+      h1
+    end
+  end
+
+  # 各種 yml を１つの hash にマージした on-memory モデル:
+  #
+  # == SYNOPSIS
+  # require 'itamae_plugin_recipe_bizside'
+  # itamae_conf(:a, :b, ...)   # Or
+  # itamae_conf('a.b...')
+  #
+  # == DESCRIPTION
+  # yaml設定ファイル(後述。FILES節参照) の hash に対するキー検索を行います。
+  #
+  # ファイルが存在しない場合は nil を返します。
+  #
+  # itamae_conf(:a, :b) は意味的に itamae.yml のハッシュに対する
+  # アクセスitamae_conf['a']['b'] と同等です。
+  #
+  # itamae_conf(:a) が ハッシュでない場合(未定義または文字列や数値など)、
+  # itamae_conf(:a, :b) は単に nil を返します('undefined method `[]'
+  # for nil:NilClass' とはなりません)。
+  #
+  # I18n#t と同様、'a.b' と言った文字列指定も可能です。
+  #
+  # == FILES
+  # config/database.yml::                       設定ファイル-1(*1)
+  # config/itamae.yml::                         設定ファイル-2(*2)
+  # /etc/bizside/hanaita.yml::                  設定ファイル-3
+  #
+  # (*1) RAISL_ENV に該当する部分のみ 'db' エントリの下に読み込みます。
+  # (*2) 指定された ROLE のみ読み込みます。
+  class ItamaeConf < ItamaeConfSub
+    class OverWriteError < StandardError; end
+
+    include Singleton
+  end
+
+  # 各フェーズで itamae_conf メソッド経由でアクセスできるようにするための
+  # ユーティリティ。node メソッドと同様。
+  module ItamaeConfAccessorMixin
+    # 必要に応じて上書き
+    def itamae_conf_factory
+      Bizside::ItamaeConf.instance
+    end
+
+    def itamae_conf(*args)
+      if args.nil? || (args.is_a?(Array) && args[0].is_a?(Symbol) || args[0].nil?)
+        itamae_conf_sub(itamae_conf_factory.conf, args)
+      elsif args.is_a?(Array) && args[0].is_a?(String)
+        itamae_conf_sub(itamae_conf_factory.conf, args[0].split('.').map{|s| s.to_sym})
+      else
+        raise 'unsupported argument type'
+      end
+    end
+
+    # itamae_conf に値をセットします。
+    #
+    # 安易な上書きを避けるため、既存値が存在する場合は OverWriteError としています。
+    #
+    # 簡単化のため、シンボル指定(set_itamae_conf(:a, :b, ..., value))はサポートしていません
+    # (itamae_conf と違って)。
+    def set_itamae_conf(key, value)
+      raise 'まだ用途が定まっていないので、使用不可です。' unless Bizside.env == 'test'
+      set_itamae_conf_sub(itamae_conf_factory.conf, key.split('.'), key, value)
+    end
+
+    private
+
+    def itamae_conf_sub(data, args)
+      if args.size == 0
+        data
+      elsif data.is_a?(Hash)
+        itamae_conf_sub(data[args[0].to_s], args.drop(1))
+      else
+        nil
+      end
+    end
+
+    # ここで key は単にエラーメッセージ用途
+    def set_itamae_conf_sub(hash, args, key, value)
+      arg0 = args[0]
+      if args.size == 1
+        raise ItamaeConf::OverWriteError.new("duplicate on #{key}") if hash[arg0]
+
+        hash[arg0] = value
+      else
+        hash[arg0] = {} if hash[arg0].nil?
+        set_itamae_conf_sub(hash[arg0], args.drop(1), key, value)
+      end
+    end
+  end
+end

data/lib/bizside/job_utils.rb

@@ -0,0 +1,285 @@
+require 'bizside/cron_validator'
+
+module Bizside
+  class JobUtils
+
+    def self.add_job(klass, *args, &block)
+      add_job_to(nil, klass, *args, &block)
+    end
+
+    def self.add_job_to(queue, klass, *args)
+      if Bizside.rails_env&.test?
+        if klass.respond_to?(:before_enqueue)
+          return unless klass.before_enqueue(*args)
+        end
+
+        Bizside.logger.info "テスト時にはジョブの登録を行わず、即時実行します。"
+        klass.perform(*args)
+        return
+      end
+
+      if block_given?
+        yield
+      else
+        if queue
+          Bizside.logger.info "ジョブ #{klass} を #{queue} に登録します。"
+        else
+          Bizside.logger.info "ジョブ #{klass} を登録します。"
+        end
+      end
+
+      if queue.present?
+        ::Resque.enqueue_to(queue, klass, *args)
+      else
+        ::Resque.enqueue(klass, *args)
+      end
+    end
+
+    def self.add_job_silently(klass, *args)
+      add_job(klass, *args) do
+        # 何も出力しない
+      end
+    end
+
+    def self.add_job_silently_to(queue, klass, *args)
+      add_job_to(queue, klass, *args) do
+        # 何も出力しない
+      end
+    end
+
+    def self.set_job_at(time, klass, *args)
+      if Bizside.rails_env&.test?
+        if klass.respond_to?(:before_enqueue)
+          return unless klass.before_enqueue(*args)
+        end
+
+        Bizside.logger.info "テスト時には遅延ジョブの登録を行わず、即時実行します。"
+        klass.perform(*args)
+        return
+      end
+
+      if block_given?
+        yield
+      else
+        Bizside.logger.info "遅延ジョブ #{klass} を登録します。"
+      end
+
+      ::Resque.enqueue_at(time, klass, *args)
+    end
+
+    def self.set_job_silently_at(time, klass, *args)
+      set_job_at(time, klass, *args) do
+        # 何も出力しない
+      end
+    end
+
+    def self.cancel_job_at(klass, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info "テスト時には遅延ジョブのキャンセルを行いません。"
+        return
+      end
+
+      ::Resque.remove_delayed(klass, *args)
+    end
+
+    def self.add_cron(name, job_type, cron, *args)
+      add_cron_to(nil, name, job_type, cron, *args)
+    end
+
+    def self.add_cron_to(queue, name, job_type, cron, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にはCronの設定を行いません。'
+        return
+      end
+
+      ::Resque.remove_schedule(name)
+
+      cronline = Array(cron).first
+
+      if cronline.to_s.strip.empty?
+        return
+      elsif CronValidator.new(cronline).valid?
+        config = {
+          :class => job_type,
+          :cron => cron,
+          :args => args,
+          :persist => true
+        }
+
+        config[:queue] = queue if queue.present?
+
+        ::Resque.set_schedule(name, config)
+      else
+        raise ArgumentError, "Cronの書式が正しくないのでスケジューリングしません。name=#{name}"
+      end
+    end
+
+    def self.remove_cron(name)
+      remove_scheduler(name)
+    end
+
+    def self.add_scheduler(name, job_type, interval_args, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にはCronの設定を行いません。'
+        return
+      end
+
+      ::Resque.remove_schedule(name)
+
+      if interval_args[:cron].present?
+        add_cron(name, job_type, interval_args[:cron], args)
+      elsif interval_args[:every].present?
+        config = {
+          :class => job_type,
+          :every => interval_args[:every],
+          :args => args,
+          :persist => true
+        }
+        ::Resque.set_schedule(name, config)
+      else
+        raise ArgumentError, "cronもしくはeveryが指定されていないのでスケジューリングしません。name=#{name}"
+      end
+    end
+
+    def self.remove_scheduler(name)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にはCronの設定を行いません。'
+        return
+      end
+
+      ::Resque.remove_schedule(name)
+    end
+
+    def self.peek(queue, start = 0, count = 1)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時は、ジョブ 0 件とします。'
+        return []
+      end
+
+      ::Resque.peek(queue, start, count)
+    end
+
+    def self.enqueue_in(time_to_delay, klass, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にジョブの遅延実行は行いません。'
+        return
+      end
+
+      ::Resque.enqueue_in(time_to_delay, klass, *args)
+    end
+
+    def self.enqueue_in_with_queue(queue, time_to_delay, klass, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にジョブの遅延実行は行いません。'
+        return
+      end
+
+      ::Resque.enqueue_in_with_queue(queue, time_to_delay, klass, *args)
+    end
+
+    def self.dequeue(klass, *args)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にジョブの削除は行いません。'
+        return
+      end
+
+      ::Resque.dequeue(klass, *args)
+    end
+
+    def self.any_jobs_for?(queue)
+      ret = ::Resque.size(queue)
+      ret += ::Resque.working.reduce(0){|sum, worker| sum += worker.queues.include?(queue) ? 1 : 0 }
+      ret > 0
+    end
+
+    def self.remove_queue(queue)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時にキューの削除は行いません。'
+        return
+      end
+
+      ::Resque.remove_queue(queue)
+    end
+
+    def self.queue_from_class(klass)
+      ::Resque.queue_from_class(klass)
+    end
+
+    def self.queue_size(queue)
+      return 0 if Bizside.rails_env&.test?
+
+      ::Resque.size(queue)
+    end
+
+    def self.unique_in_queue?(klass, args = {}, queue, count: 100, except: [])
+      if Bizside.rails_env&.test?
+        Bizside.logger.info "テスト時は常にキューに同一ジョブが存在しない前提とします。"
+        return true
+      end
+
+      jobs = self.peek(queue, 0, count)  # 先頭からcount件のジョブ
+
+      if already_in_jobs?(klass, args, jobs, except: except)
+        false
+      else
+        count = rest_count(self.queue_size(queue), count)
+        if count == 0
+          true
+        else
+          count += 1 if count == 1  # Resque.peek()が1件だと戻り値の型が違うのを回避
+          jobs = self.peek(queue, count * -1, count)  # 後ろからcount件のジョブ
+          ! already_in_jobs?(klass, args, jobs, except: except)
+        end
+      end
+    end
+
+    def self.already_in_jobs?(klass, args = {}, jobs, except: [])
+      args_to_check = args.with_indifferent_access.except(*Array(except))
+
+      jobs.each do |hash|
+        hash = hash.with_indifferent_access
+        next unless hash['class'] == klass.to_s
+
+        args = Hash(hash['args'].present? ? hash['args'][0] : {}).with_indifferent_access.except(*Array(except))
+        next unless args.size == args_to_check.size
+
+        found = true
+        args_to_check.each do |key, value|
+          if args[key] != value
+            found = false
+            break
+          end
+        end
+
+        if found
+          Bizside.logger.info "キューに #{hash} がすでに登録されています。"
+          return true
+        end
+      end
+
+      false
+    end
+    private_class_method :already_in_jobs?
+
+    def self.rest_count(size, limit)
+      [[size - limit, 0].max, limit].min
+    end
+    private_class_method :rest_count
+
+    def self.failure_jobs(start = 0, count = 1, queue = nil)
+      if Bizside.rails_env&.test?
+        Bizside.logger.info 'テスト時は、ジョブ 0 件とします。'
+        return []
+      end
+
+      ::Resque::Failure.all(start, count, queue)
+    end
+
+    def self.failure_count(queue = nil, class_name = nil)
+      return 0 if Bizside.rails_env&.test?
+
+      ::Resque::Failure.count(queue, class_name)
+    end
+
+  end
+end

data/lib/bizside/log_analyzer.rb

@@ -0,0 +1,122 @@
+module Bizside
+  class LogAnalyzer
+    attr_reader :add_on_name
+    attr_reader :error_contents
+
+    def initialize(add_on_name, files)
+      @add_on_name = add_on_name
+      @files = files
+    end
+
+    def analyze(output_file_name)
+      @success =  system("request-log-analyzer --format rails3 --parse-strategy cautious --file #{output_file_name}.html --output HTML #{@files.join(' ')}")
+    end
+
+    def success?
+      @success
+    end
+
+    def scrape_errors
+      @error_content = String.new
+      @error_contents = {}
+
+      # TODO Okozeを解析できるようにする
+      return if add_on_name == 'okoze'
+
+      # TODO ログ内で重複したエラーメッセージを除外する
+      return if ['amadai', 'webcam_api', 'seri', 'sushioke'].include?(add_on_name)
+
+      @files.each do |file|
+        content = File.read(file, encoding: 'utf-8')
+        content = content.encode('UTF-16BE', 'UTF-8', :invalid => :replace, :undef => :replace, :replace => '?').encode('UTF-8')
+        next unless content.include?('Completed 500') or content.include?('FATAL')
+
+        # ログをプロセス単位に分割
+        partition_contents = divide_into_pid(content)
+        # プロセス単位に分割したログからエラーを抽出
+        partition_content_errors = extract_error_log(partition_contents)
+        # 抽出したエラーを出力用にまとめる
+        partition_content_errors.each do |pid, pc|
+          @error_contents[pid] = "#{file}のエラー抽出結果\n\n\n" if @error_contents[pid].nil? or @error_contents[pid].empty?
+          @error_contents[pid] << pc
+        end
+
+        @error_contents
+      end
+    end
+
+    def divide_into_pid(content)
+      pid = nil
+      ret = {}
+      content.each_line do |c|
+        s = c.scan(/#[0-9]+\]/)
+        pid = s.first.scan(/[0-9]+/).first unless s.empty?
+        ret[pid] = "" unless ret[pid]
+        ret[pid] << c
+      end
+
+      ret
+    end
+
+    def extract_error_log(partition_contents)
+      ret = {}
+      partition_contents.each do |pid, pc|
+        tmp = ""
+        pc.each_line do |line|
+          unless line.scan(/: Started /).empty?
+            if !tmp.scan(/Completed 500/).empty? or !tmp.scan(/\] FATAL/).empty? or !tmp.scan(/\[FATAL\]/).empty?
+              ret[pid] = "" if ret[pid].nil? or ret[pid].empty?
+              ret[pid] << tmp
+            end
+            tmp.clear
+          end
+          tmp << exclude_error_log_line(line)
+        end
+
+        # Startedの前にログが終了した場合、その時点までにエラーが含まれていれば抽出に含める
+        if !tmp.empty? and !tmp.scan(/Completed 500/).empty? or !tmp.scan(/\] FATAL/).empty? or !tmp.scan(/\[FATAL\]/).empty?
+          ret[pid] = "" if ret[pid].nil? or ret[pid].empty?
+          ret[pid] << tmp
+        end
+        tmp.clear
+      end
+
+      ret
+    end
+
+    def exclude_error_log_line(line)
+      ret = nil
+      ret = line.match("INFO -- : ジョブ.*登録します。")
+
+      if ret.nil?
+        line
+      else
+        ""
+      end
+    end
+
+    # TODO 重複したエラーログを除外する
+    def get_duplicate_check_line(line)
+      ret = line.scan(/(INFO -- :.*|ERROR -- :.*|WARN -- :.*|FATAL -- :.*)/).first
+      ret = ret.gsub(/\" for .*/, "\"") unless ret.nil or ret.empty?
+
+      ret
+    end
+
+    # TODO 重複したエラーログを除外する
+    def duplicate_error_log?(extract_error_logs, duplicate_check_lines)
+      res = false
+      extract_error_logs.each do |eer|
+        tmp = false
+        duplicate_check_lines.each do |dcl|
+          tmp = eer.include?(dcl)
+          break unless tmp
+        end
+        res = tmp
+        break if res
+      end
+
+      res
+    end
+  end
+end

data/lib/bizside/mailer.rb

@@ -0,0 +1,56 @@
+module Bizside
+  module Mailer
+
+    def mail(headers={ })
+      headers = headers.merge(:delivery_method_options => Bizside.config.smtp_settings)
+      m = super
+      m.transport_encoding = '8bit'
+      m.from ||= Bizside.config.mail.from
+      m
+    end
+
+    protected
+
+    def set_priority_headers(priority)
+      get_priority_headers(priority).each do |key, value|
+        headers[key] = value
+      end
+    end
+
+    private
+
+    def get_priority_headers(priority)
+      ret = {}
+
+      # Outlook、ThunderBird
+      ret['X-Priority'] = priority
+
+      # Notes
+      notes_priority = convert_priority_for_notes(priority)
+      if notes_priority
+        ret['Importance'] = notes_priority
+      end
+
+      ret
+    end
+
+    def convert_priority_for_notes(priority)
+      case priority.to_i
+      when 1
+        return 'High'
+      when 2
+        return 'High'
+      when 3
+        return 'Normal'
+      when 4
+        return 'Low'
+      when 5
+        return 'Low'
+      else
+        return nil
+      end
+    end
+    
+  end
+
+end