hot_catch 0.1.6.8 → 0.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: bbfee917472dc467699e577ce68ab9fb7b0cc7cdae38fe822f0681eb722ee176
-  data.tar.gz: f6c6778062d2d8712c9b5c5305774363aa3f7665b480bb21d02fe2838e880290
+  metadata.gz: 75f293769b8daa376ff88365d306a256a995d4b26e003df34737fbd48890ce14
+  data.tar.gz: e58b5bf8cb390925934a821a0aa67952a744d7f5461388f2de82a4c2bb535abf
 SHA512:
-  metadata.gz: 4db091215d06224ddda9e3ecd09eeaa1c6602676909d8ab45b0b050a8c2a4e9be78bc4f28c733ba538119342b0b7fff17086df8904907ead977f61d380dbc6b6
-  data.tar.gz: 767ab0a8ccbdc90c129b174498ecce4c32f22697ff9ba407e82d83ffd5e2abeb3d2483c5c2c5285d1ebcc0f5d04cd6f970bc522073ef9ad9cb9124e27273c27d
+  metadata.gz: 3fc4889873c1df0cd56f9e13124aac720b500b4e3e32db8e43ba286b586a94c2cb883dda615b80d7ee09be9e34ecffa412d53dca93238e230969050a61252f73
+  data.tar.gz: d541d582e492febf4dc35267994fc99b8374e23bc099fd8f447caa671fb9795fe5a80bccb1bf8ca4607abe37f8a03847a4208c2f9ddb1ab3ce3b27ae60fbcbc5

data/lib/generators/hot_catch/install_generator.rb

@@ -41,7 +41,9 @@ module HotCatch
         "require 'sidekiq-cron'\n" +
         "Rails.application.config.sender_logs = HotCatch::MakeHttpsRequest.new\n" +
         "Sidekiq::Cron::Job.create(name: 'NginxSystemWorker - every 1min', cron: " +
-        "'*/1 * * * *', class: 'NginxSystemWorker')\n"
+        "if Sidekiq.server?\n" +
+        " '*/1 * * * *', class: 'NginxSystemWorker')\n" +
+        "end\n"
       end
     end
 

data/lib/hot_catch.rb

@@ -2,7 +2,7 @@ module HotCatch
   require 'hot_catch/hard_worker'
   require 'hot_catch/nginx_system_worker'
   require 'hot_catch/custom_log_subscribers.rb'
-  require 'hot_catch/get_nginx_logs.rb'
+  require 'hot_catch/receive_nginx_logs.rb'
   require 'hot_catch/get_system_metrics'
 
   require 'uri'

data/lib/hot_catch/nginx_system_worker.rb

@@ -8,7 +8,8 @@ class NginxSystemWorker
     sender = HotCatch::MakeHttpsRequest.new
     sender.system_g_log(logs)
 
-    logs = get_nginx_logs()
+    nginx_logs = ReceiveNginxLogs.new
+    logs = nginx_logs.get_last_logs
     sender = HotCatch::MakeHttpsRequest.new
     sender.nginx_g_log(logs)
   end

data/lib/hot_catch/receive_nginx_logs.rb

@@ -0,0 +1,94 @@
+require_relative './time'
+=begin
+  Принцип получения логов (сделано так, чтобы не потерять логи за секунду между интервалами выборок):
+  1. Время последнего получения логов хранится в файле tmp/hot_catch_from_time.txt
+  2. Сами логи хранятся в файле log/nginx.access.log
+  3. Логи берутся от времени последнего получения логов минус одна секунда и до лога
+    время которого меньше текущего минус одна секунда
+    (интервал смещён для точной передачи всех данных за время t - 1 секунда)
+  4. Если нет файла tmp/hot_catch_from_time.txt или он пустой, берутся все логи
+    от начала до последнего лога, время которого меньше текущего минус одна секунда.
+=end
+class ReceiveNginxLogs
+  attr_accessor :last_get_logs_time_filename, :input_filename, :format_datetime_logs,
+    :regexp_datetime_logs
+
+  SinceDatetimeGetLogsFormat = "%Y-%m-%d %H:%M:%S %z"
+
+  def initialize
+    @last_get_logs_time_filename = 'tmp/hot_catch_from_time.txt'
+    @input_filename = 'log/nginx.access.log'
+    @format_datetime_logs = "%d/%b/%Y:%H:%M:%S %z"
+    @regexp_datetime_logs = /\d{2}\/\w+\/\d{4}:\d{2}:\d{2}:\d{2}\s\+\d{4}/
+    @delta_get_logs = 1.seconds
+    @logs = []
+    @since_datetime_get_logs = nil
+  end
+
+  def get_last_logs
+    read_logs
+    cut_logs
+    @logs.join("")
+  end
+
+  private
+
+  def read_logs
+    if File.exist?(@input_filename)
+      @logs = File.open(@input_filename, 'r'){|file| file.readlines}
+    else
+      []
+    end
+  end
+
+  def cut_logs
+    current_time = Time.now
+    if @logs.present?
+      if get_time.present?
+        search_index = search_index_from_logs_since_get_logs
+        @logs = search_index ? @logs[search_index..-1] : []
+      end
+      search_index = search_index_for_delta(current_time)
+      @logs = search_index ? @logs[0..search_index] : []
+      File.open(@last_get_logs_time_filename, 'w'){|file| file.write current_time.strftime(SinceDatetimeGetLogsFormat)}
+    end
+  end
+
+  def get_time
+    if File.exist?(@last_get_logs_time_filename)
+      @since_datetime_get_logs = File.open(@last_get_logs_time_filename, 'r'){|file| file.read }
+      # safe_strptime in lib/hot_catch/time.rb
+      @since_datetime_get_logs = Time.safe_strptime(@since_datetime_get_logs, SinceDatetimeGetLogsFormat)
+    end
+    @since_datetime_get_logs
+  end
+
+  def search_index_from_logs_since_get_logs
+    search_index = nil
+    (@logs.size - 1).downto(0) do |index|
+      current_log_datetime = Time.strptime(@logs[index].match(@regexp_datetime_logs)[0], @format_datetime_logs)
+      if @since_datetime_get_logs <= (current_log_datetime - @delta_get_logs)
+        search_index = index
+      else
+        break
+      end
+    end
+    search_index
+  end
+
+  # need for getting logs without cut last node
+  # example:
+  # IP - - [26/Jan/2019:14:43:25 +0000] "GET / HTTP/1.0"
+  # Write part log: "IP - - [26/Jan/2019:14:43:" in 26/Jan/2019:14:43:25.5
+  # Write part log: "25 +0000] "GET / HTTP/1.0"" in 26/Jan/2019:14:43:25.7
+  # collect data start in 26/Jan/2019:14:43:25.6 between (.5 and .7) and last node cutting into 2 logs
+  def search_index_for_delta(current_time)
+    @logs.reverse.each_with_index do |log, index|
+      t = Time.strptime(log.match(@regexp_datetime_logs)[0], @format_datetime_logs)
+      if t < (current_time - @delta_get_logs)
+        return (@logs.size - index - 1)
+      end
+    end
+    @logs.size
+  end
+end

data/lib/hot_catch/time.rb

@@ -0,0 +1,7 @@
+class Time
+  def self.safe_strptime(value, format, default = nil)
+    Time.strptime(value.to_s, format)
+  rescue ArgumentError
+    default
+  end
+end

data/lib/hot_catch/version.rb

@@ -1,3 +1,3 @@
 module HotCatch
-  VERSION = '0.1.6.8'
+  VERSION = '0.2'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: hot_catch
 version: !ruby/object:Gem::Version
-  version: 0.1.6.8
+  version: '0.2'
 platform: ruby
 authors:
 - Davhot
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2019-01-21 00:00:00.000000000 Z
+date: 2019-01-27 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: sidekiq
@@ -66,11 +66,12 @@ files:
 - lib/generators/hot_catch/uninstall_generator.rb
 - lib/hot_catch.rb
 - lib/hot_catch/custom_log_subscribers.rb
-- lib/hot_catch/get_nginx_logs.rb
 - lib/hot_catch/get_system_metrics.rb
 - lib/hot_catch/hard_worker.rb
 - lib/hot_catch/hot_catch_logger.rb
 - lib/hot_catch/nginx_system_worker.rb
+- lib/hot_catch/receive_nginx_logs.rb
+- lib/hot_catch/time.rb
 - lib/hot_catch/version.rb
 - lib/tasks/hot_catch_tasks.rake
 homepage: https://myhomepage.com

data/lib/hot_catch/get_nginx_logs.rb

@@ -1,62 +0,0 @@
-require 'time'
-=begin
-  Принцип получения логов (сделано так, чтобы не потерять логи за секунду между интервалами выборок):
-  1. Время последнего получения логов хранится в файле tmp/hot_catch_from_time.txt
-  2. Сами логи хранятся в файле log/nginx.access.log
-  3. Логи берутся от времени последнего получения логов минус одна секунда и до лога
-    время которого меньше текущего минус одна секунда
-    (интервал смещён для точной передачи всех данных за время t - 1 секунда)
-  4. Если нет файла tmp/hot_catch_from_time.txt или он пустой, берутся все логи
-    от начала до последнего лога, время которого меньше текущего минус одна секунда.
-=end
-
-def get_ind_log_from_now_minus_one_second(logs, now)
-  logs.reverse.each_with_index do |elem, index|
-    t = Time.strptime(logs[0 - index - 1].match(/\d{2}\/\w+\/\d{4}:\d{2}:\d{2}:\d{2}/)[0], "%d/%b/%Y:%H:%M:%S")
-    if t < (now - 1)
-      return (logs.size - 1 - index)
-    end
-  end
-  nil # все логи удовлетворяют выборке
-end
-
-def get_nginx_logs(from_time_file = 'tmp/hot_catch_from_time.txt', input_file = 'log/nginx.access.log')
-  from_time = ""
-  if File.exist?(from_time_file) && File.open(from_time_file, 'r'){|file| from_time = file.read } && !from_time.empty?
-    from_time = Time.parse(from_time) - 1
-    logs = ""
-    if File.exist?(input_file) && File.open(input_file, 'r'){|file| logs = file.readlines} && !logs.empty?
-      now = Time.now
-      from_ind = nil
-      for i in 0 ... logs.size
-        t = Time.strptime(logs[0 - i - 1].match(/\d{2}\/\w+\/\d{4}:\d{2}:\d{2}:\d{2}/)[0], "%d/%b/%Y:%H:%M:%S")
-        if from_time <= t
-          from_ind = 0 - i - 1
-        else
-          break
-        end
-      end
-      logs = from_ind ? logs[from_ind..-1] : ""
-      if !logs.empty?
-        to_ind = get_ind_log_from_now_minus_one_second(logs, now)
-        logs = to_ind ? logs[0..to_ind] : ""
-      end
-
-      File.open(from_time_file, 'w'){|file| file.write now}
-      logs.empty? ? logs : logs.join("")
-    end
-  else
-    logs = ""
-    if File.exist?(input_file) && File.open(input_file, 'r'){|file| logs = file.readlines}
-    end
-    now = Time.now
-    if !logs.empty?
-      ind = get_ind_log_from_now_minus_one_second(logs, now)
-      puts ind
-      logs = ind ? logs[0..ind] : ""
-      File.open(from_time_file, 'w'){|file| file.write now}
-      logs = logs.join("")
-    end
-    logs
-  end
-end