log_checker 0.0.0

data/.gitignore

@@ -0,0 +1,18 @@
+*.gem
+*.rbc
+.bundle
+.config
+coverage
+InstalledFiles
+lib/bundler/man
+pkg
+rdoc
+spec/reports
+test/tmp
+test/version_tmp
+tmp
+
+# YARD artifacts
+.yardoc
+_yardoc
+doc/

data/README.md

@@ -0,0 +1,156 @@
+# log file checker
+
+## 基本方針
+
+* 1.8.7〜2.0.0対応
+* 前回最終確認ポイントの保持
+* ファイルサイズが前回最終確認ポイントより小さい場合、ファイルがローテートされたと判断、はじめから実行する
+* 条件には「文字列」「正規表現」の二つが使える
+* 条件は可変で複数設定可能 
+* メソッドを同一名で複数回コールするのもOK
+
+## オプション
+
+```
+-t --test     各ファイル 先頭から1Mをパースする（前回実行ポインタを動かさない、出力は強制で標準出力になる）
+-a --all      すべてのデータをパースする（前回実行ポインタを動かさない、出力は強制で標準出力になる）
+   --no-email 上記オプションと対で使う。email設定していても送信しない
+```
+
+## 機能
+
+### 問題行レポート
+
+基本はホワイトリスト。下記のアルゴリズムで抽出された行をまとめてレポート
+
+* white(*args) : ホワイトリストを設定する。条件ヒットした行は抽出されない
+* black(*args) : ブラックリスト。もしその条件がヒットした場合はホワイトリスト条件によって抽出対象外となっていたとしても抽出される
+* 抽出行がない場合は「(no problem lines)」、 そもそも対象データがない（ファイルサイズが増えてない等）は「(file not changed)」
+
+### サマリーレポート
+
+条件を作成してそれにヒットしたもののカウント、合計等を出力する
+
+* count(:name,*args) : 条件にヒットした回数をカウントする（同一行で複数回ヒットした場合は1回扱い）
+* sum(:name, *args) : 条件にヒットしたものの$1を数字として合計する（同一行に複数回同一パターンが出てきた場合は頭のみ）
+* gcount(:name,*args) : countの同一行複数回バージョン
+* gsum(:name, *args) : sumの同一行複数回バージョン
+
+
+## 設定ファイル（DSL）
+
+```
+# メールでレポートを送信する
+email do
+  # 送信先
+  to   "paco.jp@gmail.com", "someone@example.com"
+
+  # 送信元
+  from "report@examplecom"
+
+  # メールの件名（レポートの一行目） 置換文字列が使える 
+  # 下記だと%all_sizeで全ログ中の問題行の行数を置換する
+  subject "logfile report(error:%all_size)" 
+end
+
+# 最終確認状況の保持ファイルのパス設定
+# 未設定の場合は「実行DSLファイル名 - 拡張子 + .dat」
+datfile "/tmp/logcheck_points.dat"
+
+# 結果出力
+# 未設定の場合は標準出力
+# out "/tmp/logcheck_points.log"
+
+# fileブロックで対象ファイルを設定します
+# 問題行レポートのみサンプル
+file "/tmp/batch.log" do
+  name  "batch log"
+  white /\[INFO.*?\]/
+  while 'NO_PROBLEM'
+  black 'ERR','CRITICAL' # 可変引数
+  black 'FATAL'
+end
+
+# 問題行レポートはいらないサンプル
+file "/tmp/report.log" do
+  name   "report log"
+  gcount "yes count", "YES"
+end
+
+# まぜまぜサンプル
+file "/tmp/money_api.log" do
+  name  "api log"
+
+  # whiteを指定すると問題行リポートが作成されます
+  white /\[INFO.*?\]/, 'NO_PROBLEM'
+  black 'ERR','CRITICAL'
+  black 'FATAL' # 複数行に分けてもOK
+
+  # 実行回数と成功回数をとっておく
+  count "process count",   'start subscribe with'
+  count "succeeded count", /\[\d+\] succeeded/
+
+  # 入金レコードをカウント＆サマリーしておく
+  count "paid count",   /paid:\d+\.\d+/
+  sum   "paid summary", /paid:(\d+\.\d+)/
+end
+
+=begin
+
+# 件名で使用可能な置換文字列例
+
+# 問題行リポートのトータル行数（ログが複数あれば総計）（予約置換文字列）
+%all_size
+ 
+# filenameで指定したログファイルの問題行リポートのトータル行数 "%size_" + name
+%size_api_log 
+
+# 上で設定したcount:"process count" "%count_" + name
+%count_process_count 
+
+# 上で設定したsum:"paid summary" "%sum_" + name
+%sum_paid_summary 
+
+# 上で設定したsum:"yes count" "%gcount_" + name
+%gcount_yes_count
+
+=end
+
+```
+
+レポートサンプル
+
+```
+logfile report(error:5)
+
+############################################################
+####                 /tmp/batch.log                     ####
+############################################################
+file: /tmp/batch.log
+--------- lines you need to check ---------
+(no problem lines)
+
+############################################################
+####                     report log                     ####
+############################################################
+name: report log
+file: /tmp/report.log
+yes_count: 14
+
+############################################################
+####                      api log                       ####
+############################################################
+name: api log
+file: /tmp/money_api.log)
+process count: 100
+succeeded count: 120
+paid count: 13
+paid summary: 2460.23
+--------- lines you need to check ---------
+some line you have to check hogehogehogehogehogehogehogehoge hogehogehogehogehogehogehogehoge
+some line you have to check hogehogehogehogehogehogehogehoge hogehogehogehogehogehogehogehoge
+some line you have to check hogehogehogehogehogehogehogehoge hogehogehogehogehogehogehogehoge
+some line you have to check hogehogehogehogehogehogehogehoge hogehogehogehogehogehogehogehoge
+some line you have to check hogehogehogehogehogehogehogehoge hogehogehogehogehogehogehogehoge
+
+```

data/Rakefile

@@ -0,0 +1 @@
+require "bundler/gem_tasks"

data/lib/log_checker/version.rb

@@ -0,0 +1,3 @@
+module LogChecker
+  VERSION = "0.0.0"
+end

data/log_checker.gemspec

@@ -0,0 +1,26 @@
+# -*- encoding: utf-8 -*-
+$:.push File.expand_path("../lib", __FILE__)
+require "log_checker/version"
+
+Gem::Specification.new do |s|
+  s.name        = "log_checker"
+  s.version     = LogChecker::VERSION
+  s.authors     = ["pacojp"]
+  s.email       = ["paco.jp@gmail.com"]
+  s.homepage    = ""
+  s.summary     = %q{ckeck logfile with white list(and more)}
+  s.description = %q{check logfile with white list(and more)}
+  s.rubyforge_project = "log_checker"
+
+  #s.add_dependency "batchbase",["0.0.4"]
+  #s.add_dependency "net-scp"
+
+  s.files         = `git ls-files`.split("\n")
+  s.test_files    = `git ls-files -- {test,spec,features}/*`.split("\n")
+  s.executables   = `git ls-files -- bin/*`.split("\n").map{ |f| File.basename(f) }
+  s.require_paths = ["lib"]
+
+  # specify any dependencies here; for example:
+  # s.add_development_dependency "rspec"
+  # s.add_runtime_dependency "rest-client"
+end

metadata

@@ -0,0 +1,50 @@
+--- !ruby/object:Gem::Specification
+name: log_checker
+version: !ruby/object:Gem::Version
+  version: 0.0.0
+  prerelease: 
+platform: ruby
+authors:
+- pacojp
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2013-04-15 00:00:00.000000000 Z
+dependencies: []
+description: check logfile with white list(and more)
+email:
+- paco.jp@gmail.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- .gitignore
+- README.md
+- Rakefile
+- lib/log_checker/version.rb
+- log_checker.gemspec
+homepage: ''
+licenses: []
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: log_checker
+rubygems_version: 1.8.23
+signing_key: 
+specification_version: 3
+summary: ckeck logfile with white list(and more)
+test_files: []