magellan-log-funnel 1.1.0 → 1.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA1:
-  metadata.gz: c10cb12e8f780943e7fc6743276b935339165cc8
-  data.tar.gz: 7711739985ccf9e48a3152009aa86df2edf293be
+SHA256:
+  metadata.gz: 8ba4aa26ed4f28020b44558d4a9b9aebb8ea2693fef7011634206bb49e027333
+  data.tar.gz: bd4800ceb493f251df099fb230b8c95f8c674260699b7f0e8f854b57260b9c87
 SHA512:
-  metadata.gz: c029faddb6a24180f423f41d9d1b6fee7fe09451ddf872f5843b4d4ccd9d77ca4632d8ddbd4eb9d9dafe05e6fceab4b695b541bbc59a35d734a04a2ff4473df6
-  data.tar.gz: 17a533b02c8d89a99afa5d8615c3759929e072fa528e2c8b66ffef302d06ba82f95648e3573c0d3850ed123731d7e42beb270f4c1d6fabd130e6cb8f045031b5
+  metadata.gz: 0daf4374a8e920c6b15d8ba779ace279f692bd64adfa6b0de6036762f7a9a441c5805da247f790207df81b95ef81457df81cefcce10ec18c4fc2af04940e98c1
+  data.tar.gz: cef2f2d522abf28c7d5a147e3c89a9a8df7c07666cd59080f7d4b5cc3e8606a851f805506c572406241dda76f6f4573ae5cd36cf3360040c274c57178b2ff6df

data/.gitignore

@@ -1,2 +1,4 @@
 /.bundle/
 /vendor/bundle
+/pkg/
+.env*

data/.jenkins/gcscache.groovy

@@ -0,0 +1,165 @@
+import groovy.transform.Field
+
+// ビルドキャッシュ用のバケット
+// https://console.cloud.google.com/storage/browser/magellan-ci-jenkins-cache?project=magellan-ci&organizationId=77670238700
+@Field def bucket_name = 'magellan-ci-jenkins-cache'
+
+def cache_dir(){
+  // gcsfuse でマウントされた GCS バケットの、Jenkins のジョブごとに分けられたディレクトリ。
+  // 各ジョブのキャッシュファイルはこのディレクトリ以下に置く。
+  // キャッシュファイルのフルパスは gen_cache_file() で生成する。
+  return "/gcs/${bucket_name}/jobs/${job_name()}/files"
+}
+
+def job_name(){
+  if (env.BRANCH_NAME && env.JOB_BASE_NAME) {
+    // Multi-Branch Pipeline の場合
+    // JOB_NAME には "magellan-maneuvers/xxx/features%2Fjenkins-cache-gcs" のような
+    // Jenkins の絶対プロジェクト名が入っているので、"magellan-maneuvers/xxx" を返します。
+    return env.JOB_NAME - ('/' + env.JOB_BASE_NAME)
+  } else {
+    // Multi-Branch Pipeline 以外の場合
+    // Jenkins の絶対プロジェクト名をそのまま返します。
+    return env.JOB_NAME
+  }
+}
+
+// キャッシュファイルのフルパスを返す
+def gen_cache_file(Map params = [:]){
+  def prefix   = params.prefix
+  def lockfile = params.lockfile
+  def suffix   = params.suffix   ?: 'tar.gz'
+
+  if (lockfile){
+    def checksum = sha1(lockfile)
+    return "${cache_dir()}/${prefix}_${checksum}.${suffix}"
+  } else {
+    return "${cache_dir()}/${prefix}.${suffix}"
+  }
+}
+
+def cache_exist(cache_file){
+  // gcsfuse 経由でファイルを作成すると、ファイルが存在するが 0 バイト、という状況がありえるので、
+  // -f ではなく -s (ファイルが存在し、かつ大きさが 0 より大きい) を使います。
+  def ret = sh(
+    script: "[ -s ${cache_file} ]",
+    returnStatus: true
+  )
+  return ret == 0
+}
+
+// (汎用) キャッシュを展開する
+def restore_cache(Map params = [:]){
+  def prefix   = params.prefix
+  def lockfile = params.lockfile
+  def suffix   = params.suffix   ?: 'tar.gz'
+
+  if (lockfile) {
+    lockfile = lockfile_in_git(lockfile)
+  }
+  def cache_file = gen_cache_file(prefix: prefix, lockfile: lockfile, suffix: suffix)
+
+  if (cache_exist(cache_file)){
+    switch(suffix){
+      case 'tar.zst':
+        // TODO: tar コマンドが zstd をサポートすると不要になる。具体的には debian-10 buster では不要になる
+        sh "zstdcat ${cache_file} | tar xf -"
+        break
+      default:
+        sh "tar xf ${cache_file}"
+    }
+  }
+}
+
+// (汎用) キャッシュを作成する
+def save_cache(Map params = [:]){
+  def prefix   = params.prefix
+  def lockfile = params.lockfile
+  def targets  = params.targets
+  def suffix   = params.suffix   ?: 'tar.gz'
+
+  if (lockfile) {
+    lockfile = lockfile_in_git(lockfile)
+  }
+  def cache_file = gen_cache_file(prefix: prefix, lockfile: lockfile, suffix: suffix)
+
+  // キャッシュが存在しない場合だけでなく、lockfile が git リポジトリに含まれていない場合もキャッシュを作成（or更新）します。
+  if (!lockfile || !cache_exist(cache_file)) {
+    // cache_file は cache_dir 直下のファイルとは限らないので、cache_file の dirname に対して mkdir します。
+    sh "mkdir -p \$(dirname ${cache_file})"
+    switch(suffix){
+      case 'tar.zst':
+        // TODO: tar コマンドが zstd をサポートすると不要になる。具体的には debian-10 buster では不要になる
+        sh "tar cf - ${targets.join(' ')} | zstd - -o ${cache_file} -f"
+        break
+      default:
+        sh "tar cf ${cache_file} -a ${targets.join(' ')}"
+    }
+  }
+}
+
+// lockfile が git リポジトリ内にあるファイルならファイル名を返し、
+// git リポジトリ内になければ null を返します。
+def lockfile_in_git(lockfile){
+  def git_ls_files = sh(
+    script: "git ls-files ${lockfile}",
+    returnStdout: true
+  ).trim()
+  return lockfile == git_ls_files ? lockfile : null
+}
+
+// bundler 用のキャッシュを展開する
+def restore_bundler_cache(Map params = [:]){
+  def prefix   = params.prefix   ?: 'bundler'
+  def lockfile = params.lockfile ?: 'Gemfile.lock'
+  def suffix   = params.suffix   ?: 'tar.gz'
+
+  prefix = "${prefix}_ruby-${ruby_api_version()}"
+
+  restore_cache(prefix: prefix, lockfile: lockfile, suffix: suffix)
+}
+
+// bundler 用のキャッシュを作成する
+def save_bundler_cache(Map params = [:]){
+  def prefix   = params.prefix   ?: 'bundler'
+  def lockfile = params.lockfile ?: 'Gemfile.lock'
+  def targets  = params.targets  ?: ['vendor/bundle']
+  def suffix   = params.suffix   ?: 'tar.gz'
+
+  prefix = "${prefix}_ruby-${ruby_api_version()}"
+
+  save_cache(prefix: prefix, lockfile: lockfile, targets: targets, suffix: suffix)
+}
+
+// Ruby の API バージョンを返します。
+def ruby_api_version(){
+  if (is_in_docker_container()){
+    // Docker コンテナ上の場合
+    return sh(
+      script: '''
+        ruby -e "puts RbConfig::CONFIG[%(ruby_version)]"
+      ''',
+      returnStdout: true
+    ).trim()
+  } else {
+    // VM 上の場合 (rbenv でインストールした ruby を使う)
+    return sh(
+      script: '''
+        bash -lc 'ruby -e "puts RbConfig::CONFIG[%(ruby_version)]"'
+      ''',
+      returnStdout: true
+    ).trim()
+  }
+}
+
+// Docker コンテナ内かどうかを判定します。
+def is_in_docker_container(){
+  // 参考: https://github.com/chef/ohai/blob/15.1.0/lib/ohai/plugins/linux/virtualization.rb#L190-L228
+  def ret = sh(
+    script: '[ -f /.dockerenv -o -f /.dockerinit ]',
+    returnStatus: true
+  )
+  return ret == 0
+}
+
+return this

data/.jenkins/slack.groovy

@@ -0,0 +1,25 @@
+def slackNotify(){
+  // BUILD_NUMBER が 1 のとき（つまり新しいブランチをpushしたとき、Pull Requestを作ったときのビルド）で、
+  // currentBuild.currentResult が SUCCESS のときは通知しない
+  if (env.BUILD_NUMBER == '1' && currentBuild.currentResult == 'SUCCESS') {
+    return
+  }
+  // https://github.com/jenkinsci/slack-plugin/issues/327
+  def durationString = currentBuild.durationString.replace(' and counting', '')
+  // Slack 通知するときのメッセージ
+  def notificationMessage = "${env.JOB_NAME} - ${currentBuild.displayName} ${currentBuild.currentResult} after ${durationString} (<${env.RUN_DISPLAY_URL}|Open>)"
+  // Slack 通知するときの色 (ref: https://api.slack.com/docs/message-attachments)
+  def notificationColor = 'warning'
+  switch(currentBuild.currentResult){
+    case 'SUCCESS':
+      notificationColor = 'good'
+      break
+    case ['FAILURE', 'UNSTABLE']:
+      notificationColor = 'danger'
+      break
+  }
+  // Slack 通知
+  slackSend color: notificationColor, message: notificationMessage
+}
+
+return this

data/Gemfile

@@ -3,5 +3,6 @@ source "https://rubygems.org/"
 gemspec
 
 group :development, :test do
-  gem "rspec", "~> 3.0.0"
+  gem "rake"
+  gem "rspec"
 end

data/Gemfile.lock

@@ -1,37 +1,38 @@
 PATH
   remote: .
   specs:
-    magellan-log-funnel (1.1.0)
-      fluent-logger (~> 0.4.9)
+    magellan-log-funnel (1.2.0)
+      fluent-logger
 
 GEM
   remote: https://rubygems.org/
   specs:
-    diff-lcs (1.2.5)
-    fluent-logger (0.4.10)
-      msgpack (>= 0.4.4, < 0.6.0, != 0.5.3, != 0.5.2, != 0.5.1, != 0.5.0)
-      yajl-ruby (~> 1.0)
-    msgpack (0.5.11)
-    rake (10.4.2)
-    rspec (3.0.0)
-      rspec-core (~> 3.0.0)
-      rspec-expectations (~> 3.0.0)
-      rspec-mocks (~> 3.0.0)
-    rspec-core (3.0.4)
-      rspec-support (~> 3.0.0)
-    rspec-expectations (3.0.4)
+    diff-lcs (1.3)
+    fluent-logger (0.8.2)
+      msgpack (>= 1.0.0, < 2)
+    msgpack (1.3.3)
+    rake (13.0.1)
+    rspec (3.9.0)
+      rspec-core (~> 3.9.0)
+      rspec-expectations (~> 3.9.0)
+      rspec-mocks (~> 3.9.0)
+    rspec-core (3.9.1)
+      rspec-support (~> 3.9.1)
+    rspec-expectations (3.9.0)
       diff-lcs (>= 1.2.0, < 2.0)
-      rspec-support (~> 3.0.0)
-    rspec-mocks (3.0.4)
-      rspec-support (~> 3.0.0)
-    rspec-support (3.0.4)
-    yajl-ruby (1.2.1)
+      rspec-support (~> 3.9.0)
+    rspec-mocks (3.9.1)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.9.0)
+    rspec-support (3.9.2)
 
 PLATFORMS
   ruby
 
 DEPENDENCIES
-  bundler (~> 1.6)
   magellan-log-funnel!
-  rake (~> 10.0)
-  rspec (~> 3.0.0)
+  rake
+  rspec
+
+BUNDLED WITH
+   1.17.3

data/Jenkinsfile

@@ -0,0 +1,83 @@
+def slack
+def gcscache
+
+pipeline {
+  agent none
+  options {
+    // 古いビルドを破棄 (daysToKeepStr: ビルドの保存日数, numToKeepStr: ビルドの保存最大数)
+    buildDiscarder(logRotator(numToKeepStr: '30'))
+  }
+  stages {
+    stage('load groovy scripts'){
+      agent any
+      steps {
+        script {
+          slack = load('.jenkins/slack.groovy')
+          gcscache = load('.jenkins/gcscache.groovy')
+        }
+      }
+    }
+    stage('test') {
+      agent {
+        // docker でテストするしDBは使わないので、ビルド環境は unittest でも functest でもいい
+        docker {
+          image 'ruby:2.4'
+          label 'unittest||functest'
+          args "-v ${gcscache.cache_dir()}:${gcscache.cache_dir()}"
+        }
+      }
+      environment {
+        // docker を使うと HOME=/ になって、bundler が以下の警告を出すので対策
+        //   `/` is not writable.
+        //   Bundler will use `/tmp/bundler/home/unknown' as your home directory temporarily.
+        HOME = "${env.WORKSPACE}"
+      }
+      steps {
+        // ビルド環境の確認
+        sh '''
+          export -p
+          gem env
+          bundle --version
+        '''
+
+        sh 'rm -rf vendor/bundle'
+
+        script {
+          // GCS から vendor/bundle を展開
+          gcscache.restore_bundler_cache()
+        }
+
+        // bundle install
+        sh '''
+          bundle check --path=vendor/bundle || \
+            bundle install --jobs=4 --deployment --path=vendor/bundle
+          bundle config
+          bundle show --paths
+        '''
+
+        script {
+          // GCS 上に vendor/bundle を格納
+          gcscache.save_bundler_cache()
+        }
+
+        // テスト
+        sh 'bundle exec rake spec'
+      }
+      post {
+        cleanup {
+          cleanWs()
+        }
+      }
+    }
+  }
+  post {
+    changed {
+      // Slack にビルド結果を通知
+      script {
+        slack.slackNotify()
+      }
+    }
+  }
+}
+
+/* vim:set ft=groovy: */

data/lib/magellan/log_funnel/version.rb

@@ -1,5 +1,5 @@
 module Magellan
   class LogFunnel
-    VERSION = "1.1.0"
+    VERSION = "1.2.0"
   end
 end

data/magellan-log-funnel.gemspec

@@ -19,9 +19,5 @@ Gem::Specification.new do |spec|
   spec.test_files    = spec.files.grep(%r{^(test|spec|features)/})
   spec.require_paths = ["lib"]
 
-  spec.add_runtime_dependency "fluent-logger", "~> 0.4.9"
-
-  spec.add_development_dependency "bundler", "~> 1.6"
-  spec.add_development_dependency "rake", "~> 10.0"
-  spec.add_development_dependency "rspec"
+  spec.add_runtime_dependency "fluent-logger"
 end

metadata

@@ -1,65 +1,23 @@
 --- !ruby/object:Gem::Specification
 name: magellan-log-funnel
 version: !ruby/object:Gem::Version
-  version: 1.1.0
+  version: 1.2.0
 platform: ruby
 authors:
 - t-chikanaga
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2015-03-02 00:00:00.000000000 Z
+date: 2020-02-07 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: fluent-logger
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: 0.4.9
-  type: :runtime
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: 0.4.9
-- !ruby/object:Gem::Dependency
-  name: bundler
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: '1.6'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: '1.6'
-- !ruby/object:Gem::Dependency
-  name: rake
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: '10.0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: '10.0'
-- !ruby/object:Gem::Dependency
-  name: rspec
   requirement: !ruby/object:Gem::Requirement
     requirements:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-  type: :development
+  type: :runtime
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
@@ -75,8 +33,11 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- ".jenkins/gcscache.groovy"
+- ".jenkins/slack.groovy"
 - Gemfile
 - Gemfile.lock
+- Jenkinsfile
 - LICENSE.txt
 - README.md
 - Rakefile
@@ -106,8 +67,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubyforge_project: 
-rubygems_version: 2.4.6
+rubygems_version: 3.1.2
 signing_key: 
 specification_version: 4
 summary: log collector for magellanic cloud service.