sarchive 0.1.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: c6d915b44941ebe7212bc72c45c0a0dc202f8bff
+  data.tar.gz: 1fb2f83e843282b2c74cfae79cff65bc553efbdc
+SHA512:
+  metadata.gz: 54e5a22d166d5bafd6208279d18f037f818e9d5579f9b4c7ee2117c88c3e2c5071ff1a40c2116acec460fcc09f1e21b8cbdd54965410963f4b0890cdc0f38d65
+  data.tar.gz: 3db44f98cf39afbda4edc9cbdf50fddd95053df52e050199447420922e8ca96e8f917a3432228fb705f811577601b5a32db251c03e7bf823132a0bebc7de599c

data/.gitignore

@@ -0,0 +1,65 @@
+# Created by https://www.gitignore.io
+
+### Intellij ###
+# Covers JetBrains IDEs: IntelliJ, RubyMine, PhpStorm, AppCode, PyCharm
+
+*.iml
+
+## Directory-based project format:
+.idea/
+# if you remove the above rule, at least ignore the following:
+
+# User-specific stuff:
+# .idea/workspace.xml
+# .idea/tasks.xml
+# .idea/dictionaries
+
+# Sensitive or high-churn files:
+# .idea/dataSources.ids
+# .idea/dataSources.xml
+# .idea/sqlDataSources.xml
+# .idea/dynamic.xml
+# .idea/uiDesigner.xml
+
+# Gradle:
+# .idea/gradle.xml
+# .idea/libraries
+
+# Mongo Explorer plugin:
+# .idea/mongoSettings.xml
+
+## File-based project format:
+*.ipr
+*.iws
+
+## Plugin-specific files:
+
+# IntelliJ
+/out/
+
+# mpeltonen/sbt-idea plugin
+.idea_modules/
+
+# JIRA plugin
+atlassian-ide-plugin.xml
+
+# Crashlytics plugin (for Android Studio and IntelliJ)
+com_crashlytics_export_strings.xml
+crashlytics.properties
+crashlytics-build.properties
+
+# bundle gem
+/.bundle/
+/.yardoc
+/Gemfile.lock
+/_yardoc/
+/coverage/
+/doc/
+/pkg/
+/spec/reports/
+/tmp/
+/vender/
+
+# sarchive
+sarchive.config.yml
+/log

data/.rspec

@@ -0,0 +1,2 @@
+--format documentation
+--color

data/.travis.yml

@@ -0,0 +1,3 @@
+language: ruby
+rvm:
+  - 2.1.5

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in sarchive.gemspec
+gemspec

data/README.md

@@ -0,0 +1,60 @@
+Sarchive
+==========
+「さくらのクラウド」のアーカイブ作成を簡単にコンソールから実行するためのgemです。
+
+## 説明
+このgemを使用することにより、コンソールから簡単に複数のディスクのアーカイブを作成できます。
+また、アーカイブ作成時に古いアーカイブの削除を同時に行うことも可能です。  
+cronで定期的に実行するように設定することで、面倒なバックアップ作業を自動化できます。
+
+## インストール
+    gem install sarchive
+    
+## 基本的な使い方
+1. 設定ファイルの生成
+
+        sarchive init [--path] (</path/to/config/sarchive.config.yml>)
+デフォルトではカレントディレクトリに`sarchive.config.yml`を生成します。  
+生成先を変更する場合は`--path`オプションでパスを指定してください。
+
+2. 設定ファイルの編集  
+実行に必要となるAPIキーや、アーカイブ作成対象のディスクを指定してください。
+
+        token:   # コンパネで作成したAPIキーのaccess-tokenを指定してください
+        secret:  # コンパネで作成したAPIキーのaccess-token-secretを指定してください
+        disks:
+          tk1v:  # 対象のゾーン名 (tk1a: 東京第1, is1a: 石狩第1, is1b: 石狩第2, tk1v: Sandbox)
+            - 999999999999 # 対象ディスクのID
+            - 999999999999 # 複数指定可
+    
+3. 実行
+
+        sarchive exec [--path] (</path/to/config/sarchive.config.yml>)
+デフォルトではカレントディレクトリの`sarchive.config.yml`をもとに実行します。  
+読み込む設定ファイルを変更する場合は、`--path`オプションでパスを指定してください。
+
+## その他の機能
+### アーカイブ自動削除
+アーカイブ作成と同時に古いアーカイブを削除することができます。  
+以下のように設定ファイルを編集してください。
+
+    auto_delete:
+    enable: true  # trueを指定し自動削除を有効にしてください
+    store:        # 何を基準にアーカイブを削除するかの設定です。counts, hoursのどちらか一方を指定してください
+      # counts: 3
+      # hours : 72
+
+- `counts`  
+数を基準に削除を行います。仮に3を指定した場合、新しい順に3個残して4つ目以降を削除します。  
+- `hours`  
+経過時間を基準に削除を行います。仮に72を指定した場合、作成から72時間より多く経過しているものを削除します。
+
+## 注意事項
+プロダクション環境で利用する前に[Sandbox](http://cloud-news.sakura.ad.jp/sandbox/)でテストすることを推奨します。  
+本プログラムを使用して損害が発生した場合も、本プログラム作成者は一切の責任を負いません。
+
+## TODO
+- 実行結果のSlack通知機能
+
+## Licence
+MIT

data/Rakefile

@@ -0,0 +1 @@
+require "bundler/gem_tasks"

data/bin/console

@@ -0,0 +1,14 @@
+#!/usr/bin/env ruby
+
+require "bundler/setup"
+require "sarchive"
+
+# You can add fixtures and/or initialization code here to make experimenting
+# with your gem easier. You can also use a different console, if you like.
+
+# (If you use this, don't forget to add pry to your Gemfile!)
+# require "pry"
+# Pry.start
+
+require "irb"
+IRB.start

data/bin/setup

@@ -0,0 +1,7 @@
+#!/bin/bash
+set -euo pipefail
+IFS=$'\n\t'
+
+bundle install
+
+# Do any other automated setup that you need to do here

data/exe/sarchive

@@ -0,0 +1,5 @@
+#!/usr/bin/env ruby
+
+require "sarchive"
+
+Sarchive::CLI.start

data/lib/sarchive.rb

@@ -0,0 +1,6 @@
+require "sarchive/version"
+require "sarchive/cli"
+
+module Sarchive
+  # Your code goes here...
+end

data/lib/sarchive/cli.rb

@@ -0,0 +1,192 @@
+require 'sarchive'
+require 'sarchive/sacloud'
+require 'sarchive/plogger'
+require 'thor'
+require 'yaml'
+
+module Sarchive
+  class CLI < Thor
+
+    desc 'init', '設定ファイルを作成します'
+    option :path, :type => :string, :default => './sarchive.config.yml', :banner => '作成する設定ファイルのパス'
+    def init()
+      dest = File.expand_path(options[:path])
+
+      STDOUT.puts('設定ファイルを作成します')
+
+      operation = 'create'
+
+      if File.exist?(dest)
+        STDOUT.puts('すでに設定ファイルが存在します。上書きしますか？(y/n)')
+        input = STDIN.gets.chomp
+
+        case input
+          when /^y(es)?$/i
+            operation = 'overwrite'
+          else
+            operation = 'skip'
+        end
+      end
+
+      STDOUT.puts("[#{operation}] #{dest}")
+
+      unless operation == 'skip'
+        FileUtils.cp(File.expand_path('../sarchive.config.yml.example', __FILE__), dest)
+      end
+
+      exit(true)
+    end
+
+    desc 'exec', 'ディスクのアーカイブを作成します'
+    option :path, :type => :string, :default => './sarchive.config.yml', :banner => '読み込む設定ファイルのパス'
+    def exec()
+      unless File.exist?(options[:path])
+        STDERR.puts('設定ファイルが存在しません')
+        exit(false) # ログ出力できないのでここで終了する
+      end
+
+      config       = YAML.load_file(options[:path])
+      token        = config['token']
+      secret       = config['secret']
+      disks        = config['disks']
+      auto_delete  = config['auto_delete']
+      log_path     = config['log_path'] ? config['log_path'] : './log/sarchive.log'
+      err_log_path = config['err_log_path'] ? config['err_log_path'] : './log/sarchive.err.log'
+
+      logger      = PLogger.new(File.expand_path(log_path), File.expand_path(err_log_path))
+
+      logger.info("Sarchive start.")
+
+      unless token and secret
+        fail('設定ファイルエラー: tokenまたはsecretが設定されていません')
+      end
+
+      if auto_delete['enable']
+
+        counts = auto_delete['store']['counts']
+        hours  = auto_delete['store']['hours']
+
+        if counts
+          unless counts.is_a?(Integer) and 0 < counts
+            fail('設定ファイルエラー: countsには正の整数を指定してください')
+          end
+        end
+
+        if hours
+          unless hours.is_a?(Integer) and 0 < hours
+            fail('設定ファイルエラー: hoursには正の整数を指定してください')
+          end
+        end
+
+        if counts and hours
+          fail('設定ファイルエラー: auto_deleteのcountsとhoursはどちらか一方のみを指定してください')
+        end
+      end
+
+      sacloud = Sarchive::Sacloud.new(token, secret, logger)
+
+      disks.each do |zone, disk_ids|
+
+        unless disk_ids
+          next
+        end
+
+        sacloud.set_zone(zone)
+
+        disk_ids.each do |disk_id|
+
+          logger.info("Target zone=[#{zone}] disk_id=[#{disk_id}]")
+
+          # 作成パート
+          logger.info("Making...")
+          archive = sacloud.create_archive(disk_id)
+
+          unless archive
+            logger.error("Making failed. disk_id=[#{disk_id}]")
+            next
+          end
+
+          logger.info("Making success! archive_id=[#{archive.id}]")
+
+          # 削除パート
+          if auto_delete['enable']
+            archives = sacloud.find_stored_archives(disk_id)
+
+            items = []
+            archives.each do |a|
+              a.description.match(/(\d{4})\-(\d{2})-(\d{2}) (\d{2}):(\d{2}):(\d{2})/) do |m|
+                items.push({ :archive => a, :created_at => m[1] + m[2] + m[3] + m[4] + m[5] + m[6] })
+              end
+            end
+
+            sorted_items = items.sort do |a, b|
+              a[:created_at] <=> b[:created_at]
+            end
+
+            counts = auto_delete['store']['counts']
+            hours  = auto_delete['store']['hours']
+
+            if counts
+
+              logger.info("Removing... threshold_counts=[#{counts}]")
+
+              if counts < sorted_items.length
+                (sorted_items.length - counts).times do |i|
+                  ret = sacloud.delete_archive(sorted_items[i][:archive].id)
+
+                  if ret
+                    logger.info("Removing success! archive_id=[#{sorted_items[i][:archive].id}]")
+                  else
+                    logger.error("Removing failed. archive_id=[#{sorted_items[i][:archive].id}]")
+                  end
+                end
+              else
+                logger.info("A target doesn't exist.")
+              end
+
+            elsif hours
+
+              logger.info("Removing... threshold_hours=[#{hours}]")
+
+              target_items = []
+              sorted_items.each do |a|
+                at = a[:created_at]
+                time = Time.local(at[0, 4], at[4, 2], at[6, 2], at[8, 2], at[10, 2], at[12, 2])
+
+                # 秒に換算し加算
+                time += hours * 60 * 60
+
+                if time < Time.now
+                  target_items.push(a)
+                end
+              end
+
+              if target_items.empty?
+                logger.info("A target doesn't exist.")
+              end
+
+              target_items.each do |a|
+                ret = sacloud.delete_archive(a[:archive].id)
+
+                if ret
+                  logger.info("Removing success! archive_id=[#{a[:archive].id}]")
+                else
+                  logger.error("Removing failed. archive_id=[#{a[:archive].id}]")
+                end
+              end
+            end
+          end
+        end
+      end
+
+      logger.info("Sarchive normal end.")
+      exit(true)
+
+    rescue => e
+      logger.error(e.message)
+      logger.info("Sarchive abnormal end.")
+      exit(false)
+    end
+  end
+
+end

data/lib/sarchive/plogger.rb

@@ -0,0 +1,31 @@
+require 'logger'
+require 'fileutils'
+
+class PLogger
+
+  def initialize(log_path, err_log_path)
+    FileUtils.mkdir_p(File::dirname(log_path))
+    FileUtils.mkdir_p(File::dirname(err_log_path))
+
+    @stdout = Logger.new STDOUT
+    @stderr = Logger.new STDERR
+    @log    = Logger.new(log_path, 'monthly')
+    @elog   = Logger.new(err_log_path, 'monthly')
+  end
+
+  %w(debug info warn).each do |level|
+    define_method(level) do |*args|
+      [@stdout, @log].all? do |output|
+        output.send level, *args
+      end
+    end
+  end
+
+  %w(error fatal).each do |level|
+    define_method(level) do |*args|
+      [@stderr, @log, @elog].all? do |output|
+        output.send level, *args
+      end
+    end
+  end
+end

data/lib/sarchive/sacloud.rb

@@ -0,0 +1,73 @@
+require 'saklient/cloud/api'
+
+module Sarchive
+  class Sacloud
+
+    def initialize(token, secret, logger)
+      @sarchive_tag = 'sarchive_'
+      @api          = Saklient::Cloud::API::authorize(token, secret)
+      @logger       = logger
+    end
+
+    def set_zone(zone)
+      @api = @api.in_zone(zone)
+    end
+
+    def create_archive(disk_id)
+
+      disk = get_disk(disk_id)
+
+      unless disk
+        fail("対象のディスク[id=#{disk_id}]が見つかりません。アーカイブの作成をスキップします")
+      end
+
+      created_at          = Time.now.strftime("%Y-%m-%d %H:%M:%S")
+      archive             = @api.archive.create
+      archive.name        = disk.name
+      archive.description = "Created by sarchive at #{created_at}"
+      archive.tags        = [@sarchive_tag]
+      archive.source      = disk
+      archive.save
+
+      unless archive.sleep_while_copying
+        fail("ディスク[id=#{disk.id}, name=#{disk.name}]からアーカイブへのコピーがタイムアウトまたは失敗しました。コントロールパネルでステータスを確認してください")
+      end
+
+      archive
+
+    rescue => e
+      @logger.error(e.message)
+      nil
+    end
+
+    def delete_archive(disk_id)
+      archive = @api.archive.get_by_id(disk_id.to_s) rescue nil
+
+      unless archive
+        fail("削除対象のアーカイブ[id=#{disk_id}]が見つかりません。アーカイブの削除をスキップします")
+      end
+
+      archive.destroy
+      archive
+
+    rescue => e
+      @logger.error(e.message)
+      nil
+    end
+
+    def find_stored_archives(disk_id)
+      @api.archive.
+          filter_by('SourceDisk.ID', disk_id.to_s).
+          with_tag(@sarchive_tag).
+          find
+    rescue
+      nil
+    end
+
+    private
+
+    def get_disk(disk_id)
+      @api.disk.get_by_id(disk_id.to_s) rescue nil
+    end
+  end
+end

data/lib/sarchive/sarchive.config.yml.example

@@ -0,0 +1,40 @@
+# Sarchive設定ファイル
+#
+# [APIキー]
+# token : コンパネで作成したAPIキーのaccess-tokenを指定してください
+# secret: コンパネで作成したAPIキーのaccess-token-secretを指定してください
+#
+# [ターゲットディスク]
+# disks:        アーカイブを作成したい対象ディスクの設定です
+#   tk1v:         対象のゾーン名称をキーにします(tk1a, is1a, is1b, tk1v)
+#     - 999...      対象のディスクのIDを指定します
+#
+# [アーカイブ自動削除]
+# auto_delete: アーカイブ作成と同時に古いアーカイブを削除するアーカイブ自動削除の設定です
+#   enable:      自動削除を有効にする場合はtrueを指定してください
+#   store :      何を基準にアーカイブを削除するかの設定です。counts, hoursのどちらか一方を指定してください
+#     counts:      数を基準に削除を行います。仮に3を指定した場合、3個残して4つ目以降を削除します
+#     hours :      経過時間を基準に削除を行います。仮に72を指定した場合、作成から72時間より多く経過しているものを削除します
+#
+# [ログ出力先]
+# log_path    : ログの出力先を指定してください。相対パスを指定する場合、実行場所が基準となります
+# err_log_path: エラーログの出力先を指定してください。相対パスを指定する場合、実行場所が基準となります
+
+token:
+secret:
+disks:
+  tk1v: # Sandboxゾーン
+    - 999999999999
+    - 999999999999
+  tk1a: # 東京第１ゾーン
+  is1a: # 石狩第１ゾーン
+  is1b: # 石狩第２ゾーン
+
+auto_delete:
+  enable: false
+  store:
+    # counts: 3
+    # hours : 72
+
+log_path: ./log/sarchive.log
+err_log_path: ./log/sarchive.err.log

data/lib/sarchive/version.rb

@@ -0,0 +1,3 @@
+module Sarchive
+  VERSION = "0.1.0"
+end

data/sarchive.gemspec

@@ -0,0 +1,31 @@
+# coding: utf-8
+lib = File.expand_path('../lib', __FILE__)
+$LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
+require 'sarchive/version'
+
+Gem::Specification.new do |spec|
+  spec.name          = "sarchive"
+  spec.version       = Sarchive::VERSION
+  spec.licenses      = ["MIT"]
+  spec.authors       = ["hogesuke"]
+  spec.email         = ["miyado@gmail.com"]
+
+  spec.summary       = "「さくらのクラウド」のアーカイブ作成を簡単にコンソールから実行するためのgemです"
+  spec.description   = "このgemを使用することにより、コンソールから簡単に複数のディスクのアーカイブを作成できます。また、アーカイブ作成時に古いアーカイブの削除を同時に行うことも可能です。cronで定期的に実行するように設定することで、面倒なバックアップ作業を自動化できます。"
+  spec.homepage      = "https://github.com/hogesuke/sarchive"
+
+  spec.files         = `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features)/}) }
+  spec.bindir        = "exe"
+  spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
+  spec.require_paths = ["lib"]
+
+  if spec.respond_to?(:metadata)
+    spec.metadata['allowed_push_host'] = "https://rubygems.org"
+  end
+
+  spec.add_development_dependency "bundler", "~> 1.9"
+  spec.add_development_dependency "rake", "~> 10.0"
+
+  spec.add_dependency "thor"
+  spec.add_dependency "saklient", "~> 0.0.2.8"
+end

metadata

@@ -0,0 +1,118 @@
+--- !ruby/object:Gem::Specification
+name: sarchive
+version: !ruby/object:Gem::Version
+  version: 0.1.0
+platform: ruby
+authors:
+- hogesuke
+autorequire: 
+bindir: exe
+cert_chain: []
+date: 2015-05-31 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: bundler
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1.9'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1.9'
+- !ruby/object:Gem::Dependency
+  name: rake
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '10.0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '10.0'
+- !ruby/object:Gem::Dependency
+  name: thor
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+- !ruby/object:Gem::Dependency
+  name: saklient
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 0.0.2.8
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: 0.0.2.8
+description: "このgemを使用することにより、コンソールから簡単に複数のディスクのアーカイブを作成できます。また、アーカイブ作成時に古いアーカイブの削除を同時に行うことも可能です。cronで定期的に実行するように設定することで、面倒なバックアップ作業を自動化できます。"
+email:
+- miyado@gmail.com
+executables:
+- sarchive
+extensions: []
+extra_rdoc_files: []
+files:
+- ".gitignore"
+- ".rspec"
+- ".travis.yml"
+- Gemfile
+- README.md
+- Rakefile
+- bin/console
+- bin/setup
+- exe/sarchive
+- lib/sarchive.rb
+- lib/sarchive/cli.rb
+- lib/sarchive/plogger.rb
+- lib/sarchive/sacloud.rb
+- lib/sarchive/sarchive.config.yml.example
+- lib/sarchive/version.rb
+- sarchive.gemspec
+homepage: https://github.com/hogesuke/sarchive
+licenses:
+- MIT
+metadata:
+  allowed_push_host: https://rubygems.org
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.2.2
+signing_key: 
+specification_version: 4
+summary: "「さくらのクラウド」のアーカイブ作成を簡単にコンソールから実行するためのgemです"
+test_files: []