cfndk 0.1.1 → 0.1.3

data/README.md

@@ -1,6 +1,7 @@
 # AWS CloudFormation Development Kit
 
 This is easy operation/integration support tool for AWS CloudFormation.
+This tool drives DevOps and Infrastructure as Code.
 
 [![CircleCI](https://circleci.com/gh/Amakata/cfndk/tree/master.svg?style=svg)](https://circleci.com/gh/Amakata/cfndk/tree/master)
 
@@ -18,18 +19,19 @@ kumogata, SparkleFormation, CoffeeFormation など、CloudFormationのテンプ
 * CloudFormationでバージョンコントロールシステムと連動した継続的インテグレーションのための基盤対応
 * Keypairの作成/削除
 * コマンド、サブコマンド、冪統性を考慮したコマンドライン体系、オプションの整理、ヘルプの追加
-* チェンジセットの作成/実行/削除/レポート(experimental)
+* チェンジセットの作成/実行/削除/レポート
 * Keypair/スタック毎のregionのサポート
 * 512000バイト以上の大きなテンプレートファイルの場合に自動的にS3にテンプレートファイルをアップロードして処理する機能
+* aws cloudformation package相当の機能(nested templateやlambda functionの自動アップロード) (experimental)
 * cfndk全体での共通設定
 
-## インストール
+## Install
 
 ```
 $ gem install cfndk
 ```
 
-## 使い方
+## Usage
 
 ```
 $ mkdir cfn-project
@@ -42,7 +44,7 @@ $ cfndk report
 $ cfndk destroy -f
 ```
 
-## Credentials設定
+## Credentials configuration
 
 次の順番でCredentialsを評価して最初に有効なCredentialsを使用します。
 
@@ -57,7 +59,7 @@ $ cfndk destroy -f
 4. EC2/ECS Instance ProfileによるCredentials
    * AWS_CONTAINER_CREDENTIALS_RELATIVE_URI環境変数が設定された場合のみECSが使われます。
 
-## コマンド
+## Command
 
 ### ```init```
 
@@ -143,7 +145,7 @@ cfndk changeset help
 
 で確認できます。
 
-### 主なoption
+### option
 
 #### ```-v --verbose```
 
@@ -200,7 +202,7 @@ UUIDが指定されるとチェンジセット名に付加されます。
 他にもオプションはあります。
 詳細はコマンドヘルプを参照してください。
 
-## 環境変数
+## Environment Variables
 
 ### ```CFNDK_UUID```
 
@@ -220,6 +222,9 @@ global:
   region: ap-northeast-1
   s3_template_bucket: cfndk-templates
   timeout_in_minutes: 10
+  role_arn: arn:aws:iam::XXXXXXXXXXX:role/XXXXXXXXXXXXX
+  package: true
+  default_profile: profile_name
 keypairs:
   Key1:
     region: us-east-1
@@ -232,6 +237,7 @@ stacks:
     parameter_input: stack1/env.json
     parameters:
       VpcName: Prod<%= append_uuid %>
+    package: true
   Stack2:
     template_file: stack2/stack2.yaml 
     parameter_input: stack2/env.json
@@ -241,7 +247,7 @@ stacks:
       - CAPABILITY_IAM
       - CAPABILITY_NAMED_IAM
     depends:
-      - Stack1      
+      - Stack1
     timeout_in_minutes: 10
 ```
 
@@ -250,10 +256,17 @@ global:
   region: [String]
   s3_template_bucket: [String]
   timeout_in_minutes: [Integer]
+  package: [Boolean]
+  default_profile: [String]
+  pre_command: [String]
+  post_command: [String]
 keypairs:
   [String]:
     region: [String]
     key_file: [String]
+    enabled: [Boolean]
+    pre_command: [String]
+    post_command: [String]
 stacks:
   [String]:
     region: [String]
@@ -268,7 +281,11 @@ stacks:
     timeout_in_minutes: [Integer]
     depends:
       - [String]
-      - [String]      
+      - [String]
+    package: [Boolean]
+    enabled: [Boolean]
+    pre_command: [String]
+    post_command: [String]
 ```
 
 ### ```global:```
@@ -285,6 +302,10 @@ AWS_REGIONも指定されない場合はus-east-1を利用します。
 
 全体で利用するタイムアウト時間を分で指定します。
 
+#### role_arn
+
+利用するロールのARN
+
 #### s3_template_bucket (デフォルト: cfndk-templates)
 
 スタックのCloudFormationテンプレートファイルをアップロードするS3のバケット名を指定します。
@@ -298,6 +319,37 @@ regionはスタック毎で指定されたものを利用します。
 
 S3バケットは一日で自動的に中身のオブジェクトが削除されるように設定されます。
 
+#### package (デフォルト: false)
+
+trueを指定した場合に、
+スタックのテンプレートで、ネステッドスタックや、CloudFormationのコードがローカルパス形式で指定されている場合に
+```aws cloudformation package```
+相当の処理を行います。
+
+yaml、jsonの意図しない加工がされる可能性があるためデフォルトではfalseとなっています。
+
+例えば、```package: true```を指定して下記の様に記述すると、 ```./lambda_function``` フォルダをzipアーカイブしてS3にアップロードし、Codeを適切なS3のパスに更新します。
+
+```
+  LambdaFunction:
+    Type: AWS::Lambda::Function
+    Properties:
+      Code: ./lambda_function
+```
+
+#### default_profile
+
+default_profileで指定されたAWSプロファイルを利用してスタックを作成します。
+AWS_PROFILE環境変数が指定された場合にはAWS_PROFILE環境変数が優先して使用されます。
+
+#### pre_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の完了後に実施するコマンドを指定します。
+
 ### ```keypairs:```
 
 ```
@@ -326,6 +378,17 @@ erbの記法が利用できます。
     key_file: key/key<%= append_uuid %>.pem
 ```
 
+#### enabled　(デフォルト: true)
+
+falseを指定した場合、そのkey pairを無視します
+
+#### pre_command
+
+ker pairのcreateの処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+key pairのcreateの処理の完了後に実施するコマンドを指定します。
 
 ### ```stacks:```
 
@@ -401,6 +464,28 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
       - Stack2  
 ```
 
+#### package (デフォルト: false)
+
+trueを指定した場合に、
+スタックのテンプレートで、ネステッドスタックや、CloudFormationのコードがローカルパス形式で指定されている場合に
+```aws cloudformation package```
+相当の処理を行います。
+
+yaml、jsonの意図しない加工がされる可能性があるためデフォルトではfalseとなっています。
+
+例えば、```package: true```を指定して下記の様に記述すると、 ```./lambda_function``` フォルダをzipアーカイブしてS3にアップロードし、Codeを適切なS3のパスに更新します。
+
+```
+  LambdaFunction:
+    Type: AWS::Lambda::Function
+    Properties:
+      Code: ./lambda_function
+```
+
+#### enabled　(デフォルト: true)
+
+falseを指定した場合、そのスタックを無視します
+
 #### timeout_in_minutes
 
 スタックを作成する際などのタイムアウト時間を分で指定します。
@@ -409,6 +494,14 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
     timeout_in_minutes: 5
 ```
 
+#### pre_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の完了後に実施するコマンドを指定します。
+
 
 ### erbで使用できるメソッド
 
@@ -427,8 +520,29 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
 
     オプション```--properties```で指定したキーに対応する値を参照することができます。
 
+## Execution Environment
+
+### Vagrant
+
+Vagrantを利用してLinux環境とcfndkのインストールを行うリファレンス環境を用意しました。
+
+```
+cd vagrant
+vagrant up
+vagrant ssh
+```
+
+### Docker
+
+gemで直接インストールする代わりに、Dockerコンテナを利用して、cfndkコマンドを実行できるようにします。
+
+```
+cp docker/cfndk.sh /usr/local/bin/cfndk.sh
+chmod +x /usr/local/bin/cfndk.sh
+AWS_PROFILE=default cfndk.sh help
+```
 
-## テスト
+## Test
 
 cfndkコマンドのテストを行うことができます。
 CFNDK_COVERAGE環境変数に1を設定することで、カバレッジを取ることができます。

data/cfndk.gemspec

@@ -18,7 +18,6 @@ Gem::Specification.new do |spec|
   spec.test_files    = spec.files.grep(%r{^(test|spec|features)/})
   spec.require_paths = ['lib']
 
-  spec.add_development_dependency 'bundler'
   spec.add_development_dependency 'rake'
   spec.add_development_dependency 'rspec'
   spec.add_development_dependency 'aruba'
@@ -26,9 +25,15 @@ Gem::Specification.new do |spec|
   spec.add_development_dependency 'awspec'
   spec.add_development_dependency 'parallel_tests'
 
+  spec.add_dependency 'bundler'
   spec.add_dependency 'thor'
   spec.add_dependency 'rainbow'
-  spec.add_dependency 'aws-sdk'
+  spec.add_dependency 'rubyzip', '1.3.0'
+  spec.add_dependency 'aws-sdk-ec2'
+  spec.add_dependency 'aws-sdk-s3'
+  spec.add_dependency 'aws-sdk-cloudformation'
   spec.add_dependency 'camelizable'
   spec.add_dependency 'terminal-table'
+  spec.add_dependency 'diff-lcs'
+  spec.add_dependency 'polyfill'
 end

data/docker/Dockerfile

@@ -0,0 +1,8 @@
+FROM ruby:2.6-alpine
+
+RUN gem install bundler --version 1.14.6
+RUN gem install cfndk
+
+WORKDIR /home/cfndk
+ENTRYPOINT ["sh", "-c", "cfndk $@", ""]
+CMD ["help"]

data/docker/build.sh

@@ -0,0 +1,3 @@
+#!/bin/bash 
+
+docker build  -t cfndk:latest ./

data/docker/cfndk.sh

@@ -0,0 +1,14 @@
+#!/bin/bash
+
+WORK_DIR=`pwd`
+
+docker run \
+  -v $WORK_DIR:/home/cfndk \
+  -v $HOME/.aws:/root/.aws \
+  -e AWS_PROFILE=$AWS_PROFILE \
+  -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID \
+  -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY \
+  -e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN \
+  -w /home/cfndk \
+  -it amakata/cfndk:latest \
+  "$@"

data/lib/cfndk/change_set_command.rb

@@ -2,11 +2,12 @@ module CFnDK
   class ChangeSetCommand < Thor
     include SubcommandHelpReturnable
     include ConfigFileLoadable
+    include CredentialResolvable
 
     class_option :verbose, type: :boolean, aliases: 'v', desc: 'More verbose output.'
     class_option :color, type: :boolean, default: true, desc: 'Use colored output'
     class_option :config_path, type: :string, aliases: 'c', default: "#{Dir.getwd}/cfndk.yml", desc: 'The configuration file to use'
-    class_option :stack_names, type: :array, desc: 'Target stack names'
+    class_option :stack_names, type: :array, aliases: 's', desc: 'Target stack names'
 
     desc 'create', 'Create change set'
     option :uuid, type: :string, aliases: 'u', default: ENV['CFNDK_UUID'] || nil, desc: 'Use UUID'
@@ -15,11 +16,16 @@ module CFnDK
     def create
       CFnDK.logger.info 'create...'.color(:green)
       data = load_config_data(options)
-
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
+      global_config = CFnDK::GlobalConfig.new(data, options)
       stacks = CFnDK::Stacks.new(data, options, credentials)
+
+      global_config.pre_command_execute
+      stacks.pre_command_execute
       stacks.validate
       stacks.create_change_set
+      stacks.post_command_execute
+      global_config.post_command_execute
       return 0
     rescue => e
       CFnDK.logger.error "#{e.class}: #{e.message}".color(:red)
@@ -35,10 +41,9 @@ module CFnDK
     def execute
       CFnDK.logger.info 'execute...'.color(:green)
       data = load_config_data(options)
-
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
       stacks = CFnDK::Stacks.new(data, options, credentials)
-      stacks.validate
+
       stacks.execute_change_set
       return 0
     rescue => e
@@ -56,8 +61,8 @@ module CFnDK
     def destroy
       CFnDK.logger.info 'destroy...'.color(:green)
       data = load_config_data(options)
+      credentials = resolve_credential(data, options)
 
-      credentials = CFnDK::CredentialProviderChain.new.resolve
       stacks = CFnDK::Stacks.new(data, options, credentials)
 
       if options[:force] || yes?('Are you sure you want to destroy? (y/n)', :yellow)
@@ -82,7 +87,8 @@ module CFnDK
     def report
       CFnDK.logger.info 'report...'.color(:green)
       data = load_config_data(options)
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
+
       stacks = CFnDK::Stacks.new(data, options, credentials)
       stacks.report_change_set
       return 0

data/lib/cfndk/command.rb

@@ -2,6 +2,8 @@ module CFnDK
   class Command < Thor
     include Thor::Actions
     include ConfigFileLoadable
+    include CredentialResolvable
+
     class << self
       def exit_on_failure?
         true
@@ -44,19 +46,25 @@ module CFnDK
     option :config_path, type: :string, aliases: 'c', default: "#{Dir.getwd}/cfndk.yml", desc: 'The configuration file to use'
     option :uuid, type: :string, aliases: 'u', default: ENV['CFNDK_UUID'] || nil, desc: 'Use UUID'
     option :properties, type: :hash, aliases: 'p', default: {}, desc: 'Set property'
-    option :stack_names, type: :array, desc: 'Target stack names'
+    option :stack_names, type: :array, aliases: 's', desc: 'Target stack names'
     option :keypair_names, type: :array, desc: 'Target keypair names'
     def create
       CFnDK.logger.info 'create...'.color(:green)
       data = load_config_data(options)
-
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
+      global_config = CFnDK::GlobalConfig.new(data, options)
       stacks = CFnDK::Stacks.new(data, options, credentials)
       keypairs = CFnDK::KeyPairs.new(data, options, credentials)
 
+      global_config.pre_command_execute
+      stacks.pre_command_execute
       stacks.validate
+      keypairs.pre_command_execute
       keypairs.create
+      keypairs.post_command_execute
       stacks.create
+      stacks.post_command_execute
+      global_config.post_command_execute
       return 0
     rescue => e
       CFnDK.logger.error "#{e.class}: #{e.message}".color(:red)
@@ -73,8 +81,8 @@ module CFnDK
     def destroy
       CFnDK.logger.info 'destroy...'.color(:green)
       data = load_config_data(options)
+      credentials = resolve_credential(data, options)
 
-      credentials = CFnDK::CredentialProviderChain.new.resolve
       stacks = CFnDK::Stacks.new(data, options, credentials)
       keypairs = CFnDK::KeyPairs.new(data, options, credentials)
 
@@ -97,14 +105,14 @@ module CFnDK
     desc 'report', 'Report stack'
     option :config_path, type: :string, aliases: 'c', default: "#{Dir.getwd}/cfndk.yml", desc: 'The configuration file to use'
     option :uuid, type: :string, aliases: 'u', default: ENV['CFNDK_UUID'] || nil, desc: 'Use UUID'
-    option :stack_names, type: :array, desc: 'Target stack names'
+    option :stack_names, type: :array, aliases: 's', desc: 'Target stack names'
     option :types, type: :array, default: %w(tag output parameter resource event), desc: 'Report type'
     def report
       CFnDK.logger.info 'report...'.color(:green)
 
       data = load_config_data(options)
+      credentials = resolve_credential(data, options)
 
-      credentials = CFnDK::CredentialProviderChain.new.resolve
       stacks = CFnDK::Stacks.new(data, options, credentials)
       stacks.report
       return 0

data/lib/cfndk/credential_provider_chain.rb

@@ -1,12 +1,14 @@
 module CFnDK
   class CredentialProviderChain
-    def initialize(config = nil)
-      @config = config
+    def initialize(profile = nil)
+      @profile = profile
     end
 
     def resolve
       providers.each do |method_name, options|
-        provider = send(method_name, options.merge(config: @config))
+        CFnDK.logger.debug "resolving: #{method_name}"
+        provider = send(method_name, options)
+        CFnDK.logger.debug "resolved: #{method_name}" if provider && provider.set?
         return provider if provider && provider.set?
       end
       nil
@@ -16,30 +18,17 @@ module CFnDK
 
     def providers
       [
-        [:static_credentials, {}],
         [:env_credentials, {}],
         [:assume_role_credentials, {}],
-        [:shared_credentials, {}],
-        [:process_credentials, {}],
+        [:shared_credentials, {profile: @profile}],
         [:instance_profile_credentials, {
-          retries: @config ? @config.instance_profile_credentials_retries : 0,
-          http_open_timeout: @config ? @config.instance_profile_credentials_timeout : 1,
-          http_read_timeout: @config ? @config.instance_profile_credentials_timeout : 1,
+          retries: 0,
+          http_open_timeout: 1,
+          http_read_timeout: 1,
         }],
       ]
     end
 
-    def static_credentials(options)
-      if options[:config]
-        ::Aws::Credentials.new(
-          options[:config].access_key_id,
-          options[:config].secret_access_key,
-          options[:config].session_token)
-      else
-        nil
-      end
-    end
-
     def env_credentials(options)
       key =    %w(AWS_ACCESS_KEY_ID AMAZON_ACCESS_KEY_ID AWS_ACCESS_KEY)
       secret = %w(AWS_SECRET_ACCESS_KEY AMAZON_SECRET_ACCESS_KEY AWS_SECRET_KEY)
@@ -55,8 +44,8 @@ module CFnDK
     end
 
     def shared_credentials(options)
-      if options[:config]
-        ::Aws::SharedCredentials.new(profile_name: options[:config].profile)
+      if options[:profile]
+        ::Aws::SharedCredentials.new(profile_name: options[:profile])
       else
         ::Aws::SharedCredentials.new(
           profile_name: ENV['AWS_PROFILE'].nil? ? 'default' : ENV['AWS_PROFILE'])
@@ -65,29 +54,10 @@ module CFnDK
       nil
     end
 
-    def process_credentials(options)
-      profile_name = options[:config].profile if options[:config]
-      profile_name ||= ENV['AWS_PROFILE'].nil? ? 'default' : ENV['AWS_PROFILE']
-
-      config = ::Aws.shared_config
-      if config.config_enabled? && process_provider = config.credentials_process(profile_name)
-        ::Aws::ProcessCredentials.new(process_provider)
-      else
-        nil
-      end
-    rescue ::Aws::Errors::NoSuchProfileError
-      nil
-    end
-
     def assume_role_credentials(options)
       if ::Aws.shared_config.config_enabled?
         profile = nil
         region = nil
-        if options[:config]
-          profile = options[:config].profile
-          region = options[:config].region
-          assume_role_with_profile(options[:config].profile, options[:config].region)
-        end
         assume_role_with_profile(profile, region)
       else
         nil
@@ -106,7 +76,7 @@ module CFnDK
       ::Aws.shared_config.assume_role_credentials_from_config(
         profile: prof,
         region: region,
-        chain_config: @config
+        chain_config: nil
       )
     end
   end

data/lib/cfndk/credential_resolvable.rb

@@ -0,0 +1,10 @@
+module CFnDK
+  module CredentialResolvable
+    private
+
+    def resolve_credential(data, option)
+      global_config = CFnDK::GlobalConfig.new(data, option)
+      CFnDK::CredentialProviderChain.new(global_config.profile).resolve
+    end
+  end
+end

data/lib/cfndk/diff.rb

@@ -0,0 +1,38 @@
+module CFnDK
+  FORMAT = :unified
+  LINES = 3
+
+  def self.diff(data_old, data_new)
+    result = ''
+
+    file_length_difference = 0
+
+    data_old = data_old.split($/).map { |e| e.chomp }
+    data_new = data_new.split($/).map { |e| e.chomp }
+
+    diffs = Diff::LCS.diff(data_old, data_new)
+    diffs = nil if diffs.empty?
+
+    return '' unless diffs
+
+    oldhunk = hunk = nil
+
+    diffs.each do |piece|
+      begin
+        hunk = Diff::LCS::Hunk.new(data_old, data_new, piece, LINES, file_length_difference)
+        file_length_difference = hunk.file_length_difference
+
+        next unless oldhunk
+        next if LINES.positive? and hunk.merge(oldhunk)
+
+        result << oldhunk.diff(FORMAT) << "\n"
+      ensure
+        oldhunk = hunk
+      end
+    end
+
+    last = oldhunk.diff(FORMAT)
+    last << "\n" if last.respond_to?(:end_with?) && !last.end_with?("\n")
+    result << last
+  end
+end

data/lib/cfndk/global_config.rb

@@ -1,15 +1,46 @@
 module CFnDK
   class GlobalConfig
-    attr_reader :timeout_in_minutes, :s3_template_bucket, :s3_template_hash, :region
+    attr_reader :timeout_in_minutes, :s3_template_bucket, :s3_template_hash, :region, :role_arn, :package, :profile, :pre_command, :post_command
     def initialize(data, option)
       @timeout_in_minutes = 1
       @s3_template_bucket = 'cfndk-templates'
-      @s3_template_hash = SecureRandom.uuid
+      @s3_template_hash = Uuid.instance.uuid
       @region = ENV['AWS_REGION'] || 'us-east-1'
+      @package = false
+      @profile = ENV['AWS_PROFILE'] || nil
       return unless data['global'].is_a?(Hash)
       @timeout_in_minutes = data['global']['timeout_in_minutes'] || 1
       @s3_template_bucket = data['global']['s3_template_bucket'] || 'cfndk-templates'
       @region = data['global']['region'] || ENV['AWS_REGION'] || 'us-east-1'
+      @package = data['global']['package'] === 'true' ? true : false
+      @role_arn = data['global']['role_arn'] || nil
+      @profile = ENV['AWS_PROFILE'] || data['global']['default_profile'] || nil
+      @pre_command = data['global']['pre_command'] || nil
+      @post_command = data['global']['post_command'] || nil
+    end
+
+    def pre_command_execute
+      if @pre_command
+        CFnDK.logger.info(('execute global pre command: ' + @pre_command).color(:green))
+        IO.popen(@pre_command, :err => [:child, :out]) do |io|
+          io.each_line do |line|
+            CFnDK.logger.info((line).color(:green))
+          end
+        end
+        raise 'global pre command is error. status: ' + $?.exitstatus.to_s + ' command: ' + @pre_command if $?.exitstatus != 0
+      end
+    end
+
+    def post_command_execute
+      if @post_command
+        CFnDK.logger.info(('execute global post command: ' + @post_command).color(:green))
+        IO.popen(@post_command, :err => [:child, :out]) do |io|
+          io.each_line do |line|
+            CFnDK.logger.info((line).color(:green))
+          end
+        end
+        raise 'global post command is error. status: ' + $?.exitstatus.to_s + ' command: ' + @post_command if $?.exitstatus != 0
+      end
     end
   end
 end