cfndk 0.1.1.2 → 0.1.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA1:
-  metadata.gz: 5b00253ce992f17d5d0635b26c31f95c0c1e4472
-  data.tar.gz: ab090529505cc83683861f4f2f159f97ece30691
+SHA256:
+  metadata.gz: 769405321919c35d09b8742a2b1b17846e2f8142e52fdf0961630b022202d75b
+  data.tar.gz: fc3a7eec80fc9710a806509a0eba9bc10b35070c95107a1dbef5cf4ee2887b62
 SHA512:
-  metadata.gz: bf7998d5f02525b383a332f5d424f38a03943d77d449f49d32df7781ebf1f6742da80e9b5be8b7b0df8b28124e395a5412d95d526571ae6b8e41c78c0b6e9e6b
-  data.tar.gz: e6e58b2c62c23284b575a387538db52d6db7a6a99553521bec6ef352e4ec139585c77427ecd1cfc47c293b4ccc5db60375d607ef3714a77f7dca2a54c10c342f
+  metadata.gz: 7e07b11ab40692eb56b479598d3f44d4f5ceb052b926cc6d5220925a4067bb4744b4f44607c6162b4e863670d0d307d02cdab78c362afbd887d8aac4d69f93f0
+  data.tar.gz: aa29ad27746fcb1f961200b579bdd78290943a2c96bafceb14f3b6caef1314ab3049837ae14488289f7114c204ab1eb608d59682e14dcd9bc7cbe7343a8af341

data/.circleci/config.yml

@@ -8,7 +8,7 @@ jobs:
     docker:
       - image: circleci/ruby:2.4.1-node-browsers
     environment:
-      PARALLEL_TESTS_CONCURRENCY: 2
+      PARALLEL_TESTS_CONCURRENCY: 4
     parallelism: 1
     working_directory: ~/repo
 

data/.gitignore

@@ -12,3 +12,4 @@
 *.o
 *.a
 mkmf.log
+/vagrant/.vagrant/

data/.rspec

@@ -0,0 +1,2 @@
+--color
+--format documentation

data/Gemfile.lock

@@ -1,11 +1,14 @@
 PATH
   remote: .
   specs:
-    cfndk (0.1.1.2)
+    cfndk (0.1.2)
       aws-sdk
       bundler
       camelizable
+      diff-lcs
+      polyfill
       rainbow
+      rubyzip (= 1.3.0)
       terminal-table
       thor
 
@@ -732,8 +735,7 @@ GEM
     backports (3.12.0)
     builder (3.2.3)
     camelizable (0.0.3)
-    childprocess (1.0.1)
-      rake (< 13.0)
+    childprocess (1.0.0)
     contracts (0.16.0)
     cucumber (3.1.2)
       builder (>= 2.1.2)
@@ -764,8 +766,9 @@ GEM
     parallel (1.14.0)
     parallel_tests (2.28.0)
       parallel
+    polyfill (1.8.0)
     rainbow (3.0.0)
-    rake (11.1.2)
+    rake (13.0.1)
     rspec (3.8.0)
       rspec-core (~> 3.8.0)
       rspec-expectations (~> 3.8.0)
@@ -782,6 +785,7 @@ GEM
       diff-lcs (>= 1.2.0, < 2.0)
       rspec-support (~> 3.8.0)
     rspec-support (3.8.0)
+    rubyzip (1.3.0)
     simplecov (0.16.1)
       docile (~> 1.1)
       json (>= 1.8, < 3)
@@ -793,7 +797,7 @@ GEM
       unicode-display_width (~> 1.1, >= 1.1.1)
     thor (0.20.3)
     tins (1.20.2)
-    unicode-display_width (1.1.3)
+    unicode-display_width (1.7.0)
 
 PLATFORMS
   ruby

data/README.md

@@ -1,6 +1,7 @@
 # AWS CloudFormation Development Kit
 
 This is easy operation/integration support tool for AWS CloudFormation.
+This tool drives DevOps and Infrastructure as Code.
 
 [![CircleCI](https://circleci.com/gh/Amakata/cfndk/tree/master.svg?style=svg)](https://circleci.com/gh/Amakata/cfndk/tree/master)
 
@@ -18,18 +19,19 @@ kumogata, SparkleFormation, CoffeeFormation など、CloudFormationのテンプ
 * CloudFormationでバージョンコントロールシステムと連動した継続的インテグレーションのための基盤対応
 * Keypairの作成/削除
 * コマンド、サブコマンド、冪統性を考慮したコマンドライン体系、オプションの整理、ヘルプの追加
-* チェンジセットの作成/実行/削除/レポート(experimental)
+* チェンジセットの作成/実行/削除/レポート
 * Keypair/スタック毎のregionのサポート
 * 512000バイト以上の大きなテンプレートファイルの場合に自動的にS3にテンプレートファイルをアップロードして処理する機能
+* aws cloudformation package相当の機能(nested templateやlambda functionの自動アップロード) (experimental)
 * cfndk全体での共通設定
 
-## インストール
+## Install
 
 ```
 $ gem install cfndk
 ```
 
-## 使い方
+## Usage
 
 ```
 $ mkdir cfn-project
@@ -42,7 +44,7 @@ $ cfndk report
 $ cfndk destroy -f
 ```
 
-## Credentials設定
+## Credentials configuration
 
 次の順番でCredentialsを評価して最初に有効なCredentialsを使用します。
 
@@ -57,7 +59,7 @@ $ cfndk destroy -f
 4. EC2/ECS Instance ProfileによるCredentials
    * AWS_CONTAINER_CREDENTIALS_RELATIVE_URI環境変数が設定された場合のみECSが使われます。
 
-## コマンド
+## Command
 
 ### ```init```
 
@@ -143,7 +145,7 @@ cfndk changeset help
 
 で確認できます。
 
-### 主なoption
+### option
 
 #### ```-v --verbose```
 
@@ -200,7 +202,7 @@ UUIDが指定されるとチェンジセット名に付加されます。
 他にもオプションはあります。
 詳細はコマンドヘルプを参照してください。
 
-## 環境変数
+## Environment Variables
 
 ### ```CFNDK_UUID```
 
@@ -220,6 +222,9 @@ global:
   region: ap-northeast-1
   s3_template_bucket: cfndk-templates
   timeout_in_minutes: 10
+  role_arn: arn:aws:iam::XXXXXXXXXXX:role/XXXXXXXXXXXXX
+  package: true
+  default_profile: profile_name
 keypairs:
   Key1:
     region: us-east-1
@@ -232,6 +237,7 @@ stacks:
     parameter_input: stack1/env.json
     parameters:
       VpcName: Prod<%= append_uuid %>
+    package: true
   Stack2:
     template_file: stack2/stack2.yaml 
     parameter_input: stack2/env.json
@@ -241,7 +247,7 @@ stacks:
       - CAPABILITY_IAM
       - CAPABILITY_NAMED_IAM
     depends:
-      - Stack1      
+      - Stack1
     timeout_in_minutes: 10
 ```
 
@@ -250,10 +256,17 @@ global:
   region: [String]
   s3_template_bucket: [String]
   timeout_in_minutes: [Integer]
+  package: [Boolean]
+  default_profile: [String]
+  pre_command: [String]
+  post_command: [String]
 keypairs:
   [String]:
     region: [String]
     key_file: [String]
+    enabled: [Boolean]
+    pre_command: [String]
+    post_command: [String]
 stacks:
   [String]:
     region: [String]
@@ -268,7 +281,11 @@ stacks:
     timeout_in_minutes: [Integer]
     depends:
       - [String]
-      - [String]      
+      - [String]
+    package: [Boolean]
+    enabled: [Boolean]
+    pre_command: [String]
+    post_command: [String]
 ```
 
 ### ```global:```
@@ -285,6 +302,10 @@ AWS_REGIONも指定されない場合はus-east-1を利用します。
 
 全体で利用するタイムアウト時間を分で指定します。
 
+#### role_arn
+
+利用するロールのARN
+
 #### s3_template_bucket (デフォルト: cfndk-templates)
 
 スタックのCloudFormationテンプレートファイルをアップロードするS3のバケット名を指定します。
@@ -298,6 +319,37 @@ regionはスタック毎で指定されたものを利用します。
 
 S3バケットは一日で自動的に中身のオブジェクトが削除されるように設定されます。
 
+#### package (デフォルト: false)
+
+trueを指定した場合に、
+スタックのテンプレートで、ネステッドスタックや、CloudFormationのコードがローカルパス形式で指定されている場合に
+```aws cloudformation package```
+相当の処理を行います。
+
+yaml、jsonの意図しない加工がされる可能性があるためデフォルトではfalseとなっています。
+
+例えば、```package: true```を指定して下記の様に記述すると、 ```./lambda_function``` フォルダをzipアーカイブしてS3にアップロードし、Codeを適切なS3のパスに更新します。
+
+```
+  LambdaFunction:
+    Type: AWS::Lambda::Function
+    Properties:
+      Code: ./lambda_function
+```
+
+#### default_profile
+
+default_profileで指定されたAWSプロファイルを利用してスタックを作成します。
+AWS_PROFILE環境変数が指定された場合にはAWS_PROFILE環境変数が優先して使用されます。
+
+#### pre_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の完了後に実施するコマンドを指定します。
+
 ### ```keypairs:```
 
 ```
@@ -326,6 +378,17 @@ erbの記法が利用できます。
     key_file: key/key<%= append_uuid %>.pem
 ```
 
+#### enabled　(デフォルト: true)
+
+falseを指定した場合、そのkey pairを無視します
+
+#### pre_command
+
+ker pairのcreateの処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+key pairのcreateの処理の完了後に実施するコマンドを指定します。
 
 ### ```stacks:```
 
@@ -401,6 +464,28 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
       - Stack2  
 ```
 
+#### package (デフォルト: false)
+
+trueを指定した場合に、
+スタックのテンプレートで、ネステッドスタックや、CloudFormationのコードがローカルパス形式で指定されている場合に
+```aws cloudformation package```
+相当の処理を行います。
+
+yaml、jsonの意図しない加工がされる可能性があるためデフォルトではfalseとなっています。
+
+例えば、```package: true```を指定して下記の様に記述すると、 ```./lambda_function``` フォルダをzipアーカイブしてS3にアップロードし、Codeを適切なS3のパスに更新します。
+
+```
+  LambdaFunction:
+    Type: AWS::Lambda::Function
+    Properties:
+      Code: ./lambda_function
+```
+
+#### enabled　(デフォルト: true)
+
+falseを指定した場合、そのスタックを無視します
+
 #### timeout_in_minutes
 
 スタックを作成する際などのタイムアウト時間を分で指定します。
@@ -409,6 +494,14 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
     timeout_in_minutes: 5
 ```
 
+#### pre_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の開始前に実施するコマンドを指定します。
+
+#### post_command
+
+スタックのcreate、updateやチェンジセットのcreateで、処理の完了後に実施するコマンドを指定します。
+
 
 ### erbで使用できるメソッド
 
@@ -427,8 +520,29 @@ dependsを指定すると、create,update,create-or-changeset,destoryのコマ
 
     オプション```--properties```で指定したキーに対応する値を参照することができます。
 
+## Execution Environment
+
+### Vagrant
+
+Vagrantを利用してLinux環境とcfndkのインストールを行うリファレンス環境を用意しました。
+
+```
+cd vagrant
+vagrant up
+vagrant ssh
+```
+
+### Docker
+
+gemで直接インストールする代わりに、Dockerコンテナを利用して、cfndkコマンドを実行できるようにします。
+
+```
+cp docker/cfndk.sh /usr/local/bin/cfndk.sh
+chmod +x /usr/local/bin/cfndk.sh
+AWS_PROFILE=default cfndk.sh help
+```
 
-## テスト
+## Test
 
 cfndkコマンドのテストを行うことができます。
 CFNDK_COVERAGE環境変数に1を設定することで、カバレッジを取ることができます。

data/cfndk.gemspec

@@ -28,7 +28,10 @@ Gem::Specification.new do |spec|
   spec.add_dependency 'bundler'
   spec.add_dependency 'thor'
   spec.add_dependency 'rainbow'
+  spec.add_dependency 'rubyzip', '1.3.0'
   spec.add_dependency 'aws-sdk'
   spec.add_dependency 'camelizable'
   spec.add_dependency 'terminal-table'
+  spec.add_dependency 'diff-lcs'
+  spec.add_dependency 'polyfill'
 end

data/docker/Dockerfile

@@ -0,0 +1,8 @@
+FROM ruby:2.6-alpine
+
+RUN gem install bundler --version 1.14.6
+RUN gem install cfndk
+
+WORKDIR /home/cfndk
+ENTRYPOINT ["sh", "-c", "cfndk $@", ""]
+CMD ["help"]

data/docker/build.sh

@@ -0,0 +1,3 @@
+#!/bin/bash 
+
+docker build  -t cfndk:latest ./

data/docker/cfndk.sh

@@ -0,0 +1,14 @@
+#!/bin/bash
+
+WORK_DIR=`pwd`
+
+docker run \
+  -v $WORK_DIR:/home/cfndk \
+  -v $HOME/.aws:/root/.aws \
+  -e AWS_PROFILE=$AWS_PROFILE \
+  -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID \
+  -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY \
+  -e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN \
+  -w /home/cfndk \
+  -it amakata/cfndk:latest \
+  "$@"

data/lib/cfndk.rb

@@ -4,14 +4,19 @@ require 'rainbow/ext/string'
 require 'camelizable'
 require 'fileutils'
 require 'pathname'
+require 'ostruct'
 require 'erb'
 require 'yaml'
 require 'json'
+require 'zip'
 require 'aws-sdk'
 require 'terminal-table'
 require 'securerandom'
 require 'logger'
 require 'thor'
+require 'diff/lcs'
+require 'diff/lcs/hunk'
+require 'polyfill'
 
 if ENV['CFNDK_COVERAGE']
   require 'simplecov'
@@ -29,11 +34,15 @@ require 'cfndk/global_config'
 require 'cfndk/logger'
 require 'cfndk/credential_provider_chain'
 require 'cfndk/subcommand_help_returnable'
+require 'cfndk/credential_resolvable'
 require 'cfndk/config_file_loadable'
 require 'cfndk/key_pair_command'
 require 'cfndk/stack_command'
 require 'cfndk/change_set_command'
 require 'cfndk/command'
+require 'cfndk/template_packager'
+require 'cfndk/diff'
+require 'cfndk/uuid'
 
 module CFnDK
 end

data/lib/cfndk/change_set_command.rb

@@ -2,11 +2,12 @@ module CFnDK
   class ChangeSetCommand < Thor
     include SubcommandHelpReturnable
     include ConfigFileLoadable
+    include CredentialResolvable
 
     class_option :verbose, type: :boolean, aliases: 'v', desc: 'More verbose output.'
     class_option :color, type: :boolean, default: true, desc: 'Use colored output'
     class_option :config_path, type: :string, aliases: 'c', default: "#{Dir.getwd}/cfndk.yml", desc: 'The configuration file to use'
-    class_option :stack_names, type: :array, desc: 'Target stack names'
+    class_option :stack_names, type: :array, aliases: 's', desc: 'Target stack names'
 
     desc 'create', 'Create change set'
     option :uuid, type: :string, aliases: 'u', default: ENV['CFNDK_UUID'] || nil, desc: 'Use UUID'
@@ -15,11 +16,16 @@ module CFnDK
     def create
       CFnDK.logger.info 'create...'.color(:green)
       data = load_config_data(options)
-
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
+      global_config = CFnDK::GlobalConfig.new(data, options)
       stacks = CFnDK::Stacks.new(data, options, credentials)
+
+      global_config.pre_command_execute
+      stacks.pre_command_execute
       stacks.validate
       stacks.create_change_set
+      stacks.post_command_execute
+      global_config.post_command_execute
       return 0
     rescue => e
       CFnDK.logger.error "#{e.class}: #{e.message}".color(:red)
@@ -35,10 +41,9 @@ module CFnDK
     def execute
       CFnDK.logger.info 'execute...'.color(:green)
       data = load_config_data(options)
-
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
       stacks = CFnDK::Stacks.new(data, options, credentials)
-      stacks.validate
+
       stacks.execute_change_set
       return 0
     rescue => e
@@ -56,8 +61,8 @@ module CFnDK
     def destroy
       CFnDK.logger.info 'destroy...'.color(:green)
       data = load_config_data(options)
+      credentials = resolve_credential(data, options)
 
-      credentials = CFnDK::CredentialProviderChain.new.resolve
       stacks = CFnDK::Stacks.new(data, options, credentials)
 
       if options[:force] || yes?('Are you sure you want to destroy? (y/n)', :yellow)
@@ -82,7 +87,8 @@ module CFnDK
     def report
       CFnDK.logger.info 'report...'.color(:green)
       data = load_config_data(options)
-      credentials = CFnDK::CredentialProviderChain.new.resolve
+      credentials = resolve_credential(data, options)
+
       stacks = CFnDK::Stacks.new(data, options, credentials)
       stacks.report_change_set
       return 0