cfndk 0.0.2 → 0.0.3

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: dddd69205f95f5871c77ab744edfa46723ec66c6
-  data.tar.gz: 156d7878eb40e490faaa63ee5a1f2db4b737629c
+  metadata.gz: 32c22522a1cc1e7dfc9ca0aba8493db5f8db8eb8
+  data.tar.gz: 769e02185ab86037a82889853ecfd93c3a3f912a
 SHA512:
-  metadata.gz: 32f60b2829d35017e6fbea00d41ad4cd0637572b01b32f9892d7a47a29350fbf339b4ea054b23f002cf38b3765e89801e1af3572b6fc12d285a6925d28928d0a
-  data.tar.gz: 3ca54f445be5345cb62f0873a3cd8e2638bafad5dc2e0bbc25f36425e4d1457675e4ad5b78703af19aa47ff9aeca430d08b4f1989771b69756b76e599a0d0215
+  metadata.gz: 0d53377bb67a1f2b93a161353172b9984ec462f3ea430867b69ccd88cac81e237d4832fc247f6c7e83f16481636e45e79f9f6c80c7d95ea7e8adc6b6ffd10627
+  data.tar.gz: 891db997bc6e5c174592f4fc6c98cd8b54572422417244ba7789b5d15228fba9dc0fd8cdc5e8429f3042725c27de88aa5f398de98469c40a9966fbb8d8721003

data/.gitignore

@@ -7,6 +7,7 @@
 /pkg/
 /spec/reports/
 /tmp/
+/sample/key/*.pem
 *.bundle
 *.so
 *.o

data/README.md

@@ -1,8 +1,21 @@
 # AWS CloudFormation Development Kit
 
 This is easy operation/integration support tool for AWS CloudFormation.
+
 このツールは、AWS CloudFromationのための簡単な運用/構築サポートツールです。
 
+kumogata, SparkleFormation, CoffeeFormation など、CloudFormationのテンプレートを書かずにDSLで表現するツールには様々な物があります。
+しかし、これらのツールはサードパーティツールであるため、CloudFormationの対応への追従に不安がのこります。
+本ツールは、標準のCloudFromationテンプレートの枠組みを変えずに、その利用を支援するツールとなっています。
+最悪このツールが使えなくなっても僅かなコストで標準のAWS CLIを使ってオペレーションを続行することが可能です。
+
+## ハイライト
+
+* 複数のスタックをワンコマンドで作成/更新/削除
+* 複数のスタックの依存関係を考慮した操作
+* CloudFormationでバージョンコントロールシステムと連動した継続的インテグレーションのための基盤対応
+* Keypairの作成/削除
+
 ## インストール
 
 ```
@@ -32,7 +45,7 @@ cfndk [cmd] [options]
 
 ### [cmd]
 
-#### 初期化
+#### ```init```
 
 カレントディレクトリにcfndk.yamlのひな形を作成します。
 
@@ -40,7 +53,7 @@ cfndk [cmd] [options]
 cfndk init [option]
 ```
 
-#### スタックの作成
+#### ```create```
 
 cfndk.yamlで定義されているスタックを作成します。
 
@@ -48,7 +61,7 @@ cfndk.yamlで定義されているスタックを作成します。
 cfndk create [option]
 ```
 
-#### スタック更新
+#### ```update```
 
 cfndk.yamlで定義されているスタックを更新します。
 
@@ -56,17 +69,17 @@ cfndk.yamlで定義されているスタックを更新します。
 cfndk update [option]
 ```
 
-#### スタックの作成、changeset作成
+#### ```create-or-changeset```
 
 cfndk.yamlで定義されているスタックが存在しない場合は作成を、存在する場合はチェンジセットを作成します。
 チェンジセットの実行は行いません。
 コマンドを実行後に手動で実行する必要があります。
 
 ```
-cfndk ｃreate-or-changeset [option]
+cfndk create-or-changeset [option]
 ```
 
-#### スタックの破壊
+#### ```destroy```
 
 cfndk.yamlで定義されているスタックを削除します。
 
@@ -74,7 +87,7 @@ cfndk.yamlで定義されているスタックを削除します。
 cfndk destroy [option]
 ```
 
-#### UUIDの生成
+#### ```generate-uuid```
 
 UUIDを生成して標準出力に出力します。
 
@@ -88,9 +101,14 @@ cfndk generate-uuid
 export CFNDK_UUID=`cfndk generate-uuid`
 cfndk create
 cfndk destroy
+unset CFNDK_UUID
 ```
 
-#### スタックのイベントのレポート
+#### ```validate```
+
+cfndk.yamlで定義されているスタックのテンプレートをvalidationします。
+
+#### ```report-event```
 
 cfndk.yamlで定義されているスタックのイベント情報をレポートします。
 
@@ -98,7 +116,7 @@ cfndk.yamlで定義されているスタックのイベント情報をレポー
 cfndk report-event [option]
 ```
 
-#### スタックのスタックのレポート
+#### ```report-stack```
 
 cfndk.yamlで定義されているスタックの情報をレポートします。
 
@@ -106,7 +124,7 @@ cfndk.yamlで定義されているスタックの情報をレポートします
 cfndk report-stack [option]
 ```
 
-#### スタックのスタックリソースのレポート
+#### ```report-stack-resource```
 
 cfndk.yamlで定義されているスタックのリソース情報をレポートします。
 
@@ -116,27 +134,27 @@ cfndk report-stack-resource [option]
 
 ### [option]
 
-#### -v --verbose
+#### ```-v --verbose```
 
 実行時に詳細な情報を表示します。
 
-#### -c, --config_path <cfndi.yml>
+#### ```-c, --config_path <cfndi.yml>```
 
 カレントディレクトリのcfndi.ymlの代わりに、ファイルを指定します。
 
-#### -p, --properties <name>=<value>
+#### ```-p, --properties <name>=<value>```
 
 プロパティを追加します。
-cfndi.ymlのparametersの値で参照することができます。
+cfndi.ymlのparametersのerb内で値で参照することができます。
 
-#### -a, --auto-uuid
+#### ```-a, --auto-uuid```
 
 UUIDを自動生成し使用します。
 UUIDが指定されるとスタック名に付加されます。
 またcfndi.ymlのparametersの値で参照することができます。
 ```-a```と```-u```は最後に指定されたものが有効になります。
 
-####  -u, --uuid <uuid>
+####  ```-u, --uuid <uuid>```
 
 指定されたUUIDを使用します。
 UUIDが指定されるとスタック名に付加されます。
@@ -146,7 +164,7 @@ UUIDが指定されるとスタック名に付加されます。
 
 ## 環境変数
 
-### CFNDK_UUID
+### ```CFNDK_UUID```
 
 この環境変数が指定されている場合、```--uuid $CFNDK_UUID```が指定されたものとして動作します。
 ```-a```や```-u```のほうが優先されます。
@@ -157,10 +175,19 @@ UUIDが指定されるとスタック名に付加されます。
 * example
 
 ```
+keypairs:
+  Key1:
+  Key2:
+    key_file: key/key2<%= append_uuid %>.pem
 stacks:
+  Stack1:
+    template_file: stack1/stack1.yaml 
+    parameter_input: stack1/env.json
+    parameters:
+      VpcName: Prod<%= append_uuid %>
   Stack2:
     template_file: stack2/stack2.yaml 
-    parameter_input: stacn2/env.json
+    parameter_input: stack2/env.json
     parameters:
       VpcName: Prod<%= append_uuid %>
     capabilities:
@@ -172,6 +199,9 @@ stacks:
 ```
 
 ```
+keypairs:
+  [String]:
+    key_file: [String]
 stacks:
   [String]:
     template_file: [String]
@@ -188,6 +218,30 @@ stacks:
       - [String]      
 ```
 
+### ```keypairs:```
+
+```
+keypairs:
+  [keypair Original Name]:
+```
+
+cfndkで管理するキーペアを定義します。
+キーペアの配下には、管理するキーペアのオリジナル名を定義します。
+通常は、キーペアを作成するとこの名称が利用されます。
+UUIDを利用すると、```[Keypair Original Name]-[UUID]```のような形式のキーペア名が利用されます。
+
+#### key_file
+
+キーペア作成時にキーペアのファイルを指定された相対パスに作成します。
+同名のファイルがある場合は上書きするので注意が必要です。
+
+erbの記法が利用できます。
+
+```
+    key_file: key/key<%= append_uuid %>.pem
+```
+
+
 ### ```stacks:```
 
 ```
@@ -206,7 +260,7 @@ UUIDを利用すると、```[Stack Original Name]-[UUID]```のような形式の
 
 #### parameter_input
 
-必須。CloudFormationのパラメータJSONをcfndk.yamlからの相対パスで指定します。
+必須。CloudFormationのパラメータJSONファイルをcfndk.yamlからの相対パスで指定します。
 
 #### parameters
 
@@ -226,23 +280,6 @@ Parameter Valueではerbの記法が利用できます。
       VpcName: Prod<%= append_uuid %>
 ```
 
-##### parametrsのerbで使用できるメソッド
-
-  * ```append_uuid(glue='-')```
-
-    UUIDガ指定されている場合、```[glueの文字列] + [UUID]```を返します。
-    UUIDが指定されてい無い場合は空文字が返ります。
-    glueで接続文字を置き換えることができます。
-
-  * ```uuid```
-
-    UUIDを返します。
-    UUIDが指定されてい無い場合は空文字が返ります。
-
-  * ```properties(key)```
-
-    オプション```--properties```で指定したキーに対応する値を参照することができます。
-
 #### capabilities
 
 スタックを操作するcapabilitiesを指定します。
@@ -283,6 +320,19 @@ dependsが循環するような指定をすることはできません。
 ```
 
 
+### erbで使用できるメソッド
 
+  * ```append_uuid(glue='-')```
+
+    UUIDガ指定されている場合、```[glueの文字列] + [UUID]```を返します。
+    UUIDが指定されてい無い場合は空文字が返ります。
+    glueで接続文字を置き換えることができます。
+
+  * ```uuid```
+
+    UUIDを返します。
+    UUIDが指定されてい無い場合は空文字が返ります。
 
+  * ```properties(key)```
 
+    オプション```--properties```で指定したキーに対応する値を参照することができます。

data/bin/cfndk

@@ -15,6 +15,8 @@ require 'securerandom'
 
 require 'cfndk.rb'
 
+$LOAD_PATH.unshift File.dirname(__FILE__) + '/../lib'
+
 cur_dir = Dir.getwd
 
 option = {
@@ -67,24 +69,30 @@ if ARGV.length != 1
 elsif ARGV[0] == 'generate-uuid'
   puts SecureRandom.uuid
   exit 0
+elsif ARGV[0] == 'init'
+  if File.file?(option[:config_path])
+    puts "File exist. #{option[:config_path]}".color :red
+    exit 1
+  end
+  puts 'init...'.color :green
+  FileUtils.cp_r(Dir.glob(File.dirname(__FILE__) + '/../skel/*'), './')
+  puts "create #{option[:config_path]}".color :green
+  exit 0
 end
 
-unless File.file?(option[:config_path]) || ARGV[0] == 'init'
+unless File.file?(option[:config_path])
   puts "File does not exist. #{option[:config_path]}".color :red
   exit 1
 end
 
-$LOAD_PATH.unshift "#{cur_dir}/lib"
-$LOAD_PATH.unshift File.dirname(__FILE__) + '/../lib'
-
-data = open(option[:config_path], 'r') { |f| YAML.load(f) } if File.file?(option[:config_path]) && ARGV[0] != 'init'
-
+data = open(option[:config_path], 'r') { |f| YAML.load(f) } if File.file?(option[:config_path])
 credentials = CFnDK::CredentialProviderChain.new.resolve
-client = Aws::CloudFormation::Client.new(credentials: credentials)
-stacks = CFnDK::Stacks.new(data, option, client)
+stacks = CFnDK::Stacks.new(data, option, credentials)
+keypairs = CFnDK::KeyPairs.new(data, option, credentials)
 
 if ARGV[0] == 'create'
   puts 'create...'.color :green
+  keypairs.create
   stacks.create
 elsif ARGV[0] == 'update'
   puts 'update...'.color :green
@@ -95,6 +103,10 @@ elsif ARGV[0] == 'create-or-changeset'
 elsif ARGV[0] == 'destroy'
   puts 'destroy...'.color :green
   stacks.destroy
+  keypairs.destroy
+elsif ARGV[0] == 'validate'
+  puts 'validate...'.color :green
+  stacks.validate
 elsif ARGV[0] == 'report-event'
   puts 'report event...'.color :green
   stacks.report_event
@@ -104,14 +116,6 @@ elsif ARGV[0] == 'report-stack'
 elsif ARGV[0] == 'report-stack-resource'
   puts 'report stack resource...'.color :green
   stacks.report_stack_resource
-elsif ARGV[0] == 'init'
-  if File.file?(option[:config_path])
-    puts "File exist. #{option[:config_path]}".color :red
-    exit 1
-  end
-  puts 'init...'.color :green
-  FileUtils.cp_r(Dir.glob(File.dirname(__FILE__) + '/../skel/*'), './')
-  puts "create #{option[:config_path]}".color :green
 else
   puts opt.help
   exit 1

data/lib/cfndk/{parameter_string.rb → erb_string.rb}

@@ -1,5 +1,5 @@
 module CFnDK
-  class ParameterString
+  class ErbString
     attr_reader :uuid, :properties
     def initialize(str, option)
       @erb = ERB.new(str, nil, '-')

data/lib/cfndk/key_pair.rb

@@ -0,0 +1,44 @@
+module CFnDK
+  class KeyPair
+    attr_reader :key_file
+    def initialize(name, data, option, credentials)
+      @name = name
+      @key_file = nil
+      @key_file = data['key_file'] || nil if data
+      @option = option
+      @client = Aws::EC2::Client.new(credentials: credentials)
+    end
+
+    def create
+      puts(('creating keypair: ' + name).color(:green))
+      key_pair = @client.create_key_pair(
+        key_name: name
+      )
+      puts(('created keypair: ' + name).color(:green))
+
+      create_key_file(key_pair)
+    end
+
+    def destroy
+      puts(('deleting keypair: ' + name).color(:green))
+      @client.delete_key_pair(
+        key_name: name
+      )
+      puts(('deleted keypair: ' + name).color(:green))
+    end
+
+    def name
+      [@name, @option[:uuid]].compact.join('-')
+    end
+
+    private
+
+    def create_key_file key_pair
+      return unless @key_file
+      key_file = CFnDK::ErbString.new(@key_file, @option).value
+      puts(('create key file: ' + key_file).color(:green))
+      File.write(key_file, key_pair.key_material)
+    end
+
+  end
+end

data/lib/cfndk/key_pairs.rb

@@ -0,0 +1,27 @@
+module CFnDK
+  class KeyPairs
+    def initialize(data, option, credentials)
+      @option = option
+      @credentials = credentials
+      prepare_keypairs(data)
+    end
+
+    def create
+      @keypairs.each_value(&:create)
+    end
+
+    def destroy
+      @keypairs.each_value(&:destroy)
+    end
+
+    private
+
+    def prepare_keypairs(data)
+      @keypairs = {}
+      return unless data['keypairs']
+      data['keypairs'].each do |name, properties|
+        @keypairs[name] = KeyPair.new(name, properties, @option, @credentials)
+      end
+    end
+  end
+end

data/lib/cfndk/stack.rb

@@ -35,7 +35,7 @@ module CFnDK
 
     def eval_override_parameter(k, v)
       if @override_parameters[k]
-        CFnDK::ParameterString.new(@override_parameters[k], @option).value
+        CFnDK::ErbString.new(@override_parameters[k], @option).value
       else
         v
       end

data/lib/cfndk/stacks.rb

@@ -1,13 +1,14 @@
 module CFnDK
   class Stacks
-    def initialize(data, option, cfn_client)
+    def initialize(data, option, credentials)
       @option = option
-      @cfn_client = cfn_client
+      @cfn_client = Aws::CloudFormation::Client.new(credentials: credentials)
       create_stack data
       create_sequence
     end
 
     def create
+      validate
       @sequence.each do |stacks|
         stacks.each do |name|
           puts(('creating ' + name).color(:green))
@@ -40,6 +41,7 @@ module CFnDK
     end
 
     def update
+      validate
       @sequence.each do |stacks|
         updating_stacks = []
         stacks.each do |name|
@@ -71,6 +73,7 @@ module CFnDK
     end
 
     def create_or_changeset
+      validate
       @sequence.each do |stacks|
         create_stacks = []
         changeset_stacks = []
@@ -79,7 +82,7 @@ module CFnDK
             @cfn_client.describe_stacks(
               stack_name: @stacks[name].name
             )
-            puts(('creating ' + name + @option[:uuid]).color(:green))
+            puts(('creating ' + name).color(:green))
             puts('Name        :' + @stacks[name].name) if @option[:v]
             puts('Parametres  :' + @stacks[name].parameters.inspect) if @option[:v]
             puts('Capabilities:' + @stacks[name].capabilities.inspect) if @option[:v]
@@ -88,7 +91,7 @@ module CFnDK
               template_body: @stacks[name].template_body,
               parameters: @stacks[name].parameters,
               capabilities: @stacks[name].capabilities,
-              change_set_name:  @stacks[name].name + @option[:uuid]
+              change_set_name:  @stacks[name].name,
             )
             changeset_stacks.push name
           rescue Aws::CloudFormation::Errors::ValidationError
@@ -119,25 +122,25 @@ module CFnDK
             @cfn_client.wait_until(
               :change_set_create_complete,
               stack_name: @stacks[name].name,
-              change_set_name: @stacks[name].name + @option[:uuid]
+              change_set_name: @stacks[name].name
             )
-            puts(('created ' + @stacks[name].name + @option[:uuid]).color(:green))
+            puts(('created ' + @stacks[name].name).color(:green))
           rescue Aws::Waiters::Errors::FailureStateError => ex
             resp = @cfn_client.describe_change_set(
-              change_set_name: @stacks[name].name + @option[:uuid],
-              stack_name: @stacks[name].name
+              change_set_name: @stacks[name].name,
+              stack_name: @stacks[name].name,
             )
             if resp.status_reason != "The submitted information didn't contain changes. Submit different information to create a change set."
               puts ex.message.color :red
               raise ex
             else
-              puts(('failed ' + @stacks[name].name + @option[:uuid]).color(:red))
+              puts(('failed ' + @stacks[name].name).color(:red))
               puts resp.status_reason
               @cfn_client.delete_change_set(
-                change_set_name: @stacks[name].name + @option[:uuid],
-                stack_name: @stacks[name].name
+                change_set_name: @stacks[name].name,
+                stack_name: @stacks[name].name,
               )
-              puts(('deleted ' + @stacks[name].name + @option[:uuid]).color(:red))
+              puts(('deleted ' + @stacks[name].name).color(:red))
             end
           end
         end
@@ -279,6 +282,18 @@ module CFnDK
       end
     end
 
+    def validate
+      @sequence.each do |stacks|
+        stacks.each do |name|
+          puts(('validate ' + name).color(:green))
+          puts('Name        :' + @stacks[name].name) if @option[:v]
+          @cfn_client.validate_template(
+            template_body: @stacks[name].template_body
+          )
+        end
+      end
+    end
+
     private
 
     def create_stack(data)

data/lib/cfndk/version.rb

@@ -1,3 +1,3 @@
 module CFnDK
-  VERSION = '0.0.2'.freeze
+  VERSION = '0.0.3'.freeze
 end

data/lib/cfndk.rb

@@ -1,7 +1,9 @@
 require 'cfndk/version'
 require 'cfndk/stack'
 require 'cfndk/stacks'
-require 'cfndk/parameter_string'
+require 'cfndk/key_pair'
+require 'cfndk/key_pairs'
+require 'cfndk/erb_string'
 require 'cfndk/credential_provider_chain'
 
 module CFnDK

data/sample/cfndk.yml

@@ -1,12 +1,16 @@
+keypairs:
+  CFnDKSampleKey:
+  CFnDKSampleKey2:
+    key_file: key/key2<%= append_uuid %>.pem
 stacks:
-  Network:
-    template_file: network/network.yaml 
+  CFnDKSampleNetwork:
+    template_file: network/network.yaml
     parameter_input: network/prod.json
     parameters:
-      VpcName: Prod<%= append_uuid %>
-      InternalDnsName: prod<%= append_uuid %>.local
+      VpcName: Sample<%= append_uuid %>
+      InternalDnsName: sample<%= append_uuid %>.local
     timeout_in_minutes: 8
-  Iam:
+  CFnDKSampleIam:
     template_file: iam/iam.yaml
     parameter_input: iam/prod.json
     parameters:
@@ -16,24 +20,32 @@ stacks:
       - CAPABILITY_IAM
       - CAPABILITY_NAMED_IAM
     timeout_in_minutes: 3
-  Sg:
+  CFnDKSampleSg:
     template_file: sg/sg.yaml
     parameter_input: sg/prod.json
     parameters:
+      VpcName: Sample<%= append_uuid %>
     depends:
-    - Network
-  Web:
+      - CFnDKSampleNetwork
+  CFnDKSampleWeb:
     template_file: web/web.yaml
     parameter_input: web/prod.json
     parameters:
+      VpcName: Sample<%= append_uuid %>
+      InternalDnsName: sample<%= append_uuid %>.local
+      HostName1: web1<%= append_uuid %>
+      HostName2: web2<%= append_uuid %>
+      WebInstanceProfileName: WebInstanceProfile<%= append_uuid %>
+      KeyPair: CFnDKSampleKey<%= append_uuid %>
     depends:
-    - Sg
-    - Iam
+      - CFnDKSampleSg
+      - CFnDKSampleIam
     timeout_in_minutes: 2
-  Db:
+  CFnDKSampleDb:
     template_file: db/db.yaml
     parameter_input: db/prod.json
     parameters:
+      VpcName: Sample<%= append_uuid %>
     depends:
-    - Sg
+      - CFnDKSampleSg
     timeout_in_minutes: 30