swarm_cluster_cli_ope 0.5.0 → 0.5.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: f12d8c4fc65a57146f11c422f84a977a67b3d9abe1c38c32f06738fcae3bf976
-  data.tar.gz: 857a0b1213e30123ad0280b157b2427ef62e9223b803dac3495305ba36f32f10
+  metadata.gz: 3f13501680246e78bd7c7d3e6694a7ec96a46ea817f58b0a0ab98cecc394002e
+  data.tar.gz: d17bcf2b19090a6156e39da8171ae821b27822c308806b55daad73193ab68726
 SHA512:
-  metadata.gz: a78c8ca512ef1e6e41ce46e9edf00145f56adabe173da6a848e007c517802f0a4bee1dde9e01f43dc13ad5fb31b944c9d00ef157bfe56fc38ccca21a0958032e
-  data.tar.gz: 0541f04dc597e9943a3aff62a2017051d84a28f354f16964fe27474e46e57c73128bc754fe4d193b4bda1ea1e926938d7105a938da83f47af916471a45f88900
+  metadata.gz: 16e6068c30b780460fdd6c6b12580d5397f8162f5c9c38b1f1e74dffbe3373028b9bd5428cdcaa15386e55e5d6354d35787bf7026c965f55c028ab81cde6bb26
+  data.tar.gz: db7aedd27c45e08c9c9b636da84d0916d0a7ed8c2d0b27ed07f3b4bc6d77811d0a36dee141c879d76c7ac70f34cd47520309df0235e6a141214d851d43884721

data/CHANGELOG.md

@@ -1,5 +1,15 @@
 ## Changelog
 
+# 0.5.5
+- correzione utilizzo e configurazione variabili ambiente nelle configurazioni.
+- controllo di non installare rsync e killall nel caso siano già presenti.
+
+# 0.5.4
+- bug permessi sul file password dell'rsync
+
+# 0.5.3
+- bug selezione pod, ora filtra solamente per i containers che sono attivi 
+
 # 0.4
 - implementazione push pull con il comando **stacksync** di pg
 - controllo di versione sul file caricato rispeto a gemma, con conseguente warning 

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.5.0)
+    swarm_cluster_cli_ope (0.5.5)
       activesupport
       open4
       thor (~> 1.0)
@@ -10,23 +10,22 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.0.3.4)
+    activesupport (6.1.1)
       concurrent-ruby (~> 1.0, >= 1.0.2)
-      i18n (>= 0.7, < 2)
-      minitest (~> 5.1)
-      tzinfo (~> 1.1)
-      zeitwerk (~> 2.2, >= 2.2.2)
-    concurrent-ruby (1.1.7)
-    i18n (1.8.5)
+      i18n (>= 1.6, < 2)
+      minitest (>= 5.1)
+      tzinfo (~> 2.0)
+      zeitwerk (~> 2.3)
+    concurrent-ruby (1.1.8)
+    i18n (1.8.7)
       concurrent-ruby (~> 1.0)
-    minitest (5.14.2)
+    minitest (5.14.3)
     open4 (1.3.4)
     rake (12.3.3)
-    thor (1.0.1)
-    thread_safe (0.3.6)
-    tzinfo (1.2.8)
-      thread_safe (~> 0.1)
-    zeitwerk (2.4.1)
+    thor (1.1.0)
+    tzinfo (2.0.4)
+      concurrent-ruby (~> 1.0)
+    zeitwerk (2.4.2)
 
 PLATFORMS
   ruby

data/lib/swarm_cluster_cli_ope/kubernetes/pod.rb

@@ -90,6 +90,7 @@ module SwarmClusterCliOpe
         base_cmd << "--context=#{context}" unless context.blank?
         base_cmd << "get pod"
         base_cmd << "--selector=#{selector}"
+        base_cmd << "--field-selector=status.phase=Running" #solo pod che stanno girando teniamo sotto controllo
         base_cmd << "--output=json"
 
         cmd = ShellCommandExecution.new(base_cmd)

data/lib/swarm_cluster_cli_ope/kubernetes/sync_configs/rsync.rb

@@ -15,7 +15,6 @@ module SwarmClusterCliOpe
           @configs[:configs][:remote]
         end
 
-
         # @return [SwarmClusterCliOpe::ShellCommandResponse]
         def push
           execute(direction: :up)
@@ -26,7 +25,6 @@ module SwarmClusterCliOpe
           execute(direction: :down)
         end
 
-
         private
 
         def execute(direction: :down)
@@ -36,7 +34,6 @@ module SwarmClusterCliOpe
             exit
           end
 
-
           if yes? "Attenzione, i dati locali o remoti verranno sovrascritti/cancellati?[y,yes]"
 
             podname = container.name
@@ -46,13 +43,30 @@ module SwarmClusterCliOpe
               exit
             end
 
-            cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
-            if cmd.failed?
-              puts "Problemi nell'installazione di rsync nel pod"
-            else
-              cmd = container.cp_in(File.expand_path("../../rsync_cfgs/rsyncd.conf", __FILE__), "/tmp/.")
+            # controllo presenza comandi necessari
+            command_installed = false
+            cmd_ricerca = container.exec(['bash -c "command -v rsync && command -v killall"'])
+            unless cmd_ricerca.failed?
+              num_commands = cmd_ricerca.raw_result[:stdout].split("\n").count rescue 0
+              if num_commands == 2
+                command_installed = true
+              end
+            end
+
+            unless command_installed
+              # tentiamo di installarlo
+              cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
+              if cmd.failed?
+                puts "Problemi nell'installazione di rsync nel pod"
+              else
+                command_installed = true
+              end
+            end
+
+            if command_installed
+              cmd = container.cp_in(configs_path("rsyncd.conf"), "/tmp/.")
               copy_1 = cmd.execute.failed?
-              cmd = container.cp_in(File.expand_path("../../rsync_cfgs/rsyncd.secrets", __FILE__), "/tmp/.")
+              cmd = container.cp_in(configs_path("rsyncd.secrets"), "/tmp/.")
               copy_2 = cmd.execute.failed?
               cmd = container.exec(['bash -c "chmod 600 /tmp/rsyncd.secrets  && chown root /tmp/*"'])
               chmod = cmd.failed?
@@ -76,11 +90,15 @@ module SwarmClusterCliOpe
 
                         sleep 1
 
+                        # forzo i permessi sul file della password
+                        cmd = ShellCommandExecution.new(["chmod 600 #{ configs_path("password")}"])
+                        cmd.execute
+
                         # lanciamo il comando quindi per far rsync
                         rsync_command = [
                           "rsync -az --no-o --no-g",
                           "--delete",
-                          "--password-file=#{ File.expand_path("../../rsync_cfgs/password", __FILE__)}"
+                          "--password-file=#{ configs_path("password")}"
                         ]
 
                         if direction == :up
@@ -119,6 +137,14 @@ module SwarmClusterCliOpe
 
         end
 
+        ##
+        # Estrapola la path al file di configurazione
+        # @param [String] file
+        # @return [String]
+        def configs_path(file)
+          File.expand_path("../../rsync_cfgs/#{file}", __FILE__)
+        end
+
       end
     end
   end

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -17,6 +17,7 @@ module SwarmClusterCliOpe
       ##
       # Metodo che richiama la lambda della generazione del container al momento che ne
       # è proprio necessario
+      # @return [SwarmClusterCliOpe::Commands::Container,SwarmClusterCliOpe::Kubernetes::Pod]
       def container
         @container ||= @lambda_container.call
       end
@@ -26,17 +27,17 @@ module SwarmClusterCliOpe
         @configs[:service] || @sync_configs.service
       end
 
-
       ##
       # Costruisce i metodi che restituiscono i valori delle configurazioni
       #
       # @param [String,Symbol] name -> nome della stringa con cui viene generato il metodo
-      # @param [String,Symbol] default_env -> nome env default nel caso non sia passato
+      # @param [String,Symbol,Array<String,Symbol>] default_env -> nome env default nel caso non sia passato
       # @param [String,Symbol] configuration_name -> nome della configurazione da utilizzare per estrapolare la configurazione
       #                                           in automatico viene tenuto conto se cercare per la versione
       #                                           con _env o senza....precedenza SENZA
+      # @param [Block] from_proc -> proc da utilizzare per ricavare il valore
       # @param [nil,String] default_value se non è estrapolato nessun valore, viene utilizzato il valore di default
-      def self.define_cfgs(name, default_env:, configuration_name:,default_value:nil)
+      def self.define_cfgs(name, default_env:, configuration_name:, default_value: nil, from_proc: nil)
         configuration_name ||= name
 
         define_method(name) do
@@ -44,17 +45,36 @@ module SwarmClusterCliOpe
 
           #valore restituito direttamente dalla configurazione
           if @configs.key?(configuration_name)
-            value = @configs["#{configuration_name}".to_sym] || default_value
-          else
-            env_var = @configs["#{configuration_name}_env".to_sym] || default_env
-            value = find_env_file_variable(env_var) || default_value
+            value = @configs["#{configuration_name}".to_sym]
+          end
+          # se non abbiamo nulla dalle configurazioni utilizziamo le variabili d'ambiente
+          if value.nil?
+
+            #cerchiamo nella lista delle variabili ambiente possibili, la prima che ha un valore la tengo per buona
+            env_vars = []
+            env_vars << @configs["#{configuration_name}_env".to_sym]
+            env_vars << default_env
+            env_vars.flatten!
+            env_vars.compact!
+
+            env_vars.each do |env_var|
+              value = find_env_file_variable(env_var)
+              break unless value.nil?
+            end
+
           end
+          # se non abbiamo ancora nulla e abbiamo una proc proseguiamo
+          if value.nil? and from_proc
+            value = from_proc.call(container)
+          end
+
+          value = value || default_value
+
           self.instance_variable_set("@#{name}", value)
         end
 
       end
 
-
       private
 
       ##

data/lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb

@@ -2,7 +2,6 @@ module SwarmClusterCliOpe
   module SyncConfigs
     class PostGres < BaseDatabase
 
-
       def pull
         resume('pull')
 
@@ -13,11 +12,11 @@ module SwarmClusterCliOpe
           local.container.copy_in(tmp_file, tmp_file)
 
           # drop old db and recreate
-          if Gem::Version.new(local.database_version) <= Gem::Version.new("12")
-            close_connections_and_drop_cmd(local)
-          else
-            raise "DA ANALIZZARE QUANDO LA 13 disponibile....dropdb ha un force come parametro"
-          end
+          # if Gem::Version.new(local.database_version) <= Gem::Version.new("12")
+          close_connections_and_drop_cmd(local)
+          # else
+          #   raise "DA ANALIZZARE QUANDO LA 13 disponibile....dropdb ha un force come parametro"
+          # end
 
           create_cmd(local)
 
@@ -37,12 +36,8 @@ module SwarmClusterCliOpe
           dump_cmd(local, tmp_file)
           remote.container.copy_in(tmp_file, tmp_file)
 
-          # drop old db and recreate
-          if Gem::Version.new(local.database_version) <= Gem::Version.new("12")
-            close_connections_and_drop_cmd(remote)
-          else
-            raise "DA ANALIZZARE QUANDO LA 13 disponibile....dropdb ha un force come parametro"
-          end
+          close_connections_and_drop_cmd(remote)
+
           create_cmd(remote)
 
           restore_cmd(remote, tmp_file)
@@ -55,11 +50,14 @@ module SwarmClusterCliOpe
       # Classe interna che rappresenta le configurazioni del DB
       class EnvConfigs < BaseDatabase::EnvConfigs
 
-        define_cfgs :database_name, default_env: "POSTGRES_DB", configuration_name: :database_name
-        define_cfgs :username, default_env: "POSTGRES_USER", configuration_name: :pg_user, default_value: 'postgres'
-        define_cfgs :password, default_env: "POSTGRES_PASSWORD", configuration_name: :pg_password
+        define_cfgs :database_name, default_env: ["POSTGRES_DB", "POSTGRESQL_DATABASE"], configuration_name: :database_name
+        define_cfgs :username, default_env: ["POSTGRES_USER", "POSTGRESQL_USERNAME"], configuration_name: :pg_user, default_value: 'postgres'
+        define_cfgs :password, default_env: ["POSTGRES_PASSWORD", "POSTGRESQL_PASSWORD"], configuration_name: :pg_password
 
-        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version
+        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version,
+                    from_proc: ->(container) {
+                      container.exec("postgres -V").raw_result[:stdout].strip.match(/((\d+\.)?(\d+\.)?(\*|\d+))$/)[1] rescue nil
+                    }
 
       end
 
@@ -125,23 +123,31 @@ module SwarmClusterCliOpe
 
       end
 
-
       # @param [EnvConfigs] config
       def close_connections_and_drop_cmd(config)
+
         cmd = []
-        cmd << "PGPASSWORD=\"#{config.password}\""
 
-        sql = []
-        sql << "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname =  '\"'\"'#{config.database_name}'\"'\"' AND pid <> pg_backend_pid();;"
-        sql << "DROP DATABASE IF EXISTS #{config.database_name};"
+        if Gem::Version.new(config.database_version) >= Gem::Version.new("13")
+          cmd << "export PGPASSWORD=\"#{config.password}\" &&"
+          cmd << 'dropdb --force --if-exists'
+          cmd << "-U #{config.username}"
+          cmd << config.database_name
 
-        cmd << "echo \"#{sql.join(" ")}\" "
-        cmd << '|'
-        cmd << 'psql'
-        cmd << "-U #{config.username}"
-        cmd << "postgres"
-        cmd
+        else
+          cmd << "export PGPASSWORD=\"#{config.password}\" &&"
 
+          sql = []
+          sql << "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname =  '\"'\"'#{config.database_name}'\"'\"' AND pid <> pg_backend_pid();;"
+          sql << "DROP DATABASE IF EXISTS #{config.database_name};"
+
+          cmd << "echo \"#{sql.join(" ")}\" "
+          cmd << '|'
+          cmd << 'psql'
+          cmd << "-U #{config.username}"
+          cmd << "postgres"
+
+        end
         logger.info { "CLOSE CONNECTIONS COMMAND: #{cmd.join(' ')}" }
         config.container.exec("bash -c '#{cmd.join(' ')}'")
       end
@@ -153,7 +159,6 @@ module SwarmClusterCliOpe
       # PGPASSWORD='root' createdb  -U root  -h 0.0.0.0  -p 32790  development;
       # PGPASSWORD='root' psql  -U root  -h 0.0.0.0  -p 32790  -d development < ./cortobio_production_new_2020-09-10-171742.sql
 
-
     end
   end
 end

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.5.0"
+  VERSION = "0.5.5"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.5.0
+  version: 0.5.5
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-11-13 00:00:00.000000000 Z
+date: 2021-02-08 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor