swarm_cluster_cli_ope 0.5.2 → 0.6

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 0c8d4d620c7c8929ca7606a553347601906ebdf99c13ac77c103ee94e4d46c74
-  data.tar.gz: cb045c6a4f21ba1482e79b1d810476677c509ac737cc3ef000bd68afb34ea5eb
+  metadata.gz: 956724efc48101ced01f9b90733cb45f4e7278a7e8da2d54edf7e85a1b103cab
+  data.tar.gz: e3d20867dcd4bc2cafa42b9997bfdbbf4cfeea4cbeb50881bdbebf615320056a
 SHA512:
-  metadata.gz: 34772d9e2eb49263ec059a78bcbaa75629043f3d58b2c47c15c8061c430f995d6c5af6100b66c63781b17d450e012574f32a3c48228b24e2c51fc587904204e6
-  data.tar.gz: 1f59ee9abaf08937a09f26e6f0d7c77d88b595154aac0a0b9399299a4dc2bb7ffb59c7c5906d4fbcdf9d69967ccbc8765fee58e64334544f19a48267fb93d75e
+  metadata.gz: 898033f68020b639df391e38728e8ac63fc284b29dbb7ead531578f10fc11aaa102d2109ebe4d43db9254a1ca2df63149ff8d50341bf7bf509a2d1e0dea5f611
+  data.tar.gz: 85f316b0cef0d08ce7f768d7d35a67b023b728a86315433cb4bcaaf45fdaf1c71e46d609f7255a593a2aea61860d037f84bf259a5e39d417f8b64a9850c610b0

data/CHANGELOG.md

@@ -1,5 +1,21 @@
 ## Changelog
 
+# 0.6
+- sync con MongoDB
+
+# 0.5.6
+- correzione parsing variabili ambiente con '=='
+
+# 0.5.5
+- correzione utilizzo e configurazione variabili ambiente nelle configurazioni.
+- controllo di non installare rsync e killall nel caso siano già presenti.
+
+# 0.5.4
+- bug permessi sul file password dell'rsync
+
+# 0.5.3
+- bug selezione pod, ora filtra solamente per i containers che sono attivi 
+
 # 0.4
 - implementazione push pull con il comando **stacksync** di pg
 - controllo di versione sul file caricato rispeto a gemma, con conseguente warning 

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.5.2)
+    swarm_cluster_cli_ope (0.6)
       activesupport
       open4
       thor (~> 1.0)
@@ -10,23 +10,22 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.0.3.4)
+    activesupport (6.1.3)
       concurrent-ruby (~> 1.0, >= 1.0.2)
-      i18n (>= 0.7, < 2)
-      minitest (~> 5.1)
-      tzinfo (~> 1.1)
-      zeitwerk (~> 2.2, >= 2.2.2)
-    concurrent-ruby (1.1.7)
-    i18n (1.8.5)
+      i18n (>= 1.6, < 2)
+      minitest (>= 5.1)
+      tzinfo (~> 2.0)
+      zeitwerk (~> 2.3)
+    concurrent-ruby (1.1.8)
+    i18n (1.8.9)
       concurrent-ruby (~> 1.0)
-    minitest (5.14.2)
+    minitest (5.14.4)
     open4 (1.3.4)
     rake (12.3.3)
-    thor (1.0.1)
-    thread_safe (0.3.6)
-    tzinfo (1.2.8)
-      thread_safe (~> 0.1)
-    zeitwerk (2.4.1)
+    thor (1.1.0)
+    tzinfo (2.0.4)
+      concurrent-ruby (~> 1.0)
+    zeitwerk (2.4.2)
 
 PLATFORMS
   ruby

data/README.md

@@ -112,10 +112,11 @@ ogni configurazione è composta da:
 
 - service è il nome del servizio (o nel caso  di k8s una stringa da utilizzare come selettore labels)
 - how è il come sincronizzare, definendo la tipologia:
-  - pg      -> DB TODO
+  - pg      -> DB: dump del DB con pgdump
   - mysql   -> DB: dump del db con mysqldump
   - sqlite3 -> DB: viene eseguita una copia del file
   - rsync   -> RSYNC
+  - mongodb -> mongodump e mongorestore
 - configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
 
 Possibili CFGS per tipologia:
@@ -159,8 +160,21 @@ Possibili CFGS per tipologia:
     - pg_user_env: "POSTGRES_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: POSTGRES_USER 
     - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
     - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
-    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-
+    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente
+- mongo:
+  - local:  -> hash di configurazioni per il DB locale
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+  - remote: -> hash di configurazioni per il DB remoto
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''
+  
 #### EXAMPLE:
 Esempio di sincronizzazione di un file sqlite3 e una cartella
 

data/lib/swarm_cluster_cli_ope/base_configuration.rb

@@ -102,6 +102,8 @@ module SwarmClusterCliOpe
         SyncConfigs::Mysql
       when 'pg'
         SyncConfigs::PostGres
+      when 'mongodb'
+        SyncConfigs::MongoDb
       else
         logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
         nil

data/lib/swarm_cluster_cli_ope/kubernetes/configuration.rb

@@ -53,7 +53,7 @@ module SwarmClusterCliOpe
         when 'pg'
           SyncConfigs::PostGres
         else
-          logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
+          logger.error { "CONFIGURAIONE NON PREVISTA in K8S: #{name}" }
           nil
         end
       end

data/lib/swarm_cluster_cli_ope/kubernetes/pod.rb

@@ -90,6 +90,7 @@ module SwarmClusterCliOpe
         base_cmd << "--context=#{context}" unless context.blank?
         base_cmd << "get pod"
         base_cmd << "--selector=#{selector}"
+        base_cmd << "--field-selector=status.phase=Running" #solo pod che stanno girando teniamo sotto controllo
         base_cmd << "--output=json"
 
         cmd = ShellCommandExecution.new(base_cmd)

data/lib/swarm_cluster_cli_ope/kubernetes/sync_configs/rsync.rb

@@ -15,7 +15,6 @@ module SwarmClusterCliOpe
           @configs[:configs][:remote]
         end
 
-
         # @return [SwarmClusterCliOpe::ShellCommandResponse]
         def push
           execute(direction: :up)
@@ -26,7 +25,6 @@ module SwarmClusterCliOpe
           execute(direction: :down)
         end
 
-
         private
 
         def execute(direction: :down)
@@ -36,7 +34,6 @@ module SwarmClusterCliOpe
             exit
           end
 
-
           if yes? "Attenzione, i dati locali o remoti verranno sovrascritti/cancellati?[y,yes]"
 
             podname = container.name
@@ -46,13 +43,30 @@ module SwarmClusterCliOpe
               exit
             end
 
-            cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
-            if cmd.failed?
-              puts "Problemi nell'installazione di rsync nel pod"
-            else
-              cmd = container.cp_in(File.expand_path("../../rsync_cfgs/rsyncd.conf", __FILE__), "/tmp/.")
+            # controllo presenza comandi necessari
+            command_installed = false
+            cmd_ricerca = container.exec(['bash -c "command -v rsync && command -v killall"'])
+            unless cmd_ricerca.failed?
+              num_commands = cmd_ricerca.raw_result[:stdout].split("\n").count rescue 0
+              if num_commands == 2
+                command_installed = true
+              end
+            end
+
+            unless command_installed
+              # tentiamo di installarlo
+              cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
+              if cmd.failed?
+                puts "Problemi nell'installazione di rsync nel pod"
+              else
+                command_installed = true
+              end
+            end
+
+            if command_installed
+              cmd = container.cp_in(configs_path("rsyncd.conf"), "/tmp/.")
               copy_1 = cmd.execute.failed?
-              cmd = container.cp_in(File.expand_path("../../rsync_cfgs/rsyncd.secrets", __FILE__), "/tmp/.")
+              cmd = container.cp_in(configs_path("rsyncd.secrets"), "/tmp/.")
               copy_2 = cmd.execute.failed?
               cmd = container.exec(['bash -c "chmod 600 /tmp/rsyncd.secrets  && chown root /tmp/*"'])
               chmod = cmd.failed?
@@ -76,11 +90,15 @@ module SwarmClusterCliOpe
 
                         sleep 1
 
+                        # forzo i permessi sul file della password
+                        cmd = ShellCommandExecution.new(["chmod 600 #{ configs_path("password")}"])
+                        cmd.execute
+
                         # lanciamo il comando quindi per far rsync
                         rsync_command = [
                           "rsync -az --no-o --no-g",
                           "--delete",
-                          "--password-file=#{ File.expand_path("../../rsync_cfgs/password", __FILE__)}"
+                          "--password-file=#{ configs_path("password")}"
                         ]
 
                         if direction == :up
@@ -119,6 +137,14 @@ module SwarmClusterCliOpe
 
         end
 
+        ##
+        # Estrapola la path al file di configurazione
+        # @param [String] file
+        # @return [String]
+        def configs_path(file)
+          File.expand_path("../../rsync_cfgs/#{file}", __FILE__)
+        end
+
       end
     end
   end

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -17,6 +17,7 @@ module SwarmClusterCliOpe
       ##
       # Metodo che richiama la lambda della generazione del container al momento che ne
       # è proprio necessario
+      # @return [SwarmClusterCliOpe::Commands::Container,SwarmClusterCliOpe::Kubernetes::Pod]
       def container
         @container ||= @lambda_container.call
       end
@@ -26,17 +27,17 @@ module SwarmClusterCliOpe
         @configs[:service] || @sync_configs.service
       end
 
-
       ##
       # Costruisce i metodi che restituiscono i valori delle configurazioni
       #
       # @param [String,Symbol] name -> nome della stringa con cui viene generato il metodo
-      # @param [String,Symbol] default_env -> nome env default nel caso non sia passato
+      # @param [String,Symbol,Array<String,Symbol>] default_env -> nome env default nel caso non sia passato
       # @param [String,Symbol] configuration_name -> nome della configurazione da utilizzare per estrapolare la configurazione
       #                                           in automatico viene tenuto conto se cercare per la versione
       #                                           con _env o senza....precedenza SENZA
+      # @param [Block] from_proc -> proc da utilizzare per ricavare il valore
       # @param [nil,String] default_value se non è estrapolato nessun valore, viene utilizzato il valore di default
-      def self.define_cfgs(name, default_env:, configuration_name:,default_value:nil)
+      def self.define_cfgs(name, default_env: nil, configuration_name:, default_value: nil, from_proc: nil)
         configuration_name ||= name
 
         define_method(name) do
@@ -44,23 +45,42 @@ module SwarmClusterCliOpe
 
           #valore restituito direttamente dalla configurazione
           if @configs.key?(configuration_name)
-            value = @configs["#{configuration_name}".to_sym] || default_value
-          else
-            env_var = @configs["#{configuration_name}_env".to_sym] || default_env
-            value = find_env_file_variable(env_var) || default_value
+            value = @configs["#{configuration_name}".to_sym]
+          end
+          # se non abbiamo nulla dalle configurazioni utilizziamo le variabili d'ambiente
+          if value.nil? and default_env
+
+            #cerchiamo nella lista delle variabili ambiente possibili, la prima che ha un valore la tengo per buona
+            env_vars = []
+            env_vars << @configs["#{configuration_name}_env".to_sym]
+            env_vars << default_env
+            env_vars.flatten!
+            env_vars.compact!
+
+            env_vars.each do |env_var|
+              value = find_env_file_variable(env_var)
+              break unless value.nil?
+            end
+
           end
+          # se non abbiamo ancora nulla e abbiamo una proc proseguiamo
+          if value.nil? and from_proc
+            value = from_proc.call(container)
+          end
+
+          value = value || default_value
+
           self.instance_variable_set("@#{name}", value)
         end
 
       end
 
-
       private
 
       ##
       # Estrae l'env dal container e ne tiene in memoria una copia, in modo da non fare multiple chiamate
       def env
-        @env ||= container.exec("env").raw_result[:stdout].split("\n").collect { |v| v.split('=') }.to_h
+        @env ||= Hash[ container.exec("env").raw_result[:stdout].scan(/-{0,2}([^=\s]+)(?:[=\s](\S+))?/) ]
       end
 
       def find_env_file_variable(env_var)

data/lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb

@@ -0,0 +1,94 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    class MongoDb < BaseDatabase
+
+      # @return [TrueClass, FalseClass]
+      def pull
+        resume('pull')
+        if yes?("Confermare il comando?[y,yes]")
+
+          tmp_file = make_dump(remote, container)
+
+          local_container.copy_in(tmp_file, tmp_file)
+
+          restore(tmp_file, remote, local, local_container)
+        end
+        true
+      end
+
+      # @return [TrueClass, FalseClass]
+      def push
+        resume('PUSH')
+        if yes?("ATTENZIONE !!!!!!PUSH!!!!! - Confermare il comando?[y,yes]")
+          tmp_file = make_dump(local, local_container)
+          container.copy_in(tmp_file, tmp_file)
+          restore(tmp_file, local, remote, container)
+        end
+        true
+      end
+
+      ##
+      # Classe interna che rappresenta le configurazioni del DB
+      class EnvConfigs < BaseDatabase::EnvConfigs
+
+        define_cfgs :database_name, configuration_name: :database_name
+        define_cfgs :username, configuration_name: :username
+        define_cfgs :password, configuration_name: :password
+
+        define_cfgs :database_version, default_env: "MONGO_VERSION", configuration_name: :version
+
+        ##
+        # Possiamo definire una lista, comma-separated, per limitare le collections da non importare
+        define_cfgs :exclude_from_sync, default_env: "EXCLUDE_FROM_SYNC", configuration_name: :exclude_from_sync, default_value: ""
+
+        ##
+        # Helper per avere un array di collections da non sincronizzare, specifico per mongodb
+        # @return [Array<String>]
+        def excluded_collections
+          return [] if exclude_from_sync.nil?
+          exclude_from_sync.split(",").compact
+        end
+
+      end
+
+      private
+
+      # @param [String] tmp_file
+      # @param [EnvConfigs] from_env environment sorgente (per rinominare anche il nome del DB)
+      # @param [EnvConfigs] to_env environment di arrivo (per rinominare anche il nome del DB)
+      # @param [SwarmClusterCliOpe::Models::Container] cnt in cui eseguire l'import
+      def restore(tmp_file, from_env, to_env, cnt)
+        command = []
+        command << "bash -c '"
+        command << "mongorestore"
+        command << "--nsFrom  '#{from_env.database_name}.*'"
+        command << "--nsTo '#{to_env.database_name}.*'"
+        command << "--drop --archive=#{tmp_file} --gzip"
+        command << "'"
+
+        cnt.exec(command.join " ")
+      end
+
+      # @param [EnvConfigs] environment
+      # @param [SwarmClusterCliOpe::Models::Container] cnt
+      def make_dump(environment, cnt)
+        tmp_file = "/tmp/dump.#{Time.now.to_i}.archive"
+        command = []
+        command << "bash -c '"
+
+        command << "mongodump --db #{environment.database_name} "
+        environment.excluded_collections.each do |collection|
+          command << " --excludeCollection \"#{collection}\" "
+        end
+        command << "--username \"#{environment.username}\" " if environment.username
+        command << "--password \"#{environment.password}\" " if environment.password
+        command << "--archive --gzip"
+
+        command << "' > #{tmp_file}"
+        cnt.exec(command.join " ")
+        tmp_file
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb

@@ -50,11 +50,14 @@ module SwarmClusterCliOpe
       # Classe interna che rappresenta le configurazioni del DB
       class EnvConfigs < BaseDatabase::EnvConfigs
 
-        define_cfgs :database_name, default_env: "POSTGRES_DB", configuration_name: :database_name
-        define_cfgs :username, default_env: "POSTGRES_USER", configuration_name: :pg_user, default_value: 'postgres'
-        define_cfgs :password, default_env: "POSTGRES_PASSWORD", configuration_name: :pg_password
-
-        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version
+        define_cfgs :database_name, default_env: ["POSTGRES_DB", "POSTGRESQL_DATABASE"], configuration_name: :database_name
+        define_cfgs :username, default_env: ["POSTGRES_USER", "POSTGRESQL_USERNAME"], configuration_name: :pg_user, default_value: 'postgres'
+        define_cfgs :password, default_env: ["POSTGRES_PASSWORD", "POSTGRESQL_PASSWORD"], configuration_name: :pg_password
+
+        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version,
+                    from_proc: ->(container) {
+                      container.exec("postgres -V").raw_result[:stdout].strip.match(/((\d+\.)?(\d+\.)?(\*|\d+))$/)[1] rescue nil
+                    }
 
       end
 

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.5.2"
+  VERSION = "0.6"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.5.2
+  version: '0.6'
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2021-01-08 00:00:00.000000000 Z
+date: 2021-03-04 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -126,6 +126,7 @@ files:
 - lib/swarm_cluster_cli_ope/sync_configs/base_database.rb
 - lib/swarm_cluster_cli_ope/sync_configs/copy.rb
 - lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb
+- lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb
 - lib/swarm_cluster_cli_ope/sync_configs/mysql.rb
 - lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb
 - lib/swarm_cluster_cli_ope/sync_configs/rsync.rb