swarm_cluster_cli_ope 0.5.4 → 0.7

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: ec7a0b3dd9f3253a1e18bcb091b4e31a5de19b6304a91fe77ed4d704c9a9f109
-  data.tar.gz: b552969314967d155c2ddba35de7f4f809b5905830c1fb2edc20a0542879005f
+  metadata.gz: 073c69aa2b2317c5c8148497cbe718c6a48f32e574f94fd98c686d8bf9645235
+  data.tar.gz: f37f6a1e5c9206262d0b38eaaff4583f4db31991e7715203424077b7a583c418
 SHA512:
-  metadata.gz: 64f80000c7b36cd5ef521f41939fb93060b3e94520081b33522d44ecf52cba7754022881089a981a206b230287289e19735efd9b6fdcb1acdb60e26563c2f14a
-  data.tar.gz: e7943eaad259b10bc0e3c6879aca2910d6a864e843d0235844eca2ef90c10c8ba7fa671b1fa2bbcbdec5041a0946abae4d96b6a49d311636f8a52dd5717a7a7a
+  metadata.gz: 84863ff0ac40ba91ab79b191558a501aed8d709b63109310791d3475909ac4571f1bb45afbb2b0a3ede1875de2d67699e672d4d9d2f6282b7d6a0acdb39cb45c
+  data.tar.gz: 50af6cdd12aae5210bdb98bf96face8b61f532c89adac2b1581e9b35e356e6ada191f2614f6a26ef4a5bcc6c0842ab1c2f43bae5c5cc7028f795cbbde8ce8059

data/CHANGELOG.md

@@ -1,5 +1,19 @@
 ## Changelog
 
+# 0.7
+- riconoscimento delle immagini durante rsync per installare correttamente pacchetto, 
+  viene riconosciuto ubuntu ed alpine
+
+# 0.6
+- sync con MongoDB
+
+# 0.5.6
+- correzione parsing variabili ambiente con '=='
+
+# 0.5.5
+- correzione utilizzo e configurazione variabili ambiente nelle configurazioni.
+- controllo di non installare rsync e killall nel caso siano già presenti.
+
 # 0.5.4
 - bug permessi sul file password dell'rsync
 

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.5.4)
+    swarm_cluster_cli_ope (0.7)
       activesupport
       open4
       thor (~> 1.0)
@@ -10,16 +10,16 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.1.1)
+    activesupport (6.1.4.1)
       concurrent-ruby (~> 1.0, >= 1.0.2)
       i18n (>= 1.6, < 2)
       minitest (>= 5.1)
       tzinfo (~> 2.0)
       zeitwerk (~> 2.3)
-    concurrent-ruby (1.1.8)
-    i18n (1.8.7)
+    concurrent-ruby (1.1.9)
+    i18n (1.8.10)
       concurrent-ruby (~> 1.0)
-    minitest (5.14.3)
+    minitest (5.14.4)
     open4 (1.3.4)
     rake (12.3.3)
     thor (1.1.0)

data/README.md

@@ -112,10 +112,11 @@ ogni configurazione è composta da:
 
 - service è il nome del servizio (o nel caso  di k8s una stringa da utilizzare come selettore labels)
 - how è il come sincronizzare, definendo la tipologia:
-  - pg      -> DB TODO
+  - pg      -> DB: dump del DB con pgdump
   - mysql   -> DB: dump del db con mysqldump
   - sqlite3 -> DB: viene eseguita una copia del file
   - rsync   -> RSYNC
+  - mongodb -> mongodump e mongorestore
 - configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
 
 Possibili CFGS per tipologia:
@@ -159,8 +160,21 @@ Possibili CFGS per tipologia:
     - pg_user_env: "POSTGRES_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: POSTGRES_USER 
     - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
     - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
-    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-
+    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente
+- mongo:
+  - local:  -> hash di configurazioni per il DB locale
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+  - remote: -> hash di configurazioni per il DB remoto
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''
+  
 #### EXAMPLE:
 Esempio di sincronizzazione di un file sqlite3 e una cartella
 
@@ -217,6 +231,8 @@ docker-compose -f test_folder/test_k8s/docker-compose-local.yml up -d
 ```
 
 
+## Release
+
 To install this gem onto your local machine, run `bundle exec rake install`. To release a new version, update the version 
 number in `version.rb`, and then run `bundle exec rake release`, which will create a git tag for the version, push git 
 commits and tags, and push the `.gem` file to [rubygems.org](https://rubygems.org).

data/lib/swarm_cluster_cli_ope/base_configuration.rb

@@ -102,6 +102,8 @@ module SwarmClusterCliOpe
         SyncConfigs::Mysql
       when 'pg'
         SyncConfigs::PostGres
+      when 'mongodb'
+        SyncConfigs::MongoDb
       else
         logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
         nil

data/lib/swarm_cluster_cli_ope/kubernetes/configuration.rb

@@ -53,7 +53,7 @@ module SwarmClusterCliOpe
         when 'pg'
           SyncConfigs::PostGres
         else
-          logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
+          logger.error { "CONFIGURAIONE NON PREVISTA in K8S: #{name}" }
           nil
         end
       end

data/lib/swarm_cluster_cli_ope/kubernetes/pod.rb

@@ -31,8 +31,9 @@ module SwarmClusterCliOpe
 
       # @param [String,Array<String>] cmd -> comando da passare a kubectl exec -- CMD
       # @return [SwarmClusterCliOpe::ShellCommandResponse]
-      def exec(cmd)
-        base_cmd(["exec", name, "--", cmd].flatten).execute
+      # @param [FalseClass] allow_failure -> parametro per lasciar fallire o meno il comando senza bloccarsi e poi gestirlo
+      def exec(cmd, allow_failure: false)
+        base_cmd(["exec", name, "--", cmd].flatten).execute(allow_failure: allow_failure)
       end
 
       ##

data/lib/swarm_cluster_cli_ope/kubernetes/sync_configs/rsync.rb

@@ -15,7 +15,6 @@ module SwarmClusterCliOpe
           @configs[:configs][:remote]
         end
 
-
         # @return [SwarmClusterCliOpe::ShellCommandResponse]
         def push
           execute(direction: :up)
@@ -26,7 +25,6 @@ module SwarmClusterCliOpe
           execute(direction: :down)
         end
 
-
         private
 
         def execute(direction: :down)
@@ -36,7 +34,6 @@ module SwarmClusterCliOpe
             exit
           end
 
-
           if yes? "Attenzione, i dati locali o remoti verranno sovrascritti/cancellati?[y,yes]"
 
             podname = container.name
@@ -46,10 +43,29 @@ module SwarmClusterCliOpe
               exit
             end
 
-            cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
-            if cmd.failed?
-              puts "Problemi nell'installazione di rsync nel pod"
+            # controllo presenza comandi necessari
+            command_installed = false
+            install_rsync = false
+            install_psmisc = false
+            if container.exec(['sh -c "command -v apt"'], allow_failure: true).success?
+              puts "Container Ubuntu"
+              install_rsync = container.exec(['sh -c "command -v rsync || apt update && apt install -yq rsync "'], allow_failure: true).success?
+              install_psmisc = container.exec(['sh -c "command -v killall || apt update && apt install -yq psmisc"'], allow_failure: true).success?
+            end
+
+            if container.exec(['sh -c "command -v apk"'], allow_failure: true).success?
+              puts "Container Alpine"
+              install_rsync = container.exec(['sh -c "command -v rsync || apk add rsync"'], allow_failure: true).success?
+              install_psmisc = true
+            end
+
+            if install_rsync and install_psmisc
+              command_installed = true
             else
+              puts "Problemi nell'installazione di rsync nel pod"
+            end
+
+            if command_installed
               cmd = container.cp_in(configs_path("rsyncd.conf"), "/tmp/.")
               copy_1 = cmd.execute.failed?
               cmd = container.cp_in(configs_path("rsyncd.secrets"), "/tmp/.")

data/lib/swarm_cluster_cli_ope/stack_sync_concern.rb

@@ -66,7 +66,19 @@ module SwarmClusterCliOpe
         - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
         - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
         - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-              
+      mongo:
+      -- local:  -> hash di configurazioni per il DB locale
+        - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+        - password: ""                          -> password per DB
+        - username: ""                          -> username per DB
+        - database_name: "nome_db"              -> nome del DB
+        - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+      -- remote: -> hash di configurazioni per il DB remoto
+        - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+        - password: ""                          -> password per DB
+        - username: ""                          -> username per DB
+        - database_name: "nome_db"              -> nome del DB
+        - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''        
 
       EXAMPLE:
       Esempio di sincronizzazione di un file sqlite3 e una cartella

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -17,6 +17,7 @@ module SwarmClusterCliOpe
       ##
       # Metodo che richiama la lambda della generazione del container al momento che ne
       # è proprio necessario
+      # @return [SwarmClusterCliOpe::Commands::Container,SwarmClusterCliOpe::Kubernetes::Pod]
       def container
         @container ||= @lambda_container.call
       end
@@ -26,17 +27,17 @@ module SwarmClusterCliOpe
         @configs[:service] || @sync_configs.service
       end
 
-
       ##
       # Costruisce i metodi che restituiscono i valori delle configurazioni
       #
       # @param [String,Symbol] name -> nome della stringa con cui viene generato il metodo
-      # @param [String,Symbol] default_env -> nome env default nel caso non sia passato
+      # @param [String,Symbol,Array<String,Symbol>] default_env -> nome env default nel caso non sia passato
       # @param [String,Symbol] configuration_name -> nome della configurazione da utilizzare per estrapolare la configurazione
       #                                           in automatico viene tenuto conto se cercare per la versione
       #                                           con _env o senza....precedenza SENZA
+      # @param [Block] from_proc -> proc da utilizzare per ricavare il valore
       # @param [nil,String] default_value se non è estrapolato nessun valore, viene utilizzato il valore di default
-      def self.define_cfgs(name, default_env:, configuration_name:,default_value:nil)
+      def self.define_cfgs(name, default_env: nil, configuration_name:, default_value: nil, from_proc: nil)
         configuration_name ||= name
 
         define_method(name) do
@@ -44,23 +45,42 @@ module SwarmClusterCliOpe
 
           #valore restituito direttamente dalla configurazione
           if @configs.key?(configuration_name)
-            value = @configs["#{configuration_name}".to_sym] || default_value
-          else
-            env_var = @configs["#{configuration_name}_env".to_sym] || default_env
-            value = find_env_file_variable(env_var) || default_value
+            value = @configs["#{configuration_name}".to_sym]
+          end
+          # se non abbiamo nulla dalle configurazioni utilizziamo le variabili d'ambiente
+          if value.nil? and default_env
+
+            #cerchiamo nella lista delle variabili ambiente possibili, la prima che ha un valore la tengo per buona
+            env_vars = []
+            env_vars << @configs["#{configuration_name}_env".to_sym]
+            env_vars << default_env
+            env_vars.flatten!
+            env_vars.compact!
+
+            env_vars.each do |env_var|
+              value = find_env_file_variable(env_var)
+              break unless value.nil?
+            end
+
           end
+          # se non abbiamo ancora nulla e abbiamo una proc proseguiamo
+          if value.nil? and from_proc
+            value = from_proc.call(container)
+          end
+
+          value = value || default_value
+
           self.instance_variable_set("@#{name}", value)
         end
 
       end
 
-
       private
 
       ##
       # Estrae l'env dal container e ne tiene in memoria una copia, in modo da non fare multiple chiamate
       def env
-        @env ||= container.exec("env").raw_result[:stdout].split("\n").collect { |v| v.split('=') }.to_h
+        @env ||= Hash[ container.exec("env").raw_result[:stdout].scan(/-{0,2}([^=\s]+)(?:[=\s](\S+))?/) ]
       end
 
       def find_env_file_variable(env_var)

data/lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb

@@ -0,0 +1,94 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    class MongoDb < BaseDatabase
+
+      # @return [TrueClass, FalseClass]
+      def pull
+        resume('pull')
+        if yes?("Confermare il comando?[y,yes]")
+
+          tmp_file = make_dump(remote, container)
+
+          local_container.copy_in(tmp_file, tmp_file)
+
+          restore(tmp_file, remote, local, local_container)
+        end
+        true
+      end
+
+      # @return [TrueClass, FalseClass]
+      def push
+        resume('PUSH')
+        if yes?("ATTENZIONE !!!!!!PUSH!!!!! - Confermare il comando?[y,yes]")
+          tmp_file = make_dump(local, local_container)
+          container.copy_in(tmp_file, tmp_file)
+          restore(tmp_file, local, remote, container)
+        end
+        true
+      end
+
+      ##
+      # Classe interna che rappresenta le configurazioni del DB
+      class EnvConfigs < BaseDatabase::EnvConfigs
+
+        define_cfgs :database_name, configuration_name: :database_name
+        define_cfgs :username, configuration_name: :username
+        define_cfgs :password, configuration_name: :password
+
+        define_cfgs :database_version, default_env: "MONGO_VERSION", configuration_name: :version
+
+        ##
+        # Possiamo definire una lista, comma-separated, per limitare le collections da non importare
+        define_cfgs :exclude_from_sync, default_env: "EXCLUDE_FROM_SYNC", configuration_name: :exclude_from_sync, default_value: ""
+
+        ##
+        # Helper per avere un array di collections da non sincronizzare, specifico per mongodb
+        # @return [Array<String>]
+        def excluded_collections
+          return [] if exclude_from_sync.nil?
+          exclude_from_sync.split(",").compact
+        end
+
+      end
+
+      private
+
+      # @param [String] tmp_file
+      # @param [EnvConfigs] from_env environment sorgente (per rinominare anche il nome del DB)
+      # @param [EnvConfigs] to_env environment di arrivo (per rinominare anche il nome del DB)
+      # @param [SwarmClusterCliOpe::Models::Container] cnt in cui eseguire l'import
+      def restore(tmp_file, from_env, to_env, cnt)
+        command = []
+        command << "bash -c '"
+        command << "mongorestore"
+        command << "--nsFrom  '#{from_env.database_name}.*'"
+        command << "--nsTo '#{to_env.database_name}.*'"
+        command << "--drop --archive=#{tmp_file} --gzip"
+        command << "'"
+
+        cnt.exec(command.join " ")
+      end
+
+      # @param [EnvConfigs] environment
+      # @param [SwarmClusterCliOpe::Models::Container] cnt
+      def make_dump(environment, cnt)
+        tmp_file = "/tmp/dump.#{Time.now.to_i}.archive"
+        command = []
+        command << "bash -c '"
+
+        command << "mongodump --db #{environment.database_name} "
+        environment.excluded_collections.each do |collection|
+          command << " --excludeCollection \"#{collection}\" "
+        end
+        command << "--username \"#{environment.username}\" " if environment.username
+        command << "--password \"#{environment.password}\" " if environment.password
+        command << "--archive --gzip"
+
+        command << "' > #{tmp_file}"
+        cnt.exec(command.join " ")
+        tmp_file
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb

@@ -50,11 +50,14 @@ module SwarmClusterCliOpe
       # Classe interna che rappresenta le configurazioni del DB
       class EnvConfigs < BaseDatabase::EnvConfigs
 
-        define_cfgs :database_name, default_env: "POSTGRES_DB", configuration_name: :database_name
-        define_cfgs :username, default_env: "POSTGRES_USER", configuration_name: :pg_user, default_value: 'postgres'
-        define_cfgs :password, default_env: "POSTGRES_PASSWORD", configuration_name: :pg_password
-
-        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version
+        define_cfgs :database_name, default_env: ["POSTGRES_DB", "POSTGRESQL_DATABASE"], configuration_name: :database_name
+        define_cfgs :username, default_env: ["POSTGRES_USER", "POSTGRESQL_USERNAME"], configuration_name: :pg_user, default_value: 'postgres'
+        define_cfgs :password, default_env: ["POSTGRES_PASSWORD", "POSTGRESQL_PASSWORD"], configuration_name: :pg_password
+
+        define_cfgs :database_version, default_env: "PG_MAJOR", configuration_name: :pg_version,
+                    from_proc: ->(container) {
+                      container.exec("postgres -V").raw_result[:stdout].strip.match(/((\d+\.)?(\d+\.)?(\*|\d+))$/)[1] rescue nil
+                    }
 
       end
 

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.5.4"
+  VERSION = "0.7"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.5.4
+  version: '0.7'
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2021-01-29 00:00:00.000000000 Z
+date: 2021-10-06 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -126,6 +126,7 @@ files:
 - lib/swarm_cluster_cli_ope/sync_configs/base_database.rb
 - lib/swarm_cluster_cli_ope/sync_configs/copy.rb
 - lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb
+- lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb
 - lib/swarm_cluster_cli_ope/sync_configs/mysql.rb
 - lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb
 - lib/swarm_cluster_cli_ope/sync_configs/rsync.rb