swarm_cluster_cli_ope 0.5.6 → 0.7.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 93771440f5d2a285cd10d390fe8983d8efcce1a5e3ef323d15de38ade748cfba
-  data.tar.gz: 61d5654dcf67657bab0313da131292c930a5008dcb60359eef3eb0c9f334ffc1
+  metadata.gz: 3d51e0df2052c16b612f01ad3601fae2437cacdc0576934f9986ad9144cb56bd
+  data.tar.gz: aa35f3b0392254bac2e0279a4b03be48e117f7a30647579e853ee61d6b1e7b3b
 SHA512:
-  metadata.gz: 5b6d4dd4be603b2ce5648bfcd345d3a2f0f415b370ec0834816272480faade213c18fdc17672cbe6c806c438ff2846e40458683d7fc5e48306189a230ca81d99
-  data.tar.gz: 38ae9e73b07af96a439a2f624d0851f0de4686447694a41eb0dd86d63126926b626e9c91b64699cec2df331eee5361098a08e894969401183edd23bbb28ccba0
+  metadata.gz: ff8ba67141d48e2bf24ab2940c2567b2b48d8b1d92e8459dc14436813feee68c60886510a1812aafe340e2186a1a1bf11766c505d6a97ca8ee001a6cd016a16d
+  data.tar.gz: c34cfd520df2b7afcacfcd69827033fe12569eedff9f482053bf9b58e97f288632a92cc573aae71c02d7e457fb4f0ab307eeba07131c8dd03cc65a0283a4ccec

data/CHANGELOG.md

@@ -1,5 +1,12 @@
 ## Changelog
 
+# 0.7
+- riconoscimento delle immagini durante rsync per installare correttamente pacchetto, 
+  viene riconosciuto ubuntu ed alpine
+
+# 0.6
+- sync con MongoDB
+
 # 0.5.6
 - correzione parsing variabili ambiente con '=='
 

data/Gemfile.lock

@@ -1,8 +1,8 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.5.6)
-      activesupport
+    swarm_cluster_cli_ope (0.7.2)
+      activesupport (< 7)
       open4
       thor (~> 1.0)
       zeitwerk (~> 2.3)
@@ -10,22 +10,22 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.1.2)
+    activesupport (6.1.6)
       concurrent-ruby (~> 1.0, >= 1.0.2)
       i18n (>= 1.6, < 2)
       minitest (>= 5.1)
       tzinfo (~> 2.0)
       zeitwerk (~> 2.3)
-    concurrent-ruby (1.1.8)
-    i18n (1.8.8)
+    concurrent-ruby (1.1.10)
+    i18n (1.10.0)
       concurrent-ruby (~> 1.0)
-    minitest (5.14.3)
+    minitest (5.15.0)
     open4 (1.3.4)
     rake (12.3.3)
-    thor (1.1.0)
+    thor (1.2.1)
     tzinfo (2.0.4)
       concurrent-ruby (~> 1.0)
-    zeitwerk (2.4.2)
+    zeitwerk (2.6.0)
 
 PLATFORMS
   ruby

data/README.md

@@ -112,10 +112,11 @@ ogni configurazione è composta da:
 
 - service è il nome del servizio (o nel caso  di k8s una stringa da utilizzare come selettore labels)
 - how è il come sincronizzare, definendo la tipologia:
-  - pg      -> DB TODO
+  - pg      -> DB: dump del DB con pgdump
   - mysql   -> DB: dump del db con mysqldump
   - sqlite3 -> DB: viene eseguita una copia del file
   - rsync   -> RSYNC
+  - mongodb -> mongodump e mongorestore
 - configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
 
 Possibili CFGS per tipologia:
@@ -159,8 +160,21 @@ Possibili CFGS per tipologia:
     - pg_user_env: "POSTGRES_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: POSTGRES_USER 
     - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
     - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
-    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-
+    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente
+- mongo:
+  - local:  -> hash di configurazioni per il DB locale
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+  - remote: -> hash di configurazioni per il DB remoto
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''
+  
 #### EXAMPLE:
 Esempio di sincronizzazione di un file sqlite3 e una cartella
 
@@ -217,9 +231,12 @@ docker-compose -f test_folder/test_k8s/docker-compose-local.yml up -d
 ```
 
 
-To install this gem onto your local machine, run `bundle exec rake install`. To release a new version, update the version 
-number in `version.rb`, and then run `bundle exec rake release`, which will create a git tag for the version, push git 
-commits and tags, and push the `.gem` file to [rubygems.org](https://rubygems.org).
+## Release
+
+To install this gem onto your local machine, run `bundle exec rake install`. 
+
+To release a new version, update the version number in `version.rb`, and then run `bundle exec rake release`, 
+which will create a git tag for the version, push git commits and tags, and push the `.gem` file to [rubygems.org](https://rubygems.org).
 
 
 ## License

data/lib/swarm_cluster_cli_ope/base_configuration.rb

@@ -102,6 +102,8 @@ module SwarmClusterCliOpe
         SyncConfigs::Mysql
       when 'pg'
         SyncConfigs::PostGres
+      when 'mongodb'
+        SyncConfigs::MongoDb
       else
         logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
         nil

data/lib/swarm_cluster_cli_ope/kubernetes/configuration.rb

@@ -53,7 +53,7 @@ module SwarmClusterCliOpe
         when 'pg'
           SyncConfigs::PostGres
         else
-          logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
+          logger.error { "CONFIGURAIONE NON PREVISTA in K8S: #{name}" }
           nil
         end
       end

data/lib/swarm_cluster_cli_ope/kubernetes/pod.rb

@@ -31,8 +31,9 @@ module SwarmClusterCliOpe
 
       # @param [String,Array<String>] cmd -> comando da passare a kubectl exec -- CMD
       # @return [SwarmClusterCliOpe::ShellCommandResponse]
-      def exec(cmd)
-        base_cmd(["exec", name, "--", cmd].flatten).execute
+      # @param [FalseClass] allow_failure -> parametro per lasciar fallire o meno il comando senza bloccarsi e poi gestirlo
+      def exec(cmd, allow_failure: false)
+        base_cmd(["exec", name, "--", cmd].flatten).execute(allow_failure: allow_failure)
       end
 
       ##

data/lib/swarm_cluster_cli_ope/kubernetes/sync_configs/rsync.rb

@@ -45,22 +45,24 @@ module SwarmClusterCliOpe
 
             # controllo presenza comandi necessari
             command_installed = false
-            cmd_ricerca = container.exec(['bash -c "command -v rsync && command -v killall"'])
-            unless cmd_ricerca.failed?
-              num_commands = cmd_ricerca.raw_result[:stdout].split("\n").count rescue 0
-              if num_commands == 2
-                command_installed = true
-              end
+            install_rsync = false
+            install_psmisc = false
+            if container.exec(['sh -c "command -v apt"'], allow_failure: true).success?
+              puts "Container Ubuntu"
+              install_rsync = container.exec(['sh -c "command -v rsync || apt update && apt install -yq rsync "'], allow_failure: true).success?
+              install_psmisc = container.exec(['sh -c "command -v killall || apt update && apt install -yq psmisc"'], allow_failure: true).success?
             end
 
-            unless command_installed
-              # tentiamo di installarlo
-              cmd = container.exec(['bash -c "apt update && apt install -yq rsync psmisc"'])
-              if cmd.failed?
-                puts "Problemi nell'installazione di rsync nel pod"
-              else
-                command_installed = true
-              end
+            if container.exec(['sh -c "command -v apk"'], allow_failure: true).success?
+              puts "Container Alpine"
+              install_rsync = container.exec(['sh -c "command -v rsync || apk add rsync"'], allow_failure: true).success?
+              install_psmisc = true
+            end
+
+            if install_rsync and install_psmisc
+              command_installed = true
+            else
+              puts "Problemi nell'installazione di rsync nel pod"
             end
 
             if command_installed

data/lib/swarm_cluster_cli_ope/models/compose_container.rb

@@ -4,7 +4,14 @@ module SwarmClusterCliOpe
 
       # @return [SwarmClusterCliOpe::Models::ComposeContainer]
       def self.find_by_service_name(service_name, stack_name: '')
-        res = ShellCommandExecution.new("docker inspect #{[stack_name, service_name, "1"].compact.join("_".strip)}").execute
+        # prima controlliamo se siamo con il vecchio sistema di docker-compose dove i nomi dei servizi venivano
+        # costruiti con _ oppure se siamo nella nuova versione di docker compose dove c'è il - che fà da spaziatore
+        res = nil
+        ["_", "-"].each do |separatore|
+          res = ShellCommandExecution.new("docker inspect #{[stack_name, service_name, "1"].compact.join(separatore)}").execute(allow_failure: true)
+          break unless res.failed?
+        end
+        raise "Non siamo riusciti ad identificare il servizio in locale" if res.failed?
         self.new(JSON.parse(res.raw_result[:stdout]).first)
       end
 

data/lib/swarm_cluster_cli_ope/stack_sync_concern.rb

@@ -66,7 +66,19 @@ module SwarmClusterCliOpe
         - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
         - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
         - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-              
+      mongo:
+      -- local:  -> hash di configurazioni per il DB locale
+        - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+        - password: ""                          -> password per DB
+        - username: ""                          -> username per DB
+        - database_name: "nome_db"              -> nome del DB
+        - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+      -- remote: -> hash di configurazioni per il DB remoto
+        - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+        - password: ""                          -> password per DB
+        - username: ""                          -> username per DB
+        - database_name: "nome_db"              -> nome del DB
+        - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''        
 
       EXAMPLE:
       Esempio di sincronizzazione di un file sqlite3 e una cartella

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -37,7 +37,7 @@ module SwarmClusterCliOpe
       #                                           con _env o senza....precedenza SENZA
       # @param [Block] from_proc -> proc da utilizzare per ricavare il valore
       # @param [nil,String] default_value se non è estrapolato nessun valore, viene utilizzato il valore di default
-      def self.define_cfgs(name, default_env:, configuration_name:, default_value: nil, from_proc: nil)
+      def self.define_cfgs(name, default_env: nil, configuration_name:, default_value: nil, from_proc: nil)
         configuration_name ||= name
 
         define_method(name) do
@@ -48,7 +48,7 @@ module SwarmClusterCliOpe
             value = @configs["#{configuration_name}".to_sym]
           end
           # se non abbiamo nulla dalle configurazioni utilizziamo le variabili d'ambiente
-          if value.nil?
+          if value.nil? and default_env
 
             #cerchiamo nella lista delle variabili ambiente possibili, la prima che ha un valore la tengo per buona
             env_vars = []

data/lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb

@@ -0,0 +1,94 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    class MongoDb < BaseDatabase
+
+      # @return [TrueClass, FalseClass]
+      def pull
+        resume('pull')
+        if yes?("Confermare il comando?[y,yes]")
+
+          tmp_file = make_dump(remote, container)
+
+          local_container.copy_in(tmp_file, tmp_file)
+
+          restore(tmp_file, remote, local, local_container)
+        end
+        true
+      end
+
+      # @return [TrueClass, FalseClass]
+      def push
+        resume('PUSH')
+        if yes?("ATTENZIONE !!!!!!PUSH!!!!! - Confermare il comando?[y,yes]")
+          tmp_file = make_dump(local, local_container)
+          container.copy_in(tmp_file, tmp_file)
+          restore(tmp_file, local, remote, container)
+        end
+        true
+      end
+
+      ##
+      # Classe interna che rappresenta le configurazioni del DB
+      class EnvConfigs < BaseDatabase::EnvConfigs
+
+        define_cfgs :database_name, configuration_name: :database_name
+        define_cfgs :username, configuration_name: :username
+        define_cfgs :password, configuration_name: :password
+
+        define_cfgs :database_version, default_env: "MONGO_VERSION", configuration_name: :version
+
+        ##
+        # Possiamo definire una lista, comma-separated, per limitare le collections da non importare
+        define_cfgs :exclude_from_sync, default_env: "EXCLUDE_FROM_SYNC", configuration_name: :exclude_from_sync, default_value: ""
+
+        ##
+        # Helper per avere un array di collections da non sincronizzare, specifico per mongodb
+        # @return [Array<String>]
+        def excluded_collections
+          return [] if exclude_from_sync.nil?
+          exclude_from_sync.split(",").compact
+        end
+
+      end
+
+      private
+
+      # @param [String] tmp_file
+      # @param [EnvConfigs] from_env environment sorgente (per rinominare anche il nome del DB)
+      # @param [EnvConfigs] to_env environment di arrivo (per rinominare anche il nome del DB)
+      # @param [SwarmClusterCliOpe::Models::Container] cnt in cui eseguire l'import
+      def restore(tmp_file, from_env, to_env, cnt)
+        command = []
+        command << "bash -c '"
+        command << "mongorestore"
+        command << "--nsFrom  '#{from_env.database_name}.*'"
+        command << "--nsTo '#{to_env.database_name}.*'"
+        command << "--drop --archive=#{tmp_file} --gzip"
+        command << "'"
+
+        cnt.exec(command.join " ")
+      end
+
+      # @param [EnvConfigs] environment
+      # @param [SwarmClusterCliOpe::Models::Container] cnt
+      def make_dump(environment, cnt)
+        tmp_file = "/tmp/dump.#{Time.now.to_i}.archive"
+        command = []
+        command << "bash -c '"
+
+        command << "mongodump --db #{environment.database_name} "
+        environment.excluded_collections.each do |collection|
+          command << " --excludeCollection \"#{collection}\" "
+        end
+        command << "--username \"#{environment.username}\" " if environment.username
+        command << "--password \"#{environment.password}\" " if environment.password
+        command << "--archive --gzip"
+
+        command << "' > #{tmp_file}"
+        cnt.exec(command.join " ")
+        tmp_file
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.5.6"
+  VERSION = "0.7.2"
 end

data/swarm_cluster_cli_ope.gemspec

@@ -32,5 +32,5 @@ Gem::Specification.new do |spec|
   spec.add_dependency "thor", '~>1.0'
   spec.add_dependency "zeitwerk", '~>2.3'
   spec.add_dependency "open4"
-  spec.add_dependency "activesupport"
+  spec.add_dependency "activesupport", '<7'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.5.6
+  version: 0.7.2
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2021-02-10 00:00:00.000000000 Z
+date: 2022-06-24 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -56,16 +56,16 @@ dependencies:
   name: activesupport
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - ">="
+    - - "<"
       - !ruby/object:Gem::Version
-        version: '0'
+        version: '7'
   type: :runtime
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - ">="
+    - - "<"
       - !ruby/object:Gem::Version
-        version: '0'
+        version: '7'
 description: |-
   Gestione di varie operazioni come sincronia con le cartelle bindate dei container (rsync) up o
                           down e possibilità di scaricare/caricare i file direttamente all'interno del cluster, in
@@ -126,6 +126,7 @@ files:
 - lib/swarm_cluster_cli_ope/sync_configs/base_database.rb
 - lib/swarm_cluster_cli_ope/sync_configs/copy.rb
 - lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb
+- lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb
 - lib/swarm_cluster_cli_ope/sync_configs/mysql.rb
 - lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb
 - lib/swarm_cluster_cli_ope/sync_configs/rsync.rb