swarm_cluster_cli_ope 0.5.6 → 0.6

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 93771440f5d2a285cd10d390fe8983d8efcce1a5e3ef323d15de38ade748cfba
-  data.tar.gz: 61d5654dcf67657bab0313da131292c930a5008dcb60359eef3eb0c9f334ffc1
+  metadata.gz: 956724efc48101ced01f9b90733cb45f4e7278a7e8da2d54edf7e85a1b103cab
+  data.tar.gz: e3d20867dcd4bc2cafa42b9997bfdbbf4cfeea4cbeb50881bdbebf615320056a
 SHA512:
-  metadata.gz: 5b6d4dd4be603b2ce5648bfcd345d3a2f0f415b370ec0834816272480faade213c18fdc17672cbe6c806c438ff2846e40458683d7fc5e48306189a230ca81d99
-  data.tar.gz: 38ae9e73b07af96a439a2f624d0851f0de4686447694a41eb0dd86d63126926b626e9c91b64699cec2df331eee5361098a08e894969401183edd23bbb28ccba0
+  metadata.gz: 898033f68020b639df391e38728e8ac63fc284b29dbb7ead531578f10fc11aaa102d2109ebe4d43db9254a1ca2df63149ff8d50341bf7bf509a2d1e0dea5f611
+  data.tar.gz: 85f316b0cef0d08ce7f768d7d35a67b023b728a86315433cb4bcaaf45fdaf1c71e46d609f7255a593a2aea61860d037f84bf259a5e39d417f8b64a9850c610b0

data/CHANGELOG.md

@@ -1,5 +1,8 @@
 ## Changelog
 
+# 0.6
+- sync con MongoDB
+
 # 0.5.6
 - correzione parsing variabili ambiente con '=='
 

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.5.6)
+    swarm_cluster_cli_ope (0.6)
       activesupport
       open4
       thor (~> 1.0)
@@ -10,16 +10,16 @@ PATH
 GEM
   remote: https://rubygems.org/
   specs:
-    activesupport (6.1.2)
+    activesupport (6.1.3)
       concurrent-ruby (~> 1.0, >= 1.0.2)
       i18n (>= 1.6, < 2)
       minitest (>= 5.1)
       tzinfo (~> 2.0)
       zeitwerk (~> 2.3)
     concurrent-ruby (1.1.8)
-    i18n (1.8.8)
+    i18n (1.8.9)
       concurrent-ruby (~> 1.0)
-    minitest (5.14.3)
+    minitest (5.14.4)
     open4 (1.3.4)
     rake (12.3.3)
     thor (1.1.0)

data/README.md

@@ -112,10 +112,11 @@ ogni configurazione è composta da:
 
 - service è il nome del servizio (o nel caso  di k8s una stringa da utilizzare come selettore labels)
 - how è il come sincronizzare, definendo la tipologia:
-  - pg      -> DB TODO
+  - pg      -> DB: dump del DB con pgdump
   - mysql   -> DB: dump del db con mysqldump
   - sqlite3 -> DB: viene eseguita una copia del file
   - rsync   -> RSYNC
+  - mongodb -> mongodump e mongorestore
 - configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
 
 Possibili CFGS per tipologia:
@@ -159,8 +160,21 @@ Possibili CFGS per tipologia:
     - pg_user_env: "POSTGRES_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: POSTGRES_USER 
     - pg_user: "postgres"                   -> valore in chiaro, in sostituzione della variabile ambiente, DEFAULT: postgres
     - database_name_env: "POSTGRES_DB"      -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: POSTGRES_DB         
-    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente     
-
+    - database_name: "nome_db"              -> valore in chiaro, in sostituzione della variabile ambiente
+- mongo:
+  - local:  -> hash di configurazioni per il DB locale
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PUSH, DEFAULT: ''
+  - remote: -> hash di configurazioni per il DB remoto
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra
+    - password: ""                          -> password per DB
+    - username: ""                          -> username per DB
+    - database_name: "nome_db"              -> nome del DB
+    - exclude_from_sync: "coll1,coll2"      -> elenco di collections di cui non eseguire il dump quando facciamo PULL, DEFAULT: ''
+  
 #### EXAMPLE:
 Esempio di sincronizzazione di un file sqlite3 e una cartella
 

data/lib/swarm_cluster_cli_ope/base_configuration.rb

@@ -102,6 +102,8 @@ module SwarmClusterCliOpe
         SyncConfigs::Mysql
       when 'pg'
         SyncConfigs::PostGres
+      when 'mongodb'
+        SyncConfigs::MongoDb
       else
         logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
         nil

data/lib/swarm_cluster_cli_ope/kubernetes/configuration.rb

@@ -53,7 +53,7 @@ module SwarmClusterCliOpe
         when 'pg'
           SyncConfigs::PostGres
         else
-          logger.error { "CONFIGURAIONE NON PREVISTA: #{name}" }
+          logger.error { "CONFIGURAIONE NON PREVISTA in K8S: #{name}" }
           nil
         end
       end

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -37,7 +37,7 @@ module SwarmClusterCliOpe
       #                                           con _env o senza....precedenza SENZA
       # @param [Block] from_proc -> proc da utilizzare per ricavare il valore
       # @param [nil,String] default_value se non è estrapolato nessun valore, viene utilizzato il valore di default
-      def self.define_cfgs(name, default_env:, configuration_name:, default_value: nil, from_proc: nil)
+      def self.define_cfgs(name, default_env: nil, configuration_name:, default_value: nil, from_proc: nil)
         configuration_name ||= name
 
         define_method(name) do
@@ -48,7 +48,7 @@ module SwarmClusterCliOpe
             value = @configs["#{configuration_name}".to_sym]
           end
           # se non abbiamo nulla dalle configurazioni utilizziamo le variabili d'ambiente
-          if value.nil?
+          if value.nil? and default_env
 
             #cerchiamo nella lista delle variabili ambiente possibili, la prima che ha un valore la tengo per buona
             env_vars = []

data/lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb

@@ -0,0 +1,94 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    class MongoDb < BaseDatabase
+
+      # @return [TrueClass, FalseClass]
+      def pull
+        resume('pull')
+        if yes?("Confermare il comando?[y,yes]")
+
+          tmp_file = make_dump(remote, container)
+
+          local_container.copy_in(tmp_file, tmp_file)
+
+          restore(tmp_file, remote, local, local_container)
+        end
+        true
+      end
+
+      # @return [TrueClass, FalseClass]
+      def push
+        resume('PUSH')
+        if yes?("ATTENZIONE !!!!!!PUSH!!!!! - Confermare il comando?[y,yes]")
+          tmp_file = make_dump(local, local_container)
+          container.copy_in(tmp_file, tmp_file)
+          restore(tmp_file, local, remote, container)
+        end
+        true
+      end
+
+      ##
+      # Classe interna che rappresenta le configurazioni del DB
+      class EnvConfigs < BaseDatabase::EnvConfigs
+
+        define_cfgs :database_name, configuration_name: :database_name
+        define_cfgs :username, configuration_name: :username
+        define_cfgs :password, configuration_name: :password
+
+        define_cfgs :database_version, default_env: "MONGO_VERSION", configuration_name: :version
+
+        ##
+        # Possiamo definire una lista, comma-separated, per limitare le collections da non importare
+        define_cfgs :exclude_from_sync, default_env: "EXCLUDE_FROM_SYNC", configuration_name: :exclude_from_sync, default_value: ""
+
+        ##
+        # Helper per avere un array di collections da non sincronizzare, specifico per mongodb
+        # @return [Array<String>]
+        def excluded_collections
+          return [] if exclude_from_sync.nil?
+          exclude_from_sync.split(",").compact
+        end
+
+      end
+
+      private
+
+      # @param [String] tmp_file
+      # @param [EnvConfigs] from_env environment sorgente (per rinominare anche il nome del DB)
+      # @param [EnvConfigs] to_env environment di arrivo (per rinominare anche il nome del DB)
+      # @param [SwarmClusterCliOpe::Models::Container] cnt in cui eseguire l'import
+      def restore(tmp_file, from_env, to_env, cnt)
+        command = []
+        command << "bash -c '"
+        command << "mongorestore"
+        command << "--nsFrom  '#{from_env.database_name}.*'"
+        command << "--nsTo '#{to_env.database_name}.*'"
+        command << "--drop --archive=#{tmp_file} --gzip"
+        command << "'"
+
+        cnt.exec(command.join " ")
+      end
+
+      # @param [EnvConfigs] environment
+      # @param [SwarmClusterCliOpe::Models::Container] cnt
+      def make_dump(environment, cnt)
+        tmp_file = "/tmp/dump.#{Time.now.to_i}.archive"
+        command = []
+        command << "bash -c '"
+
+        command << "mongodump --db #{environment.database_name} "
+        environment.excluded_collections.each do |collection|
+          command << " --excludeCollection \"#{collection}\" "
+        end
+        command << "--username \"#{environment.username}\" " if environment.username
+        command << "--password \"#{environment.password}\" " if environment.password
+        command << "--archive --gzip"
+
+        command << "' > #{tmp_file}"
+        cnt.exec(command.join " ")
+        tmp_file
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.5.6"
+  VERSION = "0.6"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.5.6
+  version: '0.6'
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2021-02-10 00:00:00.000000000 Z
+date: 2021-03-04 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -126,6 +126,7 @@ files:
 - lib/swarm_cluster_cli_ope/sync_configs/base_database.rb
 - lib/swarm_cluster_cli_ope/sync_configs/copy.rb
 - lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb
+- lib/swarm_cluster_cli_ope/sync_configs/mongo_db.rb
 - lib/swarm_cluster_cli_ope/sync_configs/mysql.rb
 - lib/swarm_cluster_cli_ope/sync_configs/post_gres.rb
 - lib/swarm_cluster_cli_ope/sync_configs/rsync.rb