swarm_cluster_cli_ope 0.2.2 → 0.3

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e7a0c1998bd04fc1f315b316b47d094352f24d07ca19cd0da18254a59bd4cd68
-  data.tar.gz: ef6f7962bf661d9839ace5820485896db7c4066194632d865c54e5b667c05957
+  metadata.gz: 064a57b8e710fbf99c41b7bc29f1db95fdef7d8e3d39e817159c060b044cf06e
+  data.tar.gz: 7418cd71dd7e1fced025983fe6e3d08b141b1e0440216d36685036533c09cd52
 SHA512:
-  metadata.gz: 514cca4b32bf7fa10adc40a0579a5db538a0601733ea78a0bb9514ff6b6cf006cf7bd2d6d744b508048d9a351fd79c2a5fd290b18a28c7b2fc376d19f9eed47c
-  data.tar.gz: f174ac4bff4447acb66218ca7d20319caf47b8cd7e67d6a52a0974cfa940eaa5888f6a649e2ccf4b4b7283840c75c1b3ebcd03d17ebe4ef0b082119087782668
+  metadata.gz: d97192caba2f7aa3c4572e54e8aa4800f7d7aaff178e0fbc51043386209dc617ac802b9cbcdfd67e16393948d60081684f153f367476e9ccffef426723356765
+  data.tar.gz: e76e048acc106143d9f817ccc79a25fdacd6bfa7dc521a187013f2ef952a486d6e318b30d483611b545bfbef743d50facabc9eed8004f6ae9beed80dcd6449b0

data/CHANGELOG.md

@@ -1,9 +1,15 @@
 ## Changelog
 
+# 0.3
+- implementazione push pull con il comando **stacksync** di mysql
+
+# 0.2
+- implementazione comando **stacksync** con configurazioni nello stack per eseguire rsync di files e dump di sqlite3
+
 # 0.1.0
 - rsync dei files da/verso cluster su cartella condivisa
 - copia files direttamente in container
 - shell in servizio
 - mc in servizio
 - configurazioni globali
-- configurazioni di progetto
+- configurazioni di progetto

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    swarm_cluster_cli_ope (0.2.2)
+    swarm_cluster_cli_ope (0.3)
       activesupport
       open4
       thor (~> 1.0)

data/README.md

@@ -95,17 +95,96 @@ Utilizzare `rsync_binded_from` per scaricare e `rsync_binded_to` per caricare
 swarm_cli_ope rsync_binded_from --stack-name=STACK_NAME --service_name NOME_SERVIZIO_SENZA_STACK --binded-container-folders CARTELLA_CONTAINER --local-folder CARTELLA_DESTINAZIONE
 ```
 
+### stacksync
+Si occupa di scaricare|caricare,utilizzando le configurazioni presenti, i dati dallo stack remoto
+
+Le configurazioni sono contenute nell'array: sync_configs.
+
+ogni configurazione è composta da:
+      
+```json 
+    { 
+       service:"" 
+       how:"" 
+       configs:{ }
+      }
+```
+
+- service è il nome del servizio
+- how è il come sincronizzare, definendo la tipologia:
+  - pg      -> DB TODO
+  - mysql   -> DB: dump del db con mysqldump
+  - sqlite3 -> DB: viene eseguita una copia del file
+  - rsync   -> RSYNC
+- configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
+
+Possibili CFGS per tipologia:
+
+- rsync:
+  - local:   -> path cartella locale
+  - remote:  -> path cartella remota (contesto del container)
+- sqlite3:
+  - local:   -> path al file
+  - remote:  -> path al file remoto (contesto del container)
+- mysql:
+  - local:  -> hash di configurazioni per il DB locale
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra 
+    - mysql_password_env: "MYSQL_PASSWORD"  -> variabile ambiente interna al servizio contenente PASSWORD, DEFAULT: MYSQL_PASSWORD 
+    - mysql_user_env: "MYSQL_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: MYSQL_USER 
+    - database_name: "MYSQL_DATABASE"       -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: MYSQL_DATABASE         
+  - remote: -> hash di configurazioni per il DB remoto
+    - service: "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra 
+    - mysql_password_env: "MYSQL_PASSWORD"  -> variabile ambiente interna al servizio contenente PASSWORD, DEFAULT: MYSQL_PASSWORD
+    - mysql_user_env: "MYSQL_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: MYSQL_USER
+    - database_name: "MYSQL_DATABASE"       -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: MYSQL_DATABASE
+
+#### EXAMPLE:
+Esempio di sincronizzazione di un file sqlite3 e una cartella
+
+```json 
+    {
+    "stack_name": "test1",
+    "sync_configs": [
+      {
+        "service": "second",
+        "how": "rsync",
+        "configs": {
+          "remote": "/test_bind",
+          "local": "./uploads"
+        }
+      },
+      {
+        "service": "test_sqlite3",
+        "how": "sqlite3",
+        "configs": {
+          "remote": "/cartella_sqlite3/esempio.sqlite3",
+          "local": "./development.sqlite3"
+        }
+      }
+    ]
+    }
+```
+
+
 ## Development
 
 nel file di configurazione creato nella home aggiungere la chiave "dev_mode":1 per collegarsi localmente
 
 ### Abbiamo due tasks swarm di simulazione
 ```shell script
-docker stack deploy -c test_folder/test_1/docker-compose.yml test1
+docker stack deploy -c test_folder/test_1/docker-compose.yml test_1_stack
 docker stack deploy -c test_folder/test_1/docker-compose.yml test1_staging
 docker stack deploy -c test_folder/test_2/docker_compose.yml test2
 ```
 
+Per simulare una sincronizzazione fra locale e remoto di un mysql, lanciamo lo stesso stack anche come compose, in modo
+da trovarci sulla stessa macchina con tutte e due le situazioni
+```shell script
+docker-compose up -f test_folder/test_1/docker-compose-local.yml -d
+```
+
+
+
 To install this gem onto your local machine, run `bundle exec rake install`. To release a new version, update the version 
 number in `version.rb`, and then run `bundle exec rake release`, which will create a git tag for the version, push git 
 commits and tags, and push the `.gem` file to [rubygems.org](https://rubygems.org).

data/lib/swarm_cluster_cli_ope/cli.rb

@@ -255,7 +255,7 @@ module SwarmClusterCliOpe
       - service è il nome del servizio
       - how è il come sincronizzare, definendo la tipologia:
       ---- pg      -> DB TODO
-      ---- mysql   -> DB TODO
+      ---- mysql   -> DB dump con mysql
       ---- sqlite3 -> DB: viene eseguita una copia del file
       ---- rsync   -> RSYNC
       - configs:  è un hash con le configurazioni per ogni tipo di sincronizzazione
@@ -269,6 +269,19 @@ module SwarmClusterCliOpe
       --local:   -> path al file
       --remote:  -> path al file remoto (contesto del container)
 
+      mysql:
+      -- local:  -> hash di configurazioni per il DB locale
+          "service": "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra 
+          "mysql_password_env": "MYSQL_PASSWORD"  -> variabile ambiente interna al servizio contenente PASSWORD, DEFAULT: MYSQL_PASSWORD 
+          "mysql_user_env": "MYSQL_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: MYSQL_USER 
+          "database_name": "MYSQL_DATABASE"       -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: MYSQL_DATABASE         
+      -- remote: -> hash di configurazioni per il DB remoto
+          "service": "db"                         -> nome del servizio nel compose locale, DEFAULT: quello definito sopra 
+          "mysql_password_env": "MYSQL_PASSWORD"  -> variabile ambiente interna al servizio contenente PASSWORD, DEFAULT: MYSQL_PASSWORD
+          "mysql_user_env": "MYSQL_USER"          -> variabile ambiente interna al servizio contenente USERNAME, DEFAULT: MYSQL_USER
+          "database_name": "MYSQL_DATABASE"       -> variabile ambiente interna al servizio contenente NOME DB, DEFAULT: MYSQL_DATABASE
+        
+
       EXAMPLE:
       Esempio di sincronizzazione di un file sqlite3 e una cartella
       {

data/lib/swarm_cluster_cli_ope/commands/compose_container.rb

@@ -0,0 +1,12 @@
+module SwarmClusterCliOpe
+  module Commands
+    class ComposeContainer < Container
+
+      # Siamo in locale
+      def docker_host
+        ""
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/commands/container.rb

@@ -9,6 +9,13 @@ module SwarmClusterCliOpe
         end.execute
       end
 
+      def exec(container_id,cmd_str)
+        self.base_suffix_command = []
+        command do |cmd|
+          cmd.add("exec #{container_id} #{cmd_str}")
+        end.execute
+      end
+
       ##
       # Esegue il ps sui container, possibile filtrare passando nome stack e/o nome servizio
       # @param [String] service_name

data/lib/swarm_cluster_cli_ope/configuration.rb

@@ -163,6 +163,15 @@ module SwarmClusterCliOpe
       nodes.find { |c| c.id == node_id }
     end
 
+    ##
+    # Indica il nome del progetto locale compose, quella parte di nome che viene attaccata in fronte
+    # ad ogni nome di servizio locale, e che come default è il nome della cartella in cui risiede
+    # il docker-compose.yml file
+    # @return [String]
+    def local_compose_project_name
+      File.basename(FileUtils.pwd)
+    end
+
     ##
     # Elenco di tutte le configurazioni di sincronizzazione
     def sync_configurations
@@ -173,8 +182,11 @@ module SwarmClusterCliOpe
           SyncConfigs::Sqlite3.new(self, c)
         when 'rsync'
           SyncConfigs::Rsync.new(self, c)
+        when 'mysql'
+          SyncConfigs::Mysql.new(self, c)
         else
           logger.error { "CONFIGURAIONE NON PREVISTA: #{c[:how]}" }
+          nil
         end
 
       end.compact

data/lib/swarm_cluster_cli_ope/models/compose_container.rb

@@ -0,0 +1,17 @@
+module SwarmClusterCliOpe
+  module Models
+    class ComposeContainer < Container
+
+      # @return [SwarmClusterCliOpe::Models::ComposeContainer]
+      def self.find_by_service_name(service_name, stack_name: '')
+        res = ShellCommandExecution.new("docker inspect #{[stack_name, service_name, "1"].compact.join("_".strip)}").execute
+        self.new(JSON.parse(res.raw_result[:stdout]).first)
+      end
+
+      def mapped_uri_connection
+        nil
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/models/container.rb

@@ -4,7 +4,7 @@ module SwarmClusterCliOpe
 
       #@return [String]
       attr_accessor :name
-      #@return [String]
+      #@return [String] id del container
       attr_accessor :id
       #@return [String] nome dell'immagine
       attr_accessor :image
@@ -51,6 +51,12 @@ module SwarmClusterCliOpe
         docker_command.cp("#{id}:#{src}", dest).success?
       end
 
+      ##
+      # Esegue il comando passato
+      def exec(cmd)
+        docker_command.exec(id, cmd)
+      end
+
       ##
       # Ritorna il connection_uri del nodo che ospita il container
       # @return [String]

data/lib/swarm_cluster_cli_ope/models/service.rb

@@ -19,7 +19,6 @@ module SwarmClusterCliOpe
 
       ##
       # Containers del servizio
-
       # @return [Array<SwarmClusterCliOpe::Container>]
       def containers
         tasks.collect { |t| t.container }

data/lib/swarm_cluster_cli_ope/sync_configs/base.rb

@@ -1,10 +1,13 @@
 module SwarmClusterCliOpe
   module SyncConfigs
     class Base < Thor::Shell::Basic
-
+      include LoggerConcern
       #@return [String] nome del servizio dello stack
       attr_accessor :service
 
+      #@return [Hash] configurazioni di sincro
+      attr_accessor :configs
+
       # @param [Hash] configs
       # @param [Continuation] stack_cfgs
       def initialize(stack_cfgs, configs)
@@ -30,6 +33,12 @@ module SwarmClusterCliOpe
         raise "TO OVERRIDE"
       end
 
+      private
+      # @return [SwarmClusterCliOpe::Models::Container]
+      def container
+        Models::Container.find_by_service_name(service, stack_name: stack_name)
+      end
+
     end
   end
 end

data/lib/swarm_cluster_cli_ope/sync_configs/copy.rb

@@ -23,11 +23,7 @@ module SwarmClusterCliOpe
       end
 
 
-      private
-      # @return [SwarmClusterCliOpe::Models::Container]
-      def container
-        Models::Container.find_by_service_name(service, stack_name: stack_name)
-      end
+
 
 
     end

data/lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb

@@ -0,0 +1,62 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    ##
+    # Classe per la gestione dell'ambiente differente fra local e remote
+    # sono presenti le variabili di classe per definire una minima DSL per poter definire le variabili
+    # disponibili e i default da utilizzare
+    class EnvConfigs
+      # @param [Hash] configs
+      # @param [SwarmClusterCliOpe::SyncConfigs::Base] sync_configs
+      # @param [Lambda] lambda che ritorna il container Istanza container su cui la
+      def initialize(sync_configs, configs, container)
+        @configs = configs
+        @sync_configs = sync_configs
+        @lambda_container = container
+      end
+
+      ##
+      # Metodo che richiama la lambda della generazione del container al momento che ne
+      # è proprio necessario
+      def container
+        @container ||= @lambda_container.call
+      end
+
+      # @return [String]
+      def service_name
+        @configs[:service] || @sync_configs.service
+      end
+
+
+      def self.define_cfgs(name, default: nil, configuration_name: nil)
+        configuration_name ||= name
+
+        define_method(name) do
+          return self.instance_variable_get("@#{name}") if self.instance_variable_defined?("@#{name}")
+          env_var = @configs[configuration_name.to_sym] || default
+          self.instance_variable_set("@#{name}", find_env_file_variable(env_var))
+        end
+
+      end
+
+
+      private
+
+      ##
+      # Estrae l'env dal container e ne tiene in memoria una copia, in modo da non fare multiple chiamate
+      def env
+        @env ||= container.exec("env").raw_result[:stdout].split("\n").collect { |v| v.split('=') }.to_h
+      end
+
+      def find_env_file_variable(env_var)
+        if env_var.match?(/_FILE$/)
+          # dobbiamo controllare la presenza del file e salvarci il contenuto
+          nome_file = env[env_var.to_s]
+          container.exec("cat #{nome_file}").raw_result[:stdout]
+        else
+          # env normale, dobbiamo ricavarlo dal container
+          env[env_var.to_s]
+        end
+      end
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/sync_configs/mysql.rb

@@ -0,0 +1,78 @@
+module SwarmClusterCliOpe
+  module SyncConfigs
+    class Mysql < Base
+
+      # @return [TrueClass, FalseClass]
+      def pull
+        resume('pull')
+        if yes?("Confermare il comando?[y,yes]")
+          tmp_file = "/tmp/#{Time.now.to_i}.sql.gz"
+          container.exec("bash -c 'mysqldump  -u #{remote.mysql_user} --password=#{remote.mysql_password} #{remote.database_name} | gzip -c -f' > #{tmp_file}")
+          local_container.copy_in(tmp_file, tmp_file)
+          local_container.exec("bash -c 'zcat #{tmp_file} | mysql  -u #{local.mysql_user} --password=#{local.mysql_password} #{local.database_name}'")
+        end
+        true
+      end
+
+      # @return [TrueClass, FalseClass]
+      def push
+        resume('PUSH')
+        if yes?("ATTENZIONE !!!!!!PUSH!!!!! - Confermare il comando?[y,yes]")
+          tmp_file = "/tmp/#{Time.now.to_i}.sql.gz"
+          local_container.exec("bash -c 'mysqldump  -u #{local.mysql_user} --password=#{local.mysql_password} #{local.database_name} | gzip -c -f' > #{tmp_file}")
+          container.copy_in(tmp_file, tmp_file)
+          container.exec("bash -c 'zcat #{tmp_file} | mysql  -u #{remote.mysql_user} --password=#{remote.mysql_password} #{remote.database_name}'")
+        end
+        true
+      end
+
+      # @return [SwarmClusterCliOpe::SyncConfigs::Mysql::EnvConfigs]
+      def remote
+        EnvConfigs.new(self, @configs[:configs][:remote] || {}, -> { container })
+      end
+
+      # @return [SwarmClusterCliOpe::SyncConfigs::Mysql::EnvConfigs]
+      def local
+        EnvConfigs.new(self, @configs[:configs][:local] || {}, -> { local_container })
+      end
+
+
+      ##
+      # Classe interna che rappresenta le configurazioni del DB
+      class EnvConfigs < SwarmClusterCliOpe::SyncConfigs::EnvConfigs
+
+        define_cfgs :database_name, default: "MYSQL_DATABASE"
+        define_cfgs :mysql_user, default: "MYSQL_USER", configuration_name: :mysql_user_env
+        define_cfgs :mysql_password, default: "MYSQL_PASSWORD", configuration_name: :mysql_password_env
+
+      end
+
+
+      ##
+      # Funzione che ricapitola le informazioni utilizzate per eseguire l'operazione
+      def resume(direction)
+        puts "RESUME - #{direction}
+            service: #{service}
+            local:
+              service_name: #{local.service_name}
+              database_name: #{local.database_name}
+              mysql_user: #{local.mysql_user}
+              mysql_password: #{local.mysql_password}
+            remote:
+              service_name: #{remote.service_name}
+              database_name: #{remote.database_name}
+              mysql_user: #{remote.mysql_user}
+              mysql_password: #{remote.mysql_password}"
+
+      end
+
+      private
+
+      def local_container
+        # il nome dello stack del compose usiamo come standard il nome della cartella, come lo fà già composer di default
+        Models::ComposeContainer.find_by_service_name(local.service_name, stack_name: @stack_cfgs.local_compose_project_name)
+      end
+
+    end
+  end
+end

data/lib/swarm_cluster_cli_ope/sync_configs/rsync.rb

@@ -28,9 +28,6 @@ module SwarmClusterCliOpe
       private
       def execute(direction: :down)
 
-        # trovo il container del servizio
-        container = Models::Container.find_by_service_name(service, stack_name: stack_name)
-
         if container.nil?
           say "Container non trovato con #{stack_name}@##{service}"
           exit 0

data/lib/swarm_cluster_cli_ope/version.rb

@@ -1,3 +1,3 @@
 module SwarmClusterCliOpe
-  VERSION = "0.2.2"
+  VERSION = "0.3"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: swarm_cluster_cli_ope
 version: !ruby/object:Gem::Version
-  version: 0.2.2
+  version: '0.3'
 platform: ruby
 authors:
 - Marino Bonetti
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2020-07-03 00:00:00.000000000 Z
+date: 2020-09-09 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -90,6 +90,7 @@ files:
 - lib/swarm_cluster_cli_ope.rb
 - lib/swarm_cluster_cli_ope/cli.rb
 - lib/swarm_cluster_cli_ope/commands/base.rb
+- lib/swarm_cluster_cli_ope/commands/compose_container.rb
 - lib/swarm_cluster_cli_ope/commands/container.rb
 - lib/swarm_cluster_cli_ope/commands/service.rb
 - lib/swarm_cluster_cli_ope/commands/swarm.rb
@@ -99,6 +100,7 @@ files:
 - lib/swarm_cluster_cli_ope/logger_concern.rb
 - lib/swarm_cluster_cli_ope/manager.rb
 - lib/swarm_cluster_cli_ope/models/base.rb
+- lib/swarm_cluster_cli_ope/models/compose_container.rb
 - lib/swarm_cluster_cli_ope/models/container.rb
 - lib/swarm_cluster_cli_ope/models/mapped_volume.rb
 - lib/swarm_cluster_cli_ope/models/service.rb
@@ -109,6 +111,8 @@ files:
 - lib/swarm_cluster_cli_ope/shell_command_response.rb
 - lib/swarm_cluster_cli_ope/sync_configs/base.rb
 - lib/swarm_cluster_cli_ope/sync_configs/copy.rb
+- lib/swarm_cluster_cli_ope/sync_configs/env_configs.rb
+- lib/swarm_cluster_cli_ope/sync_configs/mysql.rb
 - lib/swarm_cluster_cli_ope/sync_configs/rsync.rb
 - lib/swarm_cluster_cli_ope/sync_configs/sqlite3.rb
 - lib/swarm_cluster_cli_ope/version.rb