liri 0.1.0

data/lib/manager/manager.rb

@@ -0,0 +1,258 @@
+=begin
+  Este modulo es el punto de entrada del programa principal
+=end
+require 'all_libraries'
+
+module Liri
+  class Manager
+    UDP_REQUEST_DELAY = 3
+    attr_reader :agents
+
+    class << self
+      # Inicia la ejecución del Manager
+      # @param stop [Boolean] el valor true es para que no se ejecute infinitamente el método en el test unitario.
+      def run(stop = false)
+        return unless valid_project
+        Liri.create_folders('manager')
+
+        Liri.set_logger(Liri::MANAGER_LOGS_FOLDER_PATH, 'liri-manager.log')
+        Liri.logger.info("Proceso Manager iniciado")
+        puts "Presione Ctrl + c para terminar el proceso Manager manualmente\n\n"
+
+        user, password = get_credentials
+
+        source_code = compress_source_code
+
+        manager_data = manager_data(user, password, source_code)
+
+        all_tests = get_all_tests(source_code)
+
+        test_result = Liri::Manager::TestResult.new
+
+        manager = Manager.new(Liri.udp_port, Liri.tcp_port, all_tests, test_result)
+
+        threads = []
+        threads << manager.start_client_socket_to_search_agents(manager_data) # Enviar peticiones broadcast a toda la red para encontrar Agents
+        manager.start_server_socket_to_process_tests(threads[0]) # Esperar y enviar los test unitarios a los Agents
+
+        Liri.init_exit(stop, threads, 'Manager')
+        Liri.logger.info("Proceso Manager terminado")
+      rescue SignalException => e
+        Liri.logger.info("Exception(#{e}) Proceso Manager terminado manualmente")
+        Liri.kill(threads)
+      end
+
+      def test_samples_by_runner
+        Liri.setup.test_samples_by_runner
+      end
+
+      private
+      def valid_project
+        if File.exist?(File.join(Dir.pwd, 'Gemfile'))
+          true
+        else
+          Liri.logger.info("No se encuentra un archivo Gemfile por lo que se asume que el directorio actual no corresponde a un proyecto Ruby")
+          Liri.logger.info("Liri sólo puede ejecutarse en proyectos Ruby")
+          Liri.logger.info("Proceso Manager terminado")
+          false
+        end
+      end
+
+      def compressed_file_folder_path
+        File.join(Liri::Common.setup_folder_path, '/manager')
+      end
+
+      def decompressed_file_folder_path
+        compressed_file_folder_path
+      end
+
+      def get_credentials
+        credential = Liri::Manager::Credential.new(Liri::SETUP_FOLDER_PATH)
+        credential.get
+      end
+
+      def compress_source_code
+        source_code = Liri::Common::SourceCode.new(Liri::MANAGER_FOLDER_PATH, Liri.compression_class, Liri.unit_test_class)
+        Liri::Common::Benchmarking.start(start_msg: "Comprimiendo código fuente. Espere... ") do
+          source_code.compress_folder
+        end
+        puts ''
+        source_code
+      end
+
+      def manager_data(user, password, source_code)
+        # puts "User: #{user} Password: #{password}"
+        [user, password, source_code.compressed_file_path].join(';')
+      end
+
+      def get_all_tests(source_code)
+        all_tests = {}
+        Liri::Common::Benchmarking.start(start_msg: "Obteniendo conjunto de pruebas. Espere... ") do
+          all_tests = source_code.all_tests
+        end
+        puts ''
+        all_tests
+      end
+    end
+
+    def initialize(udp_port, tcp_port, all_tests, test_result)
+      @udp_port = udp_port
+      @udp_socket = UDPSocket.new
+      @tcp_port = tcp_port
+
+      @all_tests = all_tests
+      @all_tests_count = all_tests.size
+      @all_tests_results = {}
+      @all_tests_results_count = 0
+      @all_tests_processing_count = 0
+      @agents = {}
+
+      @agents_search_processing_enabled = true
+      @test_processing_enabled = true
+
+      @test_result = test_result
+      @semaphore = Mutex.new
+    end
+
+    # Inicia un cliente udp que hace un broadcast en toda la red para iniciar una conexión con los Agent que estén escuchando
+    def start_client_socket_to_search_agents(user_data)
+      # El cliente udp se ejecuta en bucle dentro de un hilo, esto permite realizar otras tareas mientras este hilo sigue sondeando
+      # la red para obtener mas Agents. Una vez que los tests terminan de ejecutarse, este hilo será finalizado.
+      Thread.new do
+        puts "\nBuscando Agentes... Espere"
+        Liri.logger.info("Se emite un broadcast cada #{UDP_REQUEST_DELAY} segundos en el puerto UDP: #{@udp_port}
+                                     (Se mantiene escaneando la red para encontrar Agents)
+        ")
+        while @agents_search_processing_enabled
+          @udp_socket.setsockopt(Socket::SOL_SOCKET, Socket::SO_BROADCAST, true)
+          @udp_socket.send(user_data, 0, '<broadcast>', @udp_port)
+          sleep(UDP_REQUEST_DELAY) # Se pausa un momento antes de efectuar nuevamente la petición broadcast
+        end
+      end
+    end
+
+    # Inicia un servidor tcp para procesar los pruebas después de haberse iniciado la conexión a través de udp
+    def start_server_socket_to_process_tests(search_agents_thread)
+      begin
+        tcp_socket = TCPServer.new(@tcp_port) # se hace un bind al puerto dado
+      rescue Errno::EADDRINUSE => e
+        Liri.logger.error("Exception(#{e}) Puerto TCP #{@tcp_port} ocupado.")
+        Thread.kill(search_agents_thread)
+        Thread.exit
+      end
+
+      Liri.logger.info("En espera para establecer conexión con los Agents en el puerto TCP: #{@tcp_port}
+                                     (Se espera que algún Agent se conecte para ejecutar las pruebas como respuesta al broadcast UDP)
+      ")
+      # El siguiente bucle permite que varios clientes es decir Agents se conecten
+      # De: http://www.w3big.com/es/ruby/ruby-socket-programming.html
+      while @test_processing_enabled
+        Thread.start(tcp_socket.accept) do |client|
+          agent_ip_address = client.remote_address.ip_address
+          response = client.recvfrom(1000).first
+
+          if @all_tests.empty?
+            # No importa lo que le haga, el broadcast udp no se muere al instante y el agente sigue respondiendo
+            # Las siguientes dos lineas son para que se deje de hacer el broadcast pero aun asi se llegan a hacer
+            # 3 a 4 broadcast antes de que se finalize el proceso, al parecer el broadcast va a tener que quedar asi
+            # y mejorar el codigo para que se envien test pendientes para eso hay que llevar una lista de test pendientes
+            # tests enviados sin resultados, tests finalizados, si se recibe respuesta al broadcast se trata de enviar primero test pendientes
+            # luego test enviados sin resultados o sino ignorar
+            Thread.kill(search_agents_thread)
+            @agents_search_processing_enabled = false
+            Liri.logger.info("Se termina cualquier proceso pendiente con el Agent #{agent_ip_address}")
+            Liri.logger.info(response)
+            client.close
+            Thread.exit
+          end
+
+          puts "\nConexión iniciada con el Agente: #{agent_ip_address}"
+          Liri.logger.info("Respuesta al broadcast recibida del Agent: #{agent_ip_address} en el puerto TCP: #{@tcp_port}
+                                         => Agent #{agent_ip_address}: #{response}
+          ")
+
+          while @all_tests.any?
+            tests = samples
+            break if tests.empty?
+            begin
+              client.puts(tests.to_json) # Este envía un hash bastante grande al cliente y siempre llega, pero la respuesta del cliente a veces no llega todo, porque?
+              response = client.recvfrom(1000).first
+            rescue Errno::EPIPE => e
+              # Esto al parecer se da cuando el Agent ya cerró las conexiones y el Manager intenta contactar
+              Liri.logger.error("Exception(#{e}) El Agent #{agent_ip_address} ya terminó la conexión")
+			        # Si el Agente ya no responde es mejor romper el bucle para que no quede colgado
+              break
+            end
+            # TODO A veces se tiene un error de parseo JSON, de ser asi los resultados no pueden procesarse,
+            # hay que arreglar esto, mientras, se captura el error para que no falle
+            begin
+              tests_result = response
+              Liri.logger.debug("Resultados de la ejecución de las pruebas recibidas del Agent #{agent_ip_address}:")
+              Liri.logger.debug("RAW:")
+              Liri.logger.debug(tests_result)
+              json_tests_result = JSON.parse(tests_result)
+              Liri.logger.debug("JSON:")
+              Liri.logger.debug(json_tests_result)
+              process_tests_result(tests, json_tests_result)
+            rescue JSON::ParserError => e
+              Liri.logger.error("Exception(#{e}) Error de parseo JSON")
+            end
+          end
+
+          update_processing_statuses
+          puts ''
+          Liri.logger.info("Se termina la conexión con el Agent #{agent_ip_address}")
+          begin
+            client.puts('exit') # Se envía el string exit para que el Agent sepa que el proceso terminó
+            client.close # se desconecta el cliente
+          rescue Errno::EPIPE => e
+            # Esto al parecer se da cuando el Agent ya cerró las conexiones y el Manager intenta contactar
+            Liri.logger.error("Exception(#{e}) El Agent #{agent_ip_address} ya terminó la conexión")
+			      # Si el Agente ya no responde es mejor terminar el hilo. Aunque igual quedará colgado el Manager
+			      # mientras sigan pruebas pendientes
+            Thread.exit
+          end
+        end
+      end
+
+      Liri.clean_folder(Liri::MANAGER_FOLDER_PATH)
+      @test_result.print_summary
+    end
+
+    def update_processing_statuses
+      @semaphore.synchronize {
+        @test_processing_enabled = false if @all_tests_count == @all_tests_results_count
+        @agents_search_processing_enabled = false if @all_tests_count == @all_tests_processing_count
+      }
+    end
+
+    def update_all_tests_results_count(new_count)
+      @all_tests_results_count += new_count
+    end
+
+    def update_all_tests_processing_count(new_count)
+      @all_tests_processing_count += new_count
+    end
+
+    def samples
+      _samples = nil
+      # Varios hilos no deben acceder simultaneamente al siguiente bloque porque actualiza variables compartidas
+      @semaphore.synchronize {
+        _samples = @all_tests.sample!(Manager.test_samples_by_runner)
+        puts ''
+        Liri.logger.info("Cantidad de pruebas pendientes: #{@all_tests.size}")
+        update_all_tests_processing_count(_samples.size)
+      }
+      _samples
+    end
+
+    def process_tests_result(tests, tests_result)
+      # Varios hilos no deben acceder simultaneamente al siguiente bloque porque actualiza variables compartidas
+      @semaphore.synchronize {
+        update_all_tests_results_count(tests.size)
+        @test_result.print_process(tests_result)
+        @test_result.update(tests_result)
+      }
+    end
+  end
+end

data/lib/manager/setup.rb

@@ -0,0 +1,70 @@
+=begin
+  Este modulo se encarga de manejar la configuración
+=end
+require 'yaml'
+require 'json'
+
+module Liri
+  class Manager
+    class Setup
+      FILE_NAME = 'liri-config.yml'
+      TEMPLATE_PATH = File.join(File.dirname(File.dirname(File.dirname(__FILE__))), 'template/liri-config.yml')
+
+      def initialize(folder_path)
+        # Crea la carpeta en donde se guardarán los datos relativos a liri, ya sean archivos comprimidos,
+        # archivos descomprimidos, configuraciones, etc.
+        Dir.mkdir(folder_path) unless Dir.exist?(folder_path)
+
+        @file_path = File.join(folder_path, '/', FILE_NAME)
+      end
+
+      # Crea un archivo de configuración en la raiz del proyecto desde un template
+      def create
+        File.open(@file_path, "w") do |output_file|
+          File.foreach(TEMPLATE_PATH) do |input_line|
+            output_file.write(input_line)
+          end
+        end
+        true
+      end
+
+      # Retorna los datos del archivo de configuración
+      def load
+        if File.exist?(@file_path)
+          data = YAML.load(File.read(@file_path))
+          JSON.parse(data.to_json, object_class: OpenStruct)
+        else
+          raise Liri::FileNotFoundError.new(@file_path)
+        end
+      end
+
+      # Borra el archivo de configuración
+      def delete
+        if File.exist?(@file_path)
+          File.delete(@file_path)
+          true
+        else
+          false
+        end
+      end
+
+      def set(value, *keys)
+        data = YAML.load(File.read(@file_path))
+        keys = keys.first
+        aux = data
+        keys.each_with_index do |key, index|
+          if (keys[index + 1])
+            aux = data[key]
+          else
+            aux[key] = value
+          end
+        end
+        File.open(@file_path, 'w') { |f| f.write data.to_yaml }
+      end
+
+      def path
+        @file_path
+      end
+    end
+  end
+end

data/lib/manager/test_result.rb

@@ -0,0 +1,38 @@
+# Procesa el resultado de las pruebas unitarias
+module Liri
+  class Manager
+    class TestResult
+      def initialize
+        @example_quantity = 0
+        @failure_quantity = 0
+        @passed_quantity = 0
+      end
+      def update(test_result)
+        @example_quantity += test_result['example_quantity']
+        @failure_quantity += test_result['failure_quantity']
+        @passed_quantity += (@example_quantity - @failure_quantity)
+      end
+
+      def print_process(test_result)
+        passed_quantity = test_result['example_quantity'] - test_result['failure_quantity']
+        passed_quantity.times do
+          print '.'
+        end
+
+        test_result['failure_quantity'].times do
+          print 'F'
+        end
+      end
+
+      def print_summary
+        print_examples_and_failures
+      end
+
+      private
+
+      def print_examples_and_failures
+        puts "#{@example_quantity} examples, #{@failure_quantity} failures\n\n"
+      end
+    end
+  end
+end

data/lib/task.rb

@@ -0,0 +1,15 @@
+=begin
+  Este módulo ejecuta tareas de apoyo
+=end
+
+module Liri
+  module Task
+    class << self
+      def tests_count
+        source_code = Liri::Common::SourceCode.new('', Liri.compression_class, Liri.unit_test_class)
+        source_code.all_tests.size
+      end
+    end
+  end
+end
+

data/liri.gemspec

@@ -0,0 +1,58 @@
+require_relative 'lib/liri.rb'
+
+Gem::Specification.new do |spec|
+  spec.name          = Liri::NAME
+  spec.version       = Liri::VERSION
+  spec.authors       = ["Rodrigo Fernández", "Leslie López"]
+  spec.email         = ["rofaccess@gmail.com", "leslyee.05@gmail.com"]
+
+  spec.summary       = "TFG Project"
+  spec.description   = "Test distributor executor"
+  spec.homepage      = "https://github.com/rofaccess/tfg"
+  spec.license       = "MIT"
+  spec.required_ruby_version = Gem::Requirement.new(">= 2.3.0")
+
+  spec.metadata["allowed_push_host"] = "https://rubygems.org"
+
+  spec.metadata["homepage_uri"] = spec.homepage
+  spec.metadata["source_code_uri"] = "https://github.com/rofaccess/tfg/liri"
+  spec.metadata["changelog_uri"] = "https://github.com/rofaccess/tfg/blob/master/liri/README.md"
+
+  # Specify which files should be added to the gem when it is released.
+  # The `git ls-files -z` loads the files in the RubyGem that have been added into git.
+  spec.files         = Dir.chdir(File.expand_path('..', __FILE__)) do
+    # La siguiente línea debe comentarse al momento de ejecutar liri m dentro del proyecto Liri porque al tratar de ejecutar pruebas de este código fuente
+    # con agentes ejecutandose en distribuciones Linux y Ubuntu, por algún motivo ocurre el siguiente error:
+    #
+    # Esta línea es crítica, debe estar si o sí habilitada al compilar la gema
+    # Esta línea define que carpetas se excluyen del .gem generado al compilar la gema
+    `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features|documents|installers)/}) }
+  end
+  spec.bindir        = "exe"
+  spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
+  spec.require_paths = ["lib"]
+
+  # Rubyzip is a ruby library for reading and writing zip files. https://github.com/rubyzip/rubyzip
+  # Se usa para comprimir el código fuente en el Manager y descomprimir el código fuente recibido en el Agent
+  spec.add_runtime_dependency('rubyzip', '~> 2')
+
+  # The complete solution for Ruby command-line executables. https://github.com/commander-rb/commander
+  # Se usa para pasar comandos a la gema Liri
+  spec.add_runtime_dependency('commander', '~> 4')
+
+  # HighLine was designed to ease the tedious tasks of doing console input and output with low-level methods like gets and puts. https://github.com/JEG2/highline
+  # Se usa para pedir password en el Manager
+  spec.add_runtime_dependency('highline', '~> 2')
+
+  # Net::SCP is a pure-Ruby implementation of the SCP protocol. This operates over SSH (and requires the Net::SSH library), and allows files and directory trees to be copied to and from a remote server. https://github.com/net-ssh/net-scp
+  # Se usa para obtener el código fuente del Manager desde el Agent
+  spec.add_runtime_dependency('net-scp', '~> 3')
+
+  # A Ruby gem for converting seconds into human-readable format. https://github.com/digaev/to_duration
+  # Se usa para convertir un tiempo en segundos a un formato más legible
+  spec.add_runtime_dependency('to_duration', '~> 1')
+
+  # Ruby internationalization and localization (i18n) solution. https://github.com/ruby-i18n/i18n
+  # Este es un requerimiento de la gema to_duration
+  spec.add_runtime_dependency('i18n', '~> 1')
+end

data/template/liri-config.yml

@@ -0,0 +1,28 @@
+# Este archivo .yml define ciertas configuraciones para la ejecución del sistema
+# Configuración del Nombre del archivo de código fuente comprimido enviado a los agentes
+# Obs.: Puede que no sea útil para el usuario poder cambiar este nombre
+compressed_file_name: compressed_source_code
+# Configuración de la cantidad de tests a ejecutar por tandas
+test_samples_by_runner: 100
+log:
+  stdout:
+    # Configuración que define si se muestra el log de ejecución del programa en línea de comando. Puede ser true o false.
+    # Por defecto siempre se imprimirá el log en un archivo dentro de la carpeta logs
+    show: true
+    # Define los colores del texto del log. Puede ser none (no muestra colores), severity (colorea código de error),
+    # severity_date (colorea código de error y fecha), full (colorea el texto entero).
+    colorize: full
+  file:
+    colorize: full
+library:
+  # Configuración de la librería de compresión a utilizar para comprimir el código fuente
+  # Valores soportados: Sólo Zip hasta ahora
+  compression: Zip
+  # Configuración de la librería de pruebas unitarias a ejecutar
+  # Valores soportados: Sólo Rspec hasta ahora
+  unit_test: Rspec
+ports:
+  # Configuración del puerto a través del cual se realizará la primera comunicación entre Manager y Agent
+  udp: 2000
+  # Configuración del puerto a través del cual el Agent y el Manager intercambiarán las pruebas a ejecutar y los resultados de esa ejecución
+  tcp: 2500

metadata

@@ -0,0 +1,182 @@
+--- !ruby/object:Gem::Specification
+name: liri
+version: !ruby/object:Gem::Version
+  version: 0.1.0
+platform: ruby
+authors:
+- Rodrigo Fernández
+- Leslie López
+autorequire:
+bindir: exe
+cert_chain: []
+date: 2022-05-08 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: rubyzip
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '2'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '2'
+- !ruby/object:Gem::Dependency
+  name: commander
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '4'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '4'
+- !ruby/object:Gem::Dependency
+  name: highline
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '2'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '2'
+- !ruby/object:Gem::Dependency
+  name: net-scp
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '3'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '3'
+- !ruby/object:Gem::Dependency
+  name: to_duration
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1'
+- !ruby/object:Gem::Dependency
+  name: i18n
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1'
+description: Test distributor executor
+email:
+- rofaccess@gmail.com
+- leslyee.05@gmail.com
+executables:
+- liri
+extensions: []
+extra_rdoc_files: []
+files:
+- ".gitignore"
+- ".rakeTasks"
+- ".rspec"
+- ".rubocop.yml"
+- ".ruby-gemset"
+- ".ruby-version"
+- ".travis.yml"
+- CODE_OF_CONDUCT.md
+- Gemfile
+- Gemfile.lock
+- LICENSE.txt
+- README.md
+- Rakefile
+- bin/bundle
+- bin/coderay
+- bin/commander
+- bin/htmldiff
+- bin/ldiff
+- bin/liri
+- bin/rake
+- bin/rspec
+- bin/rubocop
+- bin/ruby-parse
+- bin/ruby-rewrite
+- bin/yard
+- bin/yardoc
+- bin/yri
+- config/locales/to_duration_es.yml
+- exe/liri
+- lib/agent/agent.rb
+- lib/agent/runner.rb
+- lib/all_libraries.rb
+- lib/common/benchmarking.rb
+- lib/common/compressor/zip.rb
+- lib/common/log.rb
+- lib/common/source_code.rb
+- lib/common/unit_test/rspec.rb
+- lib/exe/agent.rb
+- lib/exe/manager.rb
+- lib/hash_extend.rb
+- lib/liri.rb
+- lib/manager/credential.rb
+- lib/manager/manager.rb
+- lib/manager/setup.rb
+- lib/manager/test_result.rb
+- lib/task.rb
+- liri.gemspec
+- template/liri-config.yml
+homepage: https://github.com/rofaccess/tfg
+licenses:
+- MIT
+metadata:
+  allowed_push_host: https://rubygems.org
+  homepage_uri: https://github.com/rofaccess/tfg
+  source_code_uri: https://github.com/rofaccess/tfg/liri
+  changelog_uri: https://github.com/rofaccess/tfg/blob/master/liri/README.md
+post_install_message:
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: 2.3.0
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.1.4
+signing_key:
+specification_version: 4
+summary: TFG Project
+test_files: []