better_seeder 0.2.2.1 → 0.2.3

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 58577f255f87b959dca2b8d422ebf59f8a450ac857b05e5b9b46af1cfcd4fc9e
-  data.tar.gz: 6c4022a220f744d03209ec5ce45c6344f328e2dbe1c46b9a7e6ae9ca323133f1
+  metadata.gz: 20203d64e75c796bd405cb5caaabeb697ee4cd64b2a21770cc2703efaaedf815
+  data.tar.gz: 8b218cd82cc8950284fa4fe0468443481760e092161c9a96f9ea2b0ae9974c28
 SHA512:
-  metadata.gz: 8f322c8907aa1db395c3a231823080c50d4825f63f1d89d8dfa52784d0e686fa064b6c57cf8c6fafc830fc650741ca8853c7fb6c45fb248ef31b16c0f94de972
-  data.tar.gz: c9d8b6d14f21db93507ac0a5b856dd832f367fe6aab97043cf7dcb6310043b37fd79ca4a6e86a6a2a2b7368c250f0ccebb0e7e797153d06a1e5687efc2a72130
+  metadata.gz: f193936be5c4bb4416bc27b2cdbb869c10c8dbe4a8d3046d63cc0ffd1af4e31edd7e0e613ab1828913df5a64fd225523211a158662b783491022a2109233ccb4
+  data.tar.gz: 806324afb167aa6376f8c5dbf5fbe13083f4bcc9ec1e89c8bcbb46b021f5c29b27318580b63e2dacc42d4bfb3bf54d22afde05142acecd6a49aee82a23c561ae

data/lib/better_seeder/configuration.rb

@@ -2,15 +2,17 @@
 
 module BetterSeeder
   class Configuration
-    attr_accessor :log_language, :structure_path, :preload_path
+    attr_accessor :log_language, :log_level, :structure_path, :preload_path
 
     def initialize
       if defined?(Rails) && Rails.respond_to?(:root)
         @log_language   = :en
+        @log_level   = :info
         @structure_path = Rails.root.join('db', 'seed', 'structure')
         @preload_path   = Rails.root.join('db', 'seed', 'preload')
       else
         @log_language   = :en
+        @log_level   = :info
         @structure_path = File.join(Dir.pwd, 'db', 'seed', 'structure')
         @preload_path   = File.join(Dir.pwd, 'db', 'seed', 'preload')
       end

data/lib/better_seeder/farms/farmer.rb

@@ -1,116 +1,133 @@
 module BetterSeeder
   module Farms
     class Farmer
-      # Genera dati fittizi per il modello specificato utilizzando il file di structure.
-      #
-      # Opzioni attese (Hash):
-      #   :model => Nome del modello come stringa, es. 'Media::Participant'
-      #   :count => Numero di record da generare (default: 10)
-      #
-      # Se la classe di structure definisce il metodo `unique_keys` (che deve restituire un array di array,
-      # es. [[:media_id, :creator_id], [:role]]), verrà controllato che ogni record generato sia univoco,
-      # sia in memoria (tra quelli generati in questa esecuzione) che rispetto ai dati già presenti nel database.
-      # Se il record è duplicato, verrà rigenerato.
-      #
-      # Se la classe di structure definisce il metodo `seed_schema`, il record verrà validato tramite Dry-schema.
-      #
-      # @return [Array<Hash>] Array di record validati e univoci generati
-      def self.generate(options = {})
-        model_name = options[:model] or raise ArgumentError, "Missing :model option"
-        count      = options[:count]  || 10
-
-        # Costruisce il percorso del file di structure.
-        # Ad esempio, per il modello "Media::Participant", il file atteso sarà:
-        # "db/seed/structure/media/participant_structure.rb"
-        structure_file = File.expand_path(
-          File.join(BetterSeeder.configuration.structure_path, "#{model_name.underscore}_structure.rb"),
-          Dir.pwd
-        )
-        raise "Structure file not found: #{structure_file}" unless File.exist?(structure_file)
-
-        # Carica il file di structure.
-        load structure_file
-
-        # Costruisce il nome della classe di structure: semplice concatenazione.
-        # Es: "Media::Participant" => "Media::ParticipantStructure"
-        structure_class_name = "#{model_name}Structure"
-        begin
-          structure_class = Object.const_get(structure_class_name)
-        rescue error
-          message = "Structure class not found: #{structure_class_name}"
-          BetterSeeder::Utils.logger(message: message)
-          raise error
+
+      class << self
+        def generate(options = {})
+          model_name = options[:model] or raise ArgumentError, "Missing :model option"
+          count = options[:count] || 10
+
+          # Costruisce il percorso del file di structure.
+          structure_file = File.expand_path(
+            File.join(BetterSeeder.configuration.structure_path, "#{model_name.underscore}_structure.rb"),
+            Dir.pwd
+          )
+          raise "Structure file not found: #{structure_file}" unless File.exist?(structure_file)
+
+          # Carica il file di structure.
+          load structure_file
+
+          # Costruisce il nome della classe di structure: es. "Media::Participant" => "Media::ParticipantStructure"
+          structure_class_name = "#{model_name}Structure"
+          begin
+            structure_class = Object.const_get(structure_class_name)
+          rescue error
+            message = "Structure class not found: #{structure_class_name}"
+            BetterSeeder::Utils.logger(message: message)
+            raise error
+          end
+
+          generated_records = []
+
+          while generated_records.size < count
+            new_record = nil
+            loop do
+              new_record = build_record(model_name, structure_class)
+              new_record = inject_parent_keys(model_name, new_record, structure_class)
+              break if validate_record(new_record, structure_class) &&
+                !record_exists?(model_name, new_record, structure_class, generated_records)
+            end
+            generated_records.push(new_record)
+          end
+
+          generated_records
         end
 
-        generation_rules = structure_class.structure
-        raise "Structure must be a Hash" unless generation_rules.is_a?(Hash)
-
-        # Recupera lo schema per la validazione, se definito.
-        schema = structure_class.respond_to?(:seed_schema) ? structure_class.seed_schema : nil
-
-        # Gestione dei vincoli di unicità.
-        # Se il metodo unique_keys è definito, lo si aspetta come array di array,
-        # ad esempio: [[:media_id, :creator_id], [:role]]
-        unique_key_sets = structure_class.respond_to?(:unique_keys) ? structure_class.unique_keys : []
-        # Pre-carica i valori già presenti nel database per ciascun gruppo di colonne.
-        unique_sets = unique_key_sets.map do |cols|
-          existing_keys = Set.new
-          # Usa pluck per recuperare le colonne specificate dal modello.
-          # Se il gruppo è di una sola colonna, pluck restituirà un array di valori; se multi, un array di array.
-          db_rows = Object.const_get(model_name).pluck(*cols)
-          db_rows.each do |row|
-            composite_key = cols.size == 1 ? row.to_s : row.join("_")
-            existing_keys.add(composite_key)
+        private
+
+        def record_exists?(model_name, record, structure_class, generated_records)
+          # Se non è definito il metodo unique_keys, non eseguiamo il controllo
+          return false unless structure_class.respond_to?(:unique_keys)
+          unique_key_sets = structure_class.unique_keys
+          return false if unique_key_sets.empty?
+
+          # Determina il modello associato: si assume che il nome del modello sia
+          # dato dalla rimozione della stringa "Structure" dal nome della classe di structure.
+          model_class_name = structure_class.to_s.sub(/Structure$/, '')
+          model_class = Object.const_get(model_class_name)
+
+          # Per ogni set di chiavi uniche, costruiamo le condizioni della query
+          unique_key_sets.each do |key_set|
+            conditions = {}
+            key_set.each do |col|
+              conditions[col] = record[col]
+            end
+            # Se esiste un record nel database che soddisfa le condizioni, restituisce true.
+            return true if generated_records.find do |record|
+              conditions.all? { |key, value| record[key] == value }
+            end.present?
+            return true if model_class.where(conditions).exists?
           end
-          { columns: cols, set: existing_keys }
+
+          false
         end
 
-        generated_records = []
-        progressbar = ProgressBar.create(total: count, format: '%a %B %p%% %t')
-        attempts = 0
+        def build_record(model_name, structure_class)
+          generation_rules = structure_class.structure
+          raise "Structure must be a Hash" unless generation_rules.is_a?(Hash)
 
-        # Continua a generare record finché non si raggiunge il numero richiesto.
-        while generated_records.size < count
-          attempts += 1
           record = {}
           generation_rules.each do |attribute, rule|
-            # Ogni rule è un array: [tipo, generatore]
+            # Ogni rule è un array nel formato [tipo, generatore]
             generator = rule[1]
             value = generator.respond_to?(:call) ? generator.call : generator
             record[attribute] = value
           end
 
-          # Se è definito uno schema, valida il record.
-          if schema
-            result = schema.call(record)
-            unless result.success?
-              message = "[ERROR] Record validation failed for #{model_name}: #{result.errors.to_h}"
-              BetterSeeder::Utils.logger(message: message)
-              progressbar.increment
-              next  # Rigenera il record se la validazione fallisce.
-            end
-          end
+          record
+        end
 
-          # Controlla i vincoli di unicità: verifica che il record non sia già presente
-          duplicate = unique_sets.any? do |unique_set|
-            composite_key = unique_set[:columns].map { |col| record[col].to_s }.join("_")
-            unique_set[:set].include?(composite_key)
-          end
-          next if duplicate
+        def inject_parent_keys(model_name, record, structure_class)
+          config = structure_class.respond_to?(:seed_config) ? structure_class.seed_config : {}
+          parents_spec = config[:parents]
+          return record unless parents_spec && !parents_spec.empty?
+
+          parents_spec.each do |parent_config|
+            parent_model = parent_config[:model]
+            column = parent_config[:column]
 
-          # Aggiorna le strutture per il controllo di unicità con il nuovo record.
-          unique_sets.each do |unique_set|
-            composite_key = unique_set[:columns].map { |col| record[col].to_s }.join("_")
-            unique_set[:set].add(composite_key)
+            # Tenta di ottenere un record del parent dal pool BetterSeeder.generated_records se disponibile.
+            # Usiamo il nome del modello come chiave nel pool.
+            pool_key = parent_model.to_s
+            parent_record = if defined?(BetterSeeder.generated_records) &&
+              BetterSeeder.generated_records[pool_key] &&
+              !BetterSeeder.generated_records[pool_key].empty?
+                              BetterSeeder.generated_records[pool_key].sample
+                            else
+                              BetterSeeder.generated_records[pool_key] = parent_model.all
+                              BetterSeeder.generated_records[pool_key].sample
+                            end
+
+            raise "Parent record not found for #{parent_model}" unless parent_record
+
+            # Inietta nel record la chiave esterna indicata nella configurazione.
+            # binding.pry if model_name == "Media::Participant"
+            record[column] = parent_record[:id]
           end
 
-          generated_records << record
-          progressbar.increment
+          record
+        end
+
+        def validate_record(record, structure_class)
+          return true unless structure_class.respond_to?(:seed_schema_validation)
+
+          schema = structure_class.seed_schema_validation
+          result = schema.call(record)
+          return true if result.success?
+
+          raise result.errors.to_h
         end
 
-        message = "[INFO] Generated #{generated_records.size} unique records for #{model_name} after #{attempts} attempts."
-        BetterSeeder::Utils.logger(message: message)
-        generated_records
       end
     end
   end

data/lib/better_seeder/utils.rb

@@ -2,21 +2,36 @@
 
 module BetterSeeder
   module Utils
-    # Trasforma un nome di classe in snake_case.
-    # Esempio: "Campaigns::Campaign" => "campaigns_campaign"
-    def self.transform_class_name(class_name)
-      elements = class_name.split("::").map(&:underscore)
-      # Aggiunge "_structure.rb" all'ultimo elemento
-      elements[-1] = "#{elements[-1]}_structure.rb"
-      elements.join("/")
-    end
 
-    def self.logger(message: nil)
-      if defined?(Rails) && Rails.respond_to?(:logger) && Rails.logger
-        Rails.logger.info message
-      else
-        puts message
+    class << self
+      # Trasforma un nome di classe in snake_case.
+      # Esempio: "Campaigns::Campaign" => "campaigns_campaign"
+      def transform_class_name(class_name)
+        elements = class_name.split("::").map(&:underscore)
+        # Aggiunge "_structure.rb" all'ultimo elemento
+        elements[-1] = "#{elements[-1]}_structure.rb"
+        elements.join("/")
+      end
+
+      def logger(message: nil)
+        if defined?(Rails) && Rails.respond_to?(:logger) && Rails.logger
+          Rails.logger.info message
+        else
+          puts message
+        end
       end
+
+      def log_level_setup
+        level = case BetterSeeder.configuration.log_level
+                when :debug then Logger::DEBUG
+                when :info then Logger::INFO
+                when :error then Logger::ERROR
+                else Logger::DEBUG
+                end
+
+        ActiveRecord::Base.logger.level = level
+      end
+
     end
   end
 end

data/lib/better_seeder/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module BetterSeeder
-  VERSION = "0.2.2.1"
+  VERSION = "0.2.3"
 end

data/lib/better_seeder.rb

@@ -14,17 +14,31 @@ module BetterSeeder
 
     def initialize
       if defined?(Rails) && Rails.respond_to?(:root)
-        @log_language   = :en
+        @log_language = :en
+        @log_level = :info
         @structure_path = Rails.root.join('db', 'seed', 'structure')
-        @preload_path   = Rails.root.join('db', 'seed', 'preload')
+        @preload_path = Rails.root.join('db', 'seed', 'preload')
       else
-        @log_language   = :en
+        @log_language = :en
+        @log_level = :info
         @structure_path = File.join(Dir.pwd, 'db', 'seed', 'structure')
-        @preload_path   = File.join(Dir.pwd, 'db', 'seed', 'preload')
+        @preload_path = File.join(Dir.pwd, 'db', 'seed', 'preload')
       end
     end
   end
 
+  # Definisce un hash che fungerà da pool per memorizzare i record generati per ciascun modello.
+  @generated_records = {}
+
+  def self.generated_records
+    @generated_records
+  end
+
+  def self.store_generated_record(model_name, record)
+    @generated_records[model_name.to_s] ||= []
+    @generated_records[model_name.to_s] << record
+  end
+
   # Restituisce l'istanza globale di configurazione. Se non esiste, viene creata con i valori di default.
   def self.configuration
     @configuration ||= Configuration.new
@@ -47,6 +61,7 @@ module BetterSeeder
   # Metodo install che crea l'initializer di BetterSeeder in config/initializers
   # con le seguenti impostazioni:
   #   - log_language: lingua da usare per i log (es. :en, :it)
+  #   - log_level: livello di logging nell'output dei dati del seeder (:debug, :info, :error)
   #   - structure_path: percorso dove sono memorizzati i file di structure (default: Rails.root/db/seed/structure)
   #   - preload_path: percorso dove verranno salvati i file esportati (default: Rails.root/db/seed/preload)
   def self.install
@@ -60,6 +75,7 @@ module BetterSeeder
         # This file was generated by BetterSeeder.install
         BetterSeeder.configure do |config|
           config.log_language = :en
+          config.log_level = :error
           config.structure_path = Rails.root.join('db', 'seed', 'structure')
           config.preload_path = Rails.root.join('db', 'seed', 'preload')
         end
@@ -94,9 +110,15 @@ module BetterSeeder
   #   - Se abilitato, i record vengono caricati nel database e successivamente esportati nel formato richiesto
   #   - Vengono raccolte statistiche e loggato il tempo totale di esecuzione
   def self.magic(config)
+    previous_log_level = ActiveRecord::Base.logger.level
+    BetterSeeder::Utils.log_level_setup
+
+    message = "[LOGGER] previous log level: #{previous_log_level}, actual log level: #{ActiveRecord::Base.logger.level}"
+    BetterSeeder::Utils.logger(message: message)
+
     start_time = Time.now
-    stats = {}                   # Statistiche: modello => numero di record caricati
-    parent_loaded_records = {}   # Per memorizzare i record creati per i modelli parent
+    stats = {} # Statistiche: modello => numero di record caricati
+    parent_loaded_records = {} # Per memorizzare i record creati per i modelli parent
 
     ActiveRecord::Base.transaction do
       export_type = config[:configurations][:export_type]
@@ -106,11 +128,12 @@ module BetterSeeder
       end
     end
 
+    ActiveRecord::Base.logger.level = previous_log_level
     total_time = Time.now - start_time
     log_statistics(stats, total_time)
   end
 
-  def self.generate_structure(model_name: )
+  def self.generate_structure(model_name:)
     BetterSeeder::Builders::Structure.generate(model_name)
   end
 
@@ -146,12 +169,17 @@ module BetterSeeder
     # Recupera la configurazione specifica dal file di structure tramite il metodo seed_config.
     # Se non definito, vengono usati dei valori di default.
     seed_config = structure_class.respond_to?(:seed_config) ? structure_class.seed_config : {}
-    file_name        = seed_config[:file_name] || "#{model_name.underscore}_seed"
-    excluded_columns = seed_config.dig(:columns, :excluded) || []
-    generate_data    = seed_config.fetch(:generate_data, true)
-    count            = seed_config[:count] || 10
-    load_data        = seed_config.fetch(:load_data, true)
-    parent           = seed_config[:parent]   # nil oppure valore (o array) per modelli child
+    file_name = seed_config[:file_name] || "#{model_name.underscore}_seed"
+    excluded_columns = if export_type.to_s.downcase != 'sql'
+                         seed_config.dig(:columns, :excluded) || []
+                       else
+                         []
+                       end
+    generate_data = seed_config.fetch(:generate_data, true)
+    count = seed_config[:count] || 10
+    load_data = seed_config.fetch(:load_data, true)
+    parent = seed_config[:parent] # nil oppure valore (o array) per modelli child
+    superclass = seed_config[:superclass] # nil oppure valore (o array) per modelli child
 
     # Log per indicare se il modello è parent o child.
     message = if parent.nil?
@@ -170,74 +198,54 @@ module BetterSeeder
       raise Object.const_get(model_name)
     end
 
-    # Recupera o genera i record.
-    records = if generate_data
-                Farms::Farmer.generate(model: model_name, count: count)
-              else
-                model_class.all.map(&:attributes)
-              end
-
-    # Rimuove le colonne escluse.
-    processed_records = records.map do |record|
-      record.reject { |key, _| excluded_columns.include?(key.to_sym) }
+    # Se abilitato, carica i record nel database.
+    if load_data && File.exist?("#{BetterSeeder.configuration.preload_path.to_s}/#{seed_config[:file_name]}.sql")
+      load_data_from_file(seed_config)
+      stats[model_name] = model_class.all.count
+    else
+      if generate_data
+        records = Farms::Farmer.generate(model: model_name, count: count)
+        total_records = records.size
+        stats[model_name] = total_records
+        created_records = load_records_into_db(model_class, records, total_records, model_name, superclass)
+        # Se il modello è parent, salva i record creati per poterli utilizzare in seguito per i modelli child.
+        parent_loaded_records[model_name] = created_records if parent.nil?
+      else
+        model_class.all.map(&:attributes)
+      end
     end
 
-    # Se il modello è child, inietta le foreign key.
-    if parent
-      Array(parent).each do |parent_model_name|
-        parent_records = parent_loaded_records[parent_model_name]
-        if parent_records.nil? || parent_records.empty?
-          message = "[ERROR] No loaded records found for parent model #{parent_model_name}. Cannot assign foreign key for #{model_name}."
-          BetterSeeder::Utils.logger(message: message)
-        else
-          # Il nome della foreign key è ottenuto prendendo l'ultima parte del nome del modello padre,
-          # trasformandola in minuscolo e in forma singolare, e aggiungendo "_id".
-          foreign_key = parent_model_name.split("::").last.underscore.singularize + "_id"
-          processed_records.each do |record|
-            record[foreign_key] = parent_records.sample.id
-          end
-        end
+    # Rimuove le colonne escluse.
+    unless BetterSeeder.generated_records[(superclass || model_name).to_s].nil?
+      processed_records = BetterSeeder.generated_records[(superclass || model_name).to_s]
+      processed_records = processed_records.map do |campaign|
+        campaign.attributes.except(*excluded_columns.map(&:to_s))
       end
-    end
 
-    # Se abilitato, carica i record nel database.
-    if load_data
-      total_records = processed_records.size
-      stats[model_name] = total_records
-      created_records = load_records_into_db(model_class, processed_records, total_records, model_name)
-      # Se il modello è parent, salva i record creati per poterli utilizzare in seguito per i modelli child.
-      parent_loaded_records[model_name] = created_records if parent.nil?
-    else
-      stats[model_name] = 0
+      # Esporta i record nel formato richiesto.
+      export_records(model_class, processed_records, export_type, file_name)
     end
-
-    # Esporta i record nel formato richiesto.
-    export_records(model_class, processed_records, export_type, file_name)
   end
 
   # Carica i record nel database, utilizzando una progress bar per monitorare il progresso.
   # I log delle query SQL vengono temporaneamente disabilitati.
   #
   # @return [Array<Object>] Array dei record creati (istanze ActiveRecord)
-  def self.load_records_into_db(model_class, processed_records, total_records, model_name)
-    created_records = []
+  def self.load_records_into_db(model_class, processed_records, total_records, model_name, superclass)
     progressbar = ProgressBar.create(total: total_records, format: '%a %B %p%% %t')
     message = "[INFO] Starting to load #{total_records} records for model #{model_name}..."
     BetterSeeder::Utils.logger(message: message)
 
-    previous_level = ActiveRecord::Base.logger.level
-    ActiveRecord::Base.logger.level = Logger::ERROR
-
     processed_records.each do |record|
       created = model_class.create!(record)
-      created_records << created
+      BetterSeeder.store_generated_record(superclass || model_name, created)
       progressbar.increment
     end
 
-    ActiveRecord::Base.logger.level = previous_level
     message = "[INFO] Finished loading #{total_records} records into model #{model_name}."
     BetterSeeder::Utils.logger(message: message)
-    created_records
+
+    BetterSeeder.generated_records[model_name]
   end
 
   # Esporta i record nel formato specificato (json, csv, sql).
@@ -261,8 +269,8 @@ module BetterSeeder
 
   # Log finale con le statistiche raccolte e il tempo totale di esecuzione.
   def self.log_statistics(stats, total_time)
-    stats_message = stats.map { |model, count| "#{model}: #{count} records" }.join(", ")
-    message = "[INFO] Finished processing all models in #{total_time.round(2)} seconds. Statistics: #{stats_message}"
+    stats_message = stats.map { |model, count| "#{model}: #{count} records" }.join("\n")
+    message = "[INFO] Finished processing all models in #{total_time.round(2)} seconds. Statistics: \n#{stats_message}"
     BetterSeeder::Utils.logger(message: message)
   end
 
@@ -271,4 +279,29 @@ module BetterSeeder
   def self.transform_class_name(class_name)
     class_name.split("::").map(&:underscore).join("_")
   end
+
+  def self.load_data_from_file(seed_config)
+    config = seed_config
+    return unless config[:load_data] # Se load_data non è abilitato, esce senza fare nulla.
+
+    # Costruisce il nome del file di seed: ad esempio, se config[:file_name] è "my_model_seed",
+    # il file atteso sarà "my_model_seed_seed.sql".
+    seed_file_name = "#{config[:file_name]}.sql"
+    seed_file_path = File.join(BetterSeeder.configuration.preload_path, seed_file_name)
+
+    unless File.exist?(seed_file_path)
+      BetterSeeder::Utils.logger(message: "[WARN] Seed file not found: #{seed_file_path}")
+      return false
+    end
+
+    sql = File.read(seed_file_path)
+    begin
+      ActiveRecord::Base.connection.execute(sql)
+      BetterSeeder::Utils.logger(message: "[INFO] Loaded seed file: #{seed_file_path}")
+      true
+    rescue => e
+      BetterSeeder::Utils.logger(message: "[ERROR] Failed to load seed file: #{seed_file_path} - Error: #{e.message}")
+      false
+    end
+  end
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: better_seeder
 version: !ruby/object:Gem::Version
-  version: 0.2.2.1
+  version: 0.2.3
 platform: ruby
 authors:
 - alessio_bussolari
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2025-02-10 00:00:00.000000000 Z
+date: 2025-02-11 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: ffaker