largeCsvProcessing 0.1.0 → 2.0.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: ca4889d4f2f7d7a5c65f826c1ed942e995511c12cdc524b1486459b655606347
-  data.tar.gz: c3f2be09986e0545b554dd019890a00a77057709e89c6776122b4d4a4cc6276b
+  metadata.gz: 671b2e93fa94be4ce74653a45305197c664a94b21214cfd5dea94b0597cb7f05
+  data.tar.gz: 6bc4b384f365b79b8431cbb395821f2765c0487b2d2e251c032b2706da5e955a
 SHA512:
-  metadata.gz: 539dc1e0140800e32eb8ca71e8089e126de2fbdfde756480ba6fecc513b44cf0d2c0186d9be14ffb9a32163708b11d7af7adca22a61e96224e0d0f19f89011c6
-  data.tar.gz: dbfbb73b0a07015f865b03e21efa52689c4d1021398e8581d34c3fe7dff17c38e710b0701b46e690fac0bfdebb981558205cf8f11178b52833fa5401468b0c22
+  metadata.gz: a0b8ab28216f9fe287206ac382e1c834091fb4c41982aedb5364c77d00fcb55ab0e2c47223278cf19b37633be634ca3bec1e8e8dd3b54cadbd93f4295beba5da
+  data.tar.gz: f3e387d3e000f71a0eeb225b9ac330c5fe83314da138f81fa198eb8ce973c10ce8cdd19512063881c2c462fa5f75adfc8b6643a4d442fd9e9aba68142ce6fc44

data/.rspec

@@ -0,0 +1 @@
+--require spec_helper

data/Gemfile

@@ -0,0 +1,6 @@
+# frozen_string_literal: true
+
+source "https://rubygems.org"
+
+# gem "rails"
+gem 'rspec', '~> 3.0'

data/Gemfile.lock

@@ -0,0 +1,26 @@
+GEM
+  remote: https://rubygems.org/
+  specs:
+    diff-lcs (1.5.0)
+    rspec (3.11.0)
+      rspec-core (~> 3.11.0)
+      rspec-expectations (~> 3.11.0)
+      rspec-mocks (~> 3.11.0)
+    rspec-core (3.11.0)
+      rspec-support (~> 3.11.0)
+    rspec-expectations (3.11.0)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.11.0)
+    rspec-mocks (3.11.1)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.11.0)
+    rspec-support (3.11.0)
+
+PLATFORMS
+  x86_64-linux
+
+DEPENDENCIES
+  rspec (~> 3.0)
+
+BUNDLED WITH
+   2.3.7

data/README.md

@@ -1,13 +1,55 @@
-# -----------TAREA 1 LARGE CSV PROCESSING-----------!
+# -----------( SPANISH ) TASK 1 - LARGE CSV PROCESSING-----------!
+ 
+ Write the script csv_generator.rb that takes an integer as a parameter and generates an extract in millions of rows. For example, if it is executed with parameter 1, then the extract will have 1 million rows + 1 for the header.
 
-Escribir el script csv_generator.rb que tome como parámetro un número entero y genere un extracto en millones de filas. Por ejemplo si se ejecuta con parámetro 1 entonces el extracto tendrá 1 millones de filas + 1 por la cabecera.
+# Content AND OTHER DETAILS:
 
-# FUNCIONAMIENTO Y OTROS DETALLES:
+1. csv_generator.rb: is the main program in which a 'case' is used to access a 'normal' mode, 'benchmark/memory' mode and stok_stats. The first two create an object based on the class located in ./generatr/generator.rb, with the difference that the benchmark mode is more limited but returns other extra parameters.
 
-csv_generator.rb es un programa que consta de dos partes, cada parte está en las carpetas lector y extractor respectivamente los cuales describo a continuación:
+ generator.rb: contains the Generator class, its variables are an input digit, the header and its 4 books. It also contains a "newFile" method which multiplies the input by a million and creates a file.csv by writing the header and so many million books to it.
 
-1) A falta de un archivo lector para extraer contenido como pide esta tarea, creé un programa en la carpeta lector, el cual ingresando un número crea un archivo csv de registros con la cantidad ingresada multiplicado por 1_000_000. (se puede decir que este archivo lector.csv es una pseudotabla de la base de datos)
+2. file.csv: In the first line is the header and in the following there will be as many millions of books as the input data says.
 
-2) Ya con este archivo... Se ejecuta el programa extractor, el cual pide un segundo numero que se multiplicará por 1_000_000 y devolverá ese numero de filas extraidas del primer archivo. (este archivo extracto.csv extrae las filas solicitadas de la pseudotabla anteriormente creada)
+3.
 
-# ESTE EJERCICIO SE CONVIRTIÓ EN GEMA!
+    NOTE1: To facilitate the evaluation, the file 'autoEvaluacion.txt' was created
+
+Four.
+
+    NOTE2: To run an rspec test run the file from terminal: bin/rspec
+
+# THIS EXERCISE BECAME A GEM!
+
+With the following command the gem was built:
+
+    gem build largeCsvProcessing.gemspec
+
+The following command is used to install the gem locally:
+
+    gem install ./largeCsvProcessing-2.0.0.gem
+
+The following command is used to install the gem remotely:
+
+    gem install largeCsvProcessing
+
+The following command is used to uninstall the gem:
+
+    gem uninstall largeCsvProcessing
+
+The following command is used to publish the gem to rubygems:
+
+    gem push largeCsvProcessing-2.0.0.gem
+
+To run the installed gem it can be accessed by irb:
+
+    require 'csv_generator'
+
+ # BIBLIOGRAPHY
+
+ https://rubygems.org/?locale=es
+
+ https://blog.desafiolatam.com/create-a-gema-ruby/
+
+ https://medium.com/swlh/benchmarking-in-ruby-86a6c28c1e97
+
+ https://rspec.info/

data/autoEvaluacion.txt

@@ -0,0 +1,80 @@
+1.- LARGE CSV PROCESSING
+
+    1. ¿Puede generar un archivo de 1 GB? 0.5 pts
+
+        En modo normal si! mi ram es de 8Gb y eh creado archivos incluso de hasta 32Gb. En modo benchmark el numero maximó para ingreso de datos es 11 y por alguna razón la ram se satura.
+
+    2. ¿Posee un archivo del tamaño del doble de la memoria? 0.5 pts
+
+        Sí! mi ram es de 8Gb y eh creado archivos incluso de hasta 32Gb osea el cuadruple de la memoria
+
+    3. ¿Finaliza con el archivo de 1 GB? 1 pts
+
+        Sí!
+
+    4. ¿Finaliza con el archivo de tamaño del doble de la memoria? ¿Cómo se comporta la memoria durante la ejecución? 2 pts
+
+        En modo normal si! mi ram es de 8Gb y eh creado archivos incluso de hasta 32Gb. En modo benchmark el numero maximó para ingreso de datos es 11 y por alguna razón la ram se satura.
+
+    5. ¿Qué refacciones realizó sobre la solución original? 1 pts
+
+        * book_in_stock.rf ahora es obsoleto
+
+        * csv_reader.rb :
+
+            La clase CsvReader se modificó por completo para que no guarde en un array las filas del archivo.csv.
+
+            Él método read_in_csv_data ahora recorre las filas del archivo csv, lee el dato precio, lo transforma a float y lo suma a la variable 'sum'.
+
+            Él método total_value_in_stock solo retorna la variable 'sum'.
+
+    6. ¿Realizó un benchmark de la memoria en ruby? 1 pts
+
+    Sí, pero de ello tengo más preguntas que respuestas :'(
+
+
+2.- GEMS
+
+    1. ¿La gema está publicada? 0.5 pts
+
+        sí, en:
+
+            https://rubygems.org/gems/largeCsvProcessing
+
+            https://github.com/duemarfra/largeCsvProcessing/
+
+    2. ¿Se puede instalar la gema? 1 pts
+
+        sí, con el comando: gem install largeCsvProcessing
+
+    3. ¿Se puede utilizar la gema? Osea la gema cumple con una funcionalidad. 2~4pts.
+    
+        Sí, esta gema cumple con los requisitos del enunciado.
+
+    4. ¿Está documentado el uso de la gema? 1 pts
+    
+        sí! en: en README.md y readmeEs.txt
+
+    5. ¿Se puede desinstalar la gema? 0.5 pts
+    
+        sí, con el comando: gem uninstall largeCsvProcessing
+
+    6. ¿Realizaron pruebas (testing) de la gema? (Opcional) 1 pts
+
+        sí, por medio de un modulo bundler se instalo Rspec. Y se comprobó que corra la clase 'Generator' del archivo generator.rb
+
+
+PREGUNTAS
+* ¿Podría ser útil hospedar nuestro código en algún servidor?
+
+    Sí para tener un mejor control de versiones, para que otros clientes puedan acceder al codigo y lo modifiquen mediante un fork o por descargas y sea más funcional a cada persona. Para disponer nosotros mismos del código en cualquier lugar que estemos.
+
+* ¿Vale la pena tener una base de datos?
+
+    En el caso de estos programas tal ves no tanto, pero si llegasemos a tener datos "sensibles" definitivamente sería lo mejor el contar con una base de datos.
+
+¿Y si quiero que ahora la notificación sea una hora antes?
+----------------
+Podría crear un evento en Google Calendar y sincronizarlo desde ahí?
+----------------
+Ejerciten ese cerebruto y piensen alternativas para llegar al objetivo.

data/bin/rspec

@@ -0,0 +1,29 @@
+#!/usr/bin/env ruby
+# frozen_string_literal: true
+
+#
+# This file was generated by Bundler.
+#
+# The application 'rspec' is installed as part of a gem, and
+# this file is here to facilitate running it.
+#
+
+require "pathname"
+ENV["BUNDLE_GEMFILE"] ||= File.expand_path("../../Gemfile",
+  Pathname.new(__FILE__).realpath)
+
+bundle_binstub = File.expand_path("../bundle", __FILE__)
+
+if File.file?(bundle_binstub)
+  if File.read(bundle_binstub, 300) =~ /This file was generated by Bundler/
+    load(bundle_binstub)
+  else
+    abort("Your `bin/bundle` was not generated by Bundler, so this binstub cannot run.
+Replace `bin/bundle` by running `bundle binstubs bundler --force`, then run this command again.")
+  end
+end
+
+require "rubygems"
+require "bundler/setup"
+
+load Gem.bin_path("rspec-core", "rspec")

data/lib/csv_generator.rb

@@ -1,12 +1,41 @@
-require_relative './lector/lector'
+require_relative './generatr/generator.rb'
+require 'benchmark/memory'
 
-lecturaSemanal = Lector.new
-lecturaSemanal.nMillones = gets.chomp
-lecturaSemanal.nuevaLectura
+puts '******** welcome to your large csv processor ********'
+puts "options:\n0 for start benchmark mode\n1 for start normal mode program\n2 for run stock_stats (require run step 1)"
 
+lecturaSemanal = Generator.new
+option = gets.chomp
 
-require_relative './extractor/extractor'
+case option
 
-extracto = Extractor.new
-extracto.nMillones = gets.chomp
-extracto.nuevoExtracto
+when '0'
+
+    puts 'How many millions of books do you want??'
+    puts "Alert!! Only give me the number (0,11], otherwise the memory goes BOOM and becomes a killer!!"
+
+    lecturaSemanal.millions = gets.chomp
+
+    Benchmark.memory do |x|
+    
+        x.report('creación del archivo'){lecturaSemanal.newFile}
+    
+    end
+    
+when '1'
+
+    puts 'How many millions of books do you want?? (give me the number)'
+    puts 'Example: 27 make a file.csv of 1GB, 432 make a file.csv of 16GB'
+
+    lecturaSemanal.millions = gets.chomp
+    lecturaSemanal.newFile
+
+when '2'
+    
+    require_relative 'stockStats/stock_stats'
+
+else
+
+    puts 'invalid option'
+    
+end

data/readmeEs.txt

@@ -0,0 +1,55 @@
+ # -----------( ESPAÑOL ) TAREA 1 - LARGE CSV PROCESSING-----------!
+ 
+ Escribir el script csv_generator.rb que tome como parámetro un número entero y genere un extracto en millones de filas. Por ejemplo si se ejecuta con parámetro 1 entonces el extracto tendrá 1 millones de filas + 1 por la cabecera.
+
+# Contenido Y OTROS DETALLES:
+
+1. csv_generator.rb: es el programa principal en el cual mediante un 'case' se accede a un modo 'normal', modo 'benchmark/memory' y al stok_stats. Los dós primeros crean un objeto en base la clase ubicada en ./generatr/generator.rb, con la diferencia que el modo benchmark es más limitado pero retorna otros parametros extras.
+
+ generator.rb: contiene la clase Generator, sus variables son un digito de entrada, la cabecera y sus 4 libros. Tambien contiene un método "newFile" el cual multiplica el dato de entrada por un millon y crea un archivo file.csv escribiendo en él, la cabecera y tantos millones de libros.
+
+2. file.csv: En la primera linea se encuantra la cabecera y en las siguientes habrá tantos millones de libros como el dato de entrada lo diga.
+
+3.
+
+    NOTA1: Para facilitar la evaluacion se creó el archivo 'autoEvaluacion.txt'
+
+4.
+
+    NOTA2: Para ejecutar un test rspec ejecutar desde terminal el archiv: bin/rspec
+
+# ESTE EJERCICIO SE CONVIRTIÓ EN GEMA!
+
+Con el siguiente comando se construyó la gema:
+
+    gem build largeCsvProcessing.gemspec
+
+El siguiente comando sirve para instalar la gema de manera local:
+
+    gem install ./largeCsvProcessing-2.0.0.gem
+
+El siguiente comando sirve para instalar la gema de manera remota:
+
+    gem install largeCsvProcessing
+
+El siguiente comando sirve para desinstalar la gema:
+
+    gem uninstall largeCsvProcessing
+
+El siguiente comando sirve para publicar la gema en rubygems:
+
+    gem push largeCsvProcessing-2.0.0.gem
+
+Para ejecutar la gema instalada se puede acceder por irb:
+
+    require 'csv_generator'
+
+ # BIBLIOGRAFÍA
+
+ https://rubygems.org/?locale=es
+
+ https://blog.desafiolatam.com/crear-una-gema-ruby/
+
+ https://medium.com/swlh/benchmarking-in-ruby-86a6c28c1e97
+
+ https://rspec.info/

data/spec/generator_spec.rb

@@ -0,0 +1,12 @@
+require_relative '../lib/generatr/generator'
+
+describe "Generator" do
+
+    it 'class newFile runs?' do
+        
+        algg = Generator.new
+        algg.millions = gets.chomp
+        expect(algg.newFile).to eq(true)
+
+    end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,98 @@
+# This file was generated by the `rspec --init` command. Conventionally, all
+# specs live under a `spec` directory, which RSpec adds to the `$LOAD_PATH`.
+# The generated `.rspec` file contains `--require spec_helper` which will cause
+# this file to always be loaded, without a need to explicitly require it in any
+# files.
+#
+# Given that it is always loaded, you are encouraged to keep this file as
+# light-weight as possible. Requiring heavyweight dependencies from this file
+# will add to the boot time of your test suite on EVERY test run, even for an
+# individual file that may not need all of that loaded. Instead, consider making
+# a separate helper file that requires the additional dependencies and performs
+# the additional setup, and require it from the spec files that actually need
+# it.
+#
+# See https://rubydoc.info/gems/rspec-core/RSpec/Core/Configuration
+RSpec.configure do |config|
+  # rspec-expectations config goes here. You can use an alternate
+  # assertion/expectation library such as wrong or the stdlib/minitest
+  # assertions if you prefer.
+  config.expect_with :rspec do |expectations|
+    # This option will default to `true` in RSpec 4. It makes the `description`
+    # and `failure_message` of custom matchers include text for helper methods
+    # defined using `chain`, e.g.:
+    #     be_bigger_than(2).and_smaller_than(4).description
+    #     # => "be bigger than 2 and smaller than 4"
+    # ...rather than:
+    #     # => "be bigger than 2"
+    expectations.include_chain_clauses_in_custom_matcher_descriptions = true
+  end
+
+  # rspec-mocks config goes here. You can use an alternate test double
+  # library (such as bogus or mocha) by changing the `mock_with` option here.
+  config.mock_with :rspec do |mocks|
+    # Prevents you from mocking or stubbing a method that does not exist on
+    # a real object. This is generally recommended, and will default to
+    # `true` in RSpec 4.
+    mocks.verify_partial_doubles = true
+  end
+
+  # This option will default to `:apply_to_host_groups` in RSpec 4 (and will
+  # have no way to turn it off -- the option exists only for backwards
+  # compatibility in RSpec 3). It causes shared context metadata to be
+  # inherited by the metadata hash of host groups and examples, rather than
+  # triggering implicit auto-inclusion in groups with matching metadata.
+  config.shared_context_metadata_behavior = :apply_to_host_groups
+
+# The settings below are suggested to provide a good initial experience
+# with RSpec, but feel free to customize to your heart's content.
+=begin
+  # This allows you to limit a spec run to individual examples or groups
+  # you care about by tagging them with `:focus` metadata. When nothing
+  # is tagged with `:focus`, all examples get run. RSpec also provides
+  # aliases for `it`, `describe`, and `context` that include `:focus`
+  # metadata: `fit`, `fdescribe` and `fcontext`, respectively.
+  config.filter_run_when_matching :focus
+
+  # Allows RSpec to persist some state between runs in order to support
+  # the `--only-failures` and `--next-failure` CLI options. We recommend
+  # you configure your source control system to ignore this file.
+  config.example_status_persistence_file_path = "spec/examples.txt"
+
+  # Limits the available syntax to the non-monkey patched syntax that is
+  # recommended. For more details, see:
+  # https://relishapp.com/rspec/rspec-core/docs/configuration/zero-monkey-patching-mode
+  config.disable_monkey_patching!
+
+  # This setting enables warnings. It's recommended, but in some cases may
+  # be too noisy due to issues in dependencies.
+  config.warnings = true
+
+  # Many RSpec users commonly either run the entire suite or an individual
+  # file, and it's useful to allow more verbose output when running an
+  # individual spec file.
+  if config.files_to_run.one?
+    # Use the documentation formatter for detailed output,
+    # unless a formatter has already been configured
+    # (e.g. via a command-line flag).
+    config.default_formatter = "doc"
+  end
+
+  # Print the 10 slowest examples and example groups at the
+  # end of the spec run, to help surface which specs are running
+  # particularly slow.
+  config.profile_examples = 10
+
+  # Run specs in random order to surface order dependencies. If you find an
+  # order dependency and want to debug it, you can fix the order by providing
+  # the seed, which is printed after each run.
+  #     --seed 1234
+  config.order = :random
+
+  # Seed global randomization in this process using the `--seed` CLI option.
+  # Setting this allows you to use `--seed` to deterministically reproduce
+  # test failures related to randomization by passing the same `--seed` value
+  # as the one that triggered the failure.
+  Kernel.srand config.seed
+=end
+end

metadata

@@ -1,27 +1,32 @@
 --- !ruby/object:Gem::Specification
 name: largeCsvProcessing
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 2.0.0
 platform: ruby
 authors:
 - Marcelo Dueñas
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-05-16 00:00:00.000000000 Z
+date: 2022-05-26 00:00:00.000000000 Z
 dependencies: []
-description: Simple script that processes and extracts csv files from a much larger
-  file
+description: Simple script that make a file.csv with books non editable in yurs rows
 email: duemarfra@gmail.com
 executables: []
 extensions: []
 extra_rdoc_files: []
 files:
+- ".rspec"
+- Gemfile
+- Gemfile.lock
 - LICENSE
 - README.md
+- autoEvaluacion.txt
+- bin/rspec
 - lib/csv_generator.rb
-- lib/extractor/extractor.rb
-- lib/lector/lector.rb
+- readmeEs.txt
+- spec/generator_spec.rb
+- spec/spec_helper.rb
 homepage: https://github.com/duemarfra/largeCsvProcessing.git
 licenses:
 - MIT

data/lib/extractor/extractor.rb

@@ -1,25 +0,0 @@
-require 'csv'
-
-puts '***Este es el programa que crea un archivo de EXTRACTO, extrae tantos millones del archivo de lectura original segun queramos***'
-puts 'INGRESE UN NUMERO Y OBTENDRA UN ARCHIVO CSV MUTIPLICADO POR MILLONES DE DICHO NUMERO (tiene que ser igual o menor que la lectura original)'
-
-class Extractor
-
-    attr_accessor :nMillones
-    @@libros = CSV.read('./lector.csv').map
-    @@espacio = "\n"
-
-    def nuevoExtracto
-
-        nRepeticiones = ( @nMillones.to_i * 1_000_000 ) + 1
-
-        nRepeticiones.times {
-        
-            File.open( './extracto.csv', 'a' ) { |row| row.write @@libros.next}
-            File.open( './extracto.csv', 'a' ) { |row| row.write @@espacio}
-        
-        }
-        
-    end
-    
-end

data/lib/lector/lector.rb

@@ -1,34 +0,0 @@
-require 'csv'
-
-puts '***Este es el programa que crea el archivo del control físico semanal de todos los libros del depósito***'
-puts 'INGRESE UN NUMERO Y OBTENDRA UN ARCHIVO CSV MUTIPLICADO POR MILLONES DE DICHO NUMERO'
-
-class Lector
-
-    attr_accessor :nMillones
-    @@cabecera = '"Date","ISBN","Amount"'
-    @@book1 = '"2008-04-12","978-1-9343561-0-4",39.45'
-    @@book2 = '"2008-04-13","978-1-9343561-6-6",45.67'
-    @@book3 = '"2008-04-14","978-1-9343560-7-4",36.95'
-    @@book4 = '"2008-04-15","978-1-9343560-9-9",40.69'
-    @@espacio = "\n"
-
-    def nuevaLectura
-
-        File.open( './lector.csv', 'a' ) { |file| file.write @@cabecera+@@espacio }
-
-        nRepeticiones = 1_000_000 * @nMillones.to_i / 4
-
-
-        nRepeticiones.times {
-
-            File.open( './lector.csv', 'a' ) { |file| file.write @@book1+@@espacio }
-            File.open( './lector.csv', 'a' ) { |file| file.write @@book2+@@espacio }
-            File.open( './lector.csv', 'a' ) { |file| file.write @@book3+@@espacio }
-            File.open( './lector.csv', 'a' ) { |file| file.write @@book4+@@espacio }
-        
-        }
-        
-    end
-     
-end