sarapy 1.2.6__tar.gz → 1.3.1__tar.gz

{sarapy-1.2.6/sarapy.egg-info → sarapy-1.3.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 1.2.6
+Version: 1.3.1
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
@@ -19,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG SA_.
 
+#### Version 1.3.1
+
+- Se modifica PlantinClassifier para tomar el umbral máximo de dst_pt en 4 y no en 7.
+
+#### Version 1.3.0
+
+- Se agrega funcionalidad para estimar la cantidad de gramos de fertilizante en base al nivel de distorsión de fertilizante arrojado por la electrónica. Se implementa mlProcessor.FertlizerFMCreator y mlProcessor.FertilizerTransformer. Además se modifican las clases OpsProcessor y TransformToOutputData para poder usar estas nuevas clases.
+
 #### Version 1.2.6
 
 - Se agrega línea dentro de clase OpsProcessor.

{sarapy-1.2.6 → sarapy-1.3.1}/README.md

@@ -2,6 +2,14 @@
 
 Library for processing SARAPICO project metadata of _AMG SA_.
 
+#### Version 1.3.1
+
+- Se modifica PlantinClassifier para tomar el umbral máximo de dst_pt en 4 y no en 7.
+
+#### Version 1.3.0
+
+- Se agrega funcionalidad para estimar la cantidad de gramos de fertilizante en base al nivel de distorsión de fertilizante arrojado por la electrónica. Se implementa mlProcessor.FertlizerFMCreator y mlProcessor.FertilizerTransformer. Además se modifican las clases OpsProcessor y TransformToOutputData para poder usar estas nuevas clases.
+
 #### Version 1.2.6
 
 - Se agrega línea dentro de clase OpsProcessor.

{sarapy-1.2.6 → sarapy-1.3.1}/pyproject.toml

@@ -1,7 +1,7 @@
 [project]
 name = "sarapy"
 
-version = "1.2.6"
+version = "1.3.1"
 authors = [
   {name = "Lucas Baldezzari", email = "lmbaldezzari@gmail.com"},]
 maintainers = [

{sarapy-1.2.6 → sarapy-1.3.1}/sarapy/dataProcessing/OpsProcessor.py

@@ -4,6 +4,7 @@ import pandas as pd
 from sarapy.mlProcessors import PlantinFMCreator
 from sarapy.mlProcessors import PlantinClassifier
 from sarapy.preprocessing import TransformInputData, TransformToOutputData
+from sarapy.mlProcessors import FertilizerFMCreator, FertilizerTransformer
 
 class OpsProcessor():
     """Clase para procesar las operaciones de los operarios. La información se toma de la base de datos
@@ -40,7 +41,17 @@ class OpsProcessor():
         
         self._plantin_classifier = PlantinClassifier.PlantinClassifier(**kwargs_plclass)
         self.plantinFMCreator = PlantinFMCreator.PlantinFMCreator(**fmcreator_kargs)
-        # self._fertilizerFMCreator = FertilizerFMCreator() ## PARA IMPLEMENTAR
+        
+        ##mapa de argumentos para FertilizerTransformer
+        ft_map = {"regresor_file", "poly_features_file"}
+        ft_kwargs = {}
+        ##recorro kwargs y usando ft_map creo un nuevo diccionario con los valores que se pasaron
+        for key, value in kwargs.items():
+            if key in ft_map:
+                ft_kwargs[key] = value
+
+        self._ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+        self._fertilizer_transformer = FertilizerTransformer.FertilizerTransformer(**ft_kwargs)
         
         self._operationsDict = {} ##diccionario de operarios con sus operaciones
         self._platin_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
@@ -77,7 +88,7 @@ class OpsProcessor():
             
         Returns:
             Lista de diccionarios con las clasificaciones. Cada diccionario tiene la forma
-            {"id_db_h": 10, "id_db_dw": 10, "tag_seedling": 1, "tag_fertilizer": 1}
+            {"id_db_h": 10, "id_db_dw": 10, "tag_seedling": 1, "tag_fertilizer": gramos (float)}
         """
         
         ##chqueo que newSample no esté vacío
@@ -86,13 +97,16 @@ class OpsProcessor():
             #Si tenemos nuevas operaciones, actualizamos el diccionario de operaciones
             self.updateOperationsDict(newSample) #actualizamos diccionario interno de la clase
             pl_clas = self.classifyForPlantin(**kwargs) #clasificamos las operaciones para plantín
-            ft_clas = newSample[:,7].astype(int) #clasificamos las operaciones para fertilizante
+
+            #estimamos los gramos de fertilizante
+            dst_ft = self._ftfmcreator.transform(newSample[:,2]).astype(int)
+            ft_grams = self._fertilizer_transformer.transform(dst_ft.reshape(-1,1))
             id_db_h_nums, id_db_dw_nums = self.getActualOperationsNumbers() #obtenemos los números de operaciones desde el diccionario de operaciones
             date_oprc = newSample[:,3]
             return self.transformToOutputData.fit_transform(np.column_stack((id_db_h_nums,
                                                                              id_db_dw_nums,
                                                                              pl_clas,
-                                                                             ft_clas,
+                                                                             ft_grams,
                                                                              date_oprc)))
         else:
             self.resetAllNewSamplesValues()
@@ -324,7 +338,8 @@ if __name__ == "__main__":
 
     import time
     start_time = time.time()
-    op = OpsProcessor.OpsProcessor(classifier_file='modelos\\pipeline_rf.pkl', imputeDistances = False)
+    op = OpsProcessor.OpsProcessor(classifier_file='modelos\\pipeline_rf.pkl', imputeDistances = False,
+                                   regresor_file='modelos\\regresor.pkl', poly_features_file='modelos\\poly_features.pkl')
     classifications = op.processOperations(raw_ops, update_samePlace=True, useRatioStats=True)
     end_time = time.time()
     execution_time = end_time - start_time
@@ -334,4 +349,9 @@ if __name__ == "__main__":
     df = pd.DataFrame(classifications)
     tag_seedling = df["tag_seedling"].values
     print(tag_seedling.mean())
-    print(df["tag_seedling"].shape)
+    print(df["tag_seedling"].shape)
+
+    ##datos de fertilizante
+    tag_fertilizer = df["tag_fertilizer"].values
+    print(tag_fertilizer[1500:1560])
+    print(tag_fertilizer.mean())

sarapy-1.3.1/sarapy/mlProcessors/FertilizerFMCreator.py

@@ -0,0 +1,54 @@
+import numpy as np
+from sklearn.base import BaseEstimator, TransformerMixin
+from sarapy.dataProcessing import TLMSensorDataProcessor
+
+
+class FertilizerFMCreator():
+    """Clase para crear la matriz de características para el procesamiento del fertilizante"""
+
+    def __init__(self):
+        self._dataPositions = {"DST_FT": 0}
+        self.dst_ft = None ##cuando no se ha transformado ningún dato, se inicializa en None
+
+    def transform(self, X):
+        """
+        Transforma los datos de telemetría para retornar los datos de distorsión de fertilizante.
+
+        Params:
+            - X: Es un array con los datos de telemetría. La forma de X es (n,1)
+
+        Returns:
+            - dst_ft: Array con los valores de distorsión de fertilizante.
+        """
+        tlmDataExtractor = TLMSensorDataProcessor.TLMSensorDataProcessor()
+        tlmdeDP = tlmDataExtractor.dataPositions #posiciones de los datos transformados de tlmDataExtractor
+
+        tlmExtracted = tlmDataExtractor.fit_transform(X)
+
+        self.dst_ft = tlmExtracted[:,tlmdeDP["DSTRFT"]]
+
+        return self.dst_ft
+
+if __name__ == "__main__":
+    import os
+    import pandas as pd
+    import numpy as np
+    from sarapy.preprocessing import TransformInputData
+    from sarapy.mlProcessors import PlantinFMCreator
+    import sarapy.utils.getRawOperations as getRawOperations
+    tindata = TransformInputData.TransformInputData()
+
+    ##cargo los archivos examples\2024-09-04\UPM001N\data.json y examples\2024-09-04\UPM001N\historical-data.json
+    data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\data.json")
+    historical_data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\historical-data.json")
+    raw_data = pd.read_json(data_path, orient="records").to_dict(orient="records")
+    raw_data2 = pd.read_json(historical_data_path, orient="records").to_dict(orient="records")
+
+    raw_ops = np.array(getRawOperations.getRawOperations(raw_data, raw_data2))
+    X = tindata.fit_transform(raw_ops) #transforma los datos de operaciones a un array de numpy
+    
+    from sarapy.mlProcessors import FertilizerFMCreator
+
+    ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+    dst_ft = ftfmcreator.transform(X[:,2])
+    print(dst_ft[:10]) #imprime los primeros 10 valores de DST_FT

sarapy-1.3.1/sarapy/mlProcessors/FertilizerTransformer.py

@@ -0,0 +1,81 @@
+import pickle
+
+class FertilizerTransformer:
+    """
+    Clase para tomar los valores de distorsión de fertilizante y transformarlos a gramos
+    """
+
+    def __init__(self, regresor_file, poly_features_file):
+        """Constructor de la clase FertilizerImputer.
+
+        Args:
+            - regresor: Regresor que transforma los valores de distorsión a gramos.
+            - poly_features: Grado del polinomio a utilizar en la transformación de los datos.        
+        """
+        ##cargo el regresor con pickle. Usamos try para capturar el error FileNotFoundError
+        try:
+            with open(regresor_file, 'rb') as file:
+                self._regresor = pickle.load(file)
+            print("Regresor cargado con éxito.")
+        except FileNotFoundError:
+            print("El archivo no se encuentra en el directorio actual.")
+
+        ##cargo las características polinómicas con pickle. Usamos try para capturar el error FileNotFoundError
+        try:
+            with open(poly_features_file, 'rb') as file:
+                self._poly_features = pickle.load(file)
+            print("Características polinómicas cargadas con éxito.")
+        except FileNotFoundError:
+            print("El archivo no se encuentra en el directorio actual.")
+            
+        self.fertilizer_grams = None ##cuando no se ha transformado ningún dato, se inicializa en None
+
+
+    def transform(self, X):
+        """Transforma los datos de distorsión de fertilizante a gramos.
+
+        Params:
+            - X: Es un array con los datos de distorsión de fertilizante. La forma de X es (n,1)
+
+            Ejemplo: [12.  1. 12.  0.  0.  0.  0.  0.  0. 12.]
+
+        Returns:
+            - 0: Array con los valores de distorsión de fertilizante transformados a gramos.
+        """
+
+        X_poly = self._poly_features.fit_transform(X)
+        self.fertilizer_grams = self._regresor.predict(X_poly)
+
+        ##retorno con shape (n,)
+        return self.fertilizer_grams.reshape(-1,)
+    
+if __name__ == "__main__":
+    import os
+    import pandas as pd
+    import numpy as np
+    from sarapy.preprocessing import TransformInputData
+    from sarapy.mlProcessors import PlantinFMCreator
+    import sarapy.utils.getRawOperations as getRawOperations
+    tindata = TransformInputData.TransformInputData()
+
+    ##cargo los archivos examples\2024-09-04\UPM001N\data.json y examples\2024-09-04\UPM001N\historical-data.json
+    data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\data.json")
+    historical_data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\historical-data.json")
+    raw_data = pd.read_json(data_path, orient="records").to_dict(orient="records")
+    raw_data2 = pd.read_json(historical_data_path, orient="records").to_dict(orient="records")
+
+    raw_ops = np.array(getRawOperations.getRawOperations(raw_data, raw_data2))
+    X = tindata.fit_transform(raw_ops) #transforma los datos de operaciones a un array de numpy
+    
+    from sarapy.mlProcessors import FertilizerFMCreator
+
+    ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+    dst_ft = ftfmcreator.transform(X[:,2])
+    ##convierto a int dst_ft
+    dst_ft = dst_ft.astype(int)
+
+    from sarapy.mlProcessors import FertilizerTransformer
+
+    fertransformer = FertilizerTransformer.FertilizerTransformer(regresor_file='modelos\\regresor.pkl', poly_features_file='modelos\\poly_features.pkl')
+    gramos = fertransformer.transform(dst_ft.reshape(-1,1))
+    print(gramos[:10])

{sarapy-1.2.6 → sarapy-1.3.1}/sarapy/mlProcessors/PlantinClassifier.py

@@ -129,12 +129,12 @@ class PlantinClassifier(BaseEstimator, TransformerMixin):
         Función para actualizar las etiquetas de las operaciones que tengan distorsiones de plantín.
         """
         new_labels = labels.copy()
+        
         ##filtro si dst_pt es menor a 7 y si inest_pt es 0
-        new_labels[(dst_pt < 7) & (inest_pt == 0)] = 0
+        new_labels[(dst_pt < 4) & (inest_pt == 0)] = 0
 
-        ##si inest_pt es y umbral_proba es menor a umbra_proba, entonces la operación es 0
+        ##si inest_pt 1 es y umbral_proba es menor a umbra_proba, entonces la operación es 0
         new_labels[(inest_pt == 1) & (self.probas[:,1] < umbral_proba)] = 0
-        # new_labels[(inest_pt == 1) & (self.probas[:,1] >= umbral_proba)] = 1
 
         return new_labels
     

{sarapy-1.2.6 → sarapy-1.3.1}/sarapy/preprocessing/TransformToOutputData.py

@@ -53,9 +53,11 @@ class TransformToOutputData(BaseEstimator, TransformerMixin):
         date_data = X[:,4].astype(int)
         date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.timezone.utc) for date in date_data])
         self.temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
-        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
-        for col in ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]:
+        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling" a int
+        for col in ["id_db_h", "id_db_dw", "tag_seedling"]:
             self.temp_df[col] = self.temp_df[col].astype(float).astype(int)
+        ##convierto la columna "tag_fertilizer" a float de y redondeo a 3 decimales
+        self.temp_df["tag_fertilizer"] = self.temp_df["tag_fertilizer"].astype(float).round(3)
 
         return self
     

{sarapy-1.2.6 → sarapy-1.3.1}/sarapy/version.py

@@ -1,2 +1,2 @@
 ## Version of the package   
-__version__ = "1.2.6"
+__version__ = "1.3.1"

{sarapy-1.2.6 → sarapy-1.3.1/sarapy.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 1.2.6
+Version: 1.3.1
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
@@ -19,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG SA_.
 
+#### Version 1.3.1
+
+- Se modifica PlantinClassifier para tomar el umbral máximo de dst_pt en 4 y no en 7.
+
+#### Version 1.3.0
+
+- Se agrega funcionalidad para estimar la cantidad de gramos de fertilizante en base al nivel de distorsión de fertilizante arrojado por la electrónica. Se implementa mlProcessor.FertlizerFMCreator y mlProcessor.FertilizerTransformer. Además se modifican las clases OpsProcessor y TransformToOutputData para poder usar estas nuevas clases.
+
 #### Version 1.2.6
 
 - Se agrega línea dentro de clase OpsProcessor.

{sarapy-1.2.6 → sarapy-1.3.1}/sarapy.egg-info/SOURCES.txt

@@ -14,6 +14,8 @@ sarapy/dataProcessing/OpsProcessor.py
 sarapy/dataProcessing/TLMSensorDataProcessor.py
 sarapy/dataProcessing/TimeSeriesProcessor.py
 sarapy/dataProcessing/__init__.py
+sarapy/mlProcessors/FertilizerFMCreator.py
+sarapy/mlProcessors/FertilizerTransformer.py
 sarapy/mlProcessors/PlantinClassifier.py
 sarapy/mlProcessors/PlantinFMCreator.py
 sarapy/mlProcessors/__init__.py