sarapy 1.1.6__py3-none-any.whl → 1.3.0__py3-none-any.whl

sarapy/dataProcessing/OpsProcessor.py

@@ -4,6 +4,7 @@ import pandas as pd
 from sarapy.mlProcessors import PlantinFMCreator
 from sarapy.mlProcessors import PlantinClassifier
 from sarapy.preprocessing import TransformInputData, TransformToOutputData
+from sarapy.mlProcessors import FertilizerFMCreator, FertilizerTransformer
 
 class OpsProcessor():
     """Clase para procesar las operaciones de los operarios. La información se toma de la base de datos
@@ -40,7 +41,17 @@ class OpsProcessor():
         
         self._plantin_classifier = PlantinClassifier.PlantinClassifier(**kwargs_plclass)
         self.plantinFMCreator = PlantinFMCreator.PlantinFMCreator(**fmcreator_kargs)
-        # self._fertilizerFMCreator = FertilizerFMCreator() ## PARA IMPLEMENTAR
+        
+        ##mapa de argumentos para FertilizerTransformer
+        ft_map = {"regresor_file", "poly_features_file"}
+        ft_kwargs = {}
+        ##recorro kwargs y usando ft_map creo un nuevo diccionario con los valores que se pasaron
+        for key, value in kwargs.items():
+            if key in ft_map:
+                ft_kwargs[key] = value
+
+        self._ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+        self._fertilizer_transformer = FertilizerTransformer.FertilizerTransformer(**ft_kwargs)
         
         self._operationsDict = {} ##diccionario de operarios con sus operaciones
         self._platin_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
@@ -77,7 +88,7 @@ class OpsProcessor():
             
         Returns:
             Lista de diccionarios con las clasificaciones. Cada diccionario tiene la forma
-            {"id_db_h": 10, "id_db_dw": 10, "tag_seedling": 1, "tag_fertilizer": 1}
+            {"id_db_h": 10, "id_db_dw": 10, "tag_seedling": 1, "tag_fertilizer": gramos (float)}
         """
         
         ##chqueo que newSample no esté vacío
@@ -86,13 +97,16 @@ class OpsProcessor():
             #Si tenemos nuevas operaciones, actualizamos el diccionario de operaciones
             self.updateOperationsDict(newSample) #actualizamos diccionario interno de la clase
             pl_clas = self.classifyForPlantin(**kwargs) #clasificamos las operaciones para plantín
-            ft_clas = newSample[:,7].astype(int) #clasificamos las operaciones para fertilizante
+
+            #estimamos los gramos de fertilizante
+            dst_ft = self._ftfmcreator.transform(newSample[:,2]).astype(int)
+            ft_grams = self._fertilizer_transformer.transform(dst_ft.reshape(-1,1))
             id_db_h_nums, id_db_dw_nums = self.getActualOperationsNumbers() #obtenemos los números de operaciones desde el diccionario de operaciones
             date_oprc = newSample[:,3]
             return self.transformToOutputData.fit_transform(np.column_stack((id_db_h_nums,
                                                                              id_db_dw_nums,
                                                                              pl_clas,
-                                                                             ft_clas,
+                                                                             ft_grams,
                                                                              date_oprc)))
         else:
             self.resetAllNewSamplesValues()
@@ -185,7 +199,7 @@ class OpsProcessor():
             ##clasificamos las operaciones para plantín
             operations = self.operationsDict[ID_NPDP]["sample_ops"]
             features, dst_pt, inest_pt = self.plantinFMCreator.fit_transform(operations)
-            classified_ops = self._plantin_classifier.classify(features, **classify_kwargs)
+            classified_ops = self._plantin_classifier.classify(features, dst_pt, inest_pt, **classify_kwargs)
             
             ##chequeo si first_day_op_classified es True, si es así, no se considera la primera fila de las classified_ops
             if self.operationsDict[ID_NPDP]["first_day_op_classified"]:
@@ -324,7 +338,8 @@ if __name__ == "__main__":
 
     import time
     start_time = time.time()
-    op = OpsProcessor.OpsProcessor(classifier_file='modelos\\pipeline_rf.pkl', imputeDistances = False)
+    op = OpsProcessor.OpsProcessor(classifier_file='modelos\\pipeline_rf.pkl', imputeDistances = False,
+                                   regresor_file='modelos\\regresor.pkl', poly_features_file='modelos\\poly_features.pkl')
     classifications = op.processOperations(raw_ops, update_samePlace=True, useRatioStats=True)
     end_time = time.time()
     execution_time = end_time - start_time
@@ -334,4 +349,9 @@ if __name__ == "__main__":
     df = pd.DataFrame(classifications)
     tag_seedling = df["tag_seedling"].values
     print(tag_seedling.mean())
-    print(df["tag_seedling"].shape)
+    print(df["tag_seedling"].shape)
+
+    ##datos de fertilizante
+    tag_fertilizer = df["tag_fertilizer"].values
+    print(tag_fertilizer[1500:1560])
+    print(tag_fertilizer.mean())

sarapy/mlProcessors/FertilizerFMCreator.py

@@ -0,0 +1,54 @@
+import numpy as np
+from sklearn.base import BaseEstimator, TransformerMixin
+from sarapy.dataProcessing import TLMSensorDataProcessor
+
+
+class FertilizerFMCreator():
+    """Clase para crear la matriz de características para el procesamiento del fertilizante"""
+
+    def __init__(self):
+        self._dataPositions = {"DST_FT": 0}
+        self.dst_ft = None ##cuando no se ha transformado ningún dato, se inicializa en None
+
+    def transform(self, X):
+        """
+        Transforma los datos de telemetría para retornar los datos de distorsión de fertilizante.
+
+        Params:
+            - X: Es un array con los datos de telemetría. La forma de X es (n,1)
+
+        Returns:
+            - dst_ft: Array con los valores de distorsión de fertilizante.
+        """
+        tlmDataExtractor = TLMSensorDataProcessor.TLMSensorDataProcessor()
+        tlmdeDP = tlmDataExtractor.dataPositions #posiciones de los datos transformados de tlmDataExtractor
+
+        tlmExtracted = tlmDataExtractor.fit_transform(X)
+
+        self.dst_ft = tlmExtracted[:,tlmdeDP["DSTRFT"]]
+
+        return self.dst_ft
+
+if __name__ == "__main__":
+    import os
+    import pandas as pd
+    import numpy as np
+    from sarapy.preprocessing import TransformInputData
+    from sarapy.mlProcessors import PlantinFMCreator
+    import sarapy.utils.getRawOperations as getRawOperations
+    tindata = TransformInputData.TransformInputData()
+
+    ##cargo los archivos examples\2024-09-04\UPM001N\data.json y examples\2024-09-04\UPM001N\historical-data.json
+    data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\data.json")
+    historical_data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\historical-data.json")
+    raw_data = pd.read_json(data_path, orient="records").to_dict(orient="records")
+    raw_data2 = pd.read_json(historical_data_path, orient="records").to_dict(orient="records")
+
+    raw_ops = np.array(getRawOperations.getRawOperations(raw_data, raw_data2))
+    X = tindata.fit_transform(raw_ops) #transforma los datos de operaciones a un array de numpy
+    
+    from sarapy.mlProcessors import FertilizerFMCreator
+
+    ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+    dst_ft = ftfmcreator.transform(X[:,2])
+    print(dst_ft[:10]) #imprime los primeros 10 valores de DST_FT

sarapy/mlProcessors/FertilizerTransformer.py

@@ -0,0 +1,81 @@
+import pickle
+
+class FertilizerTransformer:
+    """
+    Clase para tomar los valores de distorsión de fertilizante y transformarlos a gramos
+    """
+
+    def __init__(self, regresor_file, poly_features_file):
+        """Constructor de la clase FertilizerImputer.
+
+        Args:
+            - regresor: Regresor que transforma los valores de distorsión a gramos.
+            - poly_features: Grado del polinomio a utilizar en la transformación de los datos.        
+        """
+        ##cargo el regresor con pickle. Usamos try para capturar el error FileNotFoundError
+        try:
+            with open(regresor_file, 'rb') as file:
+                self._regresor = pickle.load(file)
+            print("Regresor cargado con éxito.")
+        except FileNotFoundError:
+            print("El archivo no se encuentra en el directorio actual.")
+
+        ##cargo las características polinómicas con pickle. Usamos try para capturar el error FileNotFoundError
+        try:
+            with open(poly_features_file, 'rb') as file:
+                self._poly_features = pickle.load(file)
+            print("Características polinómicas cargadas con éxito.")
+        except FileNotFoundError:
+            print("El archivo no se encuentra en el directorio actual.")
+            
+        self.fertilizer_grams = None ##cuando no se ha transformado ningún dato, se inicializa en None
+
+
+    def transform(self, X):
+        """Transforma los datos de distorsión de fertilizante a gramos.
+
+        Params:
+            - X: Es un array con los datos de distorsión de fertilizante. La forma de X es (n,1)
+
+            Ejemplo: [12.  1. 12.  0.  0.  0.  0.  0.  0. 12.]
+
+        Returns:
+            - 0: Array con los valores de distorsión de fertilizante transformados a gramos.
+        """
+
+        X_poly = self._poly_features.fit_transform(X)
+        self.fertilizer_grams = self._regresor.predict(X_poly)
+
+        ##retorno con shape (n,)
+        return self.fertilizer_grams.reshape(-1,)
+    
+if __name__ == "__main__":
+    import os
+    import pandas as pd
+    import numpy as np
+    from sarapy.preprocessing import TransformInputData
+    from sarapy.mlProcessors import PlantinFMCreator
+    import sarapy.utils.getRawOperations as getRawOperations
+    tindata = TransformInputData.TransformInputData()
+
+    ##cargo los archivos examples\2024-09-04\UPM001N\data.json y examples\2024-09-04\UPM001N\historical-data.json
+    data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\data.json")
+    historical_data_path = os.path.join(os.getcwd(), "examples\\2024-09-04\\UPM001N\\historical-data.json")
+    raw_data = pd.read_json(data_path, orient="records").to_dict(orient="records")
+    raw_data2 = pd.read_json(historical_data_path, orient="records").to_dict(orient="records")
+
+    raw_ops = np.array(getRawOperations.getRawOperations(raw_data, raw_data2))
+    X = tindata.fit_transform(raw_ops) #transforma los datos de operaciones a un array de numpy
+    
+    from sarapy.mlProcessors import FertilizerFMCreator
+
+    ftfmcreator = FertilizerFMCreator.FertilizerFMCreator()
+    dst_ft = ftfmcreator.transform(X[:,2])
+    ##convierto a int dst_ft
+    dst_ft = dst_ft.astype(int)
+
+    from sarapy.mlProcessors import FertilizerTransformer
+
+    fertransformer = FertilizerTransformer.FertilizerTransformer(regresor_file='modelos\\regresor.pkl', poly_features_file='modelos\\poly_features.pkl')
+    gramos = fertransformer.transform(dst_ft.reshape(-1,1))
+    print(gramos[:10])

sarapy/preprocessing/TransformToOutputData.py

@@ -53,9 +53,11 @@ class TransformToOutputData(BaseEstimator, TransformerMixin):
         date_data = X[:,4].astype(int)
         date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.timezone.utc) for date in date_data])
         self.temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
-        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
-        for col in ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]:
+        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling" a int
+        for col in ["id_db_h", "id_db_dw", "tag_seedling"]:
             self.temp_df[col] = self.temp_df[col].astype(float).astype(int)
+        ##convierto la columna "tag_fertilizer" a float de y redondeo a 3 decimales
+        self.temp_df["tag_fertilizer"] = self.temp_df["tag_fertilizer"].astype(float).round(3)
 
         return self
     

sarapy/version.py

@@ -1,2 +1,2 @@
 ## Version of the package   
-__version__ = "1.1.6"
+__version__ = "1.3.0"

{sarapy-1.1.6.dist-info → sarapy-1.3.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 1.1.6
+Version: 1.3.0
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
@@ -19,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG SA_.
 
+#### Version 1.3.0
+
+- Se agrega funcionalidad para estimar la cantidad de gramos de fertilizante en base al nivel de distorsión de fertilizante arrojado por la electrónica. Se implementa mlProcessor.FertlizerFMCreator y mlProcessor.FertilizerTransformer. Además se modifican las clases OpsProcessor y TransformToOutputData para poder usar estas nuevas clases.
+
+#### Version 1.2.6
+
+- Se agrega línea dentro de clase OpsProcessor.
+
 #### Version 1.1.6
 
 - Se modifica PlantinClassifier para mejorar el NO conteo de plantines en OSP.

{sarapy-1.1.6.dist-info → sarapy-1.3.0.dist-info}/RECORD

@@ -1,25 +1,26 @@
 sarapy/__init__.py,sha256=aVoywqGSscYYDycLaYJnz08dlQabl9gH0h4Q5KtHM9o,74
-sarapy/version.py,sha256=Db9EoB-qhZEnDJ2g21JKg-dMflc0rkxkf6AINfjwBFk,51
+sarapy/version.py,sha256=acDWjqFOk0iMpHIL6Wr7i_HRiJz9vmiX2XxZnzY5Ss8,51
 sarapy/dataProcessing/GeoProcessor.py,sha256=ARjgKTXDVdf_cFCXyFmzlnmmmay3HG3q-yeJ9QrAcQU,5919
-sarapy/dataProcessing/OpsProcessor.py,sha256=BjrJ58Lk1pQSqOCUvhFTXTo-cw12zZ5JJrW1VVbtfdQ,17365
+sarapy/dataProcessing/OpsProcessor.py,sha256=XLCousbVeST-y4hjr27AKrg9-bOMTdkWl3fDJOgXFSM,18321
 sarapy/dataProcessing/TLMSensorDataProcessor.py,sha256=GfSIRYD_biFlOMTfSQSwW0HsUouZuUL3ScvL4uUHTPQ,23824
 sarapy/dataProcessing/TimeSeriesProcessor.py,sha256=-uic18Sut9yMCenbLO1-VabmKifKABt_FbCCP_fLcmE,5403
 sarapy/dataProcessing/__init__.py,sha256=Kqs5sFtq6RMEa3KLJFbsGRoYsIxHL1UUGMuplyCyQFk,200
-sarapy/dataProcessing/amg_decoder.py,sha256=JZ7cbu7DlCuatuq2F7aBfUr7S7U-K5poBgxw5nY6rNI,4319
+sarapy/mlProcessors/FertilizerFMCreator.py,sha256=LNi86CI6eVuQ0_UBVJNd_-L79fcY2-zY2NCm9ypl6OM,2354
+sarapy/mlProcessors/FertilizerTransformer.py,sha256=vdGNbvlmvtJZxr0oOE4Zb8Es-K-BKQh4oyhIGfDAcxQ,3571
 sarapy/mlProcessors/PlantinClassifier.py,sha256=Lswb1aNCaBVCMx88nbmbn2dMoPQ_7tGZSS7Cx5EGS1I,7973
 sarapy/mlProcessors/PlantinFMCreator.py,sha256=FeEz0MiorkMPodPgN9FtBDJ22WVLoLwK4g-CFI46DAk,8568
 sarapy/mlProcessors/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 sarapy/preprocessing/DistancesImputer.py,sha256=NvbVAh5m0yFxVgDbEFnEX7RSG13qLjO7i2gqjDAWsf4,9106
 sarapy/preprocessing/FertilizerImputer.py,sha256=zK6ONAilwPHvj-bC7yxnQYOkDBCCkWh6__57vYK9anM,1490
 sarapy/preprocessing/TransformInputData.py,sha256=wDwyg4U-jgTqvNUFngsmhSKwyhoIyVWlhezEhhPf2qE,4090
-sarapy/preprocessing/TransformToOutputData.py,sha256=REQX1d57bCqS3l9dh1m7ybJ-WSX1BGFzweojWMHar8A,3788
+sarapy/preprocessing/TransformToOutputData.py,sha256=rWAsZKWLxn1qtxUMV_cWeKs4dPkFcBEt6IqKL9A64js,3933
 sarapy/preprocessing/__init__.py,sha256=Wg_Csy8Xiz8BN8A4-T7iPwcL_ol5ApEx6YtybItKB8M,100
 sarapy/utils/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 sarapy/utils/amg_decoder.py,sha256=JZ7cbu7DlCuatuq2F7aBfUr7S7U-K5poBgxw5nY6rNI,4319
 sarapy/utils/amg_ppk.py,sha256=c0GusnxdntU-E0JOezzbIfC7SWoJmKAbad_zYDCJ3-c,1060
 sarapy/utils/getRawOperations.py,sha256=8aA1fIkNCnUYgiWfnFggRT_U35z432gZBrZ7seGO5w4,817
-sarapy-1.1.6.dist-info/LICENCE,sha256=N00sU3vSQ6F5c2vML9_qP4IFTkCPFFj0YGDB2CZP-uQ,840
-sarapy-1.1.6.dist-info/METADATA,sha256=MjlvCYFgYb-6B5kvNOgh4oX5EvCFqoB8JmC26nFO2mw,3338
-sarapy-1.1.6.dist-info/WHEEL,sha256=R0nc6qTxuoLk7ShA2_Y-UWkN8ZdfDBG2B6Eqpz2WXbs,91
-sarapy-1.1.6.dist-info/top_level.txt,sha256=4mUGZXfX2Fw47fpY6MQkaJeuOs_8tbjLkkNp34DJWiA,7
-sarapy-1.1.6.dist-info/RECORD,,
+sarapy-1.3.0.dist-info/LICENCE,sha256=N00sU3vSQ6F5c2vML9_qP4IFTkCPFFj0YGDB2CZP-uQ,840
+sarapy-1.3.0.dist-info/METADATA,sha256=LxQX-etiFzuxuysDNA6R2eH1vJAv7FL2qs2m615oxnE,3780
+sarapy-1.3.0.dist-info/WHEEL,sha256=R0nc6qTxuoLk7ShA2_Y-UWkN8ZdfDBG2B6Eqpz2WXbs,91
+sarapy-1.3.0.dist-info/top_level.txt,sha256=4mUGZXfX2Fw47fpY6MQkaJeuOs_8tbjLkkNp34DJWiA,7
+sarapy-1.3.0.dist-info/RECORD,,

sarapy/dataProcessing/amg_decoder.py

@@ -1,125 +0,0 @@
-from dateutil import parser
-
-
-"""
-En 'estructura_datos' se registra cuantos bits se ocupan para cada dato.
-Por ejemplo, los primeros 6 bits para anio, los siguientes 4 para mes y asi.
-"""
-
-estructura_datos = {
-    "anio": 6,
-    "mes": 4,
-    "dia": 5,
-    "hora": 5,
-    "minutos": 6,
-    "segundos": 6,
-    "operacion": 16,
-    "PT": 2,
-    "FR": 2,
-    "OR": 2,
-    "MO": 2,
-    "TLM_NPDP": 64,
-    "TLM_GPDP": 16,
-    "ID_NPDP": -1,
-    "ID_OPRR": -1,
-    "ID_GPDP": -1,
-    "ID_CDLL": -1,
-    "size_GNSS": 16,
-    "Latitud": 32,
-    "Longitud": 32,
-    "Precision": 32,  
-}  # Agregar mas campos segun sea necesario
-
-
-def extraer_bits(trama, inicio, n_bits):
-    try:
-        byte_index = inicio // 8
-        bit_offset = inicio % 8
-
-        valor = 0
-        bits_procesados = 0
-        while bits_procesados < n_bits:
-            byte_actual = trama[byte_index]
-            bits_restantes = n_bits - bits_procesados
-            bits_a_extraer = min(bits_restantes, 8 - bit_offset)
-
-            mascara = (1 << bits_a_extraer) - 1
-            bits_extraidos = (byte_actual >> (8 - bit_offset - bits_a_extraer)) & mascara
-
-            valor = (valor << bits_a_extraer) | bits_extraidos
-
-            bits_procesados += bits_a_extraer
-            byte_index += 1
-            bit_offset = 0
-
-        return valor
-    except IndexError as ex:
-        raise ex
-    except Exception as ex:
-        print(f"Error inesperado en extraer_bits: {ex}")
-        raise ex
-
-
-def process_dynamic_id(trama, inicio):
-    # Lee el primer byte para determinar la longitud del ID
-    longitud_id_bytes = extraer_bits(trama, inicio, 8)  # 8 bits = 1 byte
-    inicio += 8  # Avanza el indice de inicio 8 bits para pasar al contenido del ID
-
-    # Ahora, extrae el ID basandose en la longitud obtenida
-    id_value = extraer_bits(trama, inicio, longitud_id_bytes * 8)  # Convierte la longitud a bits
-    inicio += longitud_id_bytes * 8  # Avanza el indice de inicio para pasar al final del ID
-
-    return id_value, inicio
-
-
-def process_data(trama):
-    
-    if not isinstance(trama, bytes):
-        raise ValueError("La trama debe ser un bytearray")
-    
-    inicio = 0
-    resultado = {}
-    for campo, n_bits in estructura_datos.items():
-        try:
-            if n_bits == -1:  # Verifica si el campo es dinamico
-                resultado[campo], inicio = process_dynamic_id(trama, inicio)
-            else:
-                if campo == "TLM_NPDP" or campo == "TLM_GPDP":
-                    resultado[campo] = trama[inicio // 8: (inicio + n_bits) // 8]
-                else:
-                    resultado[campo] = extraer_bits(trama, inicio, n_bits)  
-                inicio += n_bits
-            if campo == "Precision":
-                # Suponiendo que size_GNSS sigue inmediatamente despues de Precision
-                raw = trama[inicio // 8: (inicio // 8 ) + resultado["size_GNSS"] - 12]
-                resultado["RAW"] = raw
-        except IndexError as ex:
-            print(f"Error al procesar campo {campo}: {ex}. Posiblemente la trama es mas corta de lo esperado.")
-            break  # Salir del bucle en caso de un error de indice
-        except Exception as ex:
-            print(f"Error inesperado al procesar campo {campo}: {ex}")
-            break  # Salir del bucle en caso de errores inesperados
-    
-    if len(set(estructura_datos.keys()) - set(resultado.keys())) == 0:
-    
-        anio = 2020 + resultado["anio"]
-        mes = str(resultado["mes"]).zfill(2)
-        dia = str(resultado["dia"]).zfill(2)
-        hora = str(resultado["hora"]).zfill(2)
-        minutos = str(resultado["minutos"]).zfill(2)
-        segundos = str(resultado["segundos"]).zfill(2)
-        resultado["date_oprc"] = parser.parse(f"{anio}-{mes}-{dia}T{hora}:{minutos}:{segundos}+00:00")
-        
-        resultado["Latitud"] = (resultado["Latitud"] - 2 ** 32) / 10 ** 7
-        resultado["Longitud"] = (resultado["Longitud"] - 2 ** 32) / 10 ** 7
-        
-        del resultado["anio"]
-        del resultado["mes"]
-        del resultado["dia"]
-        del resultado["hora"]
-        del resultado["minutos"]
-        del resultado["segundos"]
-        del resultado["size_GNSS"]
-        
-        return resultado
-