sarapy 0.4.8__py3-none-any.whl → 1.0.0__py3-none-any.whl

sarapy/dataProcessing/OpsProcessor.py

@@ -6,6 +6,7 @@ import numpy as np
 import pandas as pd
 # from sarapy.mlProcessors import PlantinFMCreator
 from sarapy.mlProcessors import PlantinClassifier
+from sarapy.preprocessing import TransformInputData, TransformToOutputData
 
 class OpsProcessor():
     """Clase para procesar las operaciones de los operarios. La información se toma de la base de datos
@@ -41,6 +42,8 @@ class OpsProcessor():
         self._platin_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
         self._fertilizer_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
         self._last_row_db = 0 ##indicador de la última fila de los datos extraidos de la base de datos histórica
+        self.transformInputData = TransformInputData.TransformInputData()
+        self.transformToOutputData = TransformToOutputData.TransformToOutputData()
         
     def processOperations(self, data):
         """Método para procesar las operaciones de los operarios.
@@ -73,18 +76,18 @@ class OpsProcessor():
         
         ##chqueo que newSample no esté vacío
         if len(data) != 0:
-            newSample = self.transformInputData(data)
+            newSample = self.transformInputData.fit_transform(data)
             #Si tenemos nuevas operaciones, actualizamos el diccionario de operaciones
             self.updateOperationsDict(newSample) #actualizamos diccionario interno de la clase
             pl_clas = self.classifyForPlantin() #clasificamos las operaciones para plantín
             ft_clas = newSample[:,7].astype(int) #clasificamos las operaciones para fertilizante
             id_db_h_nums, id_db_dw_nums = self.getActualOperationsNumbers() #obtenemos los números de operaciones desde el diccionario de operaciones
             date_oprc = newSample[:,3]
-            return self.transformToOutputData(np.column_stack((id_db_h_nums,
-                                                               id_db_dw_nums,
-                                                               pl_clas,
-                                                               ft_clas,
-                                                               date_oprc)))
+            return self.transformToOutputData.fit_transform(np.column_stack((id_db_h_nums,
+                                                                             id_db_dw_nums,
+                                                                             pl_clas,
+                                                                             ft_clas,
+                                                                             date_oprc)))
         else:
             self.resetAllNewSamplesValues()
             return None
@@ -237,82 +240,6 @@ class OpsProcessor():
 
         for ID_NPDP in self.operationsDict.keys():
             self._operationsDict[ID_NPDP]["first_day_op_classified"] = False
-            
-    def transformInputData(self, data):
-        """Función para transformar los datos de entrada que llegan del decoder
-        
-        Args:
-            data: Es una lista de diccionario. Cada diccionario tiene los siguientes keys.
-                     
-            Ejemplo:
-            
-            {
-                "id_db_h":1, #int
-                "ID_NPDP":"XXAA123", #string
-                "FR": 1, #int
-                "TLM_NPDP": b'\xfc\x01\t\t\x00\x00\x00\x98', #bytes
-                "date_oprc":datetime.datetime(2024, 2, 16, 21, 2, 2, tzinfo=tzutc()),#datetime
-                "Latitud":-32.145564789, #float
-                "Longitud":-55.145564789, #float
-                "Precision": 1000,
-                "id_db_dw": 1 #int
-            }
-            
-        NOTA: Los diccionarios de la lista tienen más datos, pero no se usan ahora.
-        
-        Returns:
-            Retorna un array de strings con la siguiente estructura
-            - 0: id_db_h
-            - 1: ID_NPDP
-            - 2: TLM_NPDP
-            - 3: date_oprc
-            - 4: latitud
-            - 5: longitud
-            - 6: Precision
-            - 7: FR
-            - 8: id_db_dw
-        """
-
-        ##convierto list_of_dics a un array de strings
-        newSample = np.array([[d["id_db_h"],
-                               d["ID_NPDP"],
-                               ''.join([bin(byte)[2:].zfill(8) for byte in d["TLM_NPDP"]]),
-                               int(d["date_oprc"].timestamp()),
-                               d["Latitud"],
-                               d["Longitud"],
-                               d["Precision"],
-                               d["FR"],
-                               d["id_db_dw"]] for d in data])
-        return newSample
-    
-    def transformToOutputData(self, dataToTransform):
-        """Método para transformar los datos recibidos a una lista de diccionarios
-        
-        Args:
-            - dataToTransform: array con los datos de las operaciones clasificadas.
-            Actualmente el array de dataToTransform es de (n,4) con las columnas siguientes
-            
-                - 0: id_db_h
-                - 1: id_db_dw
-                - 2: tag_seedling
-                - 3: tag_fertilizer      
-                - 4: date_oprc          
-        Returns:
-            Retorna una lista de diccionarios con la siguiente estructura
-            [{"id_db_h", },]
-        """
-        
-        keys = ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer", "date_oprc"]        
-        temp_df = pd.DataFrame(dataToTransform, columns = keys)
-        
-        date_data = dataToTransform[:,4].astype(int)
-        # date_oprc = [datetime.datetime.utcfromtimestamp(date).replace(tzinfo = tzutc()) for date in date_data]
-        date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.UTC) for date in date_data])
-        temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
-        ##convierto las colmas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
-        temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]] = temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]].astype(int)
-        
-        return temp_df.to_dict("records")
     
     def cleanSamplesOperations(self):
         """Método para limpiar las operaciones de un operario en el diccionario de operaciones.
@@ -343,41 +270,17 @@ if __name__ == "__main__":
     import pandas as pd
     import numpy as np
     import os
-    from sarapy.dataProcessing import amg_decoder
-    
-    ##********************************************************************
-    ##        PREPARO LOS DATOS PARA HACER UNA PRUEBA
-    ##********************************************************************
-    from dateutil.tz import tzutc
-    import datetime
-    path = os.path.join(os.getcwd(), "examples\\volcado_17112023_NODE_encoded.csv")
-    data_df = pd.read_csv(path, sep=";", )
-    #tomo la columna TLM_NPDP y la convierto a bytes. La columna esta formada por un string the 8 bytes en binario
-    data_df["TLM_NPDP"] = data_df["TLM_NPDP"].apply(lambda x: bytes([int(x[i:i+8], 2) for i in range(0, len(x), 8)]))
-    data_df.loc[:,["date_oprc"]] = data_df.loc[:,"date_oprc"].apply(lambda fecha: datetime.datetime.utcfromtimestamp(fecha))
-    ##le sumo a la date_oprc 53 años, 10 meses y 10 días
-    data_df.loc[:,"date_oprc"] = data_df.loc[:,"date_oprc"].apply(lambda fecha: fecha + datetime.timedelta(days=53*365 + 10*30 + 10))
-    ##agrego una columna con el id_db_dw 
-    data_df.loc[:,"id_db_dw"] = np.arange(0, data_df.shape[0])
-    data_df.loc[:,"FR"] = 1
-    
-    data_df_raw = data_df.to_dict("records")
-    
-    ##********************************************************************
-    ##        PROCESAMOS LAS OPERACIONES
-    ##********************************************************************
+    from sarapy.utils.getRawOperations import getRawOperations
+
+    data_df_raw = getRawOperations("examples\\2024-05-30\\UPM007N\\data.json", "examples\\2024-05-30\\UPM007N\\historical-data.json")
 
     import time
     start_time = time.time()
-    ##simulamos el procesammiento de 10 sarapicos
-    classifcations = []
-    for i in range(10):
-        op = OpsProcessor(classifier_file="examples\\pip_lda_imp.pkl", imputeDistances = False)
-        ops_processed = op.processOperations(data_df_raw)
-        classifcations.append(ops_processed)
-        del op
+    op = OpsProcessor(classifier_file="examples\\pip_lda_imp.pkl", imputeDistances = False)
+    classifcations = op.processOperations(data_df_raw)
     end_time = time.time()
     execution_time = end_time - start_time
     print("Execution time:", execution_time, "seconds")
     
-    classifcations[0][:2]
+    print(len(classifcations))
+    classifcations[:10]

sarapy/dataProcessing/TLMSensorDataProcessor.py

@@ -110,7 +110,7 @@ class TLMSensorDataProcessor(BaseEstimator, TransformerMixin):
         
         ##chequeamos si se ha llamado a fit(). Sino, se arroja un error
         if not self.is_fitted:
-            raise ValueError("MetadataManager no ha sido fitteado. Llame a fit() previamente.")
+            raise ValueError("TLMSensorDataProcessor no ha sido fitteado. Llame a fit() previamente.")
         
         return np.array([   self._RFFlag,
                             self._GNSSFlag,

sarapy/preprocessing/TransformInputData.py

@@ -0,0 +1,106 @@
+###Documentación en https://github.com/lucasbaldezzari/sarapy/blob/main/docs/Docs.md
+
+import numpy as np
+from sklearn.base import BaseEstimator, TransformerMixin
+
+class TransformInputData(BaseEstimator, TransformerMixin):
+    """
+    Clase para transformar los datos de entrada a un formato utilizable para procesar las operaciones.
+    """
+
+    def __init__(self):
+        """
+        Constructor de la clase TransformInputData.
+        
+        Args:
+            - features_list: Lista con los nombres de las columnas a extraer de los datos recibidos de cada operación.
+        """
+        self.is_fitted = False
+        self.positions = {"id_db_h":0,
+                          "ID_NPDP":1,
+                          "TLM_NPDP":2,
+                          "date_oprc":3,
+                          "latitud":4,
+                          "longitud":5,
+                          "Precision":6,
+                          "FR":7,
+                          "id_db_dw":8}
+
+    def fit(self, X:np.array, y = None):
+        """
+        Fittea el objeto
+        """
+        self.is_fitted = True  
+
+        self.newSample = np.array([[d["id_db_h"],
+                                    d["ID_NPDP"],
+                                    ''.join([bin(byte)[2:].zfill(8) for byte in d["TLM_NPDP"]]),
+                                    int(d["date_oprc"].timestamp()),
+                                    d["Latitud"],
+                                    d["Longitud"],
+                                    d["Precision"],
+                                    d["FR"],
+                                    d["id_db_dw"]] for d in X])   
+              
+        return self
+    
+    def transform(self, X:np.array):
+        """
+        Transforma los datos de entrada a un formato utilizable para procesar las operaciones.
+        
+        Args:
+            data: Es una lista de diccionario. Cada diccionario tiene los siguientes keys.
+                     
+            Ejemplo:
+            
+            {
+                "id_db_h":1, #int
+                "ID_NPDP":"XXAA123", #string
+                "FR": 1, #int
+                "TLM_NPDP": b'\xfc\x01\t\t\x00\x00\x00\x98', #bytes
+                "date_oprc":datetime.datetime(2024, 2, 16, 21, 2, 2, tzinfo=tzutc()),#datetime
+                "Latitud":-32.145564789, #float
+                "Longitud":-55.145564789, #float
+                "Precision": 1000,
+                "id_db_dw": 1 #int
+            }
+            
+        NOTA: Los diccionarios de la lista tienen más datos, pero no se usan ahora.
+        
+        Returns:
+            Retorna un array de strings con la siguiente estructura
+            - 0: id_db_h
+            - 1: ID_NPDP
+            - 2: TLM_NPDP
+            - 3: date_oprc
+            - 4: latitud
+            - 5: longitud
+            - 6: Precision
+            - 7: FR
+            - 8: id_db_dw
+    """
+        ##chequeamos si se ha llamado a fit(). Sino, se arroja un error
+        if not self.is_fitted:
+            raise ValueError("TransformInputData no ha sido fitteado. Llame a fit() previamente.")
+        
+        return self.newSample
+    
+    def fit_transform(self, X:np.array, y=None):
+        self.fit(X)
+        return self.transform(X)
+    
+if __name__ == "__main__":
+    import pandas as pd
+    import numpy as np
+    import os
+    from sarapy.utils.getRawOperations import getRawOperations
+
+    # features=["id_db_h","ID_NPDP","TLM_NPDP","date_oprc","latitud","longitud","Precision","FR","id_db_dw",
+    #           "INESTPT","INESTFT"]
+    
+    transform_input_data = TransformInputData()
+
+    ppk_results = getRawOperations("examples\\2024-05-30\\UPM007N\\data.json", "examples\\2024-05-30\\UPM007N\\historical-data.json")
+
+    X = np.array(ppk_results)
+    print(transform_input_data.fit_transform(X))

sarapy/preprocessing/TransformToOutputData.py

@@ -0,0 +1,63 @@
+import numpy as np
+import pandas as pd
+from sklearn.base import BaseEstimator, TransformerMixin
+import datetime
+
+class TransformToOutputData(BaseEstimator, TransformerMixin):
+    """Método para transformar los datos recibidos a una lista de diccionarios
+        
+        Args:
+            - dataToTransform: array con los datos de las operaciones clasificadas.
+            Actualmente el array de dataToTransform es de (n,4) con las columnas siguientes
+            
+                - 0: id_db_h
+                - 1: id_db_dw
+                - 2: tag_seedling
+                - 3: tag_fertilizer      
+                - 4: date_oprc          
+        Returns:
+            Retorna una lista de diccionarios con la siguiente estructura
+            [{"id_db_h", },]
+        """
+
+    def __init__(self):
+        """
+        Constructor de la clase TransformToOutputData.
+        
+        Args:
+            - features_list: Lista con los nombres de las columnas a extraer de los datos recibidos de cada operación.
+        """
+        self.is_fitted = False
+        self.positions = {"id_db_h":0,
+                          "id_db_dw":1,
+                          "tag_seedling":2,
+                          "tag_fertilizer":3,
+                          "date_oprc":4}
+        
+    def fit(self, X:np.array, y = None):
+        """
+        """
+        self.is_fitted = True
+        keys = ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer", "date_oprc"]        
+        self.temp_df = pd.DataFrame(X, columns = keys)
+        
+        date_data = X[:,4].astype(int)
+        date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.timezone.utc) for date in date_data])
+        self.temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
+        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
+        self.temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]] = self.temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]].astype(int)
+        
+        return self
+    
+    def transform(self, X:np.array):
+        """
+        Retorna los datos de entrada a un formato utilizable para procesar las operaciones.
+        """
+
+        return self.temp_df.to_dict(orient = "records")
+    
+    def fit_transform(self, X:np.array, y = None):
+        """
+        """
+        self.fit(X)
+        return self.transform(X)

sarapy/version.py

@@ -1,2 +1,2 @@
 ## Version of the package   
-__version__ = "0.4.8"
+__version__ = "1.0.0"

sarapy-1.0.0.dist-info/LICENCE

@@ -0,0 +1,7 @@
+MIT License
+
+Permission is hereby granted, free of charge, to any person or organization within AMG SA (the "Licensee") obtaining a copy of this software and associated documentation files (the "Software"), to use the Software exclusively for internal purposes within AMG SA.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
+
+For any inquiries or further information, please contact AMG SA at lucas.baldezzari@amg.com.uy.

{sarapy-0.4.8.dist-info → sarapy-1.0.0.dist-info}/METADATA

@@ -1,12 +1,13 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 0.4.8
+Version: 1.0.0
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
 Maintainer-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
 License: For private use only. Owner AMG Servicios profesionales (Mercedes, Uruguay)
 Description-Content-Type: text/markdown
+License-File: LICENCE
 Requires-Dist: numpy
 Requires-Dist: matplotlib
 Requires-Dist: pandas
@@ -18,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG_.
 
+#### Version 1.0.0
+
+- Se crean clases TransformInputData y TransformToOuputData dentro del módulo proprocessing. Se crean utils.
+
+#### Version 0.4.9
+
+- Se cierra la versión 0.4.8 y se crea la versión 0.4.9 para actualizar repositorio, diagrama de clases a esta versión y la Licencia de uso.
+
 #### Version 0.4.8
 
 - Se importa pandas en OpsProcessor.py ya que no estaba.

{sarapy-0.4.8.dist-info → sarapy-1.0.0.dist-info}/RECORD

@@ -1,8 +1,8 @@
 sarapy/__init__.py,sha256=aVoywqGSscYYDycLaYJnz08dlQabl9gH0h4Q5KtHM9o,74
-sarapy/version.py,sha256=qF8DTj2l81w5Fad7UTbLlMrZt4issMkb3cRPCA9uexg,51
+sarapy/version.py,sha256=BwwbbQmaXV3f3NFM7cC4RWEuaju9GRSv_mfol3KcUwg,51
 sarapy/dataProcessing/GeoProcessor.py,sha256=YeNFHZ5sArnSLDxz009SJzgdWuMPgvJPkqtwcivk87A,4654
-sarapy/dataProcessing/OpsProcessor.py,sha256=7fxrEKuR8Vx2ZJPd04VTtq5LC3HH1tMKb_VAfBD6Xlw,18945
-sarapy/dataProcessing/TLMSensorDataProcessor.py,sha256=FbYKl0HMqBj6s2Uwu-MlYt1-QRWf-2rk0AdJTN3eE9w,23817
+sarapy/dataProcessing/OpsProcessor.py,sha256=NNEI2F6TtaxU8sHAr3yjo7nfsZ4hlGx8umb6VDnrPa4,14607
+sarapy/dataProcessing/TLMSensorDataProcessor.py,sha256=GfSIRYD_biFlOMTfSQSwW0HsUouZuUL3ScvL4uUHTPQ,23824
 sarapy/dataProcessing/TimeSeriesProcessor.py,sha256=QPvg9vyPSWjVl020zbebqvlM9JnL1uEAuACRsfZweAg,5497
 sarapy/dataProcessing/__init__.py,sha256=Kqs5sFtq6RMEa3KLJFbsGRoYsIxHL1UUGMuplyCyQFk,200
 sarapy/dataProcessing/amg_decoder.py,sha256=JZ7cbu7DlCuatuq2F7aBfUr7S7U-K5poBgxw5nY6rNI,4319
@@ -11,8 +11,11 @@ sarapy/mlProcessors/PlantinFMCreator.py,sha256=5E3ueTdluGsBfDiDVilQCbxnDH6Y9OxQI
 sarapy/mlProcessors/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 sarapy/preprocessing/DistancesImputer.py,sha256=NvbVAh5m0yFxVgDbEFnEX7RSG13qLjO7i2gqjDAWsf4,9106
 sarapy/preprocessing/FertilizerImputer.py,sha256=zK6ONAilwPHvj-bC7yxnQYOkDBCCkWh6__57vYK9anM,1490
+sarapy/preprocessing/TransformInputData.py,sha256=UPdb9vQpMBLQNZX_4tP2bl3s-nQ5y3oDgQ8kYr0rzlA,3898
+sarapy/preprocessing/TransformToOutputData.py,sha256=h4QsIFYde4w-8UxdQvNYpb5VTFeCz1oRwgxK3Rs44nI,2454
 sarapy/preprocessing/__init__.py,sha256=Wg_Csy8Xiz8BN8A4-T7iPwcL_ol5ApEx6YtybItKB8M,100
-sarapy-0.4.8.dist-info/METADATA,sha256=EwEFld8_uK9qJQzYiUImA4GObWuztv8Yd0l_BAAfIGg,2013
-sarapy-0.4.8.dist-info/WHEEL,sha256=yQN5g4mg4AybRjkgi-9yy4iQEFibGQmlz78Pik5Or-A,92
-sarapy-0.4.8.dist-info/top_level.txt,sha256=4mUGZXfX2Fw47fpY6MQkaJeuOs_8tbjLkkNp34DJWiA,7
-sarapy-0.4.8.dist-info/RECORD,,
+sarapy-1.0.0.dist-info/LICENCE,sha256=N00sU3vSQ6F5c2vML9_qP4IFTkCPFFj0YGDB2CZP-uQ,840
+sarapy-1.0.0.dist-info/METADATA,sha256=umG5dvUMzbpgf2spOAxO4Z2o_5xAzjniecOZpOT4ayQ,2340
+sarapy-1.0.0.dist-info/WHEEL,sha256=R0nc6qTxuoLk7ShA2_Y-UWkN8ZdfDBG2B6Eqpz2WXbs,91
+sarapy-1.0.0.dist-info/top_level.txt,sha256=4mUGZXfX2Fw47fpY6MQkaJeuOs_8tbjLkkNp34DJWiA,7
+sarapy-1.0.0.dist-info/RECORD,,

{sarapy-0.4.8.dist-info → sarapy-1.0.0.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: bdist_wheel (0.41.2)
+Generator: setuptools (72.1.0)
 Root-Is-Purelib: true
 Tag: py3-none-any