sarapy 0.4.9__tar.gz → 1.0.1__tar.gz

{sarapy-0.4.9 → sarapy-1.0.1}/LICENCE

@@ -4,4 +4,4 @@ Permission is hereby granted, free of charge, to any person or organization with
 
 THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
 
-For any inquiries or further information, please contact AMG SA at [contact email].
+For any inquiries or further information, please contact AMG SA at lucas.baldezzari@amg.com.uy.

{sarapy-0.4.9/sarapy.egg-info → sarapy-1.0.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 0.4.9
+Version: 1.0.1
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
@@ -19,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG_.
 
+#### Version 1.0.1
+
+- Se agrega *__init.py__* dentro del mpdulo _utils_.
+
+#### Version 1.0.0
+
+- Se crean clases TransformInputData y TransformToOuputData dentro del módulo proprocessing. Se crean utils.
+
 #### Version 0.4.9
 
 - Se cierra la versión 0.4.8 y se crea la versión 0.4.9 para actualizar repositorio, diagrama de clases a esta versión y la Licencia de uso.

{sarapy-0.4.9 → sarapy-1.0.1}/README.md

@@ -2,6 +2,14 @@
 
 Library for processing SARAPICO project metadata of _AMG_.
 
+#### Version 1.0.1
+
+- Se agrega *__init.py__* dentro del mpdulo _utils_.
+
+#### Version 1.0.0
+
+- Se crean clases TransformInputData y TransformToOuputData dentro del módulo proprocessing. Se crean utils.
+
 #### Version 0.4.9
 
 - Se cierra la versión 0.4.8 y se crea la versión 0.4.9 para actualizar repositorio, diagrama de clases a esta versión y la Licencia de uso.

{sarapy-0.4.9 → sarapy-1.0.1}/pyproject.toml

@@ -1,7 +1,7 @@
 [project]
 name = "sarapy"
 
-version = "0.4.9"
+version = "1.0.1"
 authors = [
   {name = "Lucas Baldezzari", email = "lmbaldezzari@gmail.com"},]
 maintainers = [

{sarapy-0.4.9 → sarapy-1.0.1}/sarapy/dataProcessing/OpsProcessor.py

@@ -6,6 +6,7 @@ import numpy as np
 import pandas as pd
 # from sarapy.mlProcessors import PlantinFMCreator
 from sarapy.mlProcessors import PlantinClassifier
+from sarapy.preprocessing import TransformInputData, TransformToOutputData
 
 class OpsProcessor():
     """Clase para procesar las operaciones de los operarios. La información se toma de la base de datos
@@ -41,6 +42,8 @@ class OpsProcessor():
         self._platin_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
         self._fertilizer_classifiedOperations = np.array([]) ##array con las operaciones clasificadas para plantin
         self._last_row_db = 0 ##indicador de la última fila de los datos extraidos de la base de datos histórica
+        self.transformInputData = TransformInputData.TransformInputData()
+        self.transformToOutputData = TransformToOutputData.TransformToOutputData()
         
     def processOperations(self, data):
         """Método para procesar las operaciones de los operarios.
@@ -73,18 +76,18 @@ class OpsProcessor():
         
         ##chqueo que newSample no esté vacío
         if len(data) != 0:
-            newSample = self.transformInputData(data)
+            newSample = self.transformInputData.fit_transform(data)
             #Si tenemos nuevas operaciones, actualizamos el diccionario de operaciones
             self.updateOperationsDict(newSample) #actualizamos diccionario interno de la clase
             pl_clas = self.classifyForPlantin() #clasificamos las operaciones para plantín
             ft_clas = newSample[:,7].astype(int) #clasificamos las operaciones para fertilizante
             id_db_h_nums, id_db_dw_nums = self.getActualOperationsNumbers() #obtenemos los números de operaciones desde el diccionario de operaciones
             date_oprc = newSample[:,3]
-            return self.transformToOutputData(np.column_stack((id_db_h_nums,
-                                                               id_db_dw_nums,
-                                                               pl_clas,
-                                                               ft_clas,
-                                                               date_oprc)))
+            return self.transformToOutputData.fit_transform(np.column_stack((id_db_h_nums,
+                                                                             id_db_dw_nums,
+                                                                             pl_clas,
+                                                                             ft_clas,
+                                                                             date_oprc)))
         else:
             self.resetAllNewSamplesValues()
             return None
@@ -237,82 +240,6 @@ class OpsProcessor():
 
         for ID_NPDP in self.operationsDict.keys():
             self._operationsDict[ID_NPDP]["first_day_op_classified"] = False
-            
-    def transformInputData(self, data):
-        """Función para transformar los datos de entrada que llegan del decoder
-        
-        Args:
-            data: Es una lista de diccionario. Cada diccionario tiene los siguientes keys.
-                     
-            Ejemplo:
-            
-            {
-                "id_db_h":1, #int
-                "ID_NPDP":"XXAA123", #string
-                "FR": 1, #int
-                "TLM_NPDP": b'\xfc\x01\t\t\x00\x00\x00\x98', #bytes
-                "date_oprc":datetime.datetime(2024, 2, 16, 21, 2, 2, tzinfo=tzutc()),#datetime
-                "Latitud":-32.145564789, #float
-                "Longitud":-55.145564789, #float
-                "Precision": 1000,
-                "id_db_dw": 1 #int
-            }
-            
-        NOTA: Los diccionarios de la lista tienen más datos, pero no se usan ahora.
-        
-        Returns:
-            Retorna un array de strings con la siguiente estructura
-            - 0: id_db_h
-            - 1: ID_NPDP
-            - 2: TLM_NPDP
-            - 3: date_oprc
-            - 4: latitud
-            - 5: longitud
-            - 6: Precision
-            - 7: FR
-            - 8: id_db_dw
-        """
-
-        ##convierto list_of_dics a un array de strings
-        newSample = np.array([[d["id_db_h"],
-                               d["ID_NPDP"],
-                               ''.join([bin(byte)[2:].zfill(8) for byte in d["TLM_NPDP"]]),
-                               int(d["date_oprc"].timestamp()),
-                               d["Latitud"],
-                               d["Longitud"],
-                               d["Precision"],
-                               d["FR"],
-                               d["id_db_dw"]] for d in data])
-        return newSample
-    
-    def transformToOutputData(self, dataToTransform):
-        """Método para transformar los datos recibidos a una lista de diccionarios
-        
-        Args:
-            - dataToTransform: array con los datos de las operaciones clasificadas.
-            Actualmente el array de dataToTransform es de (n,4) con las columnas siguientes
-            
-                - 0: id_db_h
-                - 1: id_db_dw
-                - 2: tag_seedling
-                - 3: tag_fertilizer      
-                - 4: date_oprc          
-        Returns:
-            Retorna una lista de diccionarios con la siguiente estructura
-            [{"id_db_h", },]
-        """
-        
-        keys = ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer", "date_oprc"]        
-        temp_df = pd.DataFrame(dataToTransform, columns = keys)
-        
-        date_data = dataToTransform[:,4].astype(int)
-        # date_oprc = [datetime.datetime.utcfromtimestamp(date).replace(tzinfo = tzutc()) for date in date_data]
-        date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.UTC) for date in date_data])
-        temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
-        ##convierto las colmas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
-        temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]] = temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]].astype(int)
-        
-        return temp_df.to_dict("records")
     
     def cleanSamplesOperations(self):
         """Método para limpiar las operaciones de un operario en el diccionario de operaciones.
@@ -343,41 +270,17 @@ if __name__ == "__main__":
     import pandas as pd
     import numpy as np
     import os
-    from sarapy.dataProcessing import amg_decoder
-    
-    ##********************************************************************
-    ##        PREPARO LOS DATOS PARA HACER UNA PRUEBA
-    ##********************************************************************
-    from dateutil.tz import tzutc
-    import datetime
-    path = os.path.join(os.getcwd(), "examples\\volcado_17112023_NODE_encoded.csv")
-    data_df = pd.read_csv(path, sep=";", )
-    #tomo la columna TLM_NPDP y la convierto a bytes. La columna esta formada por un string the 8 bytes en binario
-    data_df["TLM_NPDP"] = data_df["TLM_NPDP"].apply(lambda x: bytes([int(x[i:i+8], 2) for i in range(0, len(x), 8)]))
-    data_df.loc[:,["date_oprc"]] = data_df.loc[:,"date_oprc"].apply(lambda fecha: datetime.datetime.utcfromtimestamp(fecha))
-    ##le sumo a la date_oprc 53 años, 10 meses y 10 días
-    data_df.loc[:,"date_oprc"] = data_df.loc[:,"date_oprc"].apply(lambda fecha: fecha + datetime.timedelta(days=53*365 + 10*30 + 10))
-    ##agrego una columna con el id_db_dw 
-    data_df.loc[:,"id_db_dw"] = np.arange(0, data_df.shape[0])
-    data_df.loc[:,"FR"] = 1
-    
-    data_df_raw = data_df.to_dict("records")
-    
-    ##********************************************************************
-    ##        PROCESAMOS LAS OPERACIONES
-    ##********************************************************************
+    from sarapy.utils.getRawOperations import getRawOperations
+
+    data_df_raw = getRawOperations("examples\\2024-05-30\\UPM007N\\data.json", "examples\\2024-05-30\\UPM007N\\historical-data.json")
 
     import time
     start_time = time.time()
-    ##simulamos el procesammiento de 10 sarapicos
-    classifcations = []
-    for i in range(10):
-        op = OpsProcessor(classifier_file="examples\\pip_lda_imp.pkl", imputeDistances = False)
-        ops_processed = op.processOperations(data_df_raw)
-        classifcations.append(ops_processed)
-        del op
+    op = OpsProcessor(classifier_file="examples\\pip_lda_imp.pkl", imputeDistances = False)
+    classifcations = op.processOperations(data_df_raw)
     end_time = time.time()
     execution_time = end_time - start_time
     print("Execution time:", execution_time, "seconds")
     
-    classifcations[0][:2]
+    print(len(classifcations))
+    classifcations[:10]

{sarapy-0.4.9 → sarapy-1.0.1}/sarapy/dataProcessing/TLMSensorDataProcessor.py

@@ -110,7 +110,7 @@ class TLMSensorDataProcessor(BaseEstimator, TransformerMixin):
         
         ##chequeamos si se ha llamado a fit(). Sino, se arroja un error
         if not self.is_fitted:
-            raise ValueError("MetadataManager no ha sido fitteado. Llame a fit() previamente.")
+            raise ValueError("TLMSensorDataProcessor no ha sido fitteado. Llame a fit() previamente.")
         
         return np.array([   self._RFFlag,
                             self._GNSSFlag,

sarapy-1.0.1/sarapy/preprocessing/TransformInputData.py

@@ -0,0 +1,106 @@
+###Documentación en https://github.com/lucasbaldezzari/sarapy/blob/main/docs/Docs.md
+
+import numpy as np
+from sklearn.base import BaseEstimator, TransformerMixin
+
+class TransformInputData(BaseEstimator, TransformerMixin):
+    """
+    Clase para transformar los datos de entrada a un formato utilizable para procesar las operaciones.
+    """
+
+    def __init__(self):
+        """
+        Constructor de la clase TransformInputData.
+        
+        Args:
+            - features_list: Lista con los nombres de las columnas a extraer de los datos recibidos de cada operación.
+        """
+        self.is_fitted = False
+        self.positions = {"id_db_h":0,
+                          "ID_NPDP":1,
+                          "TLM_NPDP":2,
+                          "date_oprc":3,
+                          "latitud":4,
+                          "longitud":5,
+                          "Precision":6,
+                          "FR":7,
+                          "id_db_dw":8}
+
+    def fit(self, X:np.array, y = None):
+        """
+        Fittea el objeto
+        """
+        self.is_fitted = True  
+
+        self.newSample = np.array([[d["id_db_h"],
+                                    d["ID_NPDP"],
+                                    ''.join([bin(byte)[2:].zfill(8) for byte in d["TLM_NPDP"]]),
+                                    int(d["date_oprc"].timestamp()),
+                                    d["Latitud"],
+                                    d["Longitud"],
+                                    d["Precision"],
+                                    d["FR"],
+                                    d["id_db_dw"]] for d in X])   
+              
+        return self
+    
+    def transform(self, X:np.array):
+        """
+        Transforma los datos de entrada a un formato utilizable para procesar las operaciones.
+        
+        Args:
+            data: Es una lista de diccionario. Cada diccionario tiene los siguientes keys.
+                     
+            Ejemplo:
+            
+            {
+                "id_db_h":1, #int
+                "ID_NPDP":"XXAA123", #string
+                "FR": 1, #int
+                "TLM_NPDP": b'\xfc\x01\t\t\x00\x00\x00\x98', #bytes
+                "date_oprc":datetime.datetime(2024, 2, 16, 21, 2, 2, tzinfo=tzutc()),#datetime
+                "Latitud":-32.145564789, #float
+                "Longitud":-55.145564789, #float
+                "Precision": 1000,
+                "id_db_dw": 1 #int
+            }
+            
+        NOTA: Los diccionarios de la lista tienen más datos, pero no se usan ahora.
+        
+        Returns:
+            Retorna un array de strings con la siguiente estructura
+            - 0: id_db_h
+            - 1: ID_NPDP
+            - 2: TLM_NPDP
+            - 3: date_oprc
+            - 4: latitud
+            - 5: longitud
+            - 6: Precision
+            - 7: FR
+            - 8: id_db_dw
+    """
+        ##chequeamos si se ha llamado a fit(). Sino, se arroja un error
+        if not self.is_fitted:
+            raise ValueError("TransformInputData no ha sido fitteado. Llame a fit() previamente.")
+        
+        return self.newSample
+    
+    def fit_transform(self, X:np.array, y=None):
+        self.fit(X)
+        return self.transform(X)
+    
+if __name__ == "__main__":
+    import pandas as pd
+    import numpy as np
+    import os
+    from sarapy.utils.getRawOperations import getRawOperations
+
+    # features=["id_db_h","ID_NPDP","TLM_NPDP","date_oprc","latitud","longitud","Precision","FR","id_db_dw",
+    #           "INESTPT","INESTFT"]
+    
+    transform_input_data = TransformInputData()
+
+    ppk_results = getRawOperations("examples\\2024-05-30\\UPM007N\\data.json", "examples\\2024-05-30\\UPM007N\\historical-data.json")
+
+    X = np.array(ppk_results)
+    print(transform_input_data.fit_transform(X))

sarapy-1.0.1/sarapy/preprocessing/TransformToOutputData.py

@@ -0,0 +1,63 @@
+import numpy as np
+import pandas as pd
+from sklearn.base import BaseEstimator, TransformerMixin
+import datetime
+
+class TransformToOutputData(BaseEstimator, TransformerMixin):
+    """Método para transformar los datos recibidos a una lista de diccionarios
+        
+        Args:
+            - dataToTransform: array con los datos de las operaciones clasificadas.
+            Actualmente el array de dataToTransform es de (n,4) con las columnas siguientes
+            
+                - 0: id_db_h
+                - 1: id_db_dw
+                - 2: tag_seedling
+                - 3: tag_fertilizer      
+                - 4: date_oprc          
+        Returns:
+            Retorna una lista de diccionarios con la siguiente estructura
+            [{"id_db_h", },]
+        """
+
+    def __init__(self):
+        """
+        Constructor de la clase TransformToOutputData.
+        
+        Args:
+            - features_list: Lista con los nombres de las columnas a extraer de los datos recibidos de cada operación.
+        """
+        self.is_fitted = False
+        self.positions = {"id_db_h":0,
+                          "id_db_dw":1,
+                          "tag_seedling":2,
+                          "tag_fertilizer":3,
+                          "date_oprc":4}
+        
+    def fit(self, X:np.array, y = None):
+        """
+        """
+        self.is_fitted = True
+        keys = ["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer", "date_oprc"]        
+        self.temp_df = pd.DataFrame(X, columns = keys)
+        
+        date_data = X[:,4].astype(int)
+        date_oprc = np.array([datetime.datetime.fromtimestamp(date, datetime.timezone.utc) for date in date_data])
+        self.temp_df.loc[:,"date_oprc"] = date_oprc.flatten()
+        ##convierto las columnas "id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer" a int
+        self.temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]] = self.temp_df.loc[:,["id_db_h", "id_db_dw", "tag_seedling", "tag_fertilizer"]].astype(int)
+        
+        return self
+    
+    def transform(self, X:np.array):
+        """
+        Retorna los datos de entrada a un formato utilizable para procesar las operaciones.
+        """
+
+        return self.temp_df.to_dict(orient = "records")
+    
+    def fit_transform(self, X:np.array, y = None):
+        """
+        """
+        self.fit(X)
+        return self.transform(X)

sarapy-1.0.1/sarapy/utils/amg_ppk.py

@@ -0,0 +1,38 @@
+from base64 import b64decode
+
+from sarapy.utils import amg_decoder
+
+
+def main(hash_table, ppk_data):
+
+    ppk_results = []
+
+    for hash_table_entry_values in hash_table.values():
+
+        try:
+
+            serialized_datum = hash_table_entry_values["serialized_datum"]
+            raw_datum = bytes(b64decode(serialized_datum.encode("utf-8")))  # 'trama'
+            datum = amg_decoder.process_data(raw_datum)
+
+            if datum:
+
+                longitude, latitude, accuracy = "", "", 0  # ToDo: PPK (Fernando)
+
+                if longitude:
+                    datum["Longitud"] = longitude
+                if latitude:
+                    datum["Latitud"] = latitude
+                if accuracy != 0:
+                    datum["Precision"] = accuracy
+
+                ppk_results.append({
+                    "id_db_dw": hash_table_entry_values["id_db_dw"],
+                    "id_db_h": hash_table_entry_values["id_db_h"],
+                    **datum
+                })
+
+        except Exception as ex:
+            print(ex)
+
+    return ppk_results

sarapy-1.0.1/sarapy/utils/getRawOperations.py

@@ -0,0 +1,25 @@
+import pandas as pd
+from sarapy.utils import amg_ppk
+import os
+def getRawOperations(data_file, historical_data_file):
+    """
+    Args:
+        data_file: Path to the file with the data.
+        historical_data_file: Path to the file with the historical data.
+    Returns the raw operations from the database.
+    """
+    #cargo examples\2024-05-30\UPM007N\data.json
+    data = pd.read_json(os.path.join("examples","2024-05-30","UPM007N","data.json"))
+    historical_data = pd.read_json(os.path.join("examples","2024-05-30","UPM007N","historical-data.json"))
+    #convierto a lista de diccionarios
+    data=data.to_dict(orient="records")
+    historical_data=historical_data.to_dict(orient="records")
+    hash_table = {}
+    for datum in data:
+        hash_table[datum["timestamp"]] = {"id_db_dw": datum["id"], "id_db_h": 0, "serialized_datum": ""}
+    for historical_datum in historical_data:
+        if historical_datum["timestamp"] in hash_table:
+            hash_table[historical_datum["timestamp"]].update({"id_db_h": historical_datum["id"], "serialized_datum": historical_datum["datum"]})
+    ppk_results = amg_ppk.main(hash_table, [])  # ToDo: PPK (Fernando)
+
+    return ppk_results

{sarapy-0.4.9 → sarapy-1.0.1}/sarapy/version.py

@@ -1,2 +1,2 @@
 ## Version of the package   
-__version__ = "0.4.9"
+__version__ = "1.0.1"

{sarapy-0.4.9 → sarapy-1.0.1/sarapy.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: sarapy
-Version: 0.4.9
+Version: 1.0.1
 Home-page: https://github.com/lucasbaldezzari/sarapy
 Author: Lucas Baldezzari
 Author-email: Lucas Baldezzari <lmbaldezzari@gmail.com>
@@ -19,6 +19,14 @@ Requires-Dist: geopy
 
 Library for processing SARAPICO project metadata of _AMG_.
 
+#### Version 1.0.1
+
+- Se agrega *__init.py__* dentro del mpdulo _utils_.
+
+#### Version 1.0.0
+
+- Se crean clases TransformInputData y TransformToOuputData dentro del módulo proprocessing. Se crean utils.
+
 #### Version 0.4.9
 
 - Se cierra la versión 0.4.8 y se crea la versión 0.4.9 para actualizar repositorio, diagrama de clases a esta versión y la Licencia de uso.

{sarapy-0.4.9 → sarapy-1.0.1}/sarapy.egg-info/SOURCES.txt

@@ -14,10 +14,15 @@ sarapy/dataProcessing/OpsProcessor.py
 sarapy/dataProcessing/TLMSensorDataProcessor.py
 sarapy/dataProcessing/TimeSeriesProcessor.py
 sarapy/dataProcessing/__init__.py
-sarapy/dataProcessing/amg_decoder.py
 sarapy/mlProcessors/PlantinClassifier.py
 sarapy/mlProcessors/PlantinFMCreator.py
 sarapy/mlProcessors/__init__.py
 sarapy/preprocessing/DistancesImputer.py
 sarapy/preprocessing/FertilizerImputer.py
-sarapy/preprocessing/__init__.py
+sarapy/preprocessing/TransformInputData.py
+sarapy/preprocessing/TransformToOutputData.py
+sarapy/preprocessing/__init__.py
+sarapy/utils/__init__.py
+sarapy/utils/amg_decoder.py
+sarapy/utils/amg_ppk.py
+sarapy/utils/getRawOperations.py