sysnet-pyutils 1.0.7__tar.gz → 1.1.0__tar.gz

{sysnet_pyutils-1.0.7/sysnet_pyutils.egg-info → sysnet_pyutils-1.1.0}/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.1
+Metadata-Version: 2.2
 Name: sysnet-pyutils
-Version: 1.0.7
+Version: 1.1.0
 Summary: Python Utilities
 Author-email: Data Developer <info@sysnet.cz>
 Project-URL: Homepage, https://github.com/SYSNET-CZ/pyutils
@@ -21,6 +21,7 @@ Requires-Dist: xmltodict>=0.13.0
 Requires-Dist: boto3>=1.34.34
 Requires-Dist: botocore>=1.34.34
 Requires-Dist: pymongo>=4.7.2
+Requires-Dist: pydantic>=2.10.6
 
 # sysnet-pyutils
 
@@ -311,6 +312,26 @@ Vhodné pro MongoDB pro ukládání položek typu datum.
 * #### S konfiguračním souborem YAML se nyní pracuje v _UTF-8_
 
 * #### Nová třída _LoggedObject_
+--------------------------------------------------------------------------------------------------------------------------------
+
+### verze 1.0.8
+ 
+* #### Nové utility pro práci s daty JSON _data_utils_
+--------------------------------------------------------------------------------------------------------------------------------
+
+#### is_valid_email(email: str) -> bool:
+Kontrola validity emailové adresy
+* param email: hodnota 
+* return: True/False
+--------------------------------------------------------------------------------------------------------------------------------
+
+### verze 1.1.0
+
+* #### Přidán obecný datový slovník SYSNET do balíku models.general
+
+Datový slovník je vytvořen pomocí pydantic a je plně kompatibilní s FastAPI. 
+Obsahuje základní datové typy, které se používají ve všech aplikacích SYSNET. 
+
 
 
 ## Systémové proměnné

{sysnet_pyutils-1.0.7 → sysnet_pyutils-1.1.0}/README.md

@@ -287,6 +287,26 @@ Vhodné pro MongoDB pro ukládání položek typu datum.
 * #### S konfiguračním souborem YAML se nyní pracuje v _UTF-8_
 
 * #### Nová třída _LoggedObject_
+--------------------------------------------------------------------------------------------------------------------------------
+
+### verze 1.0.8
+ 
+* #### Nové utility pro práci s daty JSON _data_utils_
+--------------------------------------------------------------------------------------------------------------------------------
+
+#### is_valid_email(email: str) -> bool:
+Kontrola validity emailové adresy
+* param email: hodnota 
+* return: True/False
+--------------------------------------------------------------------------------------------------------------------------------
+
+### verze 1.1.0
+
+* #### Přidán obecný datový slovník SYSNET do balíku models.general
+
+Datový slovník je vytvořen pomocí pydantic a je plně kompatibilní s FastAPI. 
+Obsahuje základní datové typy, které se používají ve všech aplikacích SYSNET. 
+
 
 
 ## Systémové proměnné

{sysnet_pyutils-1.0.7 → sysnet_pyutils-1.1.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "sysnet-pyutils"
-version = "1.0.7"
+version = "1.1.0"
 authors = [
   { name="Data Developer", email="info@sysnet.cz" },
 ]

{sysnet_pyutils-1.0.7 → sysnet_pyutils-1.1.0}/requirements.txt

@@ -6,3 +6,5 @@ xmltodict>=0.13.0
 boto3>=1.34.34
 botocore>=1.34.34
 pymongo>=4.7.2
+
+pydantic>=2.10.6

sysnet_pyutils-1.1.0/sysnet_pyutils/data_utils.py

@@ -0,0 +1,323 @@
+from datetime import date, datetime
+from typing import Union, List, Any
+
+import pytz
+
+from utils import is_valid_email, TZ
+
+
+def get_dict_value(data: dict, item_name: str) -> Union[Any, None]:
+    """
+    Extrahuje hodnotu ze slovníku. Používá se pro load dat JSON do objektů
+
+    :param data:        Slovník s daty JSON
+    :param item_name:   Název položky
+    :return:            Hodnota
+    """
+    if data is None or item_name in [None, '']:
+        return None
+    if item_name in data:
+        return data[item_name]
+    return None
+
+
+def get_dict_value_string(data: dict, item_name: str) -> str:
+    """
+    Extrahuje textovou hodnotu ze slovníku. Pokud je vstupní hodnota None, vrací prázdný string.
+
+    :param data:        Slovník s daty JSON
+    :param item_name:   Název položky
+    :return:            Hodnota
+    """
+    out = ''
+    if data is None or item_name in [None, '']:
+        return out
+    v = get_dict_value(data, item_name)
+    if v not in [None, '']:
+        out = str(v)
+    return out
+
+
+def get_dict_value_email(data: dict, item_name: str) -> Union[Any, None]:
+    """
+    Extrahuje emailovou adresu ze slovníku.
+
+    :param data:        Slovník s daty JSON
+    :param item_name:   Název položky
+    :return:            Hodnota
+    """
+    if data is None or item_name in [None, '']:
+        return None
+    out = get_dict_value(data, item_name)
+    if not is_valid_email(out):
+        return None
+    return out
+
+
+def get_dict_value_bool(data: dict, item_name: str) -> bool:
+    """
+    Extrahuje logickou hodnotu ze slovníku
+
+    :param data:        Slovník s daty JSON
+    :param item_name:   Název položky
+    :return:            Hodnota
+    """
+    if data is None or item_name in [None, '']:
+        return False
+    v = get_dict_value(data, item_name)
+    if v in [None, '']:
+        return False
+    if v.lower() in ('true', '1', 't'):
+        return True
+    return False
+
+
+def get_dict_value_int(data: dict, item_name: str, spare_item_name: Union[str, None] = None) -> int:
+    """
+    Extrahuje celočíselnou hodnotu ze slovníku. Pokud nenajde hlavní položku, hledá záložní.
+
+    :param data:                Slovník s daty JSON
+    :param item_name:           Název položky
+    :param spare_item_name:     Název záložní položky
+    :return:                    Hodnota
+    """
+    if data is None or item_name in [None, '']:
+        return 0
+    v = get_dict_value(data, item_name)
+    out = 0
+    if v is not None:
+        try:
+            out = int(v)
+        except (ValueError, TypeError):
+            out = 0
+    if (out == 0) and (spare_item_name is not None):
+        v1 = get_dict_value(data, spare_item_name)
+        if v1 is not None:
+            try:
+                out = int(v1)
+            except (ValueError, TypeError):
+                out = 0
+    return out
+
+
+def get_dict_value_list(data: dict, item_name: str, spare_item_name: str = None) -> Union[List[str], None]:
+    v = get_dict_value(data, item_name)
+    if v in [None, '']:
+        v = get_dict_value(data, spare_item_name)
+    if v in [None, '']:
+        return None
+    out = [i.strip() for i in v[1:-1].replace('"',"").split(';')]
+    if len(out) == 1 and out[0] == '':
+        out = []
+    return out
+
+
+def get_dict_value_float(data: dict, item_name: str, spare_item_name: str = None) -> Union[float, None]:
+    v = get_dict_value(data, item_name)
+    out: float = float(0)
+    if v is not None:
+        try:
+            if isinstance(v, str):
+                v = v.replace(',', '.')
+            out = float(v)
+        except (ValueError, TypeError):
+            out = float(0)
+    if (out == float(0)) and (spare_item_name is not None):
+        v1 = get_dict_value(data, spare_item_name)
+        if v1 is not None:
+            try:
+                out = float(v1)
+            except (ValueError, TypeError):
+                out = float(0)
+    return out
+
+
+def get_dict_value_date(data: dict, item_name: str) -> Union[date, None]:
+    """
+    Konvertuje ISO nebo český formát do data
+
+    :param data:
+    :param item_name:
+    :return:
+    """
+    v = get_dict_value(data, item_name)
+    if v is None:
+        return None
+    out = convert_iso_to_date(v)
+    if out is None:
+        out = convert_cz_to_date(v)
+    return out
+
+
+def convert_iso_to_date(text: str) -> Union[date, None]:
+    try:
+        out = date.fromisoformat(text)
+        return out
+    except (ValueError, TypeError):
+        return None
+
+
+def convert_iso_to_datetime(text: str) -> Union[datetime, None]:
+    try:
+        out = datetime.fromisoformat(text)
+        local_tz = pytz.timezone(TZ)
+        out = out.astimezone(local_tz)
+        return out
+    except (ValueError, TypeError):
+        return None
+
+
+def convert_cz_to_date(text: str) -> Union[date, None]:
+    try:
+        out = datetime.strptime(text, '%d.%m.%Y').date()
+        return out
+    except (ValueError, TypeError):
+        return None
+
+
+def convert_cz_to_datetime(text: str) -> Union[datetime, None]:
+    try:
+        out = datetime.strptime(text, '%d.%m.%Y %H:%M:%S')
+        local_tz = pytz.timezone(TZ)
+        out = out.astimezone(local_tz)
+        return out
+    except (ValueError, TypeError):
+        return None
+
+
+def get_dict_value_datetime(data: dict, item_name: str) -> Union[datetime, None]:
+    """
+    Konvertuje ISO nebo český formát do datatime
+
+    :param data:
+    :param item_name:
+    :return:
+    """
+    v = get_dict_value(data, item_name)
+    out = None
+    if v is None:
+        return None
+    try:
+        if isinstance(v, datetime):
+            return v
+        elif isinstance(v, date):
+            gmt_tz = pytz.timezone('GMT')
+            return datetime(year=v.year, month=v.month, day=v.day, tzinfo=gmt_tz)
+        elif isinstance(v, str):
+            out = convert_iso_to_datetime(v)
+            if out is None:
+                out = convert_cz_to_datetime(v)
+        return out
+    except (ValueError, TypeError):
+        return None
+
+
+def get_object_attr(obj: Any, attr: str) -> Union[Any, None]:
+    """
+    Získa hodnotu atributu z datového objektu
+
+    :param obj:
+    :param attr:
+    :return:
+    """
+    if obj is None:
+        return None
+    if hasattr(obj, attr):
+        return getattr(obj, attr)
+    return None
+
+
+def get_dict_item_value_list(data: dict, item_name: str, alt_item_names: List[str] = None) -> Union[list, None]:
+    out = []
+    v = get_dict_item_value(data=data, item_name=item_name, alt_item_names=alt_item_names, blank=False)
+    if v is None:
+        return out
+    if isinstance(v, list):
+        out = v
+    else:
+        out.append(v)
+    return out
+
+
+def get_dict_item_value(data: dict, item_name: str, alt_item_names: List[str] = None, blank=True) -> Union[Any, None]:
+    out = None
+    if blank:
+        out = ''
+    if (data is None) or (item_name is None):
+        return out
+    if item_name in data:
+        out = data[item_name]
+    elif alt_item_names is not None:
+        if alt_item_names:
+            for name in alt_item_names:
+                if name in data:
+                    out = data[name]
+                    break
+    return out
+
+
+def get_dict_code_value_list(data: dict, item_name_code: str, item_name_value: str) -> Union[list[tuple[Any, Any]], None]:
+    """
+    Vrátí z dvojice položek slovníku tuple code/value
+
+    :param data:
+    :param item_name_code:
+    :param item_name_value:
+    :return:
+    """
+    codes = get_dict_value_list(data, item_name_code)
+    values = get_dict_value_list(data, item_name_value)
+    if not codes or not values:
+        return None
+    if len(codes) != len(values):
+        return None
+    out = []
+    i = 0
+    for c in codes:
+        v = values[i]
+        i += 1
+        out.append((c,v))
+    return out
+
+def adjust_datetime_to_utc(date_value: Union[date, datetime], for_store: bool = False) -> Union[datetime, date]:
+    """
+    Nastavení času pro uložení. Použije se časová zóna UTF
+
+    :param date_value:      Datová hodnota
+    :param for_store:       Pro uložení (převede se vždy na datetime)
+    :return:                nastavená hodnota
+    """
+    if date_value in [None, '']:
+        return date_value
+    if for_store:
+        if isinstance(date_value, date):
+            return datetime(year=date_value.year, month=date_value.month, day=date_value.day, tzinfo=pytz.UTC)
+    if isinstance(date_value, datetime):
+        if date_value.tzinfo is None:
+            date_value.replace(tzinfo=pytz.UTC)
+        return date(year=date_value.year, month=date_value.month, day=date_value.day)
+    return date_value
+
+
+def dict_convert_date_to_str(data: dict):
+    """
+    Rekurzivně převede všechny časové položky ve slovníku na ISO text
+
+    :param data:    dictionary
+    :return:
+    """
+    if isinstance(data, dict):
+        for k, v in data.items():
+            if isinstance(v, datetime):
+                if v.tzinfo is None:
+                    v_gmt = v.replace(tzinfo=pytz.utc)
+                else:
+                    v_gmt = v.astimezone(pytz.utc)
+                data[k] = v_gmt.strftime('%Y-%m-%dT%H:%M:%SZ')
+            elif isinstance(v, dict):
+                dict_convert_date_to_str(v)
+            elif isinstance(v, list):
+                for item in v:
+                    dict_convert_date_to_str(item)
+            else:
+                pass

{sysnet_pyutils-1.0.7 → sysnet_pyutils-1.1.0}/sysnet_pyutils/ident.py

@@ -53,7 +53,7 @@ def generate_tiny_uuid():
     return out[-ID_LENGTH:]
 
 
-def generate_id12(three_char_prefix):
+def generate_id12(three_char_prefix: str) -> str:
     """
     Vygeneruje 12místný alfanumerický identifikátor s pevným prefixem
 
@@ -70,7 +70,7 @@ def generate_id12(three_char_prefix):
     return correct_pid(out)
 
 
-def check_pid(pid):
+def check_pid(pid: str) -> bool:
     """
     Kontroluje správnost PID pomocí kontrolního součtu
 
@@ -88,7 +88,7 @@ def check_pid(pid):
     return out
 
 
-def correct_pid(pid):
+def correct_pid(pid: str) -> str:
     """
     Opraví PID do korektní podoby. Doplní kontrolní součet.
 
@@ -103,7 +103,7 @@ def correct_pid(pid):
     return out
 
 
-def generate_pid():
+def generate_pid() -> str:
     """
     Vybeneruje nový PID
 

sysnet_pyutils-1.1.0/sysnet_pyutils/models/__init__.py

@@ -0,0 +1,10 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+
+"""
+File name: 
+Author:         "SYSNET s.r.o."<rjaeger@sysnet.cz>
+Created:    
+Version:        1.0.0
+Description:
+"""