pyflutter-app 0.3.13__tar.gz → 0.3.14__tar.gz

{pyflutter_app-0.3.13 → pyflutter_app-0.3.14}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: pyflutter_app
-Version: 0.3.13
+Version: 0.3.14
 Summary: Bibliotecas Python para conversão de documentos, interface e processamento de tabelas.
 Requires-Python: >=3.12
 Requires-Dist: opencv-python>=5.0.0.93

{pyflutter_app-0.3.13 → pyflutter_app-0.3.14}/cartas/__init__.py

@@ -9,6 +9,7 @@ from abc import ABC, abstractmethod
 from os import rename as rename_file
 from os import replace as replace_file
 from datetime import datetime
+import threading
 
 import pandas as pd
 
@@ -33,7 +34,7 @@ from table_stream import (
     load_file_hash,
 )
 
-from ocr_stream import HeaderOcr, BuilderConfigOcr, CreateRelatorioOcr
+# from ocr_stream import HeaderOcr, BuilderConfigOcr, CreateRelatorioOcr
 
 from whatsapp_files import (
     RowWhatsApp,
@@ -41,6 +42,7 @@ from whatsapp_files import (
     HeaderWhatsApp,
     BuilderTableWhatsApp,
     ControllerWhatsApp,
+    BuilderConfigWhatsApp,  # NOVO: base RFA única (substitui BuilderConfigOcr)
     move_path,
 )
 
@@ -60,6 +62,111 @@ class ConfigTOI:
     work_dir: Directory
 
 
+# Mesmos nomes de arquivo gravados por ocr_stream. Se mudar lá, mude aqui.
+_OCR_FILE_IMAGE = "tabela_ocr_imagens.xlsx"
+_OCR_FILE_PDF = "tabela_ocr_pdf.xlsx"
+
+
+class BuilderConfigTOI(object):
+    """
+    Configuração de cartas SEM depender de ocr_stream.
+    Base única: <Documentos>/RFA (BuilderConfigWhatsApp.dir_base_root),
+    tabelas em <Documentos>/RFA/Tabelas (mesmos caminhos do ocr_stream).
+    """
+
+    _instance = None  # Atributo de classe para armazenar a instância singleton
+
+    def __new__(cls, *args, **kwargs):
+        if cls._instance is None:
+            cls._instance = super(BuilderConfigTOI, cls).__new__(cls)
+        return cls._instance
+
+    def __init__(self) -> None:
+
+        # Garante que __init__ não será executado mais de uma vez
+        if hasattr(self, "_initialized") and self._initialized:
+            return
+
+        super().__init__()
+        self._initialized: bool = True
+        self._builder_wp = BuilderConfigWhatsApp()
+        self._config = self._create()
+
+    # ---------------------------------------------------------- base RFA
+    @property
+    def dir_base_work(self) -> Directory:
+        return self._builder_wp.dir_base_root
+
+    @property
+    def dir_table(self) -> Directory:
+        """<Documentos>/RFA/Tabelas"""
+        return self._builder_wp.dir_table
+
+    # ---------------------------------------------------------- tabelas OCR (somente leitura)
+    @property
+    def file_table_ocr_image(self) -> File:
+        return self.dir_table.join_file(_OCR_FILE_IMAGE)
+
+    @property
+    def file_table_ocr_pdf(self) -> File:
+        return self.dir_table.join_file(_OCR_FILE_PDF)
+
+    # ---------------------------------------------------------- pastas TOI
+    @property
+    def dir_retorno_de_campo(self) -> Directory:
+        return self.dir_base_work.concat("Cartas-TOI", True).concat(
+            "Retorno-de-campo", True
+        )
+
+    @property
+    def dir_log_excel(self) -> Directory:
+        return self.dir_base_work.concat("Cartas-TOI", True).concat("Logs", True)
+
+    @property
+    def dir_relatorios(self) -> Directory:
+        return self.dir_base_work.concat("Cartas-TOI", True).concat(
+            "Relatorios-toi", True
+        )
+
+    # ---------------------------------------------------------- arquivos TOI
+    @property
+    def file_relatorio_toi(self) -> File:
+        return self.dir_table.join_file("Relatorio-tois.xlsx")
+
+    @property
+    def file_relatorio_forms(self) -> File:
+        return self.dir_table.join_file("cartas-toi-lancadas.xlsx")
+
+    @property
+    def file_master_forms(self) -> File:
+        return self.dir_table.join_file("master-forms-toi.xlsx")
+
+    @property
+    def file_table_toi(self) -> File:
+        return self.dir_table.join_file("tabela-entregas-tois.xlsx")
+
+    def _create(self) -> ConfigTOI:
+        return ConfigTOI(
+            work_dir=self.dir_base_work,
+            dir_base_toi=self.dir_retorno_de_campo,
+            file_relatorio_toi=self.file_relatorio_toi,
+            file_table_toi=self.file_table_toi,
+            file_cartas_lancadas=self.file_relatorio_forms,
+            dir_log_excel=self.dir_log_excel,
+            dir_relatorios=self.dir_relatorios,
+            file_master_forms=self.file_master_forms,
+        )
+
+    def reset_config(self) -> None:
+        self._config = None
+
+    def builder(self) -> ConfigTOI:
+        if self._config is None:
+            self._config = self._create()
+        return self._config
+
+
+"""
 class BuilderConfigTOI(object):
 
     _instance = None  # Atributo de classe para armazenar a instância singleton
@@ -136,6 +243,131 @@ class BuilderConfigTOI(object):
         if self._config is None:
             self._config = self._create()
         return self._config
+"""
+# ============================================================#
+# Leitura das tabelas OCR direto dos .xlsx (sem ocr_stream)
+# ============================================================#
+
+
+class HeaderOcr(StrEnum):
+    """Colunas das tabelas OCR (mesmos nomes gravados pelo ocr_stream)."""
+
+    ID = "ID"
+    HASH_FILE = HeaderMetaData.HASH_FILE.value
+    NUM_PAG = "PÁGINA"
+    NUM_LINHA = "LINHA"
+    TEXT = "TEXTO"
+
+
+_OCR_COLUMNS: list[str] = [h.value for h in HeaderOcr]
+_OCR_C_HASH = HeaderOcr.HASH_FILE.value
+
+
+class ReadTablesOcr(object):
+    """
+    Leitor SOMENTE-LEITURA de RFA/Tabelas/tabela_ocr_imagens.xlsx e
+    tabela_ocr_pdf.xlsx. Equivale ao que cartas usava de CreateRelatorioOcr,
+    mas sem importar ocr_stream/tesseract/cv2.
+
+    Cache em memória por arquivo, invalidado quando o .xlsx muda
+    (mtime + tamanho). Assim, se outro processo/PC rodar o OCR, a próxima
+    consulta já enxerga o dado novo.
+
+    As tabelas devolvidas por load_table_* são o objeto do cache: trate
+    como SOMENTE LEITURA (nunca chame merge()/set() nelas).
+    """
+
+    KIND_IMAGE = "imagem"
+    KIND_PDF = "pdf"
+
+    def __init__(self) -> None:
+        self._lock = threading.RLock()
+        self._cache: dict[str, tuple[tuple[int, int] | None, TableData[HeaderOcr]]] = {}
+
+    # ---------------------------------------------------------- infra
+    @staticmethod
+    def _file_of(kind: str) -> File:
+        cfg = BuilderConfigTOI()
+        if kind == ReadTablesOcr.KIND_IMAGE:
+            return cfg.file_table_ocr_image
+        return cfg.file_table_ocr_pdf
+
+    @staticmethod
+    def _stamp(f: File) -> tuple[int, int] | None:
+        try:
+            st = os.stat(f.absolute())
+        except OSError:
+            return None
+        return (st.st_mtime_ns, st.st_size)
+
+    @staticmethod
+    def _void() -> TableData[HeaderOcr]:
+        return TableData(pd.DataFrame(columns=_OCR_COLUMNS))
+
+    @staticmethod
+    def _read(f: File) -> TableData[HeaderOcr]:
+        # dtype=str + fillna(""): célula vazia vira "" (e não o texto "nan").
+        df = pd.read_excel(f.absolute(), dtype=str).fillna("")
+        for c in _OCR_COLUMNS:
+            if c not in df.columns:
+                df[c] = ""
+        return TableData.create_from_data(
+            df[_OCR_COLUMNS].astype(str).reset_index(drop=True)
+        )
+
+    def _load(self, kind: str) -> TableData[HeaderOcr]:
+        f = self._file_of(kind)
+        stamp = self._stamp(f)
+
+        with self._lock:
+            cached = self._cache.get(kind)
+            if cached is not None and cached[0] == stamp:
+                return cached[1]
+
+            if stamp is None:  # arquivo ainda não existe (OCR nunca rodou)
+                tb = self._void()
+            else:
+                try:
+                    print(f"Lendo tabela OCR ({kind}) ... {f.absolute()}")
+                    tb = self._read(f)
+                except Exception as e:
+                    print(f"[AVISO] falha ao ler {f.absolute()}: {e}")
+                    # mantém o cache anterior (se houver) e tenta de novo depois
+                    return cached[1] if cached is not None else self._void()
+
+            self._cache[kind] = (stamp, tb)
+            return tb
+
+    # ---------------------------------------------------------- READ
+    def load_table_image(self) -> TableData[HeaderOcr]:
+        return self._load(self.KIND_IMAGE)
+
+    def load_table_pdf(self) -> TableData[HeaderOcr]:
+        return self._load(self.KIND_PDF)
+
+    def create_from_hashs(self, hashes: Iterable[str]) -> TableData[HeaderOcr] | None:
+        """
+        Linhas OCR (imagem + pdf) das hashs informadas, SEM aplicar OCR.
+        None se nada for encontrado. O resultado é uma cópia (pode alterar).
+        """
+        wanted = {str(h) for h in hashes}
+        if not wanted:
+            return None
+
+        frames: list[pd.DataFrame] = []
+        for kind in (self.KIND_IMAGE, self.KIND_PDF):
+            df = self._load(kind).get_data()
+            if df.empty:
+                continue
+            sub = df[df[_OCR_C_HASH].isin(wanted)]
+            if not sub.empty:
+                frames.append(sub)
+
+        if not frames:
+            return None
+
+        final = pd.concat(frames, ignore_index=True)
+        return TableData.create_from_data(final[_OCR_COLUMNS].astype(str))
 
 
 # ============================================================#
@@ -296,7 +528,8 @@ class BuilderEntregaTOI(BuilderTOI):
 
     def __init__(self) -> None:
         super().__init__()
-        self.relatorio_ocr = CreateRelatorioOcr()
+        # self.relatorio_ocr = CreateRelatorioOcr()
+        self.relatorio_ocr = ReadTablesOcr()
         self.relatorio_wp = ControllerWhatsApp()
 
         self.default_cols_toi = ArrayList[HeaderEntregaTOI].from_list(
@@ -1257,7 +1490,7 @@ class ControllerTOI(object):
         return self.get_factory_toi().relatorio_wp
 
     @property
-    def relatorio_ocr(self) -> CreateRelatorioOcr:
+    def relatorio_ocr(self) -> ReadTablesOcr:
         return self.get_factory_toi().relatorio_ocr
 
     def get_factory_toi(self) -> BuilderEntregaTOI:
@@ -1375,11 +1608,9 @@ class ControllerTOI(object):
             return None
 
         # Filtrar
-        tb_cache_ocr: TableData[HeaderOcr] = self.relatorio_ocr.load_table_image()
-        tb_cache_ocr.merge(self.relatorio_ocr.load_table_pdf())
-
-        cache_ocr: TableData[HeaderOcr] | None = tb_cache_ocr.search_all(
-            HeaderOcr.HASH_FILE, hash_files.tolist()
+        # Filtrar: imagem + pdf, só as hashs pedidas (cópia, sem mexer no cache)
+        cache_ocr: TableData[HeaderOcr] | None = self.relatorio_ocr.create_from_hashs(
+            hash_files
         )
 
         if cache_ocr is None:

{pyflutter_app-0.3.13 → pyflutter_app-0.3.14}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "pyflutter_app"
-version = "0.3.13"
+version = "0.3.14"
 description = "Bibliotecas Python para conversão de documentos, interface e processamento de tabelas."
 readme = "README.md"
 requires-python = ">=3.12"

{pyflutter_app-0.3.13 → pyflutter_app-0.3.14}/uv.lock

@@ -779,7 +779,7 @@ wheels = [
 
 [[package]]
 name = "pyflutter-app"
-version = "0.3.13"
+version = "0.3.14"
 source = { editable = "." }
 dependencies = [
     { name = "opencv-python" },

{pyflutter_app-0.3.13 → pyflutter_app-0.3.14}/whatsapp_files/__init__.py

@@ -20,6 +20,7 @@ from table_stream import (
     HeaderMetaData,
     ContentFiles,
     EnumDocuments,
+    UserFileSystem,
     extract_zip_files,
     load_file_hash,
     # HashMap
@@ -39,7 +40,9 @@ from table_stream import (
     BaseObject,
 )
 
-from ocr_stream import BuilderConfigOcr
+# Remover essa dependencia e ocr_stream, mas usar os mesmos caminhos para acesssar
+# as tabelas ocr, apartir da mesma base UserFileSystem().get_user_documents().concat("RFA", True)
+# from ocr_stream import BuilderConfigOcr
 
 __version__ = "0.1"
 
@@ -57,6 +60,7 @@ class InvalidTxtFile(ValueError):
     def __init__(self, *args: object) -> None:
         super().__init__(*args)
 
+
 @dataclass
 class ResultChatImport:
     """Resultado da importação de UM chat."""
@@ -68,6 +72,7 @@ class ResultChatImport:
     hashed: int = 0  # anexos encontrados em disco (hash calculado)
     added: int = 0  # linhas NOVAS gravadas no cache
 
+
 def move_path(src: PathElement, dest: PathElement) -> bool:
 
     try:
@@ -90,6 +95,97 @@ class ConfigWhatsApp:
     work_dir: Directory
 
 
+# Mesmos nomes usados por ocr_stream.BuilderConfigOcr. Se mudar lá, mude aqui.
+_DIR_ROOT_NAME = "RFA"
+_DIR_TABLES_NAME = "Tabelas"
+
+
+class BuilderConfigWhatsApp(object):
+    """
+    Configuração do WhatsApp SEM depender de ocr_stream/tesseract.
+
+    Usa a mesma base que o ocr_stream:
+        <Documentos>/RFA/            -> dir_base_root
+        <Documentos>/RFA/Tabelas     -> dir_table (onde ficam as tabelas OCR, TOI etc.)
+        <Documentos>/RFA/WhatsApp    -> dir_base_work
+    """
+
+    _instance = None  # Atributo de classe para armazenar a instância singleton
+
+    def __new__(cls, *args, **kwargs):
+        if cls._instance is None:
+            cls._instance = super(BuilderConfigWhatsApp, cls).__new__(cls)
+        return cls._instance
+
+    def __init__(self) -> None:
+
+        # Garante que __init__ não será executado mais de uma vez
+        if hasattr(self, "_initialized") and self._initialized:
+            return
+
+        super().__init__()
+        self._initialized: bool = True
+        self._root_dir: Directory | None = None
+        self._config = None
+
+    # ---------------------------------------------------------- base RFA
+    @property
+    def dir_base_root(self) -> Directory:
+        """<Documentos>/RFA (mesma base do ocr_stream)."""
+        if self._root_dir is None:
+            self._root_dir = (
+                UserFileSystem().get_user_documents().concat(_DIR_ROOT_NAME, True)
+            )
+        return self._root_dir
+
+    def set_root_dir(self, d: Directory) -> None:
+        """Troca a base (testes / outro PC). Descarta a configuração em cache."""
+        d.mkdir()
+        self._root_dir = d
+        self.reset_config()
+
+    @property
+    def dir_base_work(self) -> Directory:
+        return self.dir_base_root.concat("WhatsApp", True)
+
+    @property
+    def dir_table(self) -> Directory:
+        """<Documentos>/RFA/Tabelas (mesma pasta das tabelas OCR)."""
+        d = self.dir_base_root.concat(_DIR_TABLES_NAME)
+        d.mkdir()
+        return d
+
+    @property
+    def dir_chats_organizados(self) -> Directory:
+        return self.dir_base_work.concat("ConversasOrganizadas", True)
+
+    @property
+    def dir_chats_compactados(self) -> Directory:
+        return self.dir_base_work.concat("ConversasCompactadas", True)
+
+    @property
+    def dir_chats_descompactados(self) -> Directory:
+        return self.dir_base_work.concat("ConversasDescompactadas", True)
+
+    def reset_config(self) -> None:
+        self._config = None
+
+    def builder(self) -> ConfigWhatsApp:
+        if self._config is None:
+
+            self._config = ConfigWhatsApp(
+                file_relatorio=self.dir_table.join_file("relatorio-whatsapp.xlsx"),
+                file_table=self.dir_table.join_file("tabela-whatsapp.xlsx"),
+                dir_unzip_chats=self.dir_chats_descompactados,
+                dir_zip_chats=self.dir_chats_compactados,
+                dir_export_files=self.dir_chats_organizados,
+                work_dir=self.dir_base_work,
+            )
+
+        return self._config
+
+
+"""
 class BuilderConfigWhatsApp(object):
 
     _instance = None  # Atributo de classe para armazenar a instância singleton
@@ -146,6 +242,7 @@ class BuilderConfigWhatsApp(object):
             )
 
         return self._config
+"""
 
 
 class HeaderWhatsApp(StrEnum):
@@ -626,6 +723,7 @@ def get_file_chat_from_dir(d: Directory) -> File | None:
         return None
     return txts.get_first()
 
+
 _NO_HASH = {"", "nan", "NULL_TEXT"}
 
 # Uma mensagem é identificada por estes campos + a ocorrência dentro do minuto.
@@ -683,6 +781,8 @@ def merge_chat_frames(old: pd.DataFrame, new: pd.DataFrame) -> pd.DataFrame:
     both = both.drop_duplicates(subset=sub, keep="first")
     both = both.sort_values([c_chat, c_dt, "_ord"], kind="stable")
     return both[cols].reset_index(drop=True)
+
+
 class ReadWriteWhatsApp(BaseObject):
 
     _instance = None  # Atributo de classe para armazenar a instância singleton
@@ -759,6 +859,7 @@ class ReadWriteWhatsApp(BaseObject):
             df.to_excel(tmp_file, index=False)
             os.replace(tmp_file, path)  # atômico e portável
 
+
 # ==============================================================#
 # Commandos
 # ==============================================================#
@@ -1077,6 +1178,7 @@ class ControllerWhatsApp(BaseObject):
 
     def merge_table_cache(self, tb: TableWhatsApp) -> None:
         self.rw.merge(tb)
+
     def increment_chat_file(self, file_txt: File) -> ResultChatImport:
         """
         Adicionar dados de um CHAT (.txt) na tabela principal.