luxorasap 0.1.2__tar.gz → 0.1.4__tar.gz

luxorasap-0.1.4/PKG-INFO

@@ -0,0 +1,128 @@
+Metadata-Version: 2.4
+Name: luxorasap
+Version: 0.1.4
+Summary: Toolbox da Luxor para ingestão, análise e automação de dados financeiros.
+Author-email: Luxor Group <backoffice@luxor.com.br>
+License: Proprietary – All rights reserved
+Project-URL: Homepage, https://github.com/luxor-group/luxor-asap
+Project-URL: Documentation, https://luxor-group.github.io/luxorasap-docs/
+Classifier: Programming Language :: Python :: 3
+Classifier: License :: Other/Proprietary License
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+Requires-Dist: pandas>=2.2
+Requires-Dist: numpy>=1.25
+Requires-Dist: loguru>=0.7
+Requires-Dist: python-dotenv>=1.0
+Requires-Dist: azure-storage-blob>=12.19
+Requires-Dist: pyarrow>=15.0
+Requires-Dist: requests>=2.32
+Requires-Dist: pydantic>=2.7
+Requires-Dist: scipy>=1.13
+Requires-Dist: openpyxl
+Provides-Extra: storage
+Requires-Dist: azure-storage-blob>=12.19; extra == "storage"
+Requires-Dist: pyarrow>=15.0; extra == "storage"
+Provides-Extra: dataframe
+Requires-Dist: pandas>=2.2; extra == "dataframe"
+Provides-Extra: datareader
+Requires-Dist: luxorasap[dataframe,storage]; extra == "datareader"
+Requires-Dist: numpy>=1.25; extra == "datareader"
+Requires-Dist: scipy>=1.13; extra == "datareader"
+Provides-Extra: ingest
+Requires-Dist: luxorasap[dataframe,storage]; extra == "ingest"
+Requires-Dist: pandas>=2.2; extra == "ingest"
+Provides-Extra: btgapi
+Requires-Dist: requests>=2.32; extra == "btgapi"
+Requires-Dist: pydantic>=2.7; extra == "btgapi"
+Provides-Extra: dev
+Requires-Dist: pytest>=8.2; extra == "dev"
+Requires-Dist: requests-mock>=1.11; extra == "dev"
+Requires-Dist: black>=24.4.0; extra == "dev"
+Requires-Dist: isort>=5.13; extra == "dev"
+Requires-Dist: bumpver>=2024.3; extra == "dev"
+Requires-Dist: pre-commit>=3.7; extra == "dev"
+Requires-Dist: build>=1.2; extra == "dev"
+
+# 🧠 LuxorASAP
+
+**Luxor Automatic System for Assets and Portfolios** é o toolbox oficial da Luxor para automação de pipelines de dados, integração com APIs financeiras e gerenciamento eficiente de dados patrimoniais no Azure.
+
+Projetado para ser rápido, reutilizável e seguro, este pacote unifica a ingestão, leitura e transformação de dados utilizados nas análises e marcações do time de investimentos.
+
+---
+
+## 🚀 Funcionalidades
+
+- 📡 Integração com a API de relatórios e boletas do BTG Pactual
+- 🗂️ Carregamento padronizado de arquivos (Excel, Parquet, Blob)
+- 💾 Escrita incremental e segura no ADLS (Azure Blob Storage)
+- 📊 Análises de preço, retorno e risco com API de consulta (`LuxorQuery`)
+- 🔗 Modularidade entre `btgapi`, `datareader`, `ingest`, `utils`
+
+---
+
+## 🧩 Estrutura do Projeto
+
+```
+luxor-asap/
+├── src/luxorasap/
+│   ├── btgapi/          # Integração com BTG Pactual
+│   ├── datareader/      # Interface de leitura e análise de dados
+│   ├── ingest/          # Carga de dados no ADLS
+│   └── utils/           # Funções auxiliares (parquet, dataframe)
+└── tests/               # Testes automatizados com Pytest
+```
+
+---
+
+## 📚 Documentação
+
+A documentação externa completa está disponível em:
+
+[![Docs](https://img.shields.io/badge/docs-online-blue)](https://luxor-group.github.io/luxorasap-docs/)
+
+---
+
+## 🔧 Requisitos
+
+- Python 3.9+
+- Azure Blob Storage configurado
+- Variáveis de ambiente via `.env` (ou passadas manualmente):
+
+```bash
+AZURE_STORAGE_CONNECTION_STRING=...
+BTG_CLIENT_ID=...
+BTG_CLIENT_SECRET=...
+```
+
+---
+
+## 📦 Instalação
+
+Para instalar localmente:
+
+```bash
+pip install -e .
+```
+
+Ou via PyPI (futuramente):
+
+```bash
+pip install luxor-asap
+```
+
+---
+
+## 🧪 Testes
+
+```bash
+pytest -v
+```
+
+---
+
+## 📄 Licença
+
+Projeto de uso interno do Luxor Group. Todos os direitos reservados.

luxorasap-0.1.4/README.md

@@ -0,0 +1,81 @@
+# 🧠 LuxorASAP
+
+**Luxor Automatic System for Assets and Portfolios** é o toolbox oficial da Luxor para automação de pipelines de dados, integração com APIs financeiras e gerenciamento eficiente de dados patrimoniais no Azure.
+
+Projetado para ser rápido, reutilizável e seguro, este pacote unifica a ingestão, leitura e transformação de dados utilizados nas análises e marcações do time de investimentos.
+
+---
+
+## 🚀 Funcionalidades
+
+- 📡 Integração com a API de relatórios e boletas do BTG Pactual
+- 🗂️ Carregamento padronizado de arquivos (Excel, Parquet, Blob)
+- 💾 Escrita incremental e segura no ADLS (Azure Blob Storage)
+- 📊 Análises de preço, retorno e risco com API de consulta (`LuxorQuery`)
+- 🔗 Modularidade entre `btgapi`, `datareader`, `ingest`, `utils`
+
+---
+
+## 🧩 Estrutura do Projeto
+
+```
+luxor-asap/
+├── src/luxorasap/
+│   ├── btgapi/          # Integração com BTG Pactual
+│   ├── datareader/      # Interface de leitura e análise de dados
+│   ├── ingest/          # Carga de dados no ADLS
+│   └── utils/           # Funções auxiliares (parquet, dataframe)
+└── tests/               # Testes automatizados com Pytest
+```
+
+---
+
+## 📚 Documentação
+
+A documentação externa completa está disponível em:
+
+[![Docs](https://img.shields.io/badge/docs-online-blue)](https://luxor-group.github.io/luxorasap-docs/)
+
+---
+
+## 🔧 Requisitos
+
+- Python 3.9+
+- Azure Blob Storage configurado
+- Variáveis de ambiente via `.env` (ou passadas manualmente):
+
+```bash
+AZURE_STORAGE_CONNECTION_STRING=...
+BTG_CLIENT_ID=...
+BTG_CLIENT_SECRET=...
+```
+
+---
+
+## 📦 Instalação
+
+Para instalar localmente:
+
+```bash
+pip install -e .
+```
+
+Ou via PyPI (futuramente):
+
+```bash
+pip install luxor-asap
+```
+
+---
+
+## 🧪 Testes
+
+```bash
+pytest -v
+```
+
+---
+
+## 📄 Licença
+
+Projeto de uso interno do Luxor Group. Todos os direitos reservados.

{luxorasap-0.1.2 → luxorasap-0.1.4}/pyproject.toml

@@ -10,8 +10,8 @@ build-backend = "setuptools.build_meta"
 #############################
 [project]
 name            = "luxorasap"
-version = "0.1.2"
-description     = "Luxor’s unified toolbox for data ingestion, querying and analytics."
+version = "0.1.4"
+description     = "Toolbox da Luxor para ingestão, análise e automação de dados financeiros."
 readme          = "README.md"
 requires-python = ">=3.9"
 authors         = [{ name = "Luxor Group", email = "backoffice@luxor.com.br" }]
@@ -56,6 +56,10 @@ dev        = [
   "build>=1.2"
 ]
 
+[project.urls]
+Homepage = "https://github.com/luxor-group/luxor-asap"
+Documentation = "https://luxor-group.github.io/luxorasap-docs/"
+
 #############################
 # Console scripts (opcional)
 #############################
@@ -74,7 +78,7 @@ exclude = ["tests*"]
 # bumpver (sem-ver)
 #############################
 [tool.bumpver]
-current_version = "0.1.2"
+current_version = "0.1.4"
 version_pattern = "MAJOR.MINOR.PATCH"
 
 # regex explícito – obrigatório no bumpver 2024+

{luxorasap-0.1.2 → luxorasap-0.1.4}/src/luxorasap/__init__.py

@@ -13,7 +13,7 @@ from types import ModuleType
 try:
     __version__: str = metadata.version(__name__)
 except metadata.PackageNotFoundError:  # editable install
-    __version__ = "0.1.2"
+    __version__ = "0.1.4"
 
 # ─── Lazy loader ─────────────────────────────────────────────────
 def __getattr__(name: str) -> ModuleType:

{luxorasap-0.1.2 → luxorasap-0.1.4}/src/luxorasap/btgapi/__init__.py

@@ -1,7 +1,7 @@
 """Wrapper para as APIs do BTG Pactual."""
 
 from .auth import get_access_token, BTGApiError
-from .reports import request_portfolio, await_report_ticket_result, process_zip_to_dfs, request_investors_transactions_report
+from .reports import request_portfolio, await_report_ticket_result, process_zip_to_dfs, request_investors_transactions_report, request_fundflow_report
 from .trades import submit_offshore_equity_trades, await_transaction_ticket_result
 
 __all__ = [
@@ -12,5 +12,6 @@ __all__ = [
     "submit_offshore_equity_trades",
     "await_transaction_ticket_result",
     "process_zip_to_dfs",
-    "request_investors_transactions_report"
+    "request_investors_transactions_report",
+    "request_fundflow_report",
 ]

{luxorasap-0.1.2 → luxorasap-0.1.4}/src/luxorasap/btgapi/reports.py

@@ -16,7 +16,8 @@ __all__ = [
     "check_report_ticket",
     "await_report_ticket_result",
     "process_zip_to_dfs",
-    "request_investors_transactions_report"
+    "request_investors_transactions_report",
+    "request_fundflow_report"
 ]
 
 _REPORT_ENDPOINT = "https://funds.btgpactual.com/reports/Portfolio"
@@ -24,6 +25,7 @@ _TICKET_ENDPOINT = "https://funds.btgpactual.com/reports/Ticket"
 _INVESTOR_TX_ENDPOINT = (
     "https://funds.btgpactual.com/reports/RTA/InvestorTransactionsFileReport"
 )
+_FUNDFLOW_ENDPOINT = "https://funds.btgpactual.com/reports/RTA/FundFlow"
 _REPORT_TYPES = {"excel": 10, "xml5": 81, "pdf": 2}
 
 
@@ -105,6 +107,15 @@ def check_report_ticket(token: str, ticket: str, *, page: Optional[int] = None)
             return _download_url(url)
         except Exception as exc:
             raise BTGApiError(f"Falha ao interpretar resultado: {exc}") from exc
+    
+    # 4. result pode ser uma lista de dados
+    if isinstance(result, list):
+        # Vamos tentar transformar num dataframe e retornar
+        try:
+            df = pd.DataFrame(result)
+            return df
+        except Exception as exc:
+            raise BTGApiError(f"Falha ao converter resultado em DataFrame: {exc}") from exc
 
     raise BTGApiError("Formato de resposta desconhecido")
 
@@ -186,4 +197,43 @@ def request_investors_transactions_report( token: str, query_date: dt.date, *,
         return r.json()["ticket"]
     raise BTGApiError(
         f"Erro InvestorTransactionsFileReport: {r.status_code} – {r.text}"
-    )
+    )
+    
+    
+def request_fundflow_report( token: str, start_date: dt.date,
+        end_date: dt.date, *, fund_name: str = "", date_type: str = "LIQUIDACAO", page_size: int = 100) -> str:
+    """Dispara geração do **Fund Flow** (RTA) e devolve *ticket*.
+
+    Args:
+        token: JWT obtido via :pyfunc:`luxorasap.btgapi.get_access_token`.
+        start_date,end_date: Datas do intervalo desejado.
+        fund_name: Nome do fundo conforme BTG. String vazia retorna as movimentacoes para todos os fundos.
+        date_type: Enum da API (`LIQUIDACAO`, `MOVIMENTO`, etc.).
+        page_size: Página retornada por chamada (default 100).
+
+    Returns
+    -------
+    str
+        ID do ticket a ser acompanhado em :pyfunc:`await_fundflow_ticket_result`.
+    """
+
+    body = {
+        "contract": {
+            "startDate": f"{start_date}T00:00:00Z",
+            "endDate": f"{end_date}T00:00:00Z",
+            "dateType": date_type,
+            "fundName": fund_name,
+        },
+        "pageSize": page_size,
+        "webhookEndpoint": "string",
+    }
+
+    r = requests.post(
+        _FUNDFLOW_ENDPOINT,
+        headers={"X-SecureConnect-Token": token, "Content-Type": "application/json"},
+        json=body,
+        timeout=30,
+    )
+    if r.ok:
+        return r.json()["ticket"]
+    raise BTGApiError(f"Erro FundFlow: {r.status_code} - {r.text}")

{luxorasap-0.1.2 → luxorasap-0.1.4}/src/luxorasap/ingest/cloud/__init__.py

@@ -20,8 +20,15 @@ def save_table(
     index_name: str = "index",
     normalize_columns: bool = True,
     directory: str = "enriched/parquet",
+    override=False
 ):
     """Salva DataFrame como Parquet em ADLS (sobrescrevendo)."""
+    
+    if override == False:
+        lq = LuxorQuery()
+        if lq.table_exists(table_name):
+            return
+    
     df = prep_for_save(df, index=index, index_name=index_name, normalize=normalize_columns)
     _client.write_df(df.astype(str), f"{directory}/{table_name}.parquet")
 

luxorasap-0.1.4/src/luxorasap.egg-info/PKG-INFO

@@ -0,0 +1,128 @@
+Metadata-Version: 2.4
+Name: luxorasap
+Version: 0.1.4
+Summary: Toolbox da Luxor para ingestão, análise e automação de dados financeiros.
+Author-email: Luxor Group <backoffice@luxor.com.br>
+License: Proprietary – All rights reserved
+Project-URL: Homepage, https://github.com/luxor-group/luxor-asap
+Project-URL: Documentation, https://luxor-group.github.io/luxorasap-docs/
+Classifier: Programming Language :: Python :: 3
+Classifier: License :: Other/Proprietary License
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+Requires-Dist: pandas>=2.2
+Requires-Dist: numpy>=1.25
+Requires-Dist: loguru>=0.7
+Requires-Dist: python-dotenv>=1.0
+Requires-Dist: azure-storage-blob>=12.19
+Requires-Dist: pyarrow>=15.0
+Requires-Dist: requests>=2.32
+Requires-Dist: pydantic>=2.7
+Requires-Dist: scipy>=1.13
+Requires-Dist: openpyxl
+Provides-Extra: storage
+Requires-Dist: azure-storage-blob>=12.19; extra == "storage"
+Requires-Dist: pyarrow>=15.0; extra == "storage"
+Provides-Extra: dataframe
+Requires-Dist: pandas>=2.2; extra == "dataframe"
+Provides-Extra: datareader
+Requires-Dist: luxorasap[dataframe,storage]; extra == "datareader"
+Requires-Dist: numpy>=1.25; extra == "datareader"
+Requires-Dist: scipy>=1.13; extra == "datareader"
+Provides-Extra: ingest
+Requires-Dist: luxorasap[dataframe,storage]; extra == "ingest"
+Requires-Dist: pandas>=2.2; extra == "ingest"
+Provides-Extra: btgapi
+Requires-Dist: requests>=2.32; extra == "btgapi"
+Requires-Dist: pydantic>=2.7; extra == "btgapi"
+Provides-Extra: dev
+Requires-Dist: pytest>=8.2; extra == "dev"
+Requires-Dist: requests-mock>=1.11; extra == "dev"
+Requires-Dist: black>=24.4.0; extra == "dev"
+Requires-Dist: isort>=5.13; extra == "dev"
+Requires-Dist: bumpver>=2024.3; extra == "dev"
+Requires-Dist: pre-commit>=3.7; extra == "dev"
+Requires-Dist: build>=1.2; extra == "dev"
+
+# 🧠 LuxorASAP
+
+**Luxor Automatic System for Assets and Portfolios** é o toolbox oficial da Luxor para automação de pipelines de dados, integração com APIs financeiras e gerenciamento eficiente de dados patrimoniais no Azure.
+
+Projetado para ser rápido, reutilizável e seguro, este pacote unifica a ingestão, leitura e transformação de dados utilizados nas análises e marcações do time de investimentos.
+
+---
+
+## 🚀 Funcionalidades
+
+- 📡 Integração com a API de relatórios e boletas do BTG Pactual
+- 🗂️ Carregamento padronizado de arquivos (Excel, Parquet, Blob)
+- 💾 Escrita incremental e segura no ADLS (Azure Blob Storage)
+- 📊 Análises de preço, retorno e risco com API de consulta (`LuxorQuery`)
+- 🔗 Modularidade entre `btgapi`, `datareader`, `ingest`, `utils`
+
+---
+
+## 🧩 Estrutura do Projeto
+
+```
+luxor-asap/
+├── src/luxorasap/
+│   ├── btgapi/          # Integração com BTG Pactual
+│   ├── datareader/      # Interface de leitura e análise de dados
+│   ├── ingest/          # Carga de dados no ADLS
+│   └── utils/           # Funções auxiliares (parquet, dataframe)
+└── tests/               # Testes automatizados com Pytest
+```
+
+---
+
+## 📚 Documentação
+
+A documentação externa completa está disponível em:
+
+[![Docs](https://img.shields.io/badge/docs-online-blue)](https://luxor-group.github.io/luxorasap-docs/)
+
+---
+
+## 🔧 Requisitos
+
+- Python 3.9+
+- Azure Blob Storage configurado
+- Variáveis de ambiente via `.env` (ou passadas manualmente):
+
+```bash
+AZURE_STORAGE_CONNECTION_STRING=...
+BTG_CLIENT_ID=...
+BTG_CLIENT_SECRET=...
+```
+
+---
+
+## 📦 Instalação
+
+Para instalar localmente:
+
+```bash
+pip install -e .
+```
+
+Ou via PyPI (futuramente):
+
+```bash
+pip install luxor-asap
+```
+
+---
+
+## 🧪 Testes
+
+```bash
+pytest -v
+```
+
+---
+
+## 📄 Licença
+
+Projeto de uso interno do Luxor Group. Todos os direitos reservados.

luxorasap-0.1.4/tests/test_btgapi_reports.py

@@ -0,0 +1,139 @@
+import datetime as dt, io, json, zipfile
+import pandas as pd
+import pytest
+
+from luxorasap.btgapi.reports import (
+    request_portfolio,
+    await_report_ticket_result,
+    process_zip_to_dfs,
+    check_report_ticket,
+    request_fundflow_report,
+)
+
+_TICKET_URL = "https://funds.btgpactual.com/reports/Ticket"
+_POST_URL   = "https://funds.btgpactual.com/reports/Portfolio"
+_FUNDFLOW_URL = "https://funds.btgpactual.com/reports/RTA/FundFlow"
+
+_TOKEN = "dummy-token"
+
+def test_request_portfolio_returns_ticket(requests_mock):
+    requests_mock.post(_POST_URL, json={"ticket": "ABC"})
+    tk = request_portfolio("tok", "FUND", dt.date(2025,1,1), dt.date(2025,1,31))
+    assert tk == "ABC"
+
+def test_await_ticket_inline_zip(requests_mock, monkeypatch):
+    # 1ª chamada: ainda processando   2ª: devolve ZIP binário
+    # Explicando o que requests_mock faz:
+    # 
+    requests_mock.get(_TICKET_URL, [
+        {"json": {"result": "Processando"}},
+        {"content": b"ZIP!"},
+    ])
+    monkeypatch.setattr("time.sleep", lambda *_: None)
+    out = await_report_ticket_result("tok", "ABC", attempts=2, interval=0)
+    assert out == b"ZIP!"
+
+def test_await_ticket_via_urldownload(requests_mock, monkeypatch):
+    dl_url = "https://download/file.zip"
+    # 1ª chamada ao ticket devolve JSON com UrlDownload
+    requests_mock.get(_TICKET_URL, json={"result": json.dumps({"UrlDownload": dl_url})})
+    requests_mock.get(dl_url, content=b"ZIP2", headers={"Content-Type": "application/zip"})
+    monkeypatch.setattr("time.sleep", lambda *_: None)
+    out = await_report_ticket_result("tok", "XYZ", attempts=1)
+    assert out == b"ZIP2"
+
+
+def test_process_zip_to_dfs():
+    buf = io.BytesIO()
+    with zipfile.ZipFile(buf, "w") as zf:
+        df = pd.DataFrame({"x": [1]})
+        zf.writestr("data.csv", df.to_csv(index=False))
+    dfs = process_zip_to_dfs(buf.getvalue())
+    assert dfs["data.csv"].iloc[0, 0] == 1
+    
+    
+def test_process_zip_latin1_csv():
+    import io, zipfile, pandas as pd
+    from luxorasap.btgapi.reports import process_zip_to_dfs
+
+    df_src = pd.DataFrame({"nome": ["ação", "æøå"]})
+    csv_latin1 = df_src.to_csv(index=False, encoding="latin1")
+
+    buf = io.BytesIO()
+    with zipfile.ZipFile(buf, "w") as zf:
+        zf.writestr("dados.csv", csv_latin1)
+
+    dfs = process_zip_to_dfs(buf.getvalue())
+    assert dfs["dados.csv"].equals(df_src)
+    
+
+def test_request_fundflow_report_success(requests_mock):
+    """POST devolvendo ticket e corpo montado corretamente."""
+    start, end = dt.date(2025, 5, 4), dt.date(2025, 6, 4)
+    fund_name   = "luxor lipizzaner fia"
+    expected_id = "TCK-123"
+
+    # valida corpo enviado
+    def _match(request):
+        payload = request.json()
+        c = payload["contract"]
+        assert c["startDate"] == f"{start}T00:00:00Z"
+        assert c["endDate"]   == f"{end}T00:00:00Z"
+        assert c["fundName"]  == fund_name
+        assert c["dateType"]  == "LIQUIDACAO"
+        return True
+
+    requests_mock.post(
+        _FUNDFLOW_URL,
+        additional_matcher=_match,
+        json={"ticket": expected_id},
+        status_code=200,
+    )
+
+    ticket = request_fundflow_report(
+        _TOKEN, start, end, fund_name=fund_name
+    )
+    assert ticket == expected_id
+    
+
+def test_check_report_ticket_returns_dataframe(requests_mock):
+    """GET devolvendo JSON-list deve virar DataFrame."""
+    ticket_id   = "TCK-LIST"
+    sample_rows = [
+        {"customerName": "A", "valueTotal": 1_000},
+        {"customerName": "B", "valueTotal": 2_000},
+    ]
+
+    # qualquer query param é aceito; podemos validar se quiser via matcher
+    requests_mock.get(
+        _TICKET_URL,
+        json={"result": sample_rows},
+        status_code=200,
+    )
+
+    df = check_report_ticket(_TOKEN, ticket_id)
+    assert isinstance(df, pd.DataFrame)
+    assert len(df) == 2
+    assert set(df.columns) == {"customerName", "valueTotal"}
+    
+    
+def test_await_report_ticket_polls_until_ready(requests_mock, monkeypatch):
+    """Primeira chamada ‘Processando’ → segunda retorna lista."""
+    ticket_id   = "TCK-POLL"
+    ready_rows  = [{"x": 1}]
+
+    # sequencia de respostas: processamento → pronto
+    requests_mock.get(
+        _TICKET_URL,
+        [
+            {"json": {"result": "Processando"}, "status_code": 200},
+            {"json": {"result": ready_rows},    "status_code": 200},
+        ],
+    )
+
+    # evita atraso real de sleep
+    monkeypatch.setattr("luxorasap.btgapi.reports.time.sleep", lambda *_: None)
+
+    df = await_report_ticket_result(_TOKEN, ticket_id, attempts=2, interval=0)
+    assert isinstance(df, pd.DataFrame)
+    assert df.iloc[0, 0] == 1