quantilica-cli 0.22.0__tar.gz → 0.24.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- quantilica_cli-0.24.0/.github/dependabot.yml +10 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.github/workflows/test.yml +5 -4
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/CHANGELOG.md +22 -1
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/PKG-INFO +3 -3
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/pyproject.toml +17 -3
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/catalog.py +279 -10
- quantilica_cli-0.24.0/tests/renomes.py +42 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_catalog_cli.py +1 -1
- quantilica_cli-0.24.0/tests/test_catalog_perfil.py +484 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_registry_cli.py +5 -1
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sources.py +5 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sources_registro.py +30 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.githooks/pre-commit +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.githooks/pre-push +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.github/workflows/public-hygiene.yml +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.github/workflows/publish.yml +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/.gitignore +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/LICENSE +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/README.md +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/__init__.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/cli.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/docs.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/health.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/lake.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/manifests.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/registry.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/sdk.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/sources.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/cli/ui.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/src/quantilica/py.typed +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/__init__.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/conftest.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/lake_build_fakes.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/lake_fixtures.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_catalog_registro.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_catalog_sigla.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_cli_apelidos.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_docs_cli.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_health.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_lake_cli.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_manifests.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_package_hygiene.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_registry_v2.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk_backfill.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk_force_probe.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk_mes_string.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk_onda_a2.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sdk_sync_exit.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_sources_registro_publico.py +0 -0
- {quantilica_cli-0.22.0 → quantilica_cli-0.24.0}/tests/test_ui.py +0 -0
|
@@ -32,15 +32,16 @@ jobs:
|
|
|
32
32
|
run: uv python install ${{ matrix.python-version }}
|
|
33
33
|
|
|
34
34
|
# O índice Quantilica (GitHub Pages) já deu flake de DNS no runner
|
|
35
|
-
# (2026-08-23: rtn e inmet)
|
|
35
|
+
# (2026-08-23: rtn e inmet) e responde 503 intermitente a pacote que não
|
|
36
|
+
# hospeda (2026-11-15). O pyproject declara o PyPI antes do índice
|
|
37
|
+
# ([[tool.uv.index]]); com first-index só quantilica-analytics passa por ele.
|
|
38
|
+
# Por isso não há --index aqui. Três tentativas removem o flake sem
|
|
36
39
|
# esconder erro real de resolução.
|
|
37
40
|
- name: Install dependencies
|
|
38
41
|
shell: bash
|
|
39
42
|
run: |
|
|
40
43
|
for i in 1 2 3; do
|
|
41
|
-
if uv sync --group dev --python ${{ matrix.python-version }}
|
|
42
|
-
--index https://index.quantilica.com/simple/ \
|
|
43
|
-
--index-strategy unsafe-best-match; then
|
|
44
|
+
if uv sync --group dev --python ${{ matrix.python-version }}; then
|
|
44
45
|
exit 0
|
|
45
46
|
fi
|
|
46
47
|
echo "::warning::uv sync falhou (tentativa $i/3); nova tentativa em 10s"
|
|
@@ -7,6 +7,27 @@ e este projeto adere ao [Semantic Versioning](https://semver.org/lang/pt-BR/).
|
|
|
7
7
|
|
|
8
8
|
## [Não lançado]
|
|
9
9
|
|
|
10
|
+
|
|
11
|
+
## [0.24.0] - 2026-11-15
|
|
12
|
+
### Alterado
|
|
13
|
+
- Piso de `quantilica-core` sobe para `>=0.24.0` (granularidades semestral, trimestral e diária do perfil de colunas).
|
|
14
|
+
- `quantilica catalog sync --dry-run`: o resumo do perfil conta os períodos na unidade da granularidade (`8 trimestres`, `4 semestres`, `31 dias`, `1 mês`), em vez de só `meses` ou `anos`. Os perfis semestrais, trimestrais e diários dependem da versão do `quantilica-core` com essas granularidades (ainda sem release; o piso de versão não mudou).
|
|
15
|
+
|
|
16
|
+
## [0.23.0] - 2026-11-15
|
|
17
|
+
### Adicionado
|
|
18
|
+
- `quantilica catalog sync` envia o perfil de colunas de cada dataset do lake na chave `perfis` do payload (`{"dataset_id", "perfil", "perfil_sha256"}`): por período, o total de linhas e os nulos de cada coluna, lidos dos rodapés Parquet por `quantilica.core.lake_profile.profile_from_lake`. O documento segue sem alteração, com o hash do core; só a coluna cujo nome o portal recusa sai do perfil (e do catálogo), com o hash recalculado. O perfil de um dataset nunca é partido entre lotes e viaja com as colunas dele. As colunas enviadas passam a ser a união das do perfil com as do primeiro Parquet, com o `dtype_arrow` do último período em que a coluna existe, porque o portal exige uma linha em `columns` para cada coluna do perfil. **O recurso exige o `quantilica-core` com `lake_profile`** (ainda sem release; o piso de versão não mudou): sem ele, o cli avisa e segue sem perfis. Dataset sem Parquet, sem partição `ano=` ou com perfil acima do limite do envio fica sem perfil, com aviso e o motivo.
|
|
19
|
+
- `quantilica catalog sync --dry-run` imprime, por dataset, o resumo do perfil (intervalo e número de períodos, colunas, eras de esquema e tamanho do documento); o JSON do payload deixa de repetir o perfil.
|
|
20
|
+
- Depois do envio, o cli informa quantos perfis o portal recebeu e quantos mudaram (`profiles` e `profiles_changed`; um segundo sync idêntico altera 0). Se o portal recusar o perfil de algum dataset (`counts.profiles_refused` e a lista `profiles_refused` da resposta), o cli avisa com o dataset e o motivo de cada um e termina com código 0: o resto do catálogo foi gravado. Com vários lotes, as listas de recusas são concatenadas.
|
|
21
|
+
|
|
22
|
+
### Alterado
|
|
23
|
+
- Piso de `quantilica-core` sobe para `>=0.23.0` (o perfil de colunas usa `quantilica.core.lake_profile`).
|
|
24
|
+
- `quantilica catalog sync` deixa de enviar `percentual_nulos` (o portal calcula do perfil, junto com `periodo_inicio` e `periodo_fim`).
|
|
25
|
+
- O erro HTTP do envio mostra o `detail` do portal em vez do JSON cru (o 400 de perfil traz o dataset e o motivo).
|
|
26
|
+
|
|
27
|
+
### Corrigido
|
|
28
|
+
- `quantilica catalog sync`: os Parquets de cada dataset são lidos em ordem de caminho. Sem o perfil de colunas, o esquema enviado vinha do primeiro arquivo na ordem do sistema de arquivos, que varia entre máquinas.
|
|
29
|
+
- CI: o pyproject declara o PyPI antes do índice Quantilica (`[[tool.uv.index]]`), e o workflow perde `--index` e `--index-strategy`. Com a estratégia padrão `first-index`, o `uv sync` só consulta o índice para o que não está no PyPI (`quantilica-analytics`) e deixa de receber o 503 intermitente que o GitHub Pages devolve a caminhos inexistentes.
|
|
30
|
+
|
|
10
31
|
## [0.22.0] - 2026-11-14
|
|
11
32
|
|
|
12
33
|
### Adicionado
|
|
@@ -74,7 +95,7 @@ e este projeto adere ao [Semantic Versioning](https://semver.org/lang/pt-BR/).
|
|
|
74
95
|
|
|
75
96
|
### Corrigido
|
|
76
97
|
|
|
77
|
-
- `quantilica catalog sync` envia `User-Agent: quantilica-cli/<versão>`: o
|
|
98
|
+
- `quantilica catalog sync` envia `User-Agent: quantilica-cli/<versão>`: o portal recusava o padrão do `urllib` (`Python-urllib`) com 403.
|
|
78
99
|
|
|
79
100
|
## [0.21.0] - 2026-11-13
|
|
80
101
|
|
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.5
|
|
2
2
|
Name: quantilica-cli
|
|
3
|
-
Version: 0.
|
|
3
|
+
Version: 0.24.0
|
|
4
4
|
Summary: Unified CLI for Quantilica open data fetchers
|
|
5
5
|
Author-email: "Komesu, D.K." <daniel@dkko.me>
|
|
6
6
|
License-Expression: MIT
|
|
@@ -16,11 +16,11 @@ Classifier: Programming Language :: Python :: 3.12
|
|
|
16
16
|
Classifier: Programming Language :: Python :: 3.13
|
|
17
17
|
Classifier: Typing :: Typed
|
|
18
18
|
Requires-Python: >=3.12
|
|
19
|
-
Requires-Dist: quantilica-core>=0.
|
|
19
|
+
Requires-Dist: quantilica-core>=0.24.0
|
|
20
20
|
Requires-Dist: rich>=13.0.0
|
|
21
21
|
Requires-Dist: typer>=0.15.0
|
|
22
22
|
Provides-Extra: docs
|
|
23
|
-
Requires-Dist: quantilica-core[docs]>=0.
|
|
23
|
+
Requires-Dist: quantilica-core[docs]>=0.24.0; extra == 'docs'
|
|
24
24
|
Provides-Extra: lake
|
|
25
25
|
Requires-Dist: pyarrow>=15.0.0; extra == 'lake'
|
|
26
26
|
Requires-Dist: quantilica-analytics>=0.11.0; extra == 'lake'
|
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
[project]
|
|
2
2
|
name = "quantilica-cli"
|
|
3
|
-
version = "0.
|
|
3
|
+
version = "0.24.0"
|
|
4
4
|
description = "Unified CLI for Quantilica open data fetchers"
|
|
5
5
|
readme = "README.md"
|
|
6
6
|
authors = [{ name = "Komesu, D.K.", email = "daniel@dkko.me" }]
|
|
@@ -20,7 +20,7 @@ classifiers = [
|
|
|
20
20
|
"Programming Language :: Python :: 3.13",
|
|
21
21
|
]
|
|
22
22
|
dependencies = [
|
|
23
|
-
"quantilica-core>=0.
|
|
23
|
+
"quantilica-core>=0.24.0",
|
|
24
24
|
"rich>=13.0.0",
|
|
25
25
|
"typer>=0.15.0",
|
|
26
26
|
]
|
|
@@ -29,7 +29,7 @@ dependencies = [
|
|
|
29
29
|
# Motor de `quantilica lake build` e `quantilica lake audit`.
|
|
30
30
|
lake = ["quantilica-analytics>=0.11.0", "pyarrow>=15.0.0"]
|
|
31
31
|
# `quantilica docs`: verificação da documentação dos dados dos fetchers.
|
|
32
|
-
docs = ["quantilica-core[docs]>=0.
|
|
32
|
+
docs = ["quantilica-core[docs]>=0.24.0"]
|
|
33
33
|
|
|
34
34
|
[project.scripts]
|
|
35
35
|
quantilica = "quantilica.cli.cli:main"
|
|
@@ -57,6 +57,20 @@ packages = ["src/quantilica"]
|
|
|
57
57
|
requires = ["hatchling>=1.27"]
|
|
58
58
|
build-backend = "hatchling.build"
|
|
59
59
|
|
|
60
|
+
# Índices: o uv procura em ordem e para no primeiro que tem o pacote
|
|
61
|
+
# (index-strategy padrão first-index). O PyPI vem antes, então o índice
|
|
62
|
+
# Quantilica (GitHub Pages, que responde 503 intermitente a pacote que não
|
|
63
|
+
# hospeda) só é consultado para o que não está no PyPI (quantilica-analytics).
|
|
64
|
+
# Sem [tool.uv.sources]: no workspace do monorepo quantilica-analytics é membro
|
|
65
|
+
# e uma fonte de índice aqui quebraria o `uv run` da raiz.
|
|
66
|
+
[[tool.uv.index]]
|
|
67
|
+
name = "pypi"
|
|
68
|
+
url = "https://pypi.org/simple/"
|
|
69
|
+
|
|
70
|
+
[[tool.uv.index]]
|
|
71
|
+
name = "quantilica"
|
|
72
|
+
url = "https://index.quantilica.com/simple/"
|
|
73
|
+
|
|
60
74
|
[tool.pytest.ini_options]
|
|
61
75
|
testpaths = ["tests"]
|
|
62
76
|
addopts = ["-p", "no:cacheprovider"]
|
|
@@ -25,6 +25,7 @@ from typing import Annotated, Any
|
|
|
25
25
|
import typer
|
|
26
26
|
from quantilica.core.registry import FetcherInfo, RegistryError
|
|
27
27
|
from rich.console import Console
|
|
28
|
+
from rich.markup import escape
|
|
28
29
|
from rich.table import Table
|
|
29
30
|
|
|
30
31
|
from quantilica.cli import __version__
|
|
@@ -194,6 +195,10 @@ class CatalogBuild:
|
|
|
194
195
|
restricted: Counter[str] = field(default_factory=Counter)
|
|
195
196
|
#: ``source_id`` do lake que o registro não conhece (ficam fora do payload).
|
|
196
197
|
unknown: set[str] = field(default_factory=set)
|
|
198
|
+
#: Datasets do payload que ficaram sem perfil de colunas, com o motivo.
|
|
199
|
+
sem_perfil: dict[str, str] = field(default_factory=dict)
|
|
200
|
+
#: O ``quantilica-core`` instalado não tem ``lake_profile``: nenhum perfil.
|
|
201
|
+
perfil_indisponivel: bool = False
|
|
197
202
|
|
|
198
203
|
|
|
199
204
|
def _sigla(orgao: str | None) -> str | None:
|
|
@@ -226,17 +231,102 @@ def _declared_text(desc_data: Mapping[str, Any], key: str) -> str | None:
|
|
|
226
231
|
return value.strip() if isinstance(value, str) and value.strip() else None
|
|
227
232
|
|
|
228
233
|
|
|
234
|
+
def _lake_profile_module() -> Any | None:
|
|
235
|
+
"""``quantilica.core.lake_profile``, ou ``None`` se o core instalado não o tem."""
|
|
236
|
+
try:
|
|
237
|
+
from quantilica.core import lake_profile
|
|
238
|
+
except ImportError:
|
|
239
|
+
return None
|
|
240
|
+
return lake_profile
|
|
241
|
+
|
|
242
|
+
|
|
243
|
+
def _nome_fora_do_perfil(nome: str) -> str | None:
|
|
244
|
+
"""Por que o nome não pode seguir no perfil (o portal o recusaria).
|
|
245
|
+
|
|
246
|
+
Vale o critério do catálogo (:func:`_motivo_nome_invalido`) e, além dele,
|
|
247
|
+
espaços nas pontas e mais de 128 caracteres brutos: o portal confere o perfil
|
|
248
|
+
contra ``columns`` pelo nome exato.
|
|
249
|
+
"""
|
|
250
|
+
motivo = _motivo_nome_invalido(nome)
|
|
251
|
+
if motivo:
|
|
252
|
+
return motivo
|
|
253
|
+
if nome != nome.strip():
|
|
254
|
+
return "espaços nas pontas"
|
|
255
|
+
if len(nome) > NOME_COLUNA_MAX:
|
|
256
|
+
return f"mais de {NOME_COLUNA_MAX} caracteres"
|
|
257
|
+
return None
|
|
258
|
+
|
|
259
|
+
|
|
260
|
+
def _perfil_do_dataset(
|
|
261
|
+
mod: Any, dataset_dir: Path, full_id: str
|
|
262
|
+
) -> tuple[Any | None, str | None]:
|
|
263
|
+
"""Perfil do dataset pelos rodapés Parquet: ``(LakeProfile, motivo_sem_perfil)``.
|
|
264
|
+
|
|
265
|
+
``dataset_dir`` é ``<lake>/<fonte>/<dataset>``. O documento ``perfil`` segue
|
|
266
|
+
sem alteração, salvo a coluna cujo nome o portal recusa: sai do documento e o
|
|
267
|
+
hash é recalculado (o portal confere o perfil contra ``columns``, onde essa
|
|
268
|
+
coluna também não entra).
|
|
269
|
+
"""
|
|
270
|
+
try:
|
|
271
|
+
prof = mod.profile_from_lake(
|
|
272
|
+
dataset_dir.parent.parent, dataset_dir.parent.name, dataset_dir.name
|
|
273
|
+
)
|
|
274
|
+
except FileNotFoundError:
|
|
275
|
+
return None, "sem arquivo Parquet"
|
|
276
|
+
except (ValueError, ImportError) as exc:
|
|
277
|
+
return None, str(exc)
|
|
278
|
+
except Exception as exc: # rodapé ilegível, arquivo corrompido
|
|
279
|
+
return None, f"falha ao ler os rodapés: {exc}"
|
|
280
|
+
|
|
281
|
+
invalidos = {
|
|
282
|
+
nome: motivo
|
|
283
|
+
for nome in prof.perfil["colunas"]
|
|
284
|
+
if (motivo := _nome_fora_do_perfil(nome))
|
|
285
|
+
}
|
|
286
|
+
if invalidos:
|
|
287
|
+
logger.warning(
|
|
288
|
+
"%s: %d coluna(s) fora do perfil por nome inválido (%s).",
|
|
289
|
+
full_id,
|
|
290
|
+
len(invalidos),
|
|
291
|
+
", ".join(sorted(set(invalidos.values()))),
|
|
292
|
+
)
|
|
293
|
+
perfil = {
|
|
294
|
+
**prof.perfil,
|
|
295
|
+
"colunas": {
|
|
296
|
+
n: c for n, c in prof.perfil["colunas"].items() if n not in invalidos
|
|
297
|
+
},
|
|
298
|
+
}
|
|
299
|
+
prof = mod.LakeProfile(
|
|
300
|
+
perfil,
|
|
301
|
+
[c for c in prof.colunas if c["nome"] not in invalidos],
|
|
302
|
+
mod.perfil_sha256(perfil),
|
|
303
|
+
)
|
|
304
|
+
tamanho = _tamanho_json(prof.perfil)
|
|
305
|
+
if tamanho > LOTE_MAX_BYTES:
|
|
306
|
+
return None, f"perfil de {tamanho} bytes não cabe num envio"
|
|
307
|
+
return prof, None
|
|
308
|
+
|
|
309
|
+
|
|
229
310
|
def _extract_dataset_metadata(
|
|
230
311
|
descriptor_path: Path,
|
|
231
312
|
sample_size: int = 20,
|
|
232
313
|
lake_root: Path | None = None,
|
|
233
314
|
registry: Registry | None = None,
|
|
315
|
+
profile_mod: Any | None = None,
|
|
234
316
|
) -> dict[str, Any] | None:
|
|
235
317
|
"""Extrai metadados, colunas e amostras de um _dataset.json e seus Parquets.
|
|
236
318
|
|
|
237
319
|
O ``source_id`` do descritor é resolvido contra ``registry`` (apelido vira
|
|
238
320
|
id canônico). O resultado traz ``restrita`` (fonte de redistribuição
|
|
239
321
|
restrita) e ``conhecida`` (``source_id`` presente no registro).
|
|
322
|
+
|
|
323
|
+
Com ``profile_mod`` (``quantilica.core.lake_profile``) o resultado traz também
|
|
324
|
+
``perfil`` (o item de ``perfis`` do payload) ou ``sem_perfil`` (o motivo). As
|
|
325
|
+
colunas passam a ser a união das colunas do perfil com as do primeiro Parquet
|
|
326
|
+
(o portal exige uma linha em ``columns`` para cada coluna do perfil); o
|
|
327
|
+
``dtype_arrow`` do perfil vale (é o do último período em que a coluna existe).
|
|
328
|
+
``percentual_nulos`` e o período de cada coluna não são enviados: o portal os
|
|
329
|
+
calcula do perfil.
|
|
240
330
|
"""
|
|
241
331
|
try:
|
|
242
332
|
desc_text = descriptor_path.read_text(encoding="utf-8")
|
|
@@ -255,7 +345,7 @@ def _extract_dataset_metadata(
|
|
|
255
345
|
restricted = info is not None and info.redistribuicao == "restrita"
|
|
256
346
|
|
|
257
347
|
dataset_dir = descriptor_path.parent
|
|
258
|
-
parquet_files =
|
|
348
|
+
parquet_files = sorted(dataset_dir.rglob("*.parquet"))
|
|
259
349
|
total_arquivos = len(parquet_files)
|
|
260
350
|
total_bytes = sum(f.stat().st_size for f in parquet_files)
|
|
261
351
|
total_rows = _count_rows(parquet_files)
|
|
@@ -282,13 +372,21 @@ def _extract_dataset_metadata(
|
|
|
282
372
|
"dtype_arrow": partition_types.get(p_key, "Utf8"),
|
|
283
373
|
"eh_particao_hive": True,
|
|
284
374
|
"eh_chave_cruzamento": False,
|
|
285
|
-
"percentual_nulos": 0.0,
|
|
286
375
|
"descricao": f"Chave de partição Hive ({p_key})",
|
|
287
376
|
"display_order": order,
|
|
288
377
|
}
|
|
289
378
|
)
|
|
290
379
|
order += 1
|
|
291
380
|
|
|
381
|
+
perfil_item: dict[str, Any] | None = None
|
|
382
|
+
sem_perfil: str | None = None
|
|
383
|
+
prof = None
|
|
384
|
+
if profile_mod is not None:
|
|
385
|
+
prof, sem_perfil = _perfil_do_dataset(profile_mod, dataset_dir, full_id)
|
|
386
|
+
dtype_do_perfil = (
|
|
387
|
+
{c["nome"]: c["dtype_arrow"] for c in prof.colunas} if prof else {}
|
|
388
|
+
)
|
|
389
|
+
|
|
292
390
|
sample_rows: list[dict[str, Any]] = []
|
|
293
391
|
schema_arrow_json: dict[str, Any] = {}
|
|
294
392
|
|
|
@@ -329,10 +427,11 @@ def _extract_dataset_metadata(
|
|
|
329
427
|
{
|
|
330
428
|
"dataset_id": full_id,
|
|
331
429
|
"nome": field.name,
|
|
332
|
-
"dtype_arrow":
|
|
430
|
+
"dtype_arrow": dtype_do_perfil.get(
|
|
431
|
+
field.name, str(field.type)
|
|
432
|
+
),
|
|
333
433
|
"eh_particao_hive": False,
|
|
334
434
|
"eh_chave_cruzamento": False,
|
|
335
|
-
"percentual_nulos": 0.0,
|
|
336
435
|
"descricao": None,
|
|
337
436
|
"display_order": order,
|
|
338
437
|
}
|
|
@@ -358,6 +457,29 @@ def _extract_dataset_metadata(
|
|
|
358
457
|
exc,
|
|
359
458
|
)
|
|
360
459
|
|
|
460
|
+
if prof is not None:
|
|
461
|
+
presentes = {c["nome"] for c in columns}
|
|
462
|
+
for c in prof.colunas:
|
|
463
|
+
if c["nome"] in presentes:
|
|
464
|
+
continue
|
|
465
|
+
columns.append(
|
|
466
|
+
{
|
|
467
|
+
"dataset_id": full_id,
|
|
468
|
+
"nome": c["nome"],
|
|
469
|
+
"dtype_arrow": c["dtype_arrow"],
|
|
470
|
+
"eh_particao_hive": False,
|
|
471
|
+
"eh_chave_cruzamento": False,
|
|
472
|
+
"descricao": None,
|
|
473
|
+
"display_order": order,
|
|
474
|
+
}
|
|
475
|
+
)
|
|
476
|
+
order += 1
|
|
477
|
+
perfil_item = {
|
|
478
|
+
"dataset_id": full_id,
|
|
479
|
+
"perfil": prof.perfil,
|
|
480
|
+
"perfil_sha256": prof.perfil_sha256,
|
|
481
|
+
}
|
|
482
|
+
|
|
361
483
|
source_obj = _source_object(source_id, info, total_bytes)
|
|
362
484
|
|
|
363
485
|
if lake_root:
|
|
@@ -401,6 +523,8 @@ def _extract_dataset_metadata(
|
|
|
401
523
|
"sample": sample_obj,
|
|
402
524
|
"restrita": restricted,
|
|
403
525
|
"conhecida": info is not None,
|
|
526
|
+
"perfil": perfil_item,
|
|
527
|
+
"sem_perfil": sem_perfil,
|
|
404
528
|
}
|
|
405
529
|
|
|
406
530
|
|
|
@@ -421,13 +545,28 @@ def build_catalog(
|
|
|
421
545
|
datasets_list: list[dict[str, Any]] = []
|
|
422
546
|
columns_list: list[dict[str, Any]] = []
|
|
423
547
|
samples_list: list[dict[str, Any]] = []
|
|
548
|
+
perfis_list: list[dict[str, Any]] = []
|
|
424
549
|
build = CatalogBuild(payload={})
|
|
425
550
|
|
|
426
551
|
if not lake_dir.is_dir():
|
|
427
552
|
logger.warning("Diretório do Lake %s não existe.", lake_dir)
|
|
428
|
-
build.payload = {
|
|
553
|
+
build.payload = {
|
|
554
|
+
"sources": [],
|
|
555
|
+
"datasets": [],
|
|
556
|
+
"columns": [],
|
|
557
|
+
"samples": [],
|
|
558
|
+
"perfis": [],
|
|
559
|
+
}
|
|
429
560
|
return build
|
|
430
561
|
|
|
562
|
+
profile_mod = _lake_profile_module()
|
|
563
|
+
if profile_mod is None:
|
|
564
|
+
build.perfil_indisponivel = True
|
|
565
|
+
logger.warning(
|
|
566
|
+
"O quantilica-core instalado não tem lake_profile: nenhum perfil de "
|
|
567
|
+
"colunas será enviado. Atualize o quantilica-core."
|
|
568
|
+
)
|
|
569
|
+
|
|
431
570
|
wanted = None
|
|
432
571
|
if source_filter:
|
|
433
572
|
found = registry.get(source_filter)
|
|
@@ -437,7 +576,11 @@ def build_catalog(
|
|
|
437
576
|
# Busca todos os descritores _dataset.json
|
|
438
577
|
for desc_path in sorted(lake_dir.rglob("_dataset.json")):
|
|
439
578
|
meta = _extract_dataset_metadata(
|
|
440
|
-
desc_path,
|
|
579
|
+
desc_path,
|
|
580
|
+
sample_size=sample_size,
|
|
581
|
+
lake_root=lake_dir,
|
|
582
|
+
registry=registry,
|
|
583
|
+
profile_mod=profile_mod,
|
|
441
584
|
)
|
|
442
585
|
if not meta:
|
|
443
586
|
continue
|
|
@@ -465,6 +608,15 @@ def build_catalog(
|
|
|
465
608
|
sources_dict.setdefault(src["id"], src)
|
|
466
609
|
datasets_list.append(meta["dataset"])
|
|
467
610
|
columns_list.extend(meta["columns"])
|
|
611
|
+
if meta["perfil"]:
|
|
612
|
+
perfis_list.append(meta["perfil"])
|
|
613
|
+
elif meta["sem_perfil"]:
|
|
614
|
+
build.sem_perfil[meta["dataset"]["id"]] = meta["sem_perfil"]
|
|
615
|
+
logger.warning(
|
|
616
|
+
"%s: sem perfil de colunas (%s).",
|
|
617
|
+
meta["dataset"]["id"],
|
|
618
|
+
meta["sem_perfil"],
|
|
619
|
+
)
|
|
468
620
|
# Com --sample-size 0 a amostra não vai: enviar linhas vazias apagaria
|
|
469
621
|
# no portal a amostra de um envio anterior.
|
|
470
622
|
if sample_size > 0 and (
|
|
@@ -489,6 +641,7 @@ def build_catalog(
|
|
|
489
641
|
"datasets": datasets_list,
|
|
490
642
|
"columns": columns_list,
|
|
491
643
|
"samples": samples_list,
|
|
644
|
+
"perfis": perfis_list,
|
|
492
645
|
}
|
|
493
646
|
return build
|
|
494
647
|
|
|
@@ -511,8 +664,8 @@ def send_catalog_payload(
|
|
|
511
664
|
"""Envia o payload via HTTP POST para o endpoint de sincronização do Portal."""
|
|
512
665
|
url = f"{portal_url.rstrip('/')}/api/v2/admin/catalog/sync"
|
|
513
666
|
body = json.dumps(payload, ensure_ascii=False, default=str).encode("utf-8")
|
|
514
|
-
# User-Agent próprio: o
|
|
515
|
-
# (
|
|
667
|
+
# User-Agent próprio: o portal recusa o padrão "Python-urllib/x"
|
|
668
|
+
# (assinatura do navegador).
|
|
516
669
|
headers = {
|
|
517
670
|
"Content-Type": "application/json",
|
|
518
671
|
"Accept": "application/json",
|
|
@@ -527,6 +680,14 @@ def send_catalog_payload(
|
|
|
527
680
|
return json.loads(resp.read().decode("utf-8"))
|
|
528
681
|
except urllib.error.HTTPError as exc:
|
|
529
682
|
err_body = exc.read().decode("utf-8", errors="replace")
|
|
683
|
+
# O portal responde {"detail": "..."} (com \\uXXXX no lugar dos acentos):
|
|
684
|
+
# o motivo, com o dataset, sai legível.
|
|
685
|
+
try:
|
|
686
|
+
detalhe = json.loads(err_body).get("detail")
|
|
687
|
+
except (ValueError, AttributeError):
|
|
688
|
+
detalhe = None
|
|
689
|
+
if isinstance(detalhe, str):
|
|
690
|
+
err_body = detalhe
|
|
530
691
|
raise RuntimeError(
|
|
531
692
|
f"Falha na sincronização HTTP {exc.code} em {url}: {err_body}"
|
|
532
693
|
) from exc
|
|
@@ -535,7 +696,7 @@ def send_catalog_payload(
|
|
|
535
696
|
|
|
536
697
|
|
|
537
698
|
# O portal aceita até 100 MiB em /admin/catalog/sync (desde a 1.1.2; antes, 5 MiB)
|
|
538
|
-
# e o
|
|
699
|
+
# e o proxy corta em 100 MB. Lotes de até 90 MB: o lake inteiro (8,5 MB em
|
|
539
700
|
# 13/11/2026) vai num lote só, e a divisão por fonte fica para quando crescer. O
|
|
540
701
|
# sync do portal é upsert: lotes não apagam nada do que veio nos anteriores.
|
|
541
702
|
LOTE_MAX_BYTES = 90_000_000
|
|
@@ -621,6 +782,9 @@ def _somar_respostas(respostas: list[dict[str, Any]]) -> dict[str, Any]:
|
|
|
621
782
|
total[chave] = valor
|
|
622
783
|
elif isinstance(valor, (int, float)):
|
|
623
784
|
total[chave] = total.get(chave, 0) + valor
|
|
785
|
+
elif isinstance(valor, list):
|
|
786
|
+
total.setdefault(chave, [])
|
|
787
|
+
total[chave] = [*total[chave], *valor]
|
|
624
788
|
elif isinstance(valor, dict):
|
|
625
789
|
sub = total.setdefault(chave, {})
|
|
626
790
|
for k, v in valor.items():
|
|
@@ -633,6 +797,76 @@ def _somar_respostas(respostas: list[dict[str, Any]]) -> dict[str, Any]:
|
|
|
633
797
|
return total
|
|
634
798
|
|
|
635
799
|
|
|
800
|
+
def _avisa_perfis_recusados(res: Any) -> None:
|
|
801
|
+
"""Avisa, sem falhar, dos perfis que o portal recusou (o catálogo foi gravado).
|
|
802
|
+
|
|
803
|
+
O portal recusa só o perfil de um dataset (documento inválido, acima do teto de
|
|
804
|
+
células, coluna sem linha em ``columns``) e grava o resto.
|
|
805
|
+
``counts.profiles_refused`` conta; ``profiles_refused`` traz ``dataset_id`` e
|
|
806
|
+
``motivo``.
|
|
807
|
+
"""
|
|
808
|
+
if not isinstance(res, dict):
|
|
809
|
+
return
|
|
810
|
+
contagem = res.get("counts")
|
|
811
|
+
recusados = res.get("profiles_refused")
|
|
812
|
+
n = contagem.get("profiles_refused", 0) if isinstance(contagem, dict) else 0
|
|
813
|
+
itens = [r for r in recusados if isinstance(r, dict)] if recusados else []
|
|
814
|
+
if not n and not itens:
|
|
815
|
+
return
|
|
816
|
+
console.print(
|
|
817
|
+
f"[yellow]Aviso: o portal recusou {n or len(itens)} perfil(is) de colunas; "
|
|
818
|
+
"o resto do catálogo foi gravado.[/yellow]"
|
|
819
|
+
)
|
|
820
|
+
for r in itens:
|
|
821
|
+
console.print(
|
|
822
|
+
f"[yellow] - Perfil recusado: {escape(str(r.get('dataset_id')))}: "
|
|
823
|
+
f"{escape(str(r.get('motivo')))}[/yellow]"
|
|
824
|
+
)
|
|
825
|
+
|
|
826
|
+
|
|
827
|
+
# granularidade do perfil -> (singular, plural) do período no resumo.
|
|
828
|
+
_UNIDADES_DE_PERIODO = {
|
|
829
|
+
"anual": ("ano", "anos"),
|
|
830
|
+
"semestral": ("semestre", "semestres"),
|
|
831
|
+
"trimestral": ("trimestre", "trimestres"),
|
|
832
|
+
"mensal": ("mês", "meses"),
|
|
833
|
+
"diaria": ("dia", "dias"),
|
|
834
|
+
}
|
|
835
|
+
|
|
836
|
+
|
|
837
|
+
def _unidade_de_periodo(granularidade: str, n: int) -> str:
|
|
838
|
+
"""Unidade de contagem dos períodos de um perfil: ``8 trimestres``, ``1 mês``."""
|
|
839
|
+
singular, plural = _UNIDADES_DE_PERIODO.get(granularidade, ("período", "períodos"))
|
|
840
|
+
return singular if n == 1 else plural
|
|
841
|
+
|
|
842
|
+
|
|
843
|
+
def _tabela_de_perfis(perfis: list[dict[str, Any]]) -> Table:
|
|
844
|
+
"""Resumo por dataset do que seria enviado: períodos, colunas, eras e tamanho."""
|
|
845
|
+
mod = _lake_profile_module()
|
|
846
|
+
tabela = Table(title="Perfis de colunas (--dry-run)", show_header=True)
|
|
847
|
+
tabela.add_column("Dataset", style="cyan")
|
|
848
|
+
tabela.add_column("Períodos")
|
|
849
|
+
tabela.add_column("Colunas", justify="right")
|
|
850
|
+
tabela.add_column("Eras", justify="right")
|
|
851
|
+
tabela.add_column("Tamanho", justify="right")
|
|
852
|
+
for item in perfis:
|
|
853
|
+
doc = item["perfil"]
|
|
854
|
+
periodos = doc["periodos"]
|
|
855
|
+
intervalo = (
|
|
856
|
+
f"{periodos[0]} a {periodos[-1]}" if len(periodos) > 1 else periodos[0]
|
|
857
|
+
)
|
|
858
|
+
unidade = _unidade_de_periodo(doc["granularidade"], len(periodos))
|
|
859
|
+
eras = len(mod.derivar_eras(doc)) if mod is not None else 0
|
|
860
|
+
tabela.add_row(
|
|
861
|
+
item["dataset_id"],
|
|
862
|
+
f"{intervalo} ({len(periodos)} {unidade})",
|
|
863
|
+
str(len(doc["colunas"])),
|
|
864
|
+
str(eras),
|
|
865
|
+
f"{_tamanho_json(item) / 1024:.1f} KiB",
|
|
866
|
+
)
|
|
867
|
+
return tabela
|
|
868
|
+
|
|
869
|
+
|
|
636
870
|
@app.command("sync")
|
|
637
871
|
def cmd_catalog_sync(
|
|
638
872
|
lake_dir: Annotated[
|
|
@@ -730,6 +964,7 @@ def cmd_catalog_sync(
|
|
|
730
964
|
datasets_count = len(payload.get("datasets", []))
|
|
731
965
|
columns_count = len(payload.get("columns", []))
|
|
732
966
|
samples_count = len(payload.get("samples", []))
|
|
967
|
+
perfis = payload.get("perfis", [])
|
|
733
968
|
|
|
734
969
|
table = Table(title="Metadados Extraídos para Sincronização", show_header=True)
|
|
735
970
|
table.add_column("Entidade", style="cyan")
|
|
@@ -738,6 +973,8 @@ def cmd_catalog_sync(
|
|
|
738
973
|
table.add_row("Datasets Parquet", str(datasets_count))
|
|
739
974
|
table.add_row("Colunas e Chaves", str(columns_count))
|
|
740
975
|
table.add_row("Amostras de Dados", str(samples_count))
|
|
976
|
+
table.add_row("Perfis de colunas", str(len(perfis)))
|
|
977
|
+
table.add_row("Datasets sem perfil", str(len(build.sem_perfil)))
|
|
741
978
|
table.add_row(
|
|
742
979
|
"Deixados de fora (redistribuição restrita)",
|
|
743
980
|
str(sum(build.restricted.values())),
|
|
@@ -755,12 +992,37 @@ def cmd_catalog_sync(
|
|
|
755
992
|
+ ", ".join(sorted(build.unknown))
|
|
756
993
|
)
|
|
757
994
|
|
|
995
|
+
if build.perfil_indisponivel:
|
|
996
|
+
console.print(
|
|
997
|
+
"[yellow]O quantilica-core instalado não tem lake_profile:[/yellow] "
|
|
998
|
+
"nenhum perfil de colunas será enviado. Atualize o quantilica-core."
|
|
999
|
+
)
|
|
1000
|
+
if build.sem_perfil:
|
|
1001
|
+
mostrados = sorted(build.sem_perfil.items())[:20]
|
|
1002
|
+
console.print(
|
|
1003
|
+
"[yellow]Sem perfil de colunas:[/yellow] "
|
|
1004
|
+
+ "; ".join(f"{k} ({v})" for k, v in mostrados)
|
|
1005
|
+
+ (
|
|
1006
|
+
f"; e mais {len(build.sem_perfil) - len(mostrados)}"
|
|
1007
|
+
if len(build.sem_perfil) > len(mostrados)
|
|
1008
|
+
else ""
|
|
1009
|
+
)
|
|
1010
|
+
)
|
|
1011
|
+
|
|
758
1012
|
if dry_run:
|
|
759
1013
|
console.print(
|
|
760
1014
|
"[yellow]Modo --dry-run ativo:[/yellow] nenhum dado enviado para o portal."
|
|
761
1015
|
)
|
|
1016
|
+
if perfis:
|
|
1017
|
+
console.print(_tabela_de_perfis(perfis))
|
|
1018
|
+
# Os perfis saem no resumo acima, não no JSON (podem ter megabytes).
|
|
762
1019
|
console.print_json(
|
|
763
|
-
json.dumps(
|
|
1020
|
+
json.dumps(
|
|
1021
|
+
{k: v for k, v in payload.items() if k != "perfis"},
|
|
1022
|
+
ensure_ascii=False,
|
|
1023
|
+
indent=2,
|
|
1024
|
+
default=str,
|
|
1025
|
+
)
|
|
764
1026
|
)
|
|
765
1027
|
return
|
|
766
1028
|
|
|
@@ -789,6 +1051,13 @@ def cmd_catalog_sync(
|
|
|
789
1051
|
console.print(
|
|
790
1052
|
f"[green]✓ Catálogo sincronizado com sucesso![/green] Resposta: {res}"
|
|
791
1053
|
)
|
|
1054
|
+
contagem = res.get("counts") if isinstance(res, dict) else None
|
|
1055
|
+
if isinstance(contagem, dict) and "profiles" in contagem:
|
|
1056
|
+
console.print(
|
|
1057
|
+
f"Perfis de colunas: {contagem['profiles']} recebidos, "
|
|
1058
|
+
f"{contagem.get('profiles_changed', 0)} alterados."
|
|
1059
|
+
)
|
|
1060
|
+
_avisa_perfis_recusados(res)
|
|
792
1061
|
except Exception as exc:
|
|
793
1062
|
err_console.print(f"[red]Erro ao sincronizar catálogo:[/red] {exc}")
|
|
794
1063
|
raise typer.Exit(code=1) from exc
|
|
@@ -0,0 +1,42 @@
|
|
|
1
|
+
"""Resolução pelo ``historico``: o que os testes de tabela aceitam depois de um renome.
|
|
2
|
+
|
|
3
|
+
Os testes que fixam a tabela de 14/11 (``TABELA_ANTIGA``, ``_RESERVA_OFFLINE``)
|
|
4
|
+
rodam contra o ambiente de quem os executa. Num ambiente com um fetcher já
|
|
5
|
+
renomeado instalado, o id antigo passa a resolver para a distribuição nova
|
|
6
|
+
(pelo apelido do ``FetcherInfo`` ou pelo ``historico`` do registro público), e
|
|
7
|
+
isso é o comportamento certo. ``aceita_resolucao`` aceita a distribuição da
|
|
8
|
+
tabela ou o seu renome, seguindo ``distribuicoes_renomeadas``.
|
|
9
|
+
"""
|
|
10
|
+
|
|
11
|
+
from __future__ import annotations
|
|
12
|
+
|
|
13
|
+
from quantilica.cli import registry as reg
|
|
14
|
+
from quantilica.cli import sources
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
def renomes_conhecidos() -> dict[str, str]:
|
|
18
|
+
"""Distribuição antiga -> nova: o ``historico`` e os fetchers instalados.
|
|
19
|
+
|
|
20
|
+
Sem rede, o ``historico`` do registro não existe; o apelido ``X`` no
|
|
21
|
+
``FetcherInfo`` de um fetcher instalado diz que ``X-fetcher`` foi o seu nome.
|
|
22
|
+
"""
|
|
23
|
+
out = dict(sources.distribuicoes_renomeadas())
|
|
24
|
+
for nome, dist in reg.declared_source_names().items():
|
|
25
|
+
antiga = f"{nome}{sources.FETCHER_SUFFIX}"
|
|
26
|
+
if antiga != dist:
|
|
27
|
+
out.setdefault(antiga, dist)
|
|
28
|
+
return out
|
|
29
|
+
|
|
30
|
+
|
|
31
|
+
def segue_renomes(dist: str, renomes: dict[str, str]) -> str:
|
|
32
|
+
"""Distribuição final de ``dist`` depois de seguir os renomes em cadeia."""
|
|
33
|
+
vistos = {dist}
|
|
34
|
+
while dist in renomes and renomes[dist] not in vistos:
|
|
35
|
+
dist = renomes[dist]
|
|
36
|
+
vistos.add(dist)
|
|
37
|
+
return dist
|
|
38
|
+
|
|
39
|
+
|
|
40
|
+
def aceita_resolucao(obtida: str, esperada: str) -> bool:
|
|
41
|
+
"""``obtida`` é a distribuição da tabela ou o que ela virou num renome."""
|
|
42
|
+
return obtida == esperada or obtida == segue_renomes(esperada, renomes_conhecidos())
|
|
@@ -345,7 +345,7 @@ def test_catalog_sync_sample_size_zero_nao_envia_amostra(tmp_path: Path) -> None
|
|
|
345
345
|
|
|
346
346
|
|
|
347
347
|
def test_envio_do_catalogo_usa_user_agent_proprio(monkeypatch):
|
|
348
|
-
"""O
|
|
348
|
+
"""O portal recusa o User-Agent padrão do urllib."""
|
|
349
349
|
import json as _json
|
|
350
350
|
|
|
351
351
|
from quantilica.cli import catalog as catalog_mod
|