quantilica-cli 0.21.2__tar.gz → 0.21.3__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (46) hide show
  1. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/CHANGELOG.md +6 -0
  2. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/PKG-INFO +1 -1
  3. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/pyproject.toml +1 -1
  4. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/catalog.py +46 -5
  5. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_catalog_cli.py +68 -0
  6. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.githooks/pre-commit +0 -0
  7. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.githooks/pre-push +0 -0
  8. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.github/workflows/public-hygiene.yml +0 -0
  9. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.github/workflows/publish.yml +0 -0
  10. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.github/workflows/test.yml +0 -0
  11. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/.gitignore +0 -0
  12. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/LICENSE +0 -0
  13. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/README.md +0 -0
  14. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/__init__.py +0 -0
  15. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/cli.py +0 -0
  16. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/docs.py +0 -0
  17. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/health.py +0 -0
  18. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/lake.py +0 -0
  19. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/manifests.py +0 -0
  20. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/registry.py +0 -0
  21. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/sdk.py +0 -0
  22. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/sources.py +0 -0
  23. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/cli/ui.py +0 -0
  24. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/src/quantilica/py.typed +0 -0
  25. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/__init__.py +0 -0
  26. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/conftest.py +0 -0
  27. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/lake_build_fakes.py +0 -0
  28. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/lake_fixtures.py +0 -0
  29. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_catalog_registro.py +0 -0
  30. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_catalog_sigla.py +0 -0
  31. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_cli_apelidos.py +0 -0
  32. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_docs_cli.py +0 -0
  33. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_health.py +0 -0
  34. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_lake_cli.py +0 -0
  35. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_manifests.py +0 -0
  36. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_package_hygiene.py +0 -0
  37. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_registry_cli.py +0 -0
  38. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk.py +0 -0
  39. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk_backfill.py +0 -0
  40. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk_force_probe.py +0 -0
  41. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk_mes_string.py +0 -0
  42. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk_onda_a2.py +0 -0
  43. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sdk_sync_exit.py +0 -0
  44. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sources.py +0 -0
  45. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_sources_registro.py +0 -0
  46. {quantilica_cli-0.21.2 → quantilica_cli-0.21.3}/tests/test_ui.py +0 -0
@@ -7,6 +7,12 @@ e este projeto adere ao [Semantic Versioning](https://semver.org/lang/pt-BR/).
7
7
 
8
8
  ## [Não lançado]
9
9
 
10
+ ## [0.21.3] - 2026-11-13
11
+
12
+ ### Corrigido
13
+
14
+ - `quantilica catalog sync` deixa fora do catálogo, com aviso, a coluna cujo nome o portal recusa (vazio, acima de 128 caracteres ou com caractere de controle) e tira o NUL dos valores da amostra (o jsonb não o aceita). No lake de 13/11/2026 eram 23 colunas de 20 datasets da ANP, ANAC e INEP, convertidas com delimitador ou codificação errados.
15
+
10
16
  ## [0.21.2] - 2026-11-13
11
17
 
12
18
  ### Corrigido
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.5
2
2
  Name: quantilica-cli
3
- Version: 0.21.2
3
+ Version: 0.21.3
4
4
  Summary: Unified CLI for Quantilica open data fetchers
5
5
  Author-email: "Komesu, D.K." <daniel@dkko.me>
6
6
  License-Expression: MIT
@@ -1,6 +1,6 @@
1
1
  [project]
2
2
  name = "quantilica-cli"
3
- version = "0.21.2"
3
+ version = "0.21.3"
4
4
  description = "Unified CLI for Quantilica open data fetchers"
5
5
  readme = "README.md"
6
6
  authors = [{ name = "Komesu, D.K.", email = "daniel@dkko.me" }]
@@ -34,13 +34,32 @@ console = Console()
34
34
  err_console = Console(stderr=True)
35
35
 
36
36
 
37
+ # Tamanho de catalog.column.nome no portal.
38
+ NOME_COLUNA_MAX = 128
39
+ _CONTROLE = re.compile(r"[\x00-\x1f\x7f]")
40
+
41
+
42
+ def _motivo_nome_invalido(nome: str) -> str | None:
43
+ """Por que o portal recusaria este nome de coluna (``None`` se aceita)."""
44
+ if not nome.strip():
45
+ return "sem nome"
46
+ if _CONTROLE.search(nome):
47
+ return "caractere de controle"
48
+ if len(nome.strip()) > NOME_COLUNA_MAX:
49
+ return f"mais de {NOME_COLUNA_MAX} caracteres"
50
+ return None
51
+
52
+
37
53
  def _sanitize_value(val: Any) -> Any:
38
54
  """Converte valores Python/Arrow em tipos primitivos compatíveis com JSON."""
39
55
  if val is None:
40
56
  return None
41
57
  if isinstance(val, bool):
42
58
  return val
43
- if isinstance(val, (int, float, str)):
59
+ if isinstance(val, str):
60
+ # O jsonb do Postgres não aceita \u0000.
61
+ return val.replace("\x00", "")
62
+ if isinstance(val, (int, float)):
44
63
  return val
45
64
  if isinstance(val, decimal.Decimal):
46
65
  return float(val)
@@ -48,11 +67,11 @@ def _sanitize_value(val: Any) -> Any:
48
67
  return val.isoformat()
49
68
  if isinstance(val, bytes):
50
69
  try:
51
- return val.decode("utf-8")
70
+ return val.decode("utf-8").replace("\x00", "")
52
71
  except UnicodeDecodeError:
53
72
  return val.hex()
54
73
  if isinstance(val, dict):
55
- return {str(k): _sanitize_value(v) for k, v in val.items()}
74
+ return {str(k).replace("\x00", ""): _sanitize_value(v) for k, v in val.items()}
56
75
  if isinstance(val, (list, tuple, set)):
57
76
  return [_sanitize_value(x) for x in val]
58
77
  if hasattr(val, "as_py"):
@@ -280,9 +299,31 @@ def _extract_dataset_metadata(
280
299
 
281
300
  pf = pq.ParquetFile(first_parquet)
282
301
  schema = pf.schema_arrow
283
- schema_arrow_json = {f.name: str(f.type) for f in schema}
302
+ # Nome de coluna que o portal não aceita (vazio, acima de 128 caracteres
303
+ # ou com caractere de controle) fica fora do catálogo, do esquema e da
304
+ # amostra, com aviso. No lake de 13/11/2026: cabeçalho com delimitador
305
+ # sobrando no fim (nome vazio), CSV lido com o delimitador errado (o
306
+ # cabeçalho inteiro vira um nome) e UTF-16 lido como latin-1 (NUL).
307
+ invalidos: dict[str, str] = {}
308
+ for f in schema:
309
+ motivo = _motivo_nome_invalido(f.name)
310
+ if motivo:
311
+ invalidos[f.name] = motivo
312
+ if invalidos:
313
+ logger.warning(
314
+ "%s: %d coluna(s) fora do catálogo por nome inválido (%s); "
315
+ "reveja a conversão do dataset.",
316
+ full_id,
317
+ len(invalidos),
318
+ ", ".join(sorted(set(invalidos.values()))),
319
+ )
320
+ schema_arrow_json = {
321
+ f.name: str(f.type) for f in schema if f.name not in invalidos
322
+ }
284
323
 
285
324
  for field in schema:
325
+ if field.name in invalidos:
326
+ continue
286
327
  if field.name not in partition_keys:
287
328
  columns.append(
288
329
  {
@@ -304,7 +345,7 @@ def _extract_dataset_metadata(
304
345
  table = table.slice(0, sample_size)
305
346
  # Serialização segura para JSON
306
347
  pydict = table.to_pydict()
307
- keys = list(pydict.keys())
348
+ keys = [k for k in pydict if k not in invalidos]
308
349
  for idx in range(table.num_rows):
309
350
  row: dict[str, Any] = {}
310
351
  for k in keys:
@@ -431,3 +431,71 @@ def test_sync_envia_em_lotes_e_soma_as_respostas(monkeypatch):
431
431
  total = catalog_mod._somar_respostas(respostas)
432
432
  assert total["counts"]["datasets"] == 9
433
433
  assert total["lotes"] == len(lotes)
434
+
435
+
436
+ def test_coluna_sem_nome_fica_fora_do_catalogo(tmp_path: Path) -> None:
437
+ """Parquet com coluna de nome vazio (CSV com ';' sobrando) não quebra o sync."""
438
+ import pyarrow as pa
439
+ import pyarrow.parquet as pq
440
+
441
+ from quantilica.cli.catalog import extract_catalog_payload
442
+
443
+ dataset_dir = tmp_path / "anp" / "multas"
444
+ dataset_dir.mkdir(parents=True)
445
+ (dataset_dir / "_dataset.json").write_text(
446
+ json.dumps({"source_id": "anp", "dataset_id": "multas"}), encoding="utf-8"
447
+ )
448
+ tbl = pa.table({"auto": ["123"], "": [None]})
449
+ pq.write_table(tbl, dataset_dir / "part.parquet")
450
+
451
+ payload = extract_catalog_payload(tmp_path, sample_size=5)
452
+ nomes = [c["nome"] for c in payload["columns"]]
453
+ assert nomes == ["auto"]
454
+ amostra = payload["samples"][0]
455
+ assert all(k for linha in amostra["linhas_amostra"] for k in linha)
456
+ assert "" not in amostra["schema_arrow_json"]
457
+
458
+
459
+ def test_coluna_com_nome_longo_fica_fora_do_catalogo(tmp_path: Path) -> None:
460
+ """Cabeçalho inteiro virando nome de coluna (delimitador errado) não quebra o sync."""
461
+ import pyarrow as pa
462
+ import pyarrow.parquet as pq
463
+
464
+ from quantilica.cli.catalog import NOME_COLUNA_MAX, extract_catalog_payload
465
+
466
+ dataset_dir = tmp_path / "anp" / "producao-mar"
467
+ dataset_dir.mkdir(parents=True)
468
+ (dataset_dir / "_dataset.json").write_text(
469
+ json.dumps({"source_id": "anp", "dataset_id": "producao-mar"}), encoding="utf-8"
470
+ )
471
+ longo = ",".join(f"campo_{i}" for i in range(40))
472
+ assert len(longo) > NOME_COLUNA_MAX
473
+ pq.write_table(
474
+ pa.table({"ano": ["2026"], longo: ["a,b"]}), dataset_dir / "p.parquet"
475
+ )
476
+
477
+ payload = extract_catalog_payload(tmp_path, sample_size=5)
478
+ assert [c["nome"] for c in payload["columns"]] == ["ano"]
479
+ assert len(payload["datasets"]) == 1
480
+
481
+
482
+ def test_nul_em_nome_e_amostra_nao_chega_ao_portal(tmp_path: Path) -> None:
483
+ """UTF-16 lido como latin-1 deixa NUL nos nomes e valores; o Postgres recusa."""
484
+ import pyarrow as pa
485
+ import pyarrow.parquet as pq
486
+
487
+ from quantilica.cli.catalog import extract_catalog_payload
488
+
489
+ dataset_dir = tmp_path / "anp" / "comercializacao-gn"
490
+ dataset_dir.mkdir(parents=True)
491
+ (dataset_dir / "_dataset.json").write_text(
492
+ json.dumps({"source_id": "anp", "dataset_id": "comercializacao-gn"}),
493
+ encoding="utf-8",
494
+ )
495
+ tbl = pa.table({"\x00A\x00n\x00o\x00": ["1"], "uf": ["S\x00P"]})
496
+ pq.write_table(tbl, dataset_dir / "p.parquet")
497
+
498
+ payload = extract_catalog_payload(tmp_path, sample_size=5)
499
+ assert [c["nome"] for c in payload["columns"]] == ["uf"]
500
+ assert "\x00" not in json.dumps(payload["samples"]).replace("\\u0000", "\x00")
501
+ assert payload["samples"][0]["linhas_amostra"] == [{"uf": "SP"}]
File without changes