omnisus 0.2.0__tar.gz

omnisus-0.2.0/.gitignore

@@ -0,0 +1,41 @@
+__pycache__/
+__marimo__/
+*.py[cod]
+*.so
+.venv/
+.uv/
+.pytest_cache/
+.ruff_cache/
+.mypy_cache/
+htmlcov/
+.coverage
+coverage.xml
+dist/
+build/
+native/**/target/
+native/**/fuzz/artifacts/
+native/**/fuzz/corpus/
+*.whl
+*.egg-info/
+.DS_Store
+.idea/
+.vscode/
+
+# DuckLake / DuckDB local artifacts
+*.ducklake
+*.ducklake-catalog.sqlite
+*.duckdb
+/data/
+
+# Notebook results (tables and citations)
+/resultados/
+
+# Fixtures cached
+tests/.cache/
+
+# Docs build
+site/
+
+# Tool scratch directories
+.hypothesis/
+.playwright-mcp/

omnisus-0.2.0/CHANGELOG.md

@@ -0,0 +1,105 @@
+# Changelog
+
+## v0.2.0 — 2026-10-01
+
+### Rust decoder by default
+
+- `omnisus` depends on `omnisus-dbf` 0.2.0, now on PyPI, on Linux x86_64, macOS
+  (arm64, x86_64) and Windows x86_64 (#38). The `auto` backend then reads DBF and
+  decompresses DBC in Rust; other platforms keep the Python decoders, and no install
+  needs a Rust toolchain. `OMNISUS_DBF_BACKEND=python` and `OMNISUS_DBC_BACKEND=python`
+  still select Python. The `--find-links` install is gone.
+- A `dbf-v*` tag publishes `omnisus-dbf` to PyPI after the full native matrix passes
+  (#37).
+
+### On PyPI
+
+- `omnisus` is published to PyPI: `pip install omnisus`. The Colab notebook and the
+  PEP 723 header of every marimo notebook install `omnisus==0.2.0` from PyPI instead
+  of a git commit.
+
+### Import alias (breaking for copied code)
+
+- Docs, notebooks and examples use `import omnisus as sus` instead of `odb` (#21).
+  Only the alias in examples changed; the API names are the same.
+
+### SIH dictionaries
+
+- RD: `regct` gets the `REGCT.CNV` map, conflicts between the CNVs and the older
+  map are resolved in favour of the CNV (#5); `tpdisec1`–`tpdisec9` get
+  `TP_DIAGSEC.CNV` (#14); `diagsec1`–`diagsec9` link to `aux_cid10` (#22).
+- RD and RJ: `nacional`, `contracep1`, `contracep2` and RJ `st_mot_blo` get the
+  TAB_SIH maps (#20).
+- `sih_aih_reduzida_1992_2007` gets the maps of `TAB_SIH_199201-199712.zip`, checked
+  against the three packages of the era (#23, #36).
+- Each identical CNV is stored once, and the evidence of the three RD eras is
+  generated instead of written by hand (#36).
+
+### Dictionary versions
+
+- `src/omnisus/data/dicionarios/versoes.json` locks each dictionary's `x-version`
+  to its content; a changed dictionary needs a higher version (#35).
+- A publication's `parser_version` hashes only what the import reads from the
+  dictionary, so editing a label or a claim no longer forces `replace` on scopes
+  already imported (#19).
+
+### Docs and notebooks
+
+- README and site for researchers, Colab notebook, generated dataset arguments (#4);
+  notebooks use only the public API (#16); leaner `AGENTS.md` (#15).
+
+## v0.1.0 — 2026-09-25
+
+First release of `omnisus` in this repository. It continues the `omnisus-db` package
+(last release v0.3.2, in the repository's earlier history, which is not carried over).
+The sections below say what the package does and what changed since `omnisus-db` v0.3.2.
+
+### What the package does
+
+- Imports DATASUS FTP datasets (SIM and its subsets, SINASC, SIH, SIA, CNES, SINAN
+  Chagas, hanseníase and tuberculose), IBGE population editions, CNES establishment
+  names, SIGTAP and Hórus stock into a DuckLake lake. [Datasets](docs/datasets.md) lists
+  every registry row.
+- Records each imported scope as a publication with its server files and their
+  SHA-256; `odb.cite` turns a snapshot into a citation.
+- `odb.load`, `odb.label` and `odb.check_columns` cover an analysis from download to
+  labelled rows. Labels come from dictionaries whose claims cite official documents
+  registered with URL and SHA-256.
+- Decodes DBC and DBF in Python, or in Rust with the optional `omnisus-dbf` package.
+
+### Renamed: `omnisus-db` is now `omnisus` (breaking)
+
+- Distribution, import and CLI are `omnisus`: `import omnisus as odb`,
+  `omnisus import ...`. The native package is `omnisus-dbf` (import `omnisus_dbf`),
+  in `native/omnisus-dbf`. No `omnisus_db` alias is kept.
+- The inventory cache moves from `<cache>/omnisus-db/inventory` to
+  `<cache>/omnisus/inventory`; the old one is only a cache and is rebuilt.
+- Citations say "Importado com omnisus <versão>".
+- Environment variables (`OMNISUS_*`) and lake tables (`_omnisus_*`) keep their
+  names: existing lakes open unchanged.
+
+### Removed since `omnisus-db` v0.3.2
+
+- **`cnes_profissionais` (CNES `PF`).** The file names each professional with CPF and
+  CNS and answers no clinical question. Its registry row, dictionary, DEF and fixture
+  are gone.
+- **`omnisus.transforms.cns`.** It deciphered the patient CNS of SIA files and had no
+  public consumer.
+- `Lake.vacuum` and `omnisus lake vacuum`, already deprecated: use `cleanup_files` /
+  `lake cleanup-files`. Also the uncalled `import_st_scope` and
+  `lake.schema.canonical_type`/`ddl_for_field`.
+- Runtime dependencies nothing imported: `pandera`, `obstore`, `pydantic`,
+  `pydantic-settings`, `tomli-w`; `moto` and `pyfakefs` from `dev`. `frictionless`
+  is now a `dev` dependency.
+- Tutorials 01–05 (they repeated the per-base notebooks), the exploration and
+  development notebooks, and the 2026-09-10 audit snapshot pages (`catalogo.md`,
+  `campos.csv`, `cobertura.csv`, `fontes/registro.json`) with their generator.
+
+### Changed
+
+- Notebooks live in `notebooks/`, one per base plus `linkage.py`, and pin
+  `marimo>=0.25.0,<0.26` like the `notebooks` extra.
+- Evidence cited by dictionaries, tests and docs lives in `evidence/`.
+- URLs point to `github.com/raphaelfh/omnisus` and `raphaelfh.github.io/omnisus`.
+- Docs match the code: `skip_same` skips without downloading, `not_listed` versus
+  `fetch_failed`, a second writer fails at once with `WriterBusyError`.

omnisus-0.2.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 Raphael Federicci
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

omnisus-0.2.0/PKG-INFO

@@ -0,0 +1,169 @@
+Metadata-Version: 2.5
+Name: omnisus
+Version: 0.2.0
+Summary: Python library for ingesting Brazilian public health databases into DuckLake
+Project-URL: Homepage, https://github.com/raphaelfh/omnisus
+Project-URL: Documentation, https://raphaelfh.github.io/omnisus
+Project-URL: Repository, https://github.com/raphaelfh/omnisus
+Author-email: Raphael Federicci <rfh.federicci@gmail.com>
+License: MIT
+License-File: LICENSE
+Keywords: brazil,datasus,duckdb,ducklake,epidemiology,health,polars
+Classifier: Development Status :: 3 - Alpha
+Classifier: Intended Audience :: Science/Research
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Programming Language :: Python :: 3.14
+Classifier: Topic :: Scientific/Engineering :: Bio-Informatics
+Requires-Python: >=3.12
+Requires-Dist: dbfread2<2.0,>=0.1.0
+Requires-Dist: duckdb<2.0,>=1.5.5
+Requires-Dist: httpx>=0.28.1
+Requires-Dist: omnisus-dbf>=0.2.0; (sys_platform == 'linux' and platform_machine == 'x86_64') or sys_platform == 'darwin' or (sys_platform == 'win32' and platform_machine == 'AMD64')
+Requires-Dist: polars<2.0,>=1.44.2
+Requires-Dist: pyarrow>=25.0.1
+Requires-Dist: pyyaml>=6.0.3
+Requires-Dist: rich>=13.8.0
+Requires-Dist: structlog>=26.1.0
+Requires-Dist: typer>=0.27.2
+Requires-Dist: tzdata>=2026.3; sys_platform == 'win32'
+Provides-Extra: dev
+Requires-Dist: frictionless>=5.19.0; extra == 'dev'
+Requires-Dist: hypothesis>=6.168.0; extra == 'dev'
+Requires-Dist: marimo<0.26,>=0.25.0; extra == 'dev'
+Requires-Dist: mypy>=2.3.1; extra == 'dev'
+Requires-Dist: pre-commit>=4.6.2; extra == 'dev'
+Requires-Dist: pytest-asyncio>=1.4.0; extra == 'dev'
+Requires-Dist: pytest-benchmark>=5.3.0; extra == 'dev'
+Requires-Dist: pytest-cov>=7.1.0; extra == 'dev'
+Requires-Dist: pytest-xdist>=3.8.0; extra == 'dev'
+Requires-Dist: pytest>=9.1.1; extra == 'dev'
+Requires-Dist: respx>=0.23.1; extra == 'dev'
+Requires-Dist: ruff>=0.16.6; extra == 'dev'
+Requires-Dist: sqlglot>=30.18.0; extra == 'dev'
+Requires-Dist: types-pyyaml>=6.0.12.20260906; extra == 'dev'
+Provides-Extra: docs
+Requires-Dist: mkdocs-material>=9.7.7; extra == 'docs'
+Requires-Dist: mkdocs<2.0,>=1.6.1; extra == 'docs'
+Requires-Dist: mkdocstrings[python]>=1.0.6; extra == 'docs'
+Provides-Extra: notebooks
+Requires-Dist: marimo<0.26,>=0.25.0; extra == 'notebooks'
+Requires-Dist: sqlglot>=30.18.0; extra == 'notebooks'
+Provides-Extra: postgres
+Requires-Dist: psycopg[binary]>=3.3.5; extra == 'postgres'
+Description-Content-Type: text/markdown
+
+# omnisus
+
+Importa bases públicas de saúde do Brasil (DATASUS, IBGE, CNES) para um lake
+[DuckLake](https://ducklake.select), no seu computador, no Google Drive ou na nuvem, com
+a procedência necessária para citar cada resultado.
+
+*Brazilian public health data (DATASUS, IBGE, CNES) in a DuckLake lake (on your computer, on Google
+Drive or in the cloud), with the provenance needed to cite it. Documentation: <https://raphaelfh.github.io/omnisus/>.*
+
+> [!WARNING]
+> **Trabalho em construção.** A API ainda pode mudar entre versões menores, e
+> nem todo dicionário foi conferido contra o documento oficial. Antes de publicar um
+> número, confira as contagens, as colunas e os rótulos (veja
+> [Confira antes de usar](#confira-antes-de-usar)). Um rótulo errado é um bug:
+> [abra uma issue](https://github.com/raphaelfh/omnisus/issues/new/choose).
+
+## Instalação
+
+Python 3.12 ou mais novo:
+
+```bash
+pip install omnisus
+```
+
+Em Linux x86_64, macOS (arm64/x86_64) e Windows x86_64 isso instala também o
+decodificador Rust `omnisus-dbf`. Nas demais plataformas, o Python
+decodifica os mesmos arquivos.
+
+## Início rápido
+
+Sem instalar nada:
+
+[![Abrir no Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/raphaelfh/omnisus/blob/main/notebooks/colab.ipynb)
+[![Open in molab](https://molab.marimo.io/molab-shield.svg)](https://molab.marimo.io/github/raphaelfh/omnisus/blob/main/notebooks/sim_obitos.py)
+
+O Colab baixa os óbitos de Roraima em 2023, põe rótulos, confere as colunas e imprime a
+citação, com o lake opcionalmente no seu Google Drive. O molab abre os notebooks marimo
+de cada base. Outros caminhos (marimo no seu computador, Jupyter) estão em
+[Comece aqui](https://raphaelfh.github.io/omnisus/pesquisa/).
+
+Em Python:
+
+```python
+import omnisus as sus
+
+dados = sus.load("sim_obitos", years=[2023], ufs=["RR"])             # baixa e devolve as linhas
+dados = sus.label("sim_obitos", dados, columns=["sexo", "racacor"])  # + sexo_rotulo, racacor_rotulo
+sus.check_columns("sim_obitos", dados)                               # vazios, códigos sem rótulo, datas
+```
+
+O lake fica em `data/raw/` no diretório de trabalho, e um segundo `load` do mesmo
+recorte não baixa nada. Toda função documenta seus parâmetros com um exemplo:
+`help(sus.load)`.
+
+Para ir além:
+
+- [Guia do pesquisador](https://raphaelfh.github.io/omnisus/pesquisa/): qual base
+  responde a cada pergunta, o que um registro representa e como citar.
+- [Notebooks](https://github.com/raphaelfh/omnisus/blob/main/notebooks/README.md): um por base, com as mesmas seis etapas, que abrem no
+  navegador pelo molab.
+- [Getting Started](https://raphaelfh.github.io/omnisus/guides/getting-started/):
+  onde fica o lake, Colab, linha de comando e lakes na nuvem.
+- [Bases e argumentos](https://raphaelfh.github.io/omnisus/datasets/): cada base, com o
+  que passar em `years`, `ufs` e `months` e quais colunas têm rótulo. É gerada do
+  código a cada versão, como a [API](https://raphaelfh.github.io/omnisus/api/);
+  `help(sus.load)` mostra o mesmo na versão instalada.
+
+## Confira antes de usar
+
+- **Contagens.** Compare o total de linhas com o que o DATASUS publica (TabNet, painéis
+  oficiais) antes de analisar. `sus.check_columns` mostra, por coluna, a proporção de
+  vazios, os códigos que o dicionário não conhece e as datas mínima e máxima.
+- **Rótulos.** Um código que o dicionário não conhece fica sem rótulo (`None`); ele nunca
+  é adivinhado. Cada mapa de códigos diz se foi conferido no documento oficial:
+
+  ```python
+  campo = next(f for f in sus.describe_dataset("sim_obitos")["fields"]
+               if f["field"]["name"] == "sexo")
+  [(c["status"], c["evidence"]) for c in campo["claims"] if c["target"] == "/field/codes"]
+  # status: verified_in_source, conflicting ou unreviewed; evidence: documento e página
+  ```
+
+  Só use um rótulo `unreviewed` ou `conflicting` depois de conferir o documento você
+  mesmo.
+- **Escopo das regras.** Idade em anos, sexo e datas harmonizados só aparecem para os
+  arquivos cujo SHA-256 foi auditado (`describe_dataset(...)["analytics"]`); os outros
+  saem como publicados.
+
+## De onde vêm os dados e os rótulos
+
+| O que | Onde |
+| --- | --- |
+| Arquivo de origem de cada linha importada | `reader.publications()` e `sus.cite(reader)` num `sus.LakeReader()`: caminho no servidor, SHA-256, `snapshot_id` |
+| Diretório do FTP de cada base | [Bases e argumentos](https://raphaelfh.github.io/omnisus/datasets/) |
+| Dicionários (de-para de códigos, descrições, tipos) | [`src/omnisus/data/dicionarios/<base>.yaml`](https://github.com/raphaelfh/omnisus/tree/main/src/omnisus/data/dicionarios), campo `x-decode` |
+| Documentos oficiais citados (PDF, TabWin), com URL e SHA-256 | [`src/omnisus/data/dicionarios/sources/registry.json`](https://github.com/raphaelfh/omnisus/blob/main/src/omnisus/data/dicionarios/sources/registry.json) |
+| Tabelas CNV do TabWin de onde saem muitos rótulos | [`src/omnisus/data/dicionarios/sources/cnv/`](https://github.com/raphaelfh/omnisus/tree/main/src/omnisus/data/dicionarios/sources/cnv) |
+| Auditorias que sustentam as regras (contagens, hashes, reprodução) | [`evidence/`](https://github.com/raphaelfh/omnisus/tree/main/evidence) |
+
+O [dicionário de dados](https://raphaelfh.github.io/omnisus/dicionario/) explica como
+ler esses arquivos e como conferir um rótulo.
+
+## Como contribuir
+
+Leia o [CONTRIBUTING.md](https://github.com/raphaelfh/omnisus/blob/main/CONTRIBUTING.md). Em resumo: todo fato no código ou na
+documentação vem do servidor do DATASUS ou de um arquivo com SHA-256 registrado, todo
+teste roda sobre trechos de arquivos reais, e o repositório é público. Um rótulo
+errado, uma base que falta ou uma contagem que não bate com o DATASUS são boas
+primeiras issues.
+
+## Licença
+
+[MIT](https://github.com/raphaelfh/omnisus/blob/main/LICENSE).

omnisus-0.2.0/README.md

@@ -0,0 +1,113 @@
+# omnisus
+
+Importa bases públicas de saúde do Brasil (DATASUS, IBGE, CNES) para um lake
+[DuckLake](https://ducklake.select), no seu computador, no Google Drive ou na nuvem, com
+a procedência necessária para citar cada resultado.
+
+*Brazilian public health data (DATASUS, IBGE, CNES) in a DuckLake lake (on your computer, on Google
+Drive or in the cloud), with the provenance needed to cite it. Documentation: <https://raphaelfh.github.io/omnisus/>.*
+
+> [!WARNING]
+> **Trabalho em construção.** A API ainda pode mudar entre versões menores, e
+> nem todo dicionário foi conferido contra o documento oficial. Antes de publicar um
+> número, confira as contagens, as colunas e os rótulos (veja
+> [Confira antes de usar](#confira-antes-de-usar)). Um rótulo errado é um bug:
+> [abra uma issue](https://github.com/raphaelfh/omnisus/issues/new/choose).
+
+## Instalação
+
+Python 3.12 ou mais novo:
+
+```bash
+pip install omnisus
+```
+
+Em Linux x86_64, macOS (arm64/x86_64) e Windows x86_64 isso instala também o
+decodificador Rust `omnisus-dbf`. Nas demais plataformas, o Python
+decodifica os mesmos arquivos.
+
+## Início rápido
+
+Sem instalar nada:
+
+[![Abrir no Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/raphaelfh/omnisus/blob/main/notebooks/colab.ipynb)
+[![Open in molab](https://molab.marimo.io/molab-shield.svg)](https://molab.marimo.io/github/raphaelfh/omnisus/blob/main/notebooks/sim_obitos.py)
+
+O Colab baixa os óbitos de Roraima em 2023, põe rótulos, confere as colunas e imprime a
+citação, com o lake opcionalmente no seu Google Drive. O molab abre os notebooks marimo
+de cada base. Outros caminhos (marimo no seu computador, Jupyter) estão em
+[Comece aqui](https://raphaelfh.github.io/omnisus/pesquisa/).
+
+Em Python:
+
+```python
+import omnisus as sus
+
+dados = sus.load("sim_obitos", years=[2023], ufs=["RR"])             # baixa e devolve as linhas
+dados = sus.label("sim_obitos", dados, columns=["sexo", "racacor"])  # + sexo_rotulo, racacor_rotulo
+sus.check_columns("sim_obitos", dados)                               # vazios, códigos sem rótulo, datas
+```
+
+O lake fica em `data/raw/` no diretório de trabalho, e um segundo `load` do mesmo
+recorte não baixa nada. Toda função documenta seus parâmetros com um exemplo:
+`help(sus.load)`.
+
+Para ir além:
+
+- [Guia do pesquisador](https://raphaelfh.github.io/omnisus/pesquisa/): qual base
+  responde a cada pergunta, o que um registro representa e como citar.
+- [Notebooks](https://github.com/raphaelfh/omnisus/blob/main/notebooks/README.md): um por base, com as mesmas seis etapas, que abrem no
+  navegador pelo molab.
+- [Getting Started](https://raphaelfh.github.io/omnisus/guides/getting-started/):
+  onde fica o lake, Colab, linha de comando e lakes na nuvem.
+- [Bases e argumentos](https://raphaelfh.github.io/omnisus/datasets/): cada base, com o
+  que passar em `years`, `ufs` e `months` e quais colunas têm rótulo. É gerada do
+  código a cada versão, como a [API](https://raphaelfh.github.io/omnisus/api/);
+  `help(sus.load)` mostra o mesmo na versão instalada.
+
+## Confira antes de usar
+
+- **Contagens.** Compare o total de linhas com o que o DATASUS publica (TabNet, painéis
+  oficiais) antes de analisar. `sus.check_columns` mostra, por coluna, a proporção de
+  vazios, os códigos que o dicionário não conhece e as datas mínima e máxima.
+- **Rótulos.** Um código que o dicionário não conhece fica sem rótulo (`None`); ele nunca
+  é adivinhado. Cada mapa de códigos diz se foi conferido no documento oficial:
+
+  ```python
+  campo = next(f for f in sus.describe_dataset("sim_obitos")["fields"]
+               if f["field"]["name"] == "sexo")
+  [(c["status"], c["evidence"]) for c in campo["claims"] if c["target"] == "/field/codes"]
+  # status: verified_in_source, conflicting ou unreviewed; evidence: documento e página
+  ```
+
+  Só use um rótulo `unreviewed` ou `conflicting` depois de conferir o documento você
+  mesmo.
+- **Escopo das regras.** Idade em anos, sexo e datas harmonizados só aparecem para os
+  arquivos cujo SHA-256 foi auditado (`describe_dataset(...)["analytics"]`); os outros
+  saem como publicados.
+
+## De onde vêm os dados e os rótulos
+
+| O que | Onde |
+| --- | --- |
+| Arquivo de origem de cada linha importada | `reader.publications()` e `sus.cite(reader)` num `sus.LakeReader()`: caminho no servidor, SHA-256, `snapshot_id` |
+| Diretório do FTP de cada base | [Bases e argumentos](https://raphaelfh.github.io/omnisus/datasets/) |
+| Dicionários (de-para de códigos, descrições, tipos) | [`src/omnisus/data/dicionarios/<base>.yaml`](https://github.com/raphaelfh/omnisus/tree/main/src/omnisus/data/dicionarios), campo `x-decode` |
+| Documentos oficiais citados (PDF, TabWin), com URL e SHA-256 | [`src/omnisus/data/dicionarios/sources/registry.json`](https://github.com/raphaelfh/omnisus/blob/main/src/omnisus/data/dicionarios/sources/registry.json) |
+| Tabelas CNV do TabWin de onde saem muitos rótulos | [`src/omnisus/data/dicionarios/sources/cnv/`](https://github.com/raphaelfh/omnisus/tree/main/src/omnisus/data/dicionarios/sources/cnv) |
+| Auditorias que sustentam as regras (contagens, hashes, reprodução) | [`evidence/`](https://github.com/raphaelfh/omnisus/tree/main/evidence) |
+
+O [dicionário de dados](https://raphaelfh.github.io/omnisus/dicionario/) explica como
+ler esses arquivos e como conferir um rótulo.
+
+## Como contribuir
+
+Leia o [CONTRIBUTING.md](https://github.com/raphaelfh/omnisus/blob/main/CONTRIBUTING.md). Em resumo: todo fato no código ou na
+documentação vem do servidor do DATASUS ou de um arquivo com SHA-256 registrado, todo
+teste roda sobre trechos de arquivos reais, e o repositório é público. Um rótulo
+errado, uma base que falta ou uma contagem que não bate com o DATASUS são boas
+primeiras issues.
+
+## Licença
+
+[MIT](https://github.com/raphaelfh/omnisus/blob/main/LICENSE).

omnisus-0.2.0/pyproject.toml

@@ -0,0 +1,137 @@
+[project]
+name = "omnisus"
+dynamic = ["version"]
+description = "Python library for ingesting Brazilian public health databases into DuckLake"
+requires-python = ">=3.12"
+license = { text = "MIT" }
+authors = [{ name = "Raphael Federicci", email = "rfh.federicci@gmail.com" }]
+readme = "README.md"
+keywords = ["datasus", "duckdb", "ducklake", "polars", "brazil", "health", "epidemiology"]
+classifiers = [
+    "Development Status :: 3 - Alpha",
+    "Intended Audience :: Science/Research",
+    "License :: OSI Approved :: MIT License",
+    "Programming Language :: Python :: 3.12",
+    "Programming Language :: Python :: 3.13",
+    "Programming Language :: Python :: 3.14",
+    "Topic :: Scientific/Engineering :: Bio-Informatics",
+]
+dependencies = [
+    "duckdb>=1.5.5,<2.0",
+    "polars>=1.44.2,<2.0",
+    "pyarrow>=25.0.1",
+    "dbfread2>=0.1.0,<2.0",
+    "typer>=0.27.2",
+    "rich>=13.8.0",
+    "structlog>=26.1.0",
+    "httpx>=0.28.1",
+    "pyyaml>=6.0.3",
+    # Windows has no system time-zone database; pyarrow needs it to convert the
+    # TIMESTAMPTZ columns that expire_snapshots and cleanup_files return.
+    "tzdata>=2026.3; sys_platform == 'win32'",
+    # Rust DBF reader and DBC decompressor, on the platforms with a published
+    # wheel; elsewhere the Python decoders run (ADR 0001).
+    "omnisus-dbf>=0.2.0; (sys_platform == 'linux' and platform_machine == 'x86_64') or sys_platform == 'darwin' or (sys_platform == 'win32' and platform_machine == 'AMD64')",
+]
+
+[project.optional-dependencies]
+postgres = [
+    "psycopg[binary]>=3.3.5",
+]
+dev = [
+    "pytest>=9.1.1",
+    "pytest-asyncio>=1.4.0",
+    "pytest-benchmark>=5.3.0",
+    "pytest-cov>=7.1.0",
+    "pytest-xdist>=3.8.0",
+    "hypothesis>=6.168.0",
+    "respx>=0.23.1",
+    # Validates every packaged dictionary (tests/unit/transforms/test_frictionless_schemas.py).
+    "frictionless>=5.19.0",
+    "ruff>=0.16.6",
+    "mypy>=2.3.1",
+    "types-PyYAML>=6.0.12.20260906",
+    "pre-commit>=4.6.2",
+    # The notebook tests import marimo; keep one pin, in the notebooks extra.
+    "omnisus[notebooks]",
+]
+docs = [
+    "mkdocs>=1.6.1,<2.0",
+    "mkdocs-material>=9.7.7",
+    "mkdocstrings[python]>=1.0.6",
+]
+notebooks = [
+    "marimo>=0.25.0,<0.26",
+    # marimo parses mo.sql cells with sqlglot; no library code imports it.
+    "sqlglot>=30.18.0",
+]
+
+[project.scripts]
+omnisus = "omnisus.cli.main:app"
+
+[project.urls]
+Homepage = "https://github.com/raphaelfh/omnisus"
+Documentation = "https://raphaelfh.github.io/omnisus"
+Repository = "https://github.com/raphaelfh/omnisus"
+
+[build-system]
+requires = ["hatchling>=1.32.0,<2.0"]
+build-backend = "hatchling.build"
+
+[tool.hatch.version]
+# The version has one home: _version.py.
+path = "src/omnisus/_version.py"
+
+# Without this list hatch packs the whole checkout (evidence, notebooks,
+# fixtures) into the sdist.
+[tool.hatch.build.targets.sdist]
+only-include = ["src/omnisus", "README.md", "CHANGELOG.md", "LICENSE"]
+
+[tool.hatch.build.targets.wheel]
+packages = ["src/omnisus"]
+
+[tool.hatch.build.targets.wheel.force-include]
+"src/omnisus/data/auxiliares-bootstrap.zip" = "omnisus/data/auxiliares-bootstrap.zip"
+
+[tool.ruff]
+target-version = "py312"
+line-length = 99
+src = ["src", "tests"]
+
+[tool.ruff.lint]
+select = ["E", "F", "I", "N", "W", "UP", "B", "SIM", "RUF", "ASYNC"]
+ignore = ["E501"]
+
+[tool.ruff.lint.flake8-bugbear]
+extend-immutable-calls = ["typer.Argument", "typer.Option"]
+
+[tool.ruff.lint.per-file-ignores]
+# marimo displays final expressions and injects imported classes as cell arguments.
+"notebooks/**/*.py" = ["B018", "N803", "N806"]
+# Archived evidence scripts import the package under its old name, omnisus_db,
+# which isort no longer knows as first-party. They stay byte-for-byte as recorded.
+"evidence/**/*.py" = ["I001"]
+
+[tool.ruff.format]
+quote-style = "double"
+# Ruff 0.16 includes Markdown by default. Keep the existing Python-only
+# formatting scope; historical design documents contain illustrative snippets.
+exclude = ["*.md"]
+
+[tool.pytest.ini_options]
+testpaths = ["tests"]
+pythonpath = ["src"]
+python_files = ["test_*.py", "bench_*.py"]
+asyncio_mode = "auto"
+markers = [
+    "rust_dbf: requires the optional native DBF extension",
+    "integration: tests that hit external resources or real lake",
+    "e2e: full-stack end-to-end tests (slow, manual/cron)",
+    "perf: performance benchmarks",
+]
+addopts = "-ra --strict-markers"
+
+[tool.mypy]
+python_version = "3.12"
+strict = false
+ignore_missing_imports = true