agrobr 0.1.0__tar.gz

agrobr-0.1.0/.github/workflows/health_check.yml

@@ -0,0 +1,38 @@
+name: Daily Health Check
+
+on:
+  schedule:
+    - cron: '0 12 * * *'
+    - cron: '0 0 * * *'
+  workflow_dispatch:
+
+jobs:
+  health:
+    runs-on: ubuntu-latest
+    timeout-minutes: 15
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Setup Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: '3.11'
+          cache: 'pip'
+
+      - name: Install dependencies
+        run: |
+          pip install -e ".[dev]"
+
+      - name: Run health checks
+        id: health
+        run: |
+          python scripts/fetch_structures.py --output health_report.json
+          echo "report_path=health_report.json" >> $GITHUB_OUTPUT
+
+      - name: Upload report
+        uses: actions/upload-artifact@v4
+        with:
+          name: health-report-${{ github.run_number }}
+          path: health_report.json
+          retention-days: 30

agrobr-0.1.0/.github/workflows/publish.yml

@@ -0,0 +1,127 @@
+name: Publish to PyPI
+
+on:
+  release:
+    types: [published]
+  workflow_dispatch:
+    inputs:
+      test_pypi:
+        description: 'Publish to Test PyPI instead'
+        required: false
+        default: 'false'
+        type: boolean
+
+jobs:
+  build:
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Setup Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: '3.11'
+
+      - name: Install build tools
+        run: |
+          python -m pip install --upgrade pip
+          pip install build twine
+
+      - name: Build package
+        run: python -m build
+
+      - name: Check package
+        run: twine check dist/*
+
+      - name: Upload artifacts
+        uses: actions/upload-artifact@v4
+        with:
+          name: dist
+          path: dist/
+
+  test:
+    needs: build
+    runs-on: ubuntu-latest
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Setup Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: '3.11'
+
+      - name: Download artifacts
+        uses: actions/download-artifact@v4
+        with:
+          name: dist
+          path: dist/
+
+      - name: Install package from wheel
+        run: |
+          pip install dist/*.whl
+
+      - name: Test import
+        run: |
+          python -c "import agrobr; print(f'agrobr version: {agrobr.__version__}')"
+          python -c "from agrobr import cepea, conab, ibge; print('All modules imported successfully')"
+
+      - name: Test CLI
+        run: |
+          agrobr --help
+          agrobr cepea --help
+          agrobr conab --help
+          agrobr ibge --help
+
+  publish-test-pypi:
+    needs: [build, test]
+    runs-on: ubuntu-latest
+    if: github.event.inputs.test_pypi == 'true'
+    environment: test-pypi
+    permissions:
+      id-token: write
+    steps:
+      - name: Download artifacts
+        uses: actions/download-artifact@v4
+        with:
+          name: dist
+          path: dist/
+
+      - name: Publish to Test PyPI
+        uses: pypa/gh-action-pypi-publish@release/v1
+        with:
+          repository-url: https://test.pypi.org/legacy/
+
+  publish-pypi:
+    needs: [build, test]
+    runs-on: ubuntu-latest
+    if: github.event_name == 'release' && github.event.inputs.test_pypi != 'true'
+    environment: pypi
+    permissions:
+      id-token: write
+    steps:
+      - name: Download artifacts
+        uses: actions/download-artifact@v4
+        with:
+          name: dist
+          path: dist/
+
+      - name: Publish to PyPI
+        uses: pypa/gh-action-pypi-publish@release/v1
+
+  github-release:
+    needs: publish-pypi
+    runs-on: ubuntu-latest
+    if: github.event_name == 'release'
+    permissions:
+      contents: write
+    steps:
+      - name: Download artifacts
+        uses: actions/download-artifact@v4
+        with:
+          name: dist
+          path: dist/
+
+      - name: Upload release assets
+        uses: softprops/action-gh-release@v1
+        with:
+          files: dist/*

agrobr-0.1.0/.github/workflows/structure_monitor.yml

@@ -0,0 +1,41 @@
+name: Structure Monitor
+
+on:
+  schedule:
+    - cron: '0 */6 * * *'
+  workflow_dispatch:
+
+jobs:
+  monitor:
+    runs-on: ubuntu-latest
+    timeout-minutes: 10
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Setup Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: '3.11'
+          cache: 'pip'
+
+      - name: Install dependencies
+        run: pip install -e ".[dev]"
+
+      - name: Fetch current structures
+        run: |
+          python scripts/fetch_structures.py --output current_structures.json
+
+      - name: Compare with baseline
+        id: compare
+        run: |
+          python scripts/compare_structures.py \
+            --baseline .structures/baseline.json \
+            --current current_structures.json \
+            --threshold 0.85 \
+            --output diff_report.json || echo "drift_detected=true" >> $GITHUB_OUTPUT
+
+      - name: Alert on drift
+        if: steps.compare.outputs.drift_detected == 'true'
+        run: |
+          python scripts/alert_structure_change.py diff_report.json

agrobr-0.1.0/.github/workflows/tests.yml

@@ -0,0 +1,46 @@
+name: Tests
+
+on:
+  push:
+    branches: [main, develop]
+  pull_request:
+    branches: [main]
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        python-version: ["3.11", "3.12"]
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - name: Setup Python ${{ matrix.python-version }}
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ matrix.python-version }}
+          cache: "pip"
+
+      - name: Install dependencies
+        run: |
+          pip install -e ".[dev]"
+
+      - name: Run linting
+        run: |
+          ruff check agrobr/ tests/
+          ruff format --check agrobr/ tests/
+
+      - name: Run type checking
+        run: |
+          mypy agrobr/
+
+      - name: Run tests
+        run: |
+          pytest tests/ -v --cov=agrobr --cov-report=xml --cov-report=term-missing
+
+      - name: Upload coverage
+        uses: codecov/codecov-action@v4
+        with:
+          files: ./coverage.xml
+          fail_ci_if_error: false

agrobr-0.1.0/.gitignore

@@ -0,0 +1,2 @@
+nul
+agrobr_v3.txt

agrobr-0.1.0/.pre-commit-config.yaml

@@ -0,0 +1,29 @@
+repos:
+  - repo: https://github.com/pre-commit/pre-commit-hooks
+    rev: v4.5.0
+    hooks:
+      - id: trailing-whitespace
+      - id: end-of-file-fixer
+      - id: check-yaml
+      - id: check-added-large-files
+      - id: check-merge-conflict
+      - id: debug-statements
+
+  - repo: https://github.com/astral-sh/ruff-pre-commit
+    rev: v0.1.6
+    hooks:
+      - id: ruff
+        args: [--fix, --exit-non-zero-on-fix]
+      - id: ruff-format
+
+  - repo: https://github.com/pre-commit/mirrors-mypy
+    rev: v1.7.1
+    hooks:
+      - id: mypy
+        additional_dependencies:
+          - pydantic>=2.5.0
+          - pydantic-settings>=2.1.0
+          - httpx>=0.25.0
+          - pandas-stubs>=2.0.0
+          - types-beautifulsoup4>=4.12.0
+        args: [--ignore-missing-imports]

agrobr-0.1.0/.structures/baseline.json

@@ -0,0 +1,35 @@
+{
+  "collected_at": "2026-02-04T01:02:57.512333Z",
+  "sources": {
+    "cepea": {
+      "source": "cepea",
+      "url": "soja",
+      "collected_at": "2026-02-04T01:02:57.512224",
+      "table_classes": [
+        [
+          "indicador"
+        ]
+      ],
+      "key_ids": [
+        "tblIndicador"
+      ],
+      "structure_hash": "d702ed66de78",
+      "table_headers": [
+        [
+          "Data",
+          "Valor (R$/sc 60kg)",
+          "Varia\u00e7\u00e3o (%)"
+        ]
+      ],
+      "element_counts": {
+        "tables": 1,
+        "forms": 0,
+        "divs_with_id": 1,
+        "inputs": 0,
+        "selects": 0,
+        "links": 0,
+        "scripts": 0
+      }
+    }
+  }
+}

agrobr-0.1.0/CHANGELOG.md

@@ -0,0 +1,60 @@
+# Changelog
+
+Todas as mudanças notáveis neste projeto serão documentadas neste arquivo.
+
+O formato é baseado em [Keep a Changelog](https://keepachangelog.com/pt-BR/1.0.0/),
+e este projeto adere ao [Versionamento Semântico](https://semver.org/lang/pt-BR/).
+
+## [Unreleased]
+
+### Added
+- Suporte inicial para IBGE (PAM e LSPA)
+- Golden data tests para CONAB
+
+## [0.1.0] - 2026-02-04
+
+### Added
+- **CEPEA**: Indicadores de preços agrícolas (soja, milho, boi, café, algodão, trigo)
+  - Fallback automático para Notícias Agrícolas quando CEPEA bloqueado
+  - Acumulação progressiva de histórico no DuckDB
+- **CONAB**: Dados de safras e balanço oferta/demanda
+  - Parser para planilhas XLSX do boletim de safras
+  - Suporte a todos os produtos principais (soja, milho, arroz, feijão, etc.)
+- **IBGE**: Integração com API SIDRA
+  - PAM (Produção Agrícola Municipal) - dados anuais
+  - LSPA (Levantamento Sistemático) - estimativas mensais
+- **Cache**: Sistema de cache com DuckDB
+  - Separação entre cache volátil e histórico permanente
+  - TTL configurável por fonte
+  - Acumulação progressiva de dados
+- **HTTP**: Cliente robusto com resiliência
+  - Retry com exponential backoff
+  - Rate limiting por fonte
+  - User-agent rotativo
+  - Fallback para Playwright quando necessário
+- **CLI**: Interface de linha de comando completa
+  - Comandos para CEPEA, CONAB e IBGE
+  - Exportação em CSV, JSON e Parquet
+- **Validação**: Sistema de validação multinível
+  - Pydantic v2 para validação de tipos
+  - Validação estatística (sanity checks)
+  - Fingerprinting de layout para detecção de mudanças
+- **Monitoramento**: Health checks e alertas
+  - Health check por fonte
+  - Alertas multi-canal (Slack, Discord, Email)
+  - Monitoramento de estrutura (6h)
+- **Suporte Polars**: Todas as APIs suportam `as_polars=True`
+- **Testes**: 96 testes passando (~80% cobertura)
+- **CI/CD**: GitHub Actions configurados
+  - Testes automatizados
+  - Health check diário
+  - Monitoramento de estrutura
+
+### Technical Details
+- Python 3.11+ required
+- Async-first design com sync wrapper
+- Type hints completos
+- Logging estruturado com structlog
+
+[Unreleased]: https://github.com/bruno-portfolio/agrobr/compare/v0.1.0...HEAD
+[0.1.0]: https://github.com/bruno-portfolio/agrobr/releases/tag/v0.1.0

agrobr-0.1.0/CODE_OF_CONDUCT.md

@@ -0,0 +1,41 @@
+# Código de Conduta
+
+## Nosso Compromisso
+
+No interesse de promover um ambiente aberto e acolhedor, nós, como contribuidores e mantenedores, nos comprometemos a fazer da participação em nosso projeto e em nossa comunidade uma experiência livre de assédio para todos, independentemente de idade, tamanho corporal, deficiência, etnia, características sexuais, identidade e expressão de gênero, nível de experiência, educação, status socioeconômico, nacionalidade, aparência pessoal, raça, religião ou identidade e orientação sexual.
+
+## Nossos Padrões
+
+Exemplos de comportamento que contribuem para criar um ambiente positivo incluem:
+
+* Usar linguagem acolhedora e inclusiva
+* Respeitar pontos de vista e experiências diferentes
+* Aceitar críticas construtivas com elegância
+* Focar no que é melhor para a comunidade
+* Mostrar empatia com outros membros da comunidade
+
+Exemplos de comportamento inaceitável incluem:
+
+* Uso de linguagem ou imagens sexualizadas e atenção ou avanços sexuais indesejados
+* Comentários insultuosos/depreciativos e ataques pessoais ou políticos
+* Assédio público ou privado
+* Publicar informações privadas de outros sem permissão explícita
+* Outras condutas que poderiam ser consideradas inadequadas em um ambiente profissional
+
+## Nossas Responsabilidades
+
+Os mantenedores do projeto são responsáveis por esclarecer os padrões de comportamento aceitável e devem tomar ações corretivas apropriadas e justas em resposta a quaisquer instâncias de comportamento inaceitável.
+
+Os mantenedores do projeto têm o direito e a responsabilidade de remover, editar ou rejeitar comentários, commits, código, edições de wiki, issues e outras contribuições que não estejam alinhadas a este Código de Conduta, ou banir temporariamente ou permanentemente qualquer contribuidor por outros comportamentos que considerem inadequados, ameaçadores, ofensivos ou prejudiciais.
+
+## Escopo
+
+Este Código de Conduta se aplica tanto em espaços do projeto quanto em espaços públicos quando um indivíduo está representando o projeto ou sua comunidade. Exemplos de representação do projeto incluem usar um endereço de e-mail oficial do projeto, postar através de uma conta oficial de mídia social, ou atuar como representante designado em um evento online ou offline.
+
+## Aplicação
+
+Instâncias de comportamento abusivo, de assédio ou de outra forma inaceitável podem ser reportadas entrando em contato com a equipe do projeto. Todas as reclamações serão revisadas e investigadas e resultarão em uma resposta que é considerada necessária e apropriada às circunstâncias. A equipe do projeto é obrigada a manter confidencialidade em relação ao relator de um incidente.
+
+## Atribuição
+
+Este Código de Conduta é adaptado do [Contributor Covenant](https://www.contributor-covenant.org), versão 1.4, disponível em https://www.contributor-covenant.org/pt-br/version/1/4/code-of-conduct.html

agrobr-0.1.0/CONTRIBUTING.md

@@ -0,0 +1,167 @@
+# Contribuindo para o agrobr
+
+Obrigado pelo interesse em contribuir com o agrobr! Este documento fornece diretrizes para contribuições.
+
+## Como Contribuir
+
+### Reportando Bugs
+
+1. Verifique se o bug já não foi reportado nas [Issues](https://github.com/bruno-portfolio/agrobr/issues)
+2. Se não encontrar, abra uma nova issue com:
+   - Título descritivo
+   - Passos para reproduzir
+   - Comportamento esperado vs atual
+   - Versão do Python e do agrobr
+   - Sistema operacional
+
+### Sugerindo Melhorias
+
+1. Abra uma issue descrevendo a melhoria
+2. Explique o caso de uso
+3. Discuta a implementação antes de começar
+
+### Pull Requests
+
+1. Fork o repositório
+2. Crie uma branch para sua feature: `git checkout -b feature/nova-feature`
+3. Faça commits com mensagens claras
+4. Escreva testes para novas funcionalidades
+5. Certifique-se que todos os testes passam
+6. Abra um Pull Request
+
+## Setup de Desenvolvimento
+
+```bash
+# Clone o repositório
+git clone https://github.com/bruno-portfolio/agrobr.git
+cd agrobr
+
+# Crie ambiente virtual
+python -m venv .venv
+source .venv/bin/activate  # Linux/Mac
+# ou
+.venv\Scripts\activate  # Windows
+
+# Instale dependências de desenvolvimento
+pip install -e ".[all]"
+
+# Instale Playwright (necessário para alguns scrapers)
+playwright install chromium
+
+# Instale pre-commit hooks
+pre-commit install
+```
+
+## Rodando Testes
+
+```bash
+# Todos os testes
+pytest
+
+# Com cobertura
+pytest --cov=agrobr --cov-report=html
+
+# Apenas testes rápidos (sem network)
+pytest -m "not slow"
+
+# Testes de integração
+pytest -m integration
+```
+
+## Padrões de Código
+
+### Style Guide
+
+- Seguimos o [Google Python Style Guide](https://google.github.io/styleguide/pyguide.html)
+- Formatação com `black` (line-length=100)
+- Linting com `ruff`
+- Type hints obrigatórios (verificados com `mypy --strict`)
+
+### Commits
+
+- Use mensagens em português ou inglês
+- Seja descritivo no que foi alterado
+- Referencie issues quando aplicável: `Fix #123`
+
+### Docstrings
+
+```python
+def funcao(param1: str, param2: int) -> bool:
+    """
+    Descrição curta da função.
+
+    Descrição mais detalhada se necessário.
+
+    Args:
+        param1: Descrição do primeiro parâmetro
+        param2: Descrição do segundo parâmetro
+
+    Returns:
+        Descrição do retorno
+
+    Raises:
+        ValueError: Quando param2 é negativo
+    """
+    pass
+```
+
+### Testes
+
+- Um arquivo de teste por módulo: `tests/test_<modulo>/test_<arquivo>.py`
+- Nomes descritivos: `test_<funcionalidade>_<cenario>`
+- Use fixtures do pytest quando apropriado
+- Mocke chamadas HTTP em testes unitários
+
+## Estrutura do Projeto
+
+```
+agrobr/
+├── agrobr/
+│   ├── cepea/          # Módulo CEPEA
+│   ├── conab/          # Módulo CONAB
+│   ├── ibge/           # Módulo IBGE
+│   ├── cache/          # Sistema de cache DuckDB
+│   ├── http/           # Cliente HTTP, retry, rate limiting
+│   ├── normalize/      # Normalização de dados
+│   ├── validators/     # Validação de dados
+│   ├── health/         # Health checks
+│   ├── alerts/         # Sistema de alertas
+│   └── telemetry/      # Telemetria opt-in
+├── tests/              # Testes
+├── scripts/            # Scripts utilitários
+├── docs/               # Documentação
+└── examples/           # Exemplos de uso
+```
+
+## Adicionando Nova Fonte de Dados
+
+1. Crie diretório: `agrobr/<fonte>/`
+2. Implemente:
+   - `client.py`: Cliente HTTP async
+   - `parsers/v1.py`: Parser com can_parse() e parse()
+   - `parsers/fingerprint.py`: Extração de fingerprint
+   - `api.py`: Funções públicas async
+   - `models.py` (se necessário): Modelos Pydantic específicos
+3. Adicione à CLI: `cli.py`
+4. Adicione constantes: `constants.py`
+5. Escreva testes
+6. Crie golden data
+7. Documente
+
+## Criando Novo Parser
+
+Quando o layout de uma fonte muda:
+
+1. Crie `parsers/v{N+1}.py` baseado no anterior
+2. Atualize `valid_until` do parser antigo
+3. Atualize `expected_fingerprint` do novo
+4. Adicione golden data com HTML novo
+5. Verifique que testes antigos continuam passando
+6. **Nunca delete parsers antigos** (dados históricos podem precisar)
+
+## Dúvidas?
+
+- Abra uma issue com a tag `question`
+- Ou entre em contato via [email/discord/etc]
+
+Obrigado por contribuir!

agrobr-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2024-2026 Bruno
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.