senado-br-mcp 3.20.1 → 3.21.0

package/dist/dataset/schema.js

@@ -218,11 +218,20 @@ const ideiasSchema = {
         {
             name: "plConvertido",
             type: "string",
-            description: "Proposição gerada pela ideia (ex.: \"SUG 12/2024\"), quando convertida.",
+            description: "Sugestão gerada pela ideia na CDH (ex.: \"SUG 12/2024\"). Apesar do nome histórico, NÃO é o projeto de lei: os projetos estão em `proposicoes`.",
             sourceEndpoint: EP_IDEIAS_DETALHE,
-            sourceField: "página de detalhe: identificação da proposição (SUG/PL nº); desde a 3.20.0, o acontecimento \"Essa ideia gerou a Sugestão nº N, de AAAA\" da linha do tempo",
-            operationalization: "Até a 3.19: regex de identificação de proposição no detalhe. Desde a 3.20.0 (página redesenhada): a Sugestão gerada, \"SUG N/AAAA\"; as proposições em que a ideia virou (pela CDH ou adotada por parlamentar) saem só no detalhe ao vivo (senado_ecidadania_obter_ideia). Leitura sem Sugestão não apaga valor já gravado.",
-            caveat: "Detail-only (v2): null nas ideias ainda não enriquecidas ou não convertidas.",
+            sourceField: "página de detalhe: o acontecimento \"Essa ideia gerou a Sugestão nº N, de AAAA\" da linha do tempo (desde a 3.20.0)",
+            operationalization: "Desde a 3.20.0 (página redesenhada): a Sugestão gerada, \"SUG N/AAAA\". Até a 3.19 um regex de identificação de proposição deixou valores de outro tipo (PL/PEC, alguns com ano impossível); na 3.21.0 esses 11 foram relidos da página e retirados do campo (os projetos foram para `proposicoes`). Leitura sem Sugestão não apaga valor já gravado.",
+            caveat: "Detail-only (v2): null nas ideias sem Sugestão ou ainda não lidas pelo leitor da 3.20.0.",
+        },
+        {
+            name: "proposicoes",
+            type: "object",
+            description: "Proposições em que a ideia foi transformada, pela CDH ou adotada por parlamentar (lista; uma ideia pode ter várias).",
+            sourceEndpoint: EP_IDEIAS_DETALHE,
+            sourceField: "página de detalhe: acontecimentos de transformação da linha do tempo (\"Ideia transformada em …\", adoção por Senador(a)/Deputado(a)) e o link de cada proposição",
+            operationalization: "Copiadas da linha do tempo, na ordem dela; cada item: ordem, data, transformadaPor (Comissão/Senador/Deputado, como publicado), sexo (gênero gramatical do cargo publicado), parlamentar e parlamentarUf (agentes públicos), tipoSigla, tipoNome, numero, ano, complemento, url. [] = página lida sem proposição. Lista guardada com itens não é apagada por leitura vazia.",
+            caveat: "Detail-only (3.21.0): null nas ideias ainda não lidas pelo leitor da 3.21.0 (a cobertura cresce com o backfill diário de detalhe).",
         },
         {
             name: "url",

package/dist/scraper/ecidadania.js

@@ -348,6 +348,8 @@ export function buildIdeiaResumo(fields) {
         autorUf: fields.autorUf ?? null,
         descricao: fields.descricao ?? null,
         plConvertido: fields.plConvertido ?? null,
+        // Só entra quando lida: a chave ausente deixa o payload das linhas antigas byte-idêntico.
+        ...(fields.proposicoes !== undefined ? { proposicoes: fields.proposicoes } : {}),
         status: fields.status || "aberta",
         url: fields.url || `${ECIDADANIA_BASE}/visualizacaoideia?id=${fields.id}`,
     };

package/dist/scraper/ideia-detalhe.js

@@ -327,6 +327,7 @@ export function detalheParaCorpus(d) {
         autorUf: d.autorUf,
         descricao: d.descricao ? d.descricao.substring(0, DESCRICAO_CORPUS_MAX) : null,
         plConvertido: d.sugestao ? `SUG ${d.sugestao.numero}/${d.sugestao.ano}` : null,
+        proposicoes: d.proposicoes,
     };
 }
 /**

package/dist/scraper/mesclar.js

@@ -57,6 +57,22 @@ export function mesclarCampo(lido, guardado) {
         return guardado;
     return null;
 }
+/**
+ * Mesclagem de um campo LISTA em que a lista vazia lida é informação ("a página foi lida e não traz
+ * nenhum"), distinta do campo ausente ("ainda não lida"). Lista com itens lida substitui; senão fica a
+ * guardada com itens; senão `[]` se alguém leu (agora ou antes); senão `undefined` (o campo fica de fora
+ * do payload, e as linhas nunca lidas mantêm o hash de antes). Lista guardada com itens nunca vira `[]`.
+ * `null` lido = não leu (fetch falhou, ou escritor que não lê a página).
+ */
+export function mesclarLista(lido, guardado) {
+    if (Array.isArray(lido) && lido.length > 0)
+        return lido;
+    if (Array.isArray(guardado) && guardado.length > 0)
+        return guardado;
+    if (Array.isArray(lido) || Array.isArray(guardado))
+        return [];
+    return undefined;
+}
 /**
  * Número no formato brasileiro ("1.234.567") ou null quando não há número para ler. Par do
  * `parseBrNum` (que devolve 0 para ausente/lixo e por isso não serve a escritor do corpus: ausência

package/dist/scraper/pipeline.js

@@ -169,7 +169,7 @@ export const ideiasHighlightCfg = {
     metrica: (i) => i.apoios,
     comissao: () => null,
     // Preserves the corpus-authoritative detail fields (dataPublicacao/autorUf/descricao/plConvertido,
-    // v2) so the 2h apoios splice never wipes them; apoios only when the REST item carried it.
+    // v2; proposicoes, 3.21) so the 2h apoios splice never wipes them; apoios only when the REST item carried it.
     splice: (corpus, fresh) => {
         if (!corpus) {
             return fresh.apoios === null ? null : buildIdeiaResumo({ id: fresh.id, titulo: fresh.titulo, apoios: fresh.apoios });
@@ -182,6 +182,7 @@ export const ideiasHighlightCfg = {
             autorUf: corpus.autorUf,
             descricao: corpus.descricao,
             plConvertido: corpus.plConvertido,
+            proposicoes: corpus.proposicoes,
             status: corpus.status,
             url: corpus.url,
         });

package/dist/tools/ecidadania.js

@@ -297,7 +297,7 @@ export function registerECidadaniaTools(server, _baseUrl, env, ctx) {
         }
     });
     // G5. senado_ecidadania_listar_ideias
-    server.tool("senado_ecidadania_listar_ideias", "Lista ideias legislativas propostas por cidadãos no e-Cidadania — **conjunto completo** (corpus persistido em D1; ideias em andamento atualizadas diariamente; ~118 mil ideias, incluindo encerradas e convertidas em proposição). Retorna `{ count, ideias, avisoDatas }`, cada ideia com `id`, `titulo`, `apoios`, `status` (a categoria da listagem do portal em que a ideia aparece: `aberta` = \"Aberta\", \"Na comissão\" ou \"Aguardando envio à CDH\"; `encerrada` = \"Encerrada – sem apoio suficiente\" ou \"Não acatada\" pela CDH; `convertida` = \"Transformada em proposição\"; `removida` = retirada do portal, que não a publica mais — o corpus guarda o último estado conhecido), `url` e os campos lidos do detalhe quando o backfill já passou por ela (`dataPublicacao`, `autorUf`, `descricao`, `plConvertido`; `null` até lá; `autorUf` traz a sigla da UF ou \"Exterior\", como o portal publica, e `null` quando o portal não publica a localidade). **Datas:** `dataPublicacao` é a DATA LIMITE para receber os 20.000 apoios — a única data que o corpus guarda; o nome do campo é histórico — e por isso cai no futuro em ideia aberta; `dataCriacaoEstimada` (= data limite − 120 dias, a regra dos 4 meses do portal) é calculada pelo servidor e é estimativa, não dado da fonte; a data REAL da proposição sai em `senado_ecidadania_obter_ideia` (`dataProposta`); `avisoDatas` repete isso na resposta. Aceita filtro por `status` e `limite` (padrão 20). Para um ranking das mais apoiadas, ordene por apoios (`ordenarPor: \"apoios\"`, `ordem: \"desc\"`). Para o detalhe completo de uma ideia (texto, autor, linha do tempo, Sugestão, decisão da CDH, proposições em que virou) chame `senado_ecidadania_obter_ideia` com o `id`.", {
+    server.tool("senado_ecidadania_listar_ideias", "Lista ideias legislativas propostas por cidadãos no e-Cidadania — **conjunto completo** (corpus persistido em D1; ideias em andamento atualizadas diariamente; ~118 mil ideias, incluindo encerradas e convertidas em proposição). Retorna `{ count, ideias, avisoDatas }`, cada ideia com `id`, `titulo`, `apoios`, `status` (a categoria da listagem do portal em que a ideia aparece: `aberta` = \"Aberta\", \"Na comissão\" ou \"Aguardando envio à CDH\"; `encerrada` = \"Encerrada – sem apoio suficiente\" ou \"Não acatada\" pela CDH; `convertida` = \"Transformada em proposição\"; `removida` = retirada do portal, que não a publica mais — o corpus guarda o último estado conhecido), `url` e os campos lidos do detalhe quando o backfill já passou por ela (`dataPublicacao`, `autorUf`, `descricao`, `plConvertido`; `null` até lá; `autorUf` traz a sigla da UF ou \"Exterior\", como o portal publica, e `null` quando o portal não publica a localidade; `plConvertido`, apesar do nome, é a Sugestão gerada na CDH, \"SUG N/AAAA\", não o projeto de lei). `proposicoes` (desde a 3.21.0, ausente até o backfill ler a ideia; `[]` = lida sem proposição) lista os projetos em que a ideia foi transformada, pela CDH ou adotada por parlamentar: tipo, número, ano, quem transformou, data e link. **Datas:** `dataPublicacao` é a DATA LIMITE para receber os 20.000 apoios — a única data que o corpus guarda; o nome do campo é histórico — e por isso cai no futuro em ideia aberta; `dataCriacaoEstimada` (= data limite − 120 dias, a regra dos 4 meses do portal) é calculada pelo servidor e é estimativa, não dado da fonte; a data REAL da proposição sai em `senado_ecidadania_obter_ideia` (`dataProposta`); `avisoDatas` repete isso na resposta. Aceita filtro por `status` e `limite` (padrão 20). Para um ranking das mais apoiadas, ordene por apoios (`ordenarPor: \"apoios\"`, `ordem: \"desc\"`). Para o detalhe completo de uma ideia (texto, autor, linha do tempo, Sugestão, decisão da CDH, proposições em que virou) chame `senado_ecidadania_obter_ideia` com o `id`.", {
         status: z.enum(["aberta", "encerrada", "convertida", "removida", "todas"]).optional().describe("Filtrar por status (`removida` = retirada do portal)"),
         ordenarPor: z.enum(["apoios", "data", "comentarios"]).optional().describe("Campo para ordenação (apoios é o disponível no corpus; data/comentarios só no detalhe)"),
         ordem: z.enum(["asc", "desc"]).optional().describe("Ordem de ordenação"),

package/dist/utils/untrusted.js

@@ -97,6 +97,23 @@ const OFFICIAL_ARRAY_FIELDS = {
  */
 const CITIZEN_ARRAY_FIELDS = { ideias: ["avisos"] };
 const CITIZEN_OBJECT_ARRAY_FIELDS = { ideias: { linhaDoTempo: ["texto"] } };
+/** Texto oficial dentro das proposições da ideia (nome do parlamentar e do tipo, copiados da página). */
+const OFFICIAL_OBJECT_ARRAY_FIELDS = {
+    ideias: { proposicoes: ["parlamentar", "tipoNome", "complemento"] },
+};
+function applyObjectArray(arr, campos, fn) {
+    if (!Array.isArray(arr))
+        return arr;
+    return arr.map((el) => {
+        if (!el || typeof el !== "object")
+            return el;
+        const copia = { ...el };
+        for (const c of campos)
+            if (c in copia)
+                copia[c] = applyField(copia[c], fn);
+        return copia;
+    });
+}
 /**
  * Retorna uma CÓPIA rasa de `item` com os campos de texto tratados para a entidade dada: campos de
  * cidadão demarcados, campos oficiais sanitizados. Não muta a entrada (o item persistido em
@@ -126,18 +143,12 @@ export function tagUntrustedFields(entidade, item) {
             out[f] = applyStringArray(out[f], neutralizeUntrustedText);
     }
     for (const [f, campos] of Object.entries(CITIZEN_OBJECT_ARRAY_FIELDS[entidade] ?? {})) {
-        const arr = out[f];
-        if (!Array.isArray(arr))
-            continue;
-        out[f] = arr.map((el) => {
-            if (!el || typeof el !== "object")
-                return el;
-            const copia = { ...el };
-            for (const c of campos)
-                if (c in copia)
-                    copia[c] = applyField(copia[c], neutralizeUntrustedText);
-            return copia;
-        });
+        if (f in out)
+            out[f] = applyObjectArray(out[f], campos, neutralizeUntrustedText);
+    }
+    for (const [f, campos] of Object.entries(OFFICIAL_OBJECT_ARRAY_FIELDS[entidade] ?? {})) {
+        if (f in out)
+            out[f] = applyObjectArray(out[f], campos, sanitizeScrapedText);
     }
     return out;
 }

package/dist/version.js

@@ -1,3 +1,3 @@
 /** Single source of truth for the server version (kept in sync with package.json). */
-export const VERSION = "3.20.1";
+export const VERSION = "3.21.0";
 export const USER_AGENT = `senado-br-mcp/${VERSION} (+https://senado.sidneybissoli.com; sbissoli76@gmail.com)`;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "senado-br-mcp",
-  "version": "3.20.1",
+  "version": "3.21.0",
   "description": "MCP server for Brazilian Senate open data — runs hosted on Cloudflare Workers or locally via npx (stdio)",
   "keywords": [
     "mcp",