mega-brain-ai 1.1.0

package/system/protocols/pipeline/PROMPT-1.1-CHUNKING.md

@@ -0,0 +1,154 @@
+# PROMPT 1.1 — Vector Memory Index (Chunking + Indexação Base + Source Metadata)
+
+> **Versão:** 2.1.0
+> **Pipeline:** Jarvis → Etapa 1.1
+> **Output:** `/processing/chunks/CHUNKS-STATE.json`
+
+---
+
+## ⛔ CHECKPOINT OBRIGATÓRIO (executar ANTES de processar)
+
+```
+VALIDAR ANTES DE EXECUTAR:
+[ ] CP-1.1.A: Arquivo de transcrição existe
+[ ] CP-1.1.B: Arquivo tem conteúdo (> 100 caracteres)
+[ ] CP-1.1.C: Fonte identificável (pessoa/empresa)
+
+Se CP-1.1.A ou CP-1.1.B falhar: ⛔ PARAR e reportar erro
+Se CP-1.1.C falhar: ⚠️ WARN - usar "UNKNOWN" como fonte
+```
+
+Ver: `/system/protocols/SYSTEM/CHECKPOINT-ENFORCEMENT.md`
+
+---
+
+## PROMPT OPERACIONAL
+
+```
+Você é um processador de "chunks semânticos" incremental e source-aware.
+Recebe dois inputs:
+
+INPUT A) JSON de chunks_previos (pode estar vazio na primeira rodada)
+
+Formato:
+
+{
+  "chunks": [
+    {
+      "id_chunk": "chunk_1",
+      "texto": "…",
+      "pessoas": ["Nome A", "Nome B"],
+      "temas": ["tema X", "tema Y"],
+      "meta": {
+        "source_type": "call|whatsapp|slack|course|lecture|doc|other",
+        "source_id": "id_unico_da_fonte",
+        "source_title": "titulo amigavel",
+        "source_path": "ex: Curso X > Modulo 2 > Aula 7 (opcional)",
+        "source_datetime": "YYYY-MM-DDTHH:MM:SSZ (se houver)",
+        "scope": "company|personal|course",
+        "corpus": "nome_do_corpus (ex: [sua-empresa]_company | owner_personal | cursos)"
+      }
+    }
+  ]
+}
+
+INPUT B) Nova transcrição completa (texto íntegro) + cabeçalho de metadados
+
+Você deve receber o texto assim:
+
+[METADATA]
+source_type: call|whatsapp|slack|course|lecture|doc|other
+source_id: <id_unico>
+source_title: <titulo>
+source_path: <opcional: curso/modulo/aula ou canal/thread>
+source_datetime: <opcional: ISO>
+scope: company|personal|course
+corpus: <ex: [sua-empresa]_company | owner_personal | cursos>
+[/METADATA]
+
+[TRANSCRIPT]
+...texto completo aqui...
+[/TRANSCRIPT]
+```
+
+---
+
+## TAREFA (obrigatório)
+
+1. **Carregue e parseie** chunks_previos.
+2. **Leia TODO o texto** da nova transcrição (não omita nada).
+3. **Quebre** a nova transcrição em chunks autoconsistentes de até ~300 palavras (ou ~1.000 tokens).
+4. **Para cada chunk novo, gere:**
+   - `id_chunk`: "chunk_N" sequencial (continuação dos anteriores).
+   - `texto`: conteúdo completo do chunk.
+   - `pessoas`: lista de nomes próprios encontrados.
+   - `temas`: categorias iniciais detectadas (ex.: "financeiro", "marketing", "pessoal", etc.).
+   - `meta`: copie exatamente os metadados do cabeçalho para cada chunk, incluindo scope e corpus.
+
+5. **Mescle** chunks_previos + chunks_novos:
+   - Elimine duplicados (mesmo id_chunk ou mesmo texto idêntico).
+   - Unifique arrays de pessoas e temas (sem repetição).
+
+6. **Regras de separação** (NÃO misturar conhecimento):
+   - Você NÃO deve criar temas ou associações que cruzem scope/corpus diferentes.
+   - O chunk deve herdar e manter o scope/corpus da fonte.
+   - (Ex.: um curso "Copywriting" em scope=course não pode "vazar" para decisões internas do scope=company.)
+
+---
+
+## OUTPUT (formato único)
+
+Retorne um JSON com chave única "chunks" contendo o array unificado pronto para indexação:
+
+```json
+{
+  "chunks": [
+    {
+      "id_chunk": "chunk_1",
+      "texto": "...",
+      "pessoas": ["..."],
+      "temas": ["..."],
+      "meta": {
+        "source_type": "...",
+        "source_id": "...",
+        "source_title": "...",
+        "source_path": "...",
+        "source_datetime": "...",
+        "scope": "...",
+        "corpus": "..."
+      }
+    }
+  ]
+}
+```
+
+---
+
+## SALVAMENTO
+
+1. Carregar estado anterior: `/processing/chunks/CHUNKS-STATE.json`
+2. Processar nova transcrição
+3. Salvar estado atualizado no mesmo arquivo
+
+---
+
+## ✓ CHECKPOINT APÓS EXECUÇÃO (OBRIGATÓRIO)
+
+```
+VALIDAR APÓS EXECUTAR:
+[ ] CP-POST-2.A: count(new_chunks) > 0
+[ ] CP-POST-2.B: Cada chunk tem id_chunk único
+[ ] CP-POST-2.C: CHUNKS-STATE.json foi salvo com sucesso
+
+Se CP-POST-2.A falhar: ⛔ EXIT("Phase 2 não produziu chunks")
+Se CP-POST-2.B falhar: ⛔ EXIT("Chunks com IDs duplicados")
+Se CP-POST-2.C falhar: ⛔ EXIT("Falha ao salvar CHUNKS-STATE.json")
+```
+
+**BLOQUEANTE:** Não prosseguir para Etapa 1.2 se qualquer checkpoint falhar.
+
+---
+
+## PRÓXIMA ETAPA
+
+Output alimenta **Prompt 1.2: Entity Resolution** para canonicalização de entidades.

package/system/protocols/pipeline/PROMPT-1.2-ENTITY-RESOLUTION.md

@@ -0,0 +1,186 @@
+# PROMPT 1.2 — Entity Resolution (Canonicalização)
+
+> **Versão:** 2.1.0
+> **Pipeline:** Jarvis → Etapa 1.2
+> **Output:** `/processing/canonical/CANONICAL-MAP.json` + chunks atualizados
+
+---
+
+## ⛔ CHECKPOINT OBRIGATÓRIO (executar ANTES de processar)
+
+```
+VALIDAR ANTES DE EXECUTAR:
+[ ] CP-1.2.A: CHUNKS-STATE.json existe em /processing/chunks/
+[ ] CP-1.2.B: chunks[] tem elementos (não vazio)
+[ ] CP-1.2.C: Cada chunk tem id_chunk único
+
+Se CP-1.2.A ou CP-1.2.B falhar: ⛔ PARAR - "Execute Etapa 1.1 primeiro"
+Se CP-1.2.C falhar: ⛔ PARAR - "Chunks com IDs duplicados detectados"
+```
+
+Ver: `/system/protocols/SYSTEM/CHECKPOINT-ENFORCEMENT.md`
+
+---
+
+## PROMPT OPERACIONAL
+
+```
+Você é um módulo de Entity Resolution incremental e source-aware, especializado em unificar variações de pessoas, produtos, áreas, projetos e temas presentes em chunks.
+
+Objetivo:
+- Consolidar "Leandro" e "Leandro Resende" como uma entidade canônica.
+- Consolidar "Nomad" e "Nomad Milionário" como um único item canônico.
+- Detectar alias, abreviações, erros de digitação e consolidar automaticamente.
+```
+
+---
+
+## INPUTS (sempre 2 após a primeira rodada)
+
+### INPUT A) Estado anterior de canonicalização
+
+Arquivo: `/processing/canonical/CANONICAL-MAP.json`
+
+```json
+{
+  "canonical_state": {
+    "canonical_map": {
+      "Entidade Canônica": [
+        { "alias": "Variação 1", "confidence": 0.0 },
+        { "alias": "Variação 2", "confidence": 0.0 }
+      ]
+    },
+    "rules": {
+      "threshold_merge": 0.85
+    },
+    "version": "v1"
+  }
+}
+```
+
+### INPUT B) Chunks atuais (output do Prompt 1.1)
+
+```json
+{
+  "chunks": [
+    {
+      "id_chunk": "chunk_1",
+      "texto": "...",
+      "pessoas": ["..."],
+      "temas": ["..."],
+      "meta": { "scope": "...", "corpus": "...", "...": "..." }
+    }
+  ]
+}
+```
+
+---
+
+## WORKFLOW
+
+### 1. Carregar estado anterior
+- Use `canonical_state.canonical_map` como memória de aliases.
+- Você pode expandir e corrigir o map conforme encontrar novas variações.
+
+### 2. Fuzzy Matching + Similaridade
+
+Para cada termo em `pessoas` e `temas`, gere candidatos de merge usando:
+- Similaridade textual (ex.: Levenshtein)
+- Similaridade semântica (embeddings / proximidade)
+
+**Se qualquer métrica ≥ 0.85, marque como candidato forte.**
+
+### 3. Clusterização
+
+Agrupe variações em clusters. Nome canônico preferencial:
+1. Forma mais longa/explícita
+2. Se empate, a mais frequente
+3. Se ainda empatar, a mais recente no corpus
+
+### 4. Substituição
+
+- Substitua em TODOS os chunks cada alias pelo canônico.
+- Remova duplicatas após substituição.
+
+### 5. Regras de separação (CRÍTICO)
+
+- **NUNCA** mescle entidades de scope/corpus diferentes a menos que haja evidência forte de ser a mesma pessoa real e isso seja desejado.
+- Por padrão: canonicalização ocorre **dentro do mesmo corpus**.
+- Se houver possível colisão (ex.: "Bruno" em pessoal e "Bruno" em empresa), mantenha separados e registre "collision".
+
+### 6. Auditoria
+
+Gere:
+- `canonical_map` atualizado com confidence
+- `review_queue` para casos < 0.85
+- `collisions` (nomes iguais em corpora distintos)
+
+---
+
+## OUTPUT (pronto para alimentar o Prompt 2.1)
+
+```json
+{
+  "chunks": [ /* mesma estrutura, mas com pessoas/temas canonicalizados */ ],
+  "canonical_state": {
+    "canonical_map": { /* atualizado */ },
+    "rules": { "threshold_merge": 0.85 },
+    "version": "vN"
+  },
+  "review_queue": [
+    {
+      "candidate_a": "string",
+      "candidate_b": "string",
+      "confidence": 0.0,
+      "reason": "por que ficou abaixo do threshold",
+      "scope": "company|personal|course",
+      "corpus": "..."
+    }
+  ],
+  "collisions": [
+    {
+      "label": "termo_igual_em_corpora_diferentes",
+      "term": "string",
+      "seen_in": ["corpusA", "corpusB"],
+      "recommendation": "keep_separate|merge_manual"
+    }
+  ]
+}
+```
+
+---
+
+## REGRAS CRÍTICAS
+
+- **Preserve 100% do texto bruto.**
+- **Garanta que nenhuma variação óbvia fique sem tentativa de canonicalização.**
+
+---
+
+## SALVAMENTO
+
+1. Atualizar: `/processing/canonical/CANONICAL-MAP.json`
+2. Atualizar: `/processing/chunks/CHUNKS-STATE.json` (com entidades canonicalizadas)
+
+---
+
+## ✓ CHECKPOINT APÓS EXECUÇÃO (OBRIGATÓRIO)
+
+```
+VALIDAR APÓS EXECUTAR:
+[ ] CP-POST-3.A: SOURCE_PERSON está em CANONICAL-MAP.json
+[ ] CP-POST-3.B: canonical_map.entities.persons não vazio
+[ ] CP-POST-3.C: CANONICAL-MAP.json foi salvo com sucesso
+
+Se CP-POST-3.A falhar: ⚠️ WARN("Pessoa principal não canonicalizada - verificar")
+Se CP-POST-3.B falhar: ⚠️ WARN("Sem entidades canônicas criadas")
+Se CP-POST-3.C falhar: ⛔ EXIT("Falha ao salvar CANONICAL-MAP.json")
+```
+
+**BLOQUEANTE (apenas C):** Não prosseguir para Etapa 2.1 se salvamento falhar.
+
+---
+
+## PRÓXIMA ETAPA
+
+Output alimenta **Prompt 2.1: Contextual Insight Extraction**.

package/system/protocols/pipeline/PROMPT-2.1-DNA-TAGS-INCREMENT.md

@@ -0,0 +1,208 @@
+# PROMPT 2.1 — DNA Tags Increment
+# Incremento para adicionar classificacao de camadas DNA durante extracao de insights
+
+> **Versao:** 1.0.0
+> **Aplica-se a:** PROMPT-2.1-INSIGHT-EXTRACTION.md
+> **Proposito:** Adicionar tags de classificacao para facilitar extracao de DNA
+
+---
+
+## OBJETIVO
+
+Durante a extracao de insights (Phase 2.1), adicionar campo `tag` que pre-classifica
+o insight em uma das 5 camadas do DNA Cognitivo:
+
+```
+[FILOSOFIA]        → Crenca fundamental, principio
+[MODELO-MENTAL]    → Lente de analise, forma de ver
+[HEURISTICA]       → Regra com threshold numerico
+[FRAMEWORK]        → Estrutura nomeada com componentes
+[METODOLOGIA]      → Processo passo-a-passo
+```
+
+---
+
+## REGRAS DE CLASSIFICACAO
+
+### [FILOSOFIA]
+```
+IDENTIFICA QUANDO:
+• Declaracao de crenca ou valor
+• Frase "Eu acredito que...", "A verdade e que..."
+• Principio sem numero ou threshold
+• Aparece em contextos diversos (generaliza)
+
+EXEMPLOS:
+• "Volume is vanity, profit is sanity"
+• "Competence over experience"
+• "If in doubt, fire them"
+```
+
+### [MODELO-MENTAL]
+```
+IDENTIFICA QUANDO:
+• Pergunta que muda como voce VE algo
+• Forma de estruturar analise
+• "Pense assim...", "A forma de ver isso e..."
+• Gera INSIGHT, nao ACAO direta
+
+EXEMPLOS:
+• "Always ask: what would make this fail?"
+• "Think of hiring like farming, not hunting"
+• "View objections as buying signals"
+```
+
+### [HEURISTICA]
+```
+IDENTIFICA QUANDO:
+• Tem NUMERO ou THRESHOLD
+• Formato "Se X entao Y"
+• Regra acionavel com gatilho claro
+• Pode ser verificada
+
+EXEMPLOS:
+• "If close rate < 30%, problem is upstream"
+• "Ramp time should be 90 days max"
+• "Show rate below 80% means confirmation problem"
+
+PRIORIDADE MAXIMA:
+Heuristicas com numeros sao os itens mais valiosos do DNA.
+```
+
+### [FRAMEWORK]
+```
+IDENTIFICA QUANDO:
+• Estrutura NOMEADA (acronimo ou nome proprio)
+• Tem COMPONENTES definidos
+• NAO tem ordem rigida de execucao
+• E uma FERRAMENTA de analise ou construcao
+
+EXEMPLOS:
+• "5 Armas do Closer"
+• "SPIN Questions"
+• "$100M Offer Framework"
+```
+
+### [METODOLOGIA]
+```
+IDENTIFICA QUANDO:
+• Processo com PASSOS sequenciais
+• Ordem IMPORTA (Passo 1 antes de Passo 2)
+• Tem criterio de sucesso por etapa
+• E um PROCESSO, nao uma ferramenta
+
+EXEMPLOS:
+• "3-step onboarding process"
+• "Call flow from intro to close"
+• "Hiring funnel methodology"
+```
+
+---
+
+## ATUALIZACAO DO OUTPUT
+
+### Novo campo no insight
+
+```json
+{
+  "id": "INS-AH-042",
+  "insight": "Close rate below 30% indicates qualification problem",
+  "quote": "If your close rate is below 30%, you don't have a closing problem...",
+  "chunks": ["AH-SS001-chunk_198"],
+  "tag": "[HEURISTICA]",
+  "priority": "HIGH",
+  "scope": "company",
+  "corpus": "Sales Scaling",
+  ...
+}
+```
+
+### Multiplas tags (quando aplicavel)
+
+```json
+{
+  "tag": "[HEURISTICA][FILOSOFIA]"
+}
+```
+
+Usar multiplas tags quando insight claramente se encaixa em mais de uma camada.
+
+---
+
+## REGRAS DE PRIORIDADE PARA TAGS
+
+```
+1. HEURISTICA prevalece quando tem numero
+   "Fire at 30 days" → [HEURISTICA] (nao [FILOSOFIA])
+
+2. METODOLOGIA prevalece quando tem passos
+   "Step 1: X, Step 2: Y" → [METODOLOGIA] (nao [FRAMEWORK])
+
+3. Na duvida, usar tag menos especifica
+   Se nao tem certeza entre HEURISTICA e FILOSOFIA → [FILOSOFIA]
+```
+
+---
+
+## INTEGRACAO COM DNA-EXTRACTION
+
+Quando o DNA-EXTRACTION-PROTOCOL processar INSIGHTS-STATE.json:
+
+1. Filtrar por tag para acelerar classificacao
+2. `[HEURISTICA]` → vai para HEURISTICAS.yaml
+3. `[FILOSOFIA]` → vai para FILOSOFIAS.yaml
+4. etc.
+
+A tag NAO e definitiva - DNA-EXTRACTION pode reclassificar se necessario.
+A tag acelera o processo, nao o substitui.
+
+---
+
+## CHECKPOINT
+
+```
+VALIDAR APOS EXECUTAR:
+[ ] Todos os insights HIGH priority tem tag
+[ ] Tags usam formato padrao [NOME]
+[ ] Nao ha tags fora das 5 camadas
+```
+
+---
+
+## EXEMPLO COMPLETO
+
+### Input (chunk)
+```
+"If your close rate is below 30%, you don't have a closing problem,
+you have a qualification problem. The issue is upstream."
+```
+
+### Output (insight com tag)
+```json
+{
+  "id": "INS-AH-042",
+  "insight": "Close rate below 30% indicates qualification problem, not closing problem",
+  "quote": "If your close rate is below 30%, you don't have a closing problem, you have a qualification problem.",
+  "chunks": ["AH-SS001-chunk_198"],
+  "tag": "[HEURISTICA]",
+  "priority": "HIGH",
+  "scope": "company",
+  "corpus": "Sales Scaling",
+  "source": {
+    "source_type": "video",
+    "source_id": "AH-SS001",
+    "source_title": "How I Scaled My Sales Team"
+  },
+  "confidence": "HIGH",
+  "status": "new"
+}
+```
+
+---
+
+## NOTAS
+
+- Tags sao opcionais para insights LOW priority
+- Tags facilitam mas NAO substituem classificacao no DNA-EXTRACTION
+- Insights podem mudar de camada durante extracao completa
+- O valor esta na consistencia, nao na perfeicao