shilo-cli 0.7.0 → 0.9.0

package/src/safelist.js

@@ -0,0 +1,101 @@
+'use strict';
+
+/**
+ * Decisiones "esto no es un secreto" que la persona ya tomó en esta carpeta.
+ *
+ * Vive en `.shilo/secretos-seguros.json` (`.shilo/` está en los ignores por
+ * defecto: nunca se sube). Guarda la huella de la LÍNEA (ver
+ * `secrets.fingerprintOf`), nunca el valor: si la línea cambia, la huella deja
+ * de coincidir y se vuelve a preguntar. Así no hace falta `--allow-secrets` en
+ * cada push, y esa bandera —que apaga todos los avisos, también los reales—
+ * queda para casos excepcionales.
+ *
+ * {
+ *   "version": 1,
+ *   "seguros": [{ "path": "src/supabase.js", "fingerprint": "<sha256>", "label": "...", "at": "<ISO>" }]
+ * }
+ */
+
+const fs = require('fs');
+const path = require('path');
+
+const FILE = path.join('.shilo', 'secretos-seguros.json');
+
+function load(dir) {
+  try {
+    const raw = JSON.parse(fs.readFileSync(path.join(dir, FILE), 'utf8'));
+    return Array.isArray(raw.seguros) ? raw.seguros : [];
+  } catch (_) {
+    return [];
+  }
+}
+
+const keyOf = (p, fp) => `${p}\n${fp}`;
+
+/**
+ * Separa los hallazgos ya marcados como seguros de los que siguen pendientes.
+ * Sólo los de contenido se pueden marcar: un `.env` no se "aprueba", se ignora.
+ */
+function partition(dir, findings) {
+  const known = new Set(load(dir).map((e) => keyOf(e.path, e.fingerprint)));
+  const pending = [];
+  const accepted = [];
+  for (const f of findings) {
+    if (f.kind === 'content' && f.fingerprint && known.has(keyOf(f.relPath, f.fingerprint))) {
+      accepted.push(f);
+    } else {
+      pending.push(f);
+    }
+  }
+  return { pending, accepted };
+}
+
+/** Anota hallazgos de contenido como seguros. Devuelve false si no pudo escribir. */
+function remember(dir, findings) {
+  const list = load(dir);
+  const known = new Set(list.map((e) => keyOf(e.path, e.fingerprint)));
+  const at = new Date().toISOString();
+  for (const f of findings) {
+    if (f.kind !== 'content' || !f.fingerprint) continue;
+    const k = keyOf(f.relPath, f.fingerprint);
+    if (known.has(k)) continue;
+    known.add(k);
+    list.push({ path: f.relPath, fingerprint: f.fingerprint, label: f.label, at });
+  }
+  try {
+    fs.mkdirSync(path.join(dir, '.shilo'), { recursive: true });
+    fs.writeFileSync(
+      path.join(dir, FILE),
+      JSON.stringify({ version: 1, seguros: list }, null, 2) + '\n',
+      'utf8'
+    );
+    return true;
+  } catch (_) {
+    return false;
+  }
+}
+
+/**
+ * Agrega rutas a `.shiloignore` (lo crea si no existe). Devuelve false si no
+ * pudo escribir.
+ */
+function addToShiloignore(dir, relPaths) {
+  const p = path.join(dir, '.shiloignore');
+  try {
+    const current = fs.existsSync(p) ? fs.readFileSync(p, 'utf8') : '';
+    const lines = new Set(current.split(/\r?\n/).map((l) => l.trim()));
+    const add = relPaths.map((r) => `/${r}`).filter((r) => !lines.has(r));
+    if (add.length === 0) return true;
+    const sep = current && !current.endsWith('\n') ? '\n' : '';
+    fs.writeFileSync(
+      p,
+      `${current}${sep}# Agregado por shilo push: posibles contraseñas\n${add.join('\n')}\n`,
+      'utf8'
+    );
+    return true;
+  } catch (_) {
+    return false;
+  }
+}
+
+module.exports = { FILE, load, partition, remember, addToShiloignore };

package/src/secrets.js

@@ -17,6 +17,8 @@
  * NUNCA se imprime el valor detectado, sólo archivo, línea y qué parece ser.
  */
 
+const crypto = require('crypto');
+
 // Patrones de nombre (mismo subconjunto glob que .gitignore, sobre el basename).
 const DENY_NAMES = [
   '.env',
@@ -75,6 +77,57 @@ function deniedByName(relPath) {
   return null;
 }
 
+const JWT_RE = /\bey[A-Za-z0-9_-]{10,}\.[A-Za-z0-9_-]{10,}\.[A-Za-z0-9_-]{10,}/;
+const JWT_RE_ALL = new RegExp(JWT_RE.source, 'g');
+
+/**
+ * Qué es un JWT según su payload, sin verificar la firma (no hace falta: sólo
+ * se decide si avisar). Supabase pone el rol ahí:
+ *
+ *   - `anon`         la clave pública: está hecha para ir en el navegador.
+ *   - `service_role` la que saltea todas las reglas de acceso: secreta.
+ *
+ * Devuelve 'public', 'secret' o null (no se pudo leer, u otro JWT).
+ */
+function classifyJwt(token) {
+  const part = token.split('.')[1];
+  if (!part) return null;
+  let payload;
+  try {
+    payload = JSON.parse(Buffer.from(part, 'base64url').toString('utf8'));
+  } catch (_) {
+    return null;
+  }
+  if (!payload || typeof payload !== 'object') return null;
+  if (payload.role === 'anon') return 'public';
+  if (payload.role === 'service_role') return 'secret';
+  return null;
+}
+
+/**
+ * La etiqueta del primer JWT de la línea que valga la pena avisar, o null si
+ * todos son claves públicas conocidas.
+ */
+function jwtLabel(line) {
+  let label = null;
+  for (const m of line.matchAll(JWT_RE_ALL)) {
+    const kind = classifyJwt(m[0]);
+    if (kind === 'public') continue;
+    if (kind === 'secret') return 'clave service_role de Supabase (secreta)';
+    label = 'token de Supabase / JWT';
+  }
+  return label;
+}
+
+/**
+ * Huella de una línea con un posible secreto: permite recordar "esto ya me
+ * dijeron que es seguro" sin guardar el valor. Si la línea cambia, la huella
+ * cambia y se vuelve a preguntar.
+ */
+function fingerprintOf(line) {
+  return crypto.createHash('sha256').update(line.trim(), 'utf8').digest('hex');
+}
+
 /**
  * Formas de credencial reconocibles por su prefijo/estructura. Se apunta a
  * precisión razonable: prefijos propietarios y claves PEM, no "cualquier string
@@ -88,7 +141,8 @@ const CONTENT_PATTERNS = [
   { label: 'clave de API de Google', re: /\bAIza[0-9A-Za-z_-]{35}\b/ },
   { label: 'token de Slack', re: /\bxox[abprs]-[0-9A-Za-z-]{10,}/ },
   { label: 'clave de Stripe', re: /\b[sr]k_live_[0-9A-Za-z]{20,}/ },
-  { label: 'token de Supabase / JWT', re: /\bey[A-Za-z0-9_-]{10,}\.[A-Za-z0-9_-]{10,}\.[A-Za-z0-9_-]{10,}/ },
+  { label: 'clave secreta de Supabase', re: /\bsb_secret_[A-Za-z0-9_-]{20,}/ },
+  { label: 'token de Supabase / JWT', re: JWT_RE, jwt: true },
   { label: 'clave privada PEM', re: /-----BEGIN (?:[A-Z ]+ )?PRIVATE KEY-----/ },
   { label: 'token de acceso personal de Shilo', re: /\bshilo_pat_[A-Za-z0-9_-]{20,}/ },
   { label: 'contraseña en una URL', re: /\b[a-z][a-z0-9+.-]*:\/\/[^\s/:@]+:[^\s/@]{6,}@/i },
@@ -99,7 +153,8 @@ const CONTENT_PATTERNS = [
 const SCAN_BYTES = 8192;
 
 /**
- * Escanea un fragmento de texto. Devuelve `[{ line, label }]` — sin el valor.
+ * Escanea un fragmento de texto. Devuelve `[{ line, label, fingerprint }]` —
+ * sin el valor.
  */
 function scanText(text) {
   const hits = [];
@@ -107,11 +162,14 @@ function scanText(text) {
   for (let i = 0; i < lines.length; i++) {
     const line = lines[i];
     if (line.length > 4000) continue; // minificado/base64: ruido, no señal
-    for (const { label, re } of CONTENT_PATTERNS) {
-      if (re.test(line)) {
-        hits.push({ line: i + 1, label });
-        break; // un hallazgo por línea alcanza para avisar
-      }
+    for (const { label, re, jwt } of CONTENT_PATTERNS) {
+      if (!re.test(line)) continue;
+      // La clave `anon` de Supabase es pública por diseño. Avisar por ella
+      // empujaba a usar --allow-secrets, que apaga también los avisos reales.
+      const finalLabel = jwt ? jwtLabel(line) : label;
+      if (!finalLabel) continue;
+      hits.push({ line: i + 1, label: finalLabel, fingerprint: fingerprintOf(line) });
+      break; // un hallazgo por línea alcanza para avisar
     }
   }
   return hits;
@@ -132,7 +190,13 @@ function inspect(relPath, head) {
 
   if (typeof head === 'string' && head) {
     for (const hit of scanText(head.slice(0, SCAN_BYTES))) {
-      findings.push({ relPath, kind: 'content', line: hit.line, label: hit.label });
+      findings.push({
+        relPath,
+        kind: 'content',
+        line: hit.line,
+        label: hit.label,
+        fingerprint: hit.fingerprint,
+      });
     }
   }
 
@@ -151,7 +215,7 @@ function groupByFile(findings) {
     }
     const entry = byPath.get(f.relPath);
     if (f.kind === 'name') entry.name = f.pattern;
-    else entry.content.push({ line: f.line, label: f.label });
+    else entry.content.push({ line: f.line, label: f.label, fingerprint: f.fingerprint });
   }
   return [...byPath.values()];
 }
@@ -162,6 +226,8 @@ module.exports = {
   CONTENT_PATTERNS,
   SCAN_BYTES,
   deniedByName,
+  classifyJwt,
+  fingerprintOf,
   scanText,
   inspect,
   groupByFile,

package/src/sync.js

@@ -6,14 +6,15 @@
  * cambios a partir del historial de commits.
  *
  * Todo lo de acá es de sólo lectura: ninguna función escribe en disco ni en el
- * servidor. La idea es que un `shilo status` pueda contestar "¿estoy
+ * servidor (`refineByHash` lee archivos locales, nada más). La idea es que un `shilo status` pueda contestar "¿estoy
  * desactualizado?" sin bajar contenido.
  */
 
 const fs = require('fs');
 const path = require('path');
 const config = require('./config');
-const { walk } = require('./walk');
+const { walk, makePathMatcher } = require('./walk');
+const pushindex = require('./pushindex');
 
 const CONCURRENCY = 8; // pool para el N+1 de listar carpetas (el backend no tiene árbol recursivo)
 const MAX_CONCURRENCY = 32;
@@ -231,7 +232,7 @@ function walkLocal(dir) {
   const { files, skipped, ignored } = walk(dir);
   return {
     files: files
-      .map((f) => ({ repoPath: f.relPath, absPath: f.absPath, size: f.size }))
+      .map((f) => ({ repoPath: f.relPath, absPath: f.absPath, size: f.size, mtimeMs: f.mtimeMs }))
       .sort((a, b) => a.repoPath.localeCompare(b.repoPath)),
     skipped,
     ignored,
@@ -241,8 +242,8 @@ function walkLocal(dir) {
 /**
  * Compara los dos árboles por ruta y tamaño. NO baja contenido: por eso un
  * archivo con el mismo tamaño en ambos lados cae en `same` aunque su contenido
- * pudiera diferir (mismo largo, distinto texto). Esa es la concesión que hace
- * que `status` sea barato; `diff` y `push` sí confirman byte a byte.
+ * pudiera diferir (mismo largo, distinto texto). `refineByHash` lo confirma
+ * por contenido sin bajar nada; `diff` y `push` comparan byte a byte.
  *
  * Devuelve:
  *   {
@@ -285,6 +286,52 @@ function compareTrees(localFiles, remoteFiles) {
   return { onlyLocal, onlyRemote, differing, same };
 }
 
+/**
+ * Confirma por contenido los `same` de `compareTrees`: cambiar un número por
+ * otro deja el archivo del mismo tamaño, y sólo por tamaño pasaba como "sin
+ * cambios". El remoto publica el SHA-256 en el listado (`content_hash`), así que
+ * esto sigue sin bajar nada: sólo lee archivos locales, y ni eso si el índice
+ * del push (`.shilo/index.json`) dice que el archivo está intacto y su hash ya
+ * coincidía.
+ *
+ * Muta y devuelve `cmp`: lo que difiere pasa de `same` a `differing`. Un
+ * remoto sin hash (anterior a la migración 010) o un archivo ilegible quedan
+ * como estaban.
+ */
+function refineByHash(cmp, { dir, projectId, baseURL } = {}) {
+  const index = dir ? pushindex.read(dir, { projectId, baseURL }) : { entries: {} };
+
+  const same = [];
+  for (const item of cmp.same) {
+    const hash = item.remote && item.remote.content_hash;
+    if (!hash) {
+      same.push(item);
+      continue;
+    }
+    const { fresh, entry } = pushindex.isFresh(index, {
+      relPath: item.repoPath,
+      size: item.local.size,
+      mtimeMs: item.local.mtimeMs,
+    });
+    if (fresh && entry && entry.hash === hash) {
+      same.push(item);
+      continue;
+    }
+    let localHash;
+    try {
+      localHash = pushindex.hashContent(fs.readFileSync(item.local.absPath));
+    } catch (_) {
+      same.push(item);
+      continue;
+    }
+    if (localHash === hash) same.push(item);
+    else cmp.differing.push(item);
+  }
+  cmp.same = same;
+  cmp.differing.sort((a, b) => a.repoPath.localeCompare(b.repoPath));
+  return cmp;
+}
+
 /**
  * Baja las últimas páginas del historial con sus archivos y arma un índice
  * `file_id -> { message, author, date, hash, action }` con el commit MÁS
@@ -409,7 +456,11 @@ module.exports = {
   runPool,
   walkRemote,
   walkLocal,
+  // Re-exportado para que los comandos filtren el árbol REMOTO con los mismos
+  // ignores que `walkLocal` aplica al local, sin importar `walk.js` aparte.
+  makePathMatcher,
   compareTrees,
+  refineByHash,
   buildAuthorIndex,
   describeAuthor,
   formatDate,

package/src/walk.js

@@ -195,6 +195,35 @@ function loadIgnoreRules(rootDir, extraLines = []) {
   return rules;
 }
 
+/**
+ * Matcher de ignores por RUTA DE REPO, sin tocar disco.
+ *
+ * `walk()` decide los ignores mientras recorre el árbol local, así que sólo
+ * contesta por lo que existe acá. Esto contesta la otra mitad: dada una ruta
+ * que vino del REMOTO, ¿estaría ignorada localmente? Sin esto los ignores valen
+ * en un solo sentido —el push— y el árbol remoto nunca se filtra: `status`
+ * cuenta como "atrás" archivos que jamás va a tener y `pull` baja cosas
+ * ignoradas.
+ *
+ * Sólo carga las reglas de la raíz: un ignore anidado vive dentro de una
+ * carpeta que, si el archivo sólo existe en el remoto, puede no estar en disco.
+ * Es una aproximación conservadora — ignora de menos, nunca de más.
+ */
+function makePathMatcher(rootDir, { extraIgnore = [] } = {}) {
+  const isIgnored = makeMatcher(loadIgnoreRules(rootDir, extraIgnore));
+  return function isIgnoredPath(repoPath) {
+    const parts = String(repoPath).split('/');
+    // Cada ancestro se consulta como CARPETA: `makeMatcher` saltea las reglas
+    // `dirOnly` cuando `isDir` es false, así que preguntar derecho por
+    // `.claude/settings.local.json` daría false y la regla `.claude/` no
+    // alcanzaría nunca a lo de adentro.
+    for (let i = 0; i < parts.length - 1; i++) {
+      if (isIgnored(parts.slice(0, i + 1).join('/'), true)) return true;
+    }
+    return isIgnored(repoPath, false);
+  };
+}
+
 /**
  * Recorre `rootDir` y devuelve:
  *   {
@@ -312,6 +341,7 @@ module.exports = {
   loadIgnoreRules,
   loadDirRules,
   makeMatcher,
+  makePathMatcher,
   compileRule,
   globToRegExp,
   looksLikeGitDir,