alvin-bot 4.4.3 → 4.4.5

package/CHANGELOG.md

@@ -2,6 +2,37 @@
 
 All notable changes to Alvin Bot are documented here.
 
+## [4.4.5] — 2026-04-09
+
+### 🔐 Security / Information Disclosure
+
+**`BACKLOG.md` removed from published tarball** — The project's internal roadmap was listed in `.gitignore` but not in `.npmignore`, so every `npm install -g alvin-bot` shipped an 8.7 KB file containing the full list of open P0/P1 issues, including known-but-unpatched security weaknesses (WebSocket auth gap, tool-executor sandbox gaps, Web UI HTTP-only, etc.). A published backlog of known vulnerabilities is effectively an attack roadmap for anyone inspecting the package.
+
+`BACKLOG.md` is now listed in `.npmignore` alongside `CLAUDE.md`, `SOUL.md`, and `TOOLS.md`. Verified with `npm pack --dry-run`: the file no longer appears in the tarball.
+
+Users on `4.4.4` or earlier should update:
+```bash
+npm update -g alvin-bot
+```
+
+## [4.4.4] — 2026-04-09
+
+### 🔐 Security / Data Layout
+
+**`.env` now lives only in `DATA_DIR`** — The `ENV_FILE` path constant in `src/paths.ts` has been moved from `BOT_ROOT/.env` to `DATA_DIR/.env` (e.g. `~/.alvin-bot/.env`). This fixes a latent drift bug affecting 6 code sites in `web/server.ts`, `web/setup-api.ts`, `web/doctor-api.ts`, and `services/fallback-order.ts`: before this release, the Web UI's Settings tab, the setup wizard, the doctor repair flow, and the `/fallback` sync were all writing to `BOT_ROOT/.env`, while the bot's config loader in `src/config.ts` reads from `DATA_DIR/.env` first. Changes made through any of those tools were silently written to a file the bot never reads (for globally-installed users, `BOT_ROOT` is inside `node_modules/alvin-bot/` and gets wiped on `npm update -g`).
+
+Why this also matters for security: keeping `.env` inside the code repo is defense-in-depth weak. `.gitignore` can be edited, editors create swap files (`.env.swp`, `.env~`), `git add -f` bypasses ignores, backup tools sync whole project folders, and screensharing shows project directories. Secrets belong physically outside the repo.
+
+**Automatic migration for legacy installs** — `src/migrate.ts` now copies a legacy `BOT_ROOT/.env` to `DATA_DIR/.env` on first run (only if the destination doesn't exist) and enforces `0600` mode regardless of the source permissions. `hasLegacyData()` now recognizes a stray `BOT_ROOT/.env` as a migration trigger. No action is required from existing users — the bot migrates itself.
+
+### 📦 Compatibility
+
+No breaking changes. Existing installs upgrade in place and are auto-migrated.
+
+```bash
+npm update -g alvin-bot
+```
+
 ## [4.4.3] — 2026-04-09
 
 ### 🔐 Security

package/dist/migrate.js

@@ -20,7 +20,7 @@
  */
 import fs from "fs";
 import { resolve } from "path";
-import { BOT_ROOT, MEMORY_DIR, USERS_DIR, BACKUP_DIR, SOUL_FILE, TOOLS_MD, TOOLS_JSON, CRON_FILE, MCP_CONFIG, FALLBACK_FILE, CUSTOM_MODELS, WA_GROUPS, WHATSAPP_AUTH, WA_MEDIA_DIR, ACCESS_FILE, SUDO_ENC_FILE, SUDO_KEY_FILE, MEMORY_FILE, EMBEDDINGS_IDX } from "./paths.js";
+import { BOT_ROOT, MEMORY_DIR, USERS_DIR, BACKUP_DIR, SOUL_FILE, TOOLS_MD, TOOLS_JSON, CRON_FILE, MCP_CONFIG, FALLBACK_FILE, CUSTOM_MODELS, WA_GROUPS, WHATSAPP_AUTH, WA_MEDIA_DIR, ACCESS_FILE, SUDO_ENC_FILE, SUDO_KEY_FILE, MEMORY_FILE, EMBEDDINGS_IDX, ENV_FILE } from "./paths.js";
 /**
  * Check if legacy data exists in the old locations.
  */
@@ -31,7 +31,13 @@ export function hasLegacyData() {
         resolve(BOT_ROOT, "docs", "users"),
         resolve(BOT_ROOT, "data", "access.json"),
         resolve(BOT_ROOT, "SOUL.md"),
-    ];
+        // A BOT_ROOT/.env without a corresponding DATA_DIR/.env is a legacy layout
+        // — the loader prefers DATA_DIR, so keeping .env in BOT_ROOT silently
+        // breaks Settings/Setup/Doctor/fallback-order sync.
+        (fs.existsSync(resolve(BOT_ROOT, ".env")) && !fs.existsSync(ENV_FILE))
+            ? resolve(BOT_ROOT, ".env")
+            : "",
+    ].filter(Boolean);
     return legacyIndicators.some(p => fs.existsSync(p));
 }
 /**
@@ -47,6 +53,21 @@ function copyIfNew(src, dest) {
     }
     return false;
 }
+/**
+ * Copy a file if source exists and destination doesn't, then enforce a specific file mode.
+ * Used for files containing secrets (e.g. .env) where 0600 must be guaranteed
+ * regardless of the source file's permissions or the process umask.
+ */
+function copyIfNewWithMode(src, dest, mode) {
+    const copied = copyIfNew(src, dest);
+    if (copied) {
+        try {
+            fs.chmodSync(dest, mode);
+        }
+        catch { /* best effort */ }
+    }
+    return copied;
+}
 /**
  * Recursively copy a directory if source exists and destination doesn't have the files.
  */
@@ -89,6 +110,8 @@ export function migrateFromLegacy() {
             skipped.push(label);
     }
     // ── Single files ─────────────────────────────────────────
+    // .env → .env  (secrets — enforce 0600 mode regardless of source perms)
+    track(".env → .env", copyIfNewWithMode(resolve(BOT_ROOT, ".env"), ENV_FILE, 0o600));
     // SOUL.md → soul.md
     track("SOUL.md → soul.md", copyIfNew(resolve(BOT_ROOT, "SOUL.md"), SOUL_FILE));
     // TOOLS.md → tools.md

package/dist/paths.js

@@ -23,13 +23,22 @@ export const PLUGINS_DIR = resolve(BOT_ROOT, "plugins");
 export const SKILLS_DIR = resolve(BOT_ROOT, "skills");
 /** User skills directory (custom, outside repo) */
 export const USER_SKILLS_DIR = resolve(DATA_DIR, "skills");
-/** .env — Environment config (stays in BOT_ROOT for dev, or DATA_DIR for packaged) */
-export const ENV_FILE = resolve(BOT_ROOT, ".env");
 /** Example/template files (always in repo) */
 export const SOUL_EXAMPLE = resolve(BOT_ROOT, "SOUL.example.md");
 export const TOOLS_EXAMPLE_MD = resolve(BOT_ROOT, "TOOLS.example.md");
 export const TOOLS_EXAMPLE_JSON = resolve(BOT_ROOT, "docs", "tools.example.json");
 // ── Data paths (DATA_DIR = ~/.alvin-bot) ───────────────────────────
+/**
+ * .env — Environment config with secrets (BOT_TOKEN, API keys, etc.)
+ *
+ * Lives in DATA_DIR (outside the code repo) for three reasons:
+ *   1. Defense in depth against accidental commits — secrets never touch BOT_ROOT
+ *   2. Survives `npm update -g` (BOT_ROOT in global installs = node_modules, gets wiped)
+ *   3. Consistent with the loader priority in src/config.ts (DATA_DIR is Priority 1)
+ *
+ * Legacy installs with BOT_ROOT/.env are auto-migrated on first run (see src/migrate.ts).
+ */
+export const ENV_FILE = resolve(DATA_DIR, ".env");
 /** memory/ — Daily logs and embeddings */
 export const MEMORY_DIR = resolve(DATA_DIR, "memory");
 /** memory/MEMORY.md — Long-term curated memory */

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "alvin-bot",
-  "version": "4.4.3",
+  "version": "4.4.5",
   "description": "Alvin Bot — Your personal AI agent on Telegram, WhatsApp, Discord, Signal, and Web.",
   "type": "module",
   "main": "dist/index.js",

package/BACKLOG.md

@@ -1,223 +0,0 @@
-# BACKLOG.md — Alvin Bot Entwicklung
-
-> Interne Projektdatei. Wird NICHT ins Git gepusht (.gitignore).
-> Letzte Aktualisierung: 2026-03-03
-
----
-
-## Legende
-
-| Prio | Bedeutung |
-|------|-----------|
-| P0 | Sicherheitslücke / Kritisch |
-| P1 | Wichtig für Stabilität & Code-Qualität |
-| P2 | Feature / Developer Experience |
-| P3 | Nice-to-Have / Zukunft |
-
----
-
-## P0 — Security
-
-### [ ] WebSocket Auth fehlt
-- Aktuell kann jeder, der `localhost:3100` erreicht, über WebSocket chatten
-- Lösung: Auth-Token als Query-Param beim WS-Connect (`ws://localhost:3100?token=xxx`)
-- Token aus WEB_PASSWORD ableiten oder Session-Cookie validieren
-
-### [ ] Tool Executor: Unzureichendes Sandboxing
-- `run_shell` Blocklist ist minimal (nur `rm -rf /`, `mkfs`, `dd`)
-- `rm -rf ~/Projects/` würde durchgehen
-- `write_file` kann `.env` und Systemdateien überschreiben
-- `python_execute` führt beliebigen Code ohne Sandbox aus
-- Lösung: Working-Directory-Sandboxing, Blocklist für sensitive Pfade (.env, /etc/, ~/.ssh/)
-
-### [ ] Web UI: Kein HTTPS
-- HTTP-only → Passwörter und Chat im Klartext
-- Lösung: Optionaler HTTPS-Modus mit self-signed Cert, oder Warnung wenn WEB_PASSWORD gesetzt aber kein HTTPS
-
-### [ ] Sudo-Passwort in CLI-Argument (macOS)
-- `security add-generic-password` bekommt das Passwort als CLI-Arg → sichtbar in `ps aux`
-- Lösung: Passwort über stdin pipen statt als Argument
-
----
-
-## P1 — Code-Qualität & Stabilität
-
-### [ ] commands.ts aufteilen (74KB Monolith!)
-- Aktuell: ALLE Telegram-Commands in einer Datei (~1700 Zeilen)
-- Vorschlag: `src/handlers/commands/` Ordner mit je einer Datei pro Bereich:
-  - `chat.ts` (help, start, new, cancel)
-  - `model.ts` (model, effort, fallback, voice)
-  - `tools.ts` (web, imagine, browse, remind)
-  - `memory.ts` (recall, remember, reindex, export, memory)
-  - `admin.ts` (status, dir, groups, security, users, setup, sudo)
-  - `cron.ts` (cron)
-  - `extensions.ts` (plugins, mcp, tools, webui)
-  - `index.ts` (registriert alle)
-
-### [ ] web/server.ts aufteilen (57KB Monolith!)
-- Aktuell: REST-API, WebSocket, Static-Serving, Auth — alles in einer Datei
-- Vorschlag: Router-Module nach Bereich (api/models.ts, api/memory.ts, api/sessions.ts, etc.)
-
-### [ ] web/public/js/app.js refactoren (3079 Zeilen)
-- Vanilla JS ohne Struktur → schwer wartbar
-- Option A: Alpine.js oder Petite-Vue für reaktive Bindings (minimaler Overhead)
-- Option B: Web Components für Isolation der Sektionen
-- Option C: Zumindest in Module aufteilen (ES Module Imports)
-
-### [ ] Config-Validation mit Zod
-- Aktuell: Kein Validation → `ALLOWED_USERS=""` ergibt `[NaN]`
-- `BOT_TOKEN` fehlt → kryptischer Fehler statt klare Meldung
-- Lösung: `src/config.ts` mit Zod-Schema, Startup-Validation, klare Fehlermeldungen
-
-### [ ] MAX_BUDGET_USD wird nie enforced
-- Variable wird gelesen aber nirgendwo geprüft
-- Lösung: In `queryWithFallback()` vor jedem API-Call prüfen, bei Überschreitung blockieren
-
-### [ ] Tests einführen
-- Aktuell: Null Tests im gesamten Projekt
-- Priorität für Tests:
-  1. Provider-Registry (Fallback-Chain Logik)
-  2. Cron-Parser (Edge Cases bei Zeitberechnung)
-  3. Tool-Executor (Security-Blocklist)
-  4. Config-Validation
-  5. Markdown-Sanitizer
-- Framework: Vitest (schnell, ESM-nativ, kein Babel nötig)
-
-### [ ] Watch-Mode für Development
-- Aktuell: `npm run dev` = `tsx src/index.ts` (einmal starten, manuell restarten)
-- Lösung: `tsx watch src/index.ts` oder `nodemon` mit TS-Loader
-
----
-
-## P2 — Features & Verbesserungen
-
-### [ ] Session-Persistence (optional)
-- Sessions überleben keinen Restart — Chat-History weg nach `pm2 restart`
-- Option A: SQLite-File für Sessions (leichtgewichtig, kein DB-Server)
-- Option B: JSON-Files pro User in `data/sessions/`
-- Opt-in via `SESSION_PERSIST=true` in .env
-
-### [ ] Session-Timeout / Cleanup
-- Sessions akkumulieren sich unbegrenzt im Speicher
-- Lösung: Inaktive Sessions nach 24h aus dem RAM entfernen (History bleibt in Memory-Logs)
-
-### [ ] Memory-Rotation
-- Daily Logs (`~/.alvin-bot/memory/YYYY-MM-DD.md`) wachsen unbegrenzt
-- Lösung: Nach 30 Tagen alte Logs in `~/.alvin-bot/memory/archive/` verschieben oder komprimieren
-- Optional: Automatische Zusammenfassung alter Logs via AI
-
-### [ ] Embedding-Provider erweitern
-- Aktuell: Nur Google `text-embedding-004`
-- Alternativen: OpenAI Embeddings, lokale Ollama-Embeddings, Cohere
-- Fallback-Chain wie bei Chat-Providern
-
-### [ ] Plugin-Tools für alle Provider
-- Plugin-Tools funktionieren aktuell nur über Telegram-Commands
-- Sie sollten auch als Agent-Tools in `OpenAICompatibleProvider` injiziert werden
-- Damit können alle LLMs Plugin-Funktionen nutzen (nicht nur Claude SDK)
-
-### [ ] MCP HTTP/SSE Transport fertigstellen
-- Aktuell nur stdio-Transport implementiert
-- HTTP/SSE ist stub: `"HTTP/SSE transport not yet supported"`
-- Wichtig für Remote-MCP-Server (z.B. Cloudflare Workers)
-
-### [ ] Discord: Richtige Integration
-- `discord.js` fehlt in package.json (muss manuell installiert werden)
-- Kein Support für Discord Slash-Commands
-- Kein Rate-Limiting
-- Lösung: Als optional peer dependency, Slash-Command Registration
-
-### [ ] WhatsApp Media Cleanup
-- `data/wa-media/` sammelt empfangene Medien-Dateien und löscht sie nie
-- Lösung: Cron-Job oder TTL-basiertes Cleanup (z.B. nach 7 Tagen löschen)
-
-### [ ] Heartbeat-Kosten reduzieren
-- Heartbeat macht echte API-Calls ("Hi") an alle Provider → erzeugt Kosten
-- Lösung: Für Provider mit bekanntem Status-Endpoint nur diesen pingen
-- Für kostenlose Provider (Groq, NVIDIA): OK so lassen
-
-### [ ] Kosten-Tracking verbessern
-- `estimateCost()` schätzt nur Output-Tokens, keine Input-Tokens
-- Preise teilweise veraltet
-- Lösung: Aktuelle Preistabelle pflegen, Input+Output getrennt tracken
-
-### [ ] Cron-Parser erweitern
-- Kein Support für `@daily`, `@hourly`, `@reboot`, `@weekly`
-- Kein `L` (last day of month), kein `W` (nearest weekday)
-- Lösung: Aliases in `parseSchedule()` hinzufügen
-
----
-
-## P3 — Nice-to-Have / Zukunft
-
-### [ ] Multi-Language über DE/EN hinaus
-- i18n-System unterstützt nur `de | en`
-- Erweiterbar auf FR, ES, TR, RU etc.
-- Web UI hat bereits ~500 Keys → Übersetzung nötig
-
-### [ ] Skill-Matching mit Embeddings
-- Aktuell: Simples `text.includes(trigger)` — sehr unzuverlässig
-- Besser: Embedding-basiertes Similarity-Matching für Skill-Trigger
-- Oder: LLM-basierte Skill-Auswahl ("Welcher Skill passt zu dieser Nachricht?")
-
-### [ ] Plugin Hot-Reload über Web UI
-- Aktuell: Plugin-Änderungen erfordern Bot-Restart
-- Lösung: "Reload Plugin" Button in Web UI → `pluginManager.reload(name)`
-
-### [ ] Conversation-Export als PDF
-- `/export` gibt aktuell Markdown → könnte auch als formatiertes PDF exportieren
-- Tools vorhanden: `pandoc`, `wkhtmltopdf`
-
-### [ ] Streaming für OpenAI-Compatible + Tool-Use
-- Aktuell schließen sich Streaming und Tool-Use gegenseitig aus
-- Lösung: Tool-Calls aus Stream-Chunks akkumulieren (wie OpenAI es unterstützt)
-
-### [ ] Windows .exe Build
-- Braucht Windows-Umgebung oder Cross-Compilation
-- electron-builder unterstützt es, aber nicht von macOS aus testbar
-
-### [ ] Linux .AppImage Build
-- Braucht Linux-Umgebung oder CI (GitHub Actions)
-- Vorschlag: GitHub Actions Workflow für Multi-Platform Builds
-
-### [ ] CI/CD Pipeline (GitHub Actions)
-- Build-Verification auf Push
-- Lint (ESLint) + Type-Check + Tests
-- Auto-Publish zu npm bei Tag
-- Multi-Platform Electron Builds (macOS, Windows, Linux)
-
-### [ ] Rate-Limiting für API-Endpoints
-- Web UI API-Endpoints haben kein Rate-Limiting
-- Lösung: Simpler in-memory Counter pro IP (kein Redis nötig)
-
-### [ ] Electron: asar wieder aktivieren
-- `asar: false` wegen electron-builder 26.x Bug
-- Bei neuerer Version testen ob es gefixt ist → Source-Code wäre dann nicht mehr exposed
-
-### [ ] Provider-Config via Web UI erweitern
-- Neue Provider-Presets (z.B. Anthropic API direkt, DeepSeek, Mistral) über Web UI registrieren
-- Aktuell nur über .env oder Code möglich
-
----
-
-## Erledigte Items
-
-### [x] i18n English-First (v3.3.0)
-- Alle Telegram-Commands, TUI, Services, Plugins auf Englisch
-- Web UI bleibt bilingual (DE/EN Toggle)
-- TUI nur noch mit explizitem --lang de auf Deutsch
-
-### [x] /webui Telegram-Befehl (v3.3.0)
-- Sendet Web UI URL als Text (kein Inline-Button, da Telegram localhost-URLs blockiert)
-
-### [x] Smart Port Selection (v3.3.0)
-- Web UI findet automatisch freien Port wenn 3100 belegt
-
-### [x] Multi-Platform Support (Phase 7)
-- Telegram, WhatsApp, Discord, Signal
-
-### [x] Universal Tool Use (Phase 8)
-- Alle Provider können Shell, File I/O, Web Fetch, Python ausführen
-
-### [x] Skill System (Phase 9)
-- SKILL.md-basierte Domain-Expertise