beast-agent 1.8.0 → 2.0.0

package/src/agent/mqueue.js

@@ -1,124 +1,124 @@
-'use strict';
-
-/* OFFLINE MESAJ KUYRUĞU (FEATURE 2)
-   İnternet/elektrik kesintisinde WhatsApp mesajları kaybolmasın:
-   - Gönderilemeyen mesaj dosyaya yazılır (%APPDATA%\beast\message_queue.json)
-   - Bağlantı gelince sırayla gönderilir, gönderilenler kuyruktan silinir
-   - Retry: 30sn → 1dk → 5dk → 15dk → 30dk backoff; 5 denemeden sonra "failed"
-   - Dosya tabanlı olduğu için elektrik kesintisinde veri korunur */
-
-const fs = require('fs');
-const path = require('path');
-const os = require('os');
-
-const MAX_QUEUE = 100; // kuyruk üst sınırı — taşarsa eski (öncelikle işlenmiş) kayıtlar düşer
-const MAX_RETRY = 5;
-const BACKOFF_MS = [30e3, 60e3, 300e3, 900e3, 1800e3]; // 30sn, 1dk, 5dk, 15dk, 30dk
-
-function root() {
-  if (process.env.BEAST_DATA) return process.env.BEAST_DATA;
-  return process.env.APPDATA
-    ? path.join(process.env.APPDATA, 'beast')
-    : path.join(os.homedir(), 'AppData', 'Roaming', 'beast');
-}
-
-function file() {
-  return path.join(root(), 'message_queue.json');
-}
-
-let CACHE = null;
-
-function load() {
-  if (CACHE) return CACHE;
-  try {
-    const j = JSON.parse(fs.readFileSync(file(), 'utf8'));
-    CACHE = Array.isArray(j.items) ? j.items : [];
-  } catch {
-    CACHE = [];
-  }
-  return CACHE;
-}
-
-function save() {
-  try {
-    fs.mkdirSync(root(), { recursive: true });
-    const tmp = file() + '.tmp';
-    fs.writeFileSync(tmp, JSON.stringify({ items: CACHE }, null, 2));
-    fs.renameSync(tmp, file()); // atomik yazım — yarı kalmış dosya kirliliği olmaz
-  } catch {}
-}
-
-/* Gönderilemeyen mesajı kuyruğa al */
-function add({ to, body }) {
-  const list = load();
-  const item = {
-    id: 'q' + Date.now().toString(36) + Math.random().toString(36).slice(2, 6),
-    timestamp: new Date().toISOString(),
-    to: String(to || ''),
-    body: String(body || '').slice(0, 4000),
-    status: 'pending',
-    retry_count: 0,
-    nextAt: 0, // hemen denenmeye hazır
-  };
-  list.push(item);
-  /* taşma koruması: önce sent/failed kayıtlarını, sonra en eski pending'i düşür */
-  while (list.length > MAX_QUEUE) {
-    const idx = list.findIndex((x) => x.status === 'sent' || x.status === 'failed');
-    if (idx >= 0) list.splice(idx, 1);
-    else list.shift();
-  }
-  save();
-  return item;
-}
-
-/* Şu an denenecek kuyruk öğeleri (backoff süresi dolmuş pending'ler, sırayla) */
-function due() {
-  const now = Date.now();
-  return load()
-    .filter((x) => x.status === 'pending' && (x.nextAt || 0) <= now)
-    .sort((a, b) => String(a.timestamp).localeCompare(String(b.timestamp)));
-}
-
-/* Gönderildi → kuyruktan sil */
-function markSent(id) {
-  const list = load();
-  const idx = list.findIndex((x) => x.id === id);
-  if (idx >= 0) {
-    list.splice(idx, 1);
-    save();
-  }
-}
-
-/* Deneme başarısız → backoff planla; 5 denemeden sonra "failed" (gonderilemedi) */
-function bumpRetry(id) {
-  const it = load().find((x) => x.id === id);
-  if (!it) return;
-  it.retry_count = (it.retry_count || 0) + 1;
-  if (it.retry_count >= MAX_RETRY) {
-    it.status = 'failed';
-    it.failedAt = new Date().toISOString();
-  } else {
-    it.nextAt = Date.now() + BACKOFF_MS[it.retry_count - 1];
-  }
-  save();
-}
-
-function pendingCount() {
-  return load().filter((x) => x.status === 'pending').length;
-}
-
-function stats() {
-  const l = load();
-  return {
-    pending: l.filter((x) => x.status === 'pending').length,
-    failed: l.filter((x) => x.status === 'failed').length,
-    total: l.length,
-  };
-}
-
-/* bağlantı geri gelince testler için */
-function _reset() {
-  CACHE = null;
-}
-
-module.exports = { MAX_QUEUE, MAX_RETRY, BACKOFF_MS, add, due, markSent, bumpRetry, pendingCount, stats, _reset, file };
+'use strict';
+
+/* OFFLINE MESAJ KUYRUĞU (FEATURE 2)
+   İnternet/elektrik kesintisinde WhatsApp mesajları kaybolmasın:
+   - Gönderilemeyen mesaj dosyaya yazılır (%APPDATA%\beast\message_queue.json)
+   - Bağlantı gelince sırayla gönderilir, gönderilenler kuyruktan silinir
+   - Retry: 30sn → 1dk → 5dk → 15dk → 30dk backoff; 5 denemeden sonra "failed"
+   - Dosya tabanlı olduğu için elektrik kesintisinde veri korunur */
+
+const fs = require('fs');
+const path = require('path');
+const os = require('os');
+
+const MAX_QUEUE = 100; // kuyruk üst sınırı — taşarsa eski (öncelikle işlenmiş) kayıtlar düşer
+const MAX_RETRY = 5;
+const BACKOFF_MS = [30e3, 60e3, 300e3, 900e3, 1800e3]; // 30sn, 1dk, 5dk, 15dk, 30dk
+
+function root() {
+  if (process.env.BEAST_DATA) return process.env.BEAST_DATA;
+  return process.env.APPDATA
+    ? path.join(process.env.APPDATA, 'beast')
+    : path.join(os.homedir(), 'AppData', 'Roaming', 'beast');
+}
+
+function file() {
+  return path.join(root(), 'message_queue.json');
+}
+
+let CACHE = null;
+
+function load() {
+  if (CACHE) return CACHE;
+  try {
+    const j = JSON.parse(fs.readFileSync(file(), 'utf8'));
+    CACHE = Array.isArray(j.items) ? j.items : [];
+  } catch {
+    CACHE = [];
+  }
+  return CACHE;
+}
+
+function save() {
+  try {
+    fs.mkdirSync(root(), { recursive: true });
+    const tmp = file() + '.tmp';
+    fs.writeFileSync(tmp, JSON.stringify({ items: CACHE }, null, 2));
+    fs.renameSync(tmp, file()); // atomik yazım — yarı kalmış dosya kirliliği olmaz
+  } catch {}
+}
+
+/* Gönderilemeyen mesajı kuyruğa al */
+function add({ to, body }) {
+  const list = load();
+  const item = {
+    id: 'q' + Date.now().toString(36) + Math.random().toString(36).slice(2, 6),
+    timestamp: new Date().toISOString(),
+    to: String(to || ''),
+    body: String(body || '').slice(0, 4000),
+    status: 'pending',
+    retry_count: 0,
+    nextAt: 0, // hemen denenmeye hazır
+  };
+  list.push(item);
+  /* taşma koruması: önce sent/failed kayıtlarını, sonra en eski pending'i düşür */
+  while (list.length > MAX_QUEUE) {
+    const idx = list.findIndex((x) => x.status === 'sent' || x.status === 'failed');
+    if (idx >= 0) list.splice(idx, 1);
+    else list.shift();
+  }
+  save();
+  return item;
+}
+
+/* Şu an denenecek kuyruk öğeleri (backoff süresi dolmuş pending'ler, sırayla) */
+function due() {
+  const now = Date.now();
+  return load()
+    .filter((x) => x.status === 'pending' && (x.nextAt || 0) <= now)
+    .sort((a, b) => String(a.timestamp).localeCompare(String(b.timestamp)));
+}
+
+/* Gönderildi → kuyruktan sil */
+function markSent(id) {
+  const list = load();
+  const idx = list.findIndex((x) => x.id === id);
+  if (idx >= 0) {
+    list.splice(idx, 1);
+    save();
+  }
+}
+
+/* Deneme başarısız → backoff planla; 5 denemeden sonra "failed" (gonderilemedi) */
+function bumpRetry(id) {
+  const it = load().find((x) => x.id === id);
+  if (!it) return;
+  it.retry_count = (it.retry_count || 0) + 1;
+  if (it.retry_count >= MAX_RETRY) {
+    it.status = 'failed';
+    it.failedAt = new Date().toISOString();
+  } else {
+    it.nextAt = Date.now() + BACKOFF_MS[it.retry_count - 1];
+  }
+  save();
+}
+
+function pendingCount() {
+  return load().filter((x) => x.status === 'pending').length;
+}
+
+function stats() {
+  const l = load();
+  return {
+    pending: l.filter((x) => x.status === 'pending').length,
+    failed: l.filter((x) => x.status === 'failed').length,
+    total: l.length,
+  };
+}
+
+/* bağlantı geri gelince testler için */
+function _reset() {
+  CACHE = null;
+}
+
+module.exports = { MAX_QUEUE, MAX_RETRY, BACKOFF_MS, add, due, markSent, bumpRetry, pendingCount, stats, _reset, file };

package/src/agent/pdf.js

@@ -1,20 +1,20 @@
-'use strict';
-
-/* Beast PDF yardımcısı: pdf-parse v2 ile düz metin çıkarımı.
-   pdf-parse kendi pdfjs-dist@5.4.296 kopyasını kullanır (nested). Aynı process'te
-   başka bir pdfjs sürümü yükleyen paket (örn. pdf-to-img) açılırsa globalThis
-   worker cache çakışmasından "API version ... does not match Worker version"
-   hatası çıkar — o yüzden render/OCR işleri AYRI node süreçlerinde yapılır
-   (ayrıntı: pdf skill'i). */
-
-async function extract(buf) {
-  const { PDFParse } = require('pdf-parse');
-  const parser = new PDFParse({ data: new Uint8Array(buf) });
-  try {
-    return await parser.getText();
-  } finally {
-    await parser.destroy();
-  }
-}
-
-module.exports = { extract };
+'use strict';
+
+/* Beast PDF yardımcısı: pdf-parse v2 ile düz metin çıkarımı.
+   pdf-parse kendi pdfjs-dist@5.4.296 kopyasını kullanır (nested). Aynı process'te
+   başka bir pdfjs sürümü yükleyen paket (örn. pdf-to-img) açılırsa globalThis
+   worker cache çakışmasından "API version ... does not match Worker version"
+   hatası çıkar — o yüzden render/OCR işleri AYRI node süreçlerinde yapılır
+   (ayrıntı: pdf skill'i). */
+
+async function extract(buf) {
+  const { PDFParse } = require('pdf-parse');
+  const parser = new PDFParse({ data: new Uint8Array(buf) });
+  try {
+    return await parser.getText();
+  } finally {
+    await parser.destroy();
+  }
+}
+
+module.exports = { extract };

package/src/agent/research.js

@@ -1,133 +1,133 @@
-'use strict';
-
-/* BEAST — deep_search: agentic araştırma katmanı.
-   web_search snippet'te kalır; bu katman derine iner:
-     1) 1-4 sorgu varyantını PARALEL aratır (toplam süre ≈ tek arama)
-     2) Sonuçları URL bazlı tekilleştirip round-robin harmanlar (kaynak çeşitliliği)
-     3) İlk N sonucu GİZLİ gerçek tarayıcıda açıp tam metin okur
-        (deps.readPage verilmişse; yoksa yalnız sonuç listesi döner)
-   Saf modüldür: search/readPage enjekte edilir — test edilebilir. */
-
-/* İçerik okumada anlamsız/ikili dosyalar — tarayıcıda açmanın anlamı yok */
-const SKIP_FILE_RE = /\.(pdf|docx?|xlsx?|pptx?|zip|rar|7z|exe|dmg|apk|mp[34]|m4a|avi|mkv|webm|jpe?g|png|gif|webp|svg|ico|csv)([?#]|$)/i;
-
-/* URL anahtarı: scheme/www/slash/hash farklarını yok sayar — tekilleştirme için */
-function normKey(u) {
-  try {
-    const x = new URL(u);
-    x.hash = '';
-    let s = x.toString();
-    s = s.replace(/^http:\/\//i, 'https://');
-    s = s.replace(/^https:\/\/www\./i, 'https://');
-    return s.replace(/\/+$/, '').toLowerCase();
-  } catch {
-    return String(u || '').toLowerCase();
-  }
-}
-
-/* search() geri dönüşünü normalize eder: dizi YA DA {results:[...]} kabul;
-   satır anahtarları title/url/snippet VEYA name/href/link/body/description olabilir */
-function normalizeRows(out) {
-  if (!out) return [];
-  const rows = Array.isArray(out) ? out : Array.isArray(out.results) ? out.results : [];
-  return rows
-    .map((r) => ({
-      title: String((r && (r.title || r.name)) || '').replace(/\s+/g, ' ').trim(),
-      url: String((r && (r.url || r.href || r.link)) || '').trim(),
-      snippet: String((r && (r.snippet || r.body || r.description)) || '').replace(/\s+/g, ' ').trim(),
-    }))
-    .filter((r) => r.url && /^https?:\/\//i.test(r.url) && r.title);
-}
-
-/* Liste harmanı: her listenin i. elemanı sırayla alınır (round-robin) —
-   tek motorun sonuçları öne çökmez, kaynak çeşitliliği korunur */
-function mergeResults(lists, limit) {
-  const seen = new Set();
-  const out = [];
-  const max = lists.reduce((m, l) => Math.max(m, l.length), 0);
-  for (let i = 0; i < max && out.length < limit; i++) {
-    for (const list of lists) {
-      if (out.length >= limit) break;
-      const r = list[i];
-      if (!r) continue;
-      const key = normKey(r.url);
-      if (seen.has(key)) continue;
-      seen.add(key);
-      out.push(r);
-    }
-  }
-  return out;
-}
-
-/* Eşzamanlılığı sınırlı paralel map — hata tek elemanı bozar, diziyi bozmaz */
-function mapLimit(items, n, fn) {
-  const out = new Array(items.length);
-  let i = 0;
-  const worker = async () => {
-    while (i < items.length) {
-      const idx = i++;
-      try {
-        out[idx] = await fn(items[idx], idx);
-      } catch (e) {
-        out[idx] = { ok: false, url: items[idx] && items[idx].url, error: String((e && e.message) || e) };
-      }
-    }
-  };
-  const workers = Array.from({ length: Math.max(1, Math.min(n, items.length)) }, worker);
-  return Promise.all(workers).then(() => out);
-}
-
-async function deepSearch(args, deps, signal) {
-  const a = args || {};
-  let queries = a.queries;
-  if (typeof queries === 'string') queries = [queries];
-  if (!Array.isArray(queries) || !queries.length) {
-    const q = String(a.query || '').trim();
-    if (q) queries = [q];
-  }
-  queries = [...new Set((queries || []).map((s) => String(s || '').trim()).filter(Boolean))].slice(0, 4);
-  if (!queries.length) return { ok: false, error: 'sorgu yok — queries: ["...", "..."] ver' };
-  if (signal && signal.aborted) return { ok: false, error: 'iptal edildi', queries };
-
-  const maxResults = Math.max(5, Math.min(25, Number(a.max_results) || 16));
-  const readTop = Math.max(0, Math.min(6, Number(a.read_top != null ? a.read_top : (a.readTop != null ? a.readTop : 3))));
-  const search = deps && typeof deps.search === 'function' ? deps.search : null;
-  if (!search) return { ok: false, error: 'arama altyapısı yok', queries };
-
-  /* 1) paralel arama — bir sorgu çökse diğerleri devam eder */
-  const lists = await Promise.all(
-    queries.map((q) =>
-      Promise.resolve()
-        .then(() => search(q))
-        .then(normalizeRows)
-        .catch(() => [])
-    )
-  );
-  const results = mergeResults(lists, maxResults);
-
-  /* 2) ilk N sonucu gizli tarayıcıda açıp oku (ikili dosyaları atla) */
-  let pages = [];
-  if (readTop && results.length && deps && typeof deps.readPage === 'function') {
-    const targets = results.filter((r) => !SKIP_FILE_RE.test(r.url)).slice(0, readTop);
-    if (targets.length) {
-      pages = (await mapLimit(targets, 2, (r) => deps.readPage(r.url))).filter(Boolean);
-    }
-  }
-  const anyPage = pages.some((p) => p && p.ok);
-
-  return {
-    ok: !!(results.length || anyPage),
-    queries,
-    results,
-    ...(pages.length ? { pages } : {}),
-    ...(results.length || anyPage
-      ? {
-          note: anyPage
-            ? 'sayfalar gizli tarayıcıda açılıp okundu — excerpt\u2019ler pages içinde; bir sayfayı kullanıcıya da göstermek istersen browser_open ile panelde aç'
-            : 'sonuç listesi hazır — tam metin okuma kapalı/başarısız; URL\u2019leri http_fetch ile okuyabilirsin',
-        }
-      : { error: 'tüm motorlar boş döndü — sorguları farklı ifade etmeyi dene' }),
-  };
-}
-
-module.exports = { deepSearch, mergeResults, normalizeRows, normKey, mapLimit, SKIP_FILE_RE };
+'use strict';
+
+/* BEAST — deep_search: agentic araştırma katmanı.
+   web_search snippet'te kalır; bu katman derine iner:
+     1) 1-4 sorgu varyantını PARALEL aratır (toplam süre ≈ tek arama)
+     2) Sonuçları URL bazlı tekilleştirip round-robin harmanlar (kaynak çeşitliliği)
+     3) İlk N sonucu GİZLİ gerçek tarayıcıda açıp tam metin okur
+        (deps.readPage verilmişse; yoksa yalnız sonuç listesi döner)
+   Saf modüldür: search/readPage enjekte edilir — test edilebilir. */
+
+/* İçerik okumada anlamsız/ikili dosyalar — tarayıcıda açmanın anlamı yok */
+const SKIP_FILE_RE = /\.(pdf|docx?|xlsx?|pptx?|zip|rar|7z|exe|dmg|apk|mp[34]|m4a|avi|mkv|webm|jpe?g|png|gif|webp|svg|ico|csv)([?#]|$)/i;
+
+/* URL anahtarı: scheme/www/slash/hash farklarını yok sayar — tekilleştirme için */
+function normKey(u) {
+  try {
+    const x = new URL(u);
+    x.hash = '';
+    let s = x.toString();
+    s = s.replace(/^http:\/\//i, 'https://');
+    s = s.replace(/^https:\/\/www\./i, 'https://');
+    return s.replace(/\/+$/, '').toLowerCase();
+  } catch {
+    return String(u || '').toLowerCase();
+  }
+}
+
+/* search() geri dönüşünü normalize eder: dizi YA DA {results:[...]} kabul;
+   satır anahtarları title/url/snippet VEYA name/href/link/body/description olabilir */
+function normalizeRows(out) {
+  if (!out) return [];
+  const rows = Array.isArray(out) ? out : Array.isArray(out.results) ? out.results : [];
+  return rows
+    .map((r) => ({
+      title: String((r && (r.title || r.name)) || '').replace(/\s+/g, ' ').trim(),
+      url: String((r && (r.url || r.href || r.link)) || '').trim(),
+      snippet: String((r && (r.snippet || r.body || r.description)) || '').replace(/\s+/g, ' ').trim(),
+    }))
+    .filter((r) => r.url && /^https?:\/\//i.test(r.url) && r.title);
+}
+
+/* Liste harmanı: her listenin i. elemanı sırayla alınır (round-robin) —
+   tek motorun sonuçları öne çökmez, kaynak çeşitliliği korunur */
+function mergeResults(lists, limit) {
+  const seen = new Set();
+  const out = [];
+  const max = lists.reduce((m, l) => Math.max(m, l.length), 0);
+  for (let i = 0; i < max && out.length < limit; i++) {
+    for (const list of lists) {
+      if (out.length >= limit) break;
+      const r = list[i];
+      if (!r) continue;
+      const key = normKey(r.url);
+      if (seen.has(key)) continue;
+      seen.add(key);
+      out.push(r);
+    }
+  }
+  return out;
+}
+
+/* Eşzamanlılığı sınırlı paralel map — hata tek elemanı bozar, diziyi bozmaz */
+function mapLimit(items, n, fn) {
+  const out = new Array(items.length);
+  let i = 0;
+  const worker = async () => {
+    while (i < items.length) {
+      const idx = i++;
+      try {
+        out[idx] = await fn(items[idx], idx);
+      } catch (e) {
+        out[idx] = { ok: false, url: items[idx] && items[idx].url, error: String((e && e.message) || e) };
+      }
+    }
+  };
+  const workers = Array.from({ length: Math.max(1, Math.min(n, items.length)) }, worker);
+  return Promise.all(workers).then(() => out);
+}
+
+async function deepSearch(args, deps, signal) {
+  const a = args || {};
+  let queries = a.queries;
+  if (typeof queries === 'string') queries = [queries];
+  if (!Array.isArray(queries) || !queries.length) {
+    const q = String(a.query || '').trim();
+    if (q) queries = [q];
+  }
+  queries = [...new Set((queries || []).map((s) => String(s || '').trim()).filter(Boolean))].slice(0, 4);
+  if (!queries.length) return { ok: false, error: 'sorgu yok — queries: ["...", "..."] ver' };
+  if (signal && signal.aborted) return { ok: false, error: 'iptal edildi', queries };
+
+  const maxResults = Math.max(5, Math.min(25, Number(a.max_results) || 16));
+  const readTop = Math.max(0, Math.min(6, Number(a.read_top != null ? a.read_top : (a.readTop != null ? a.readTop : 3))));
+  const search = deps && typeof deps.search === 'function' ? deps.search : null;
+  if (!search) return { ok: false, error: 'arama altyapısı yok', queries };
+
+  /* 1) paralel arama — bir sorgu çökse diğerleri devam eder */
+  const lists = await Promise.all(
+    queries.map((q) =>
+      Promise.resolve()
+        .then(() => search(q))
+        .then(normalizeRows)
+        .catch(() => [])
+    )
+  );
+  const results = mergeResults(lists, maxResults);
+
+  /* 2) ilk N sonucu gizli tarayıcıda açıp oku (ikili dosyaları atla) */
+  let pages = [];
+  if (readTop && results.length && deps && typeof deps.readPage === 'function') {
+    const targets = results.filter((r) => !SKIP_FILE_RE.test(r.url)).slice(0, readTop);
+    if (targets.length) {
+      pages = (await mapLimit(targets, 2, (r) => deps.readPage(r.url))).filter(Boolean);
+    }
+  }
+  const anyPage = pages.some((p) => p && p.ok);
+
+  return {
+    ok: !!(results.length || anyPage),
+    queries,
+    results,
+    ...(pages.length ? { pages } : {}),
+    ...(results.length || anyPage
+      ? {
+          note: anyPage
+            ? 'sayfalar gizli tarayıcıda açılıp okundu — excerpt\u2019ler pages içinde; bir sayfayı kullanıcıya da göstermek istersen browser_open ile panelde aç'
+            : 'sonuç listesi hazır — tam metin okuma kapalı/başarısız; URL\u2019leri http_fetch ile okuyabilirsin',
+        }
+      : { error: 'tüm motorlar boş döndü — sorguları farklı ifade etmeyi dene' }),
+  };
+}
+
+module.exports = { deepSearch, mergeResults, normalizeRows, normKey, mapLimit, SKIP_FILE_RE };