beast-agent 2.6.4 → 2.6.6

package/package.json

@@ -1,7 +1,7 @@
 {
     "name": "beast-agent",
     "productName": "Beast Agent",
-    "version": "2.6.4",
+    "version": "2.6.6",
     "description": "Ultra-fast local agent shell for Windows.",
     "author": "algokodcom (AlgoKod)",
     "license": "MIT",

package/src/agent/memory.js

@@ -265,67 +265,180 @@ function removeRule(textOrIndex) {
 }
 
 /* ---------- bellek hijyeni (#5) ----------
-   MEMORY.md: dedup + eskime; periyodik çağrıyla şişme engellenir. */
+   MEMORY.md: yakın-kayıt dedup + gürültü temizliği + eskime. LLM'siz
+   deterministik — gece yansıması 429/limit'e takılsa bile memory sadeleşir. */
 
 const MEMORY_CAP = 400; // maksimum kayıt sayısı
 const MEMORY_MAX_AGE_DAYS = 120; // hiç skor üretmeyen kayıtların ömrü
 
-/** Duplike + çok eski kayıtları temizler; silinen sayısını döner */
-function hygiene({ maxAgeDays = MEMORY_MAX_AGE_DAYS, cap = MEMORY_CAP } = {}) {
+/* kelime-kümesi benzerliği: fold + stopword temiz. "adı Batuhan, hitap kanka"
+   ≡ "kullanıcı Batuhan Bozoklu, hitap 'kanka'" gibi TEKRARLARI yakalar. */
+const MEM_STOP = new Set(
+  ('ve veya ya ile için ama fakat da de ki mi mi mu mü bir bu şu o en daha çok az olarak gibi sonra önce yeni son ' +
+   'the a an of in on to for and or is are was were be been at by with as it its this that from').split(' ')
+);
+
+function lineTokens(s) {
+  const words = fold(s)
+    .replace(/[^a-z0-9]+/g, ' ')
+    .split(' ')
+    .filter((w) => w.length > 1 && !MEM_STOP.has(w) && !/^kullanici/.test(w));
+  return new Set(words.slice(0, 30));
+}
+
+function linesSimilar(a, b) {
+  const A = lineTokens(a);
+  const B = lineTokens(b);
+  if (!A.size || !B.size) return false;
+  let inter = 0;
+  for (const t of A) if (B.has(t)) inter++;
+  if (!inter) return false;
+  const min = Math.min(A.size, B.size);
+  return inter / min >= 0.7 || inter / (A.size + B.size - inter) >= 0.6;
+}
+
+/* 'X'i sildi / X ile ilgilenmiyor' beyanı — aynı X için eski kurulum satırları düşürülür */
+const RETIRE_DECL_RE = /(indirdikten sonra sildi|bilerek sildi|art[i]?k ilgilenmiyor|ilgilenmiyor)/i;
+const INSTALL_VERB_RE = /(indiriyor|indirdi|indirmek|kuruyor|kurulu|kurulum|y[kü]kl)/i;
+
+function retiredToolNames(list) {
+  const retired = new Set();
+  for (const l of list) {
+    if (!RETIRE_DECL_RE.test(l)) continue;
+    for (const w of String(l).match(/[A-Za-z][A-Za-z0-9-]{2,}/g) || []) {
+      const f = fold(w);
+      if (!MEM_STOP.has(f) && f.length >= 4) retired.add(f);
+    }
+  }
+  return retired;
+}
+
+/* repo/araç indirme-inceleme günlüğü: kalıcı profil değil, bir kez değdi */
+function isRepoNoise(l) {
+  if (RETIRE_DECL_RE.test(l)) return false; /* emeklilik beyanı değerli — korunur */
+  if (/(repo|github)/i.test(l) && /(indir|incel|kopya|kar[sş]ıla[sş]tır|ilgilen)/i.test(l)) return true;
+  if (/ilgilen/i.test(l) && /(inceliyor|kar[sş]ıla[sş]tır)/i.test(l)) return true;
+  return false;
+}
+
+/** Duplike + yakın-kayıt + gürültü + çok eski kayıtları temizler.
+    deep: LLM'siz temizlik katmanı (yakın-kayıt birleştirme — SON kopya kazanır). */
+function hygiene({ maxAgeDays = MEMORY_MAX_AGE_DAYS, cap = MEMORY_CAP, deep = true } = {}) {
   const list = entries();
   if (!list.length) return { ok: true, removed: 0, reason: 'boş' };
-  const seen = new Set();
-  const kept = [];
-  let dupes = 0;
-  for (const l of list) {
-    const key = fold(l).replace(/[^a-z0-9]+/g, ' ').trim();
-    if (seen.has(key)) {
-      dupes++;
-      continue;
+  let working = list.slice();
+  const dropped = [];
+
+  /* 0) birebir dedup — her modda (ucuz) */
+  {
+    const seen = new Set();
+    working = working.filter((l) => {
+      const key = fold(l).replace(/[^a-z0-9]+/g, ' ').trim();
+      if (seen.has(key)) {
+        dropped.push(l);
+        return false;
+      }
+      seen.add(key);
+      return true;
+    });
+  }
+
+  if (deep) {
+    /* 1) emekli araç beyanları: 'X'i sildi/ilgilenmiyor' → X'in eski kurulum satırları düşer */
+    const retired = retiredToolNames(working);
+    if (retired.size) {
+      working = working.filter((l) => {
+        if (RETIRE_DECL_RE.test(l)) return true; /* beyanın kendisi korunur */
+        if (!INSTALL_VERB_RE.test(l)) return true;
+        for (const t of lineTokens(l)) {
+          if (retired.has(t)) {
+            dropped.push(l);
+            return false;
+          }
+        }
+        return true;
+      });
+    }
+    /* 2) repo/araç gürültüsü */
+    working = working.filter((l) => {
+      if (isRepoNoise(l)) {
+        dropped.push(l);
+        return false;
+      }
+      return true;
+    });
+    /* 3) yakın-kayıt dedup — aynı şeyin yeniden yazımı TEK satırda; SON kopya kazanır (en taze) */
+    const kept2 = [];
+    for (const l of working) {
+      const idx = kept2.findIndex((k) => linesSimilar(k, l));
+      if (idx >= 0) {
+        dropped.push(kept2[idx]);
+        kept2[idx] = l;
+      } else {
+        kept2.push(l);
+      }
     }
-    seen.add(key);
-    kept.push(l);
+    working = kept2;
   }
+
   let aged = 0;
-  if (kept.length > cap || maxAgeDays > 0) {
+  if (working.length > cap || maxAgeDays > 0) {
     /* tarih etiketli olmayanlar en eski kabul edilir (append-only başlangıç) */
     const cut = Date.now() - maxAgeDays * 86400000;
     const filtered = [];
     /* kronolojik varsayım: dosya sırası = ekleme sırası */
-    const overflow = Math.max(0, kept.length - cap);
-    kept.forEach((l, idx) => {
+    const overflow = Math.max(0, working.length - cap);
+    working.forEach((l, idx) => {
       const m = l.match(/\b(\d{4}-\d{2}-\d{2})\b/);
       const tooOld = m && new Date(m[1]).getTime() < cut;
-      if (tooOld && idx < kept.length - 20) { // son 20 kayıt asla yaşla silinmez
+      if (tooOld && idx < working.length - 20) { // son 20 kayıt asla yaşla silinmez
         aged++;
         return;
       }
       if (overflow > 0 && idx < overflow) {
         // kap aşımı: en eskilerden düş ama yine de son 20 korunur
-        if (idx < kept.length - 20) {
+        if (idx < working.length - 20) {
           aged++;
           return;
         }
       }
       filtered.push(l);
     });
-    return writeKept(filtered, dupes + aged);
+    return writeKept(list, filtered, dropped.length + aged);
   }
-  return writeKept(kept, dupes);
+  return writeKept(list, working, dropped.length + aged);
 }
 
-function writeKept(kept, removedCount) {
+function writeKept(originalList, kept, removedCount) {
   try {
-    fs.writeFileSync(
-      path.join(memDir(), 'MEMORY.md'),
-      kept.map((l) => '- ' + l).join('\n') + (kept.length ? '\n' : '')
-    );
-    return { ok: true, removed: removedCount, remaining: kept.length };
+    /* yedek: hijyen geri alınabilir olsun (nightref backups klasörü ortak) */
+    if (removedCount > 0 && originalList.length) {
+      try {
+        const dir = path.join(memDir(), 'backups');
+        fs.mkdirSync(dir, { recursive: true });
+        fs.writeFileSync(
+          path.join(dir, 'MEMORY-hygiene-' + new Date().toISOString().replace(/[:.]/g, '-').slice(0, 19) + '.md'),
+          originalList.map((l) => '- ' + l).join('\n') + '\n',
+          'utf8'
+        );
+      } catch {}
+    }
+    /* save() → mem0 store'u satırlardan yeniden kurar (ham yazımda store bayat kalırdı) */
+    const w = save('MEMORY.md', kept.map((l) => '- ' + l).join('\n') + (kept.length ? '\n' : ''));
+    if (w && !w.ok) return { ok: false, error: w.error || 'yazılamadı' };
+    return { ok: true, removed: removedCount, remaining: kept.length, ...(droppedPreview(originalList, kept)) };
   } catch (e) {
     return { ok: false, error: String((e && e.message) || e) };
   }
 }
 
+/* silinenleri özet olarak döndür (admin/araç yanıtı + audit) — ilk 40 */
+function droppedPreview(originalList, kept) {
+  const keptSet = new Set(kept);
+  const gone = originalList.filter((l) => !keptSet.has(l)).slice(0, 40);
+  return gone.length ? { dropped: gone } : {};
+}
+
 /* ---------- #12 kişilik kalibrasyonu ----------
    Kullanıcının konuşma tarzından üslup imzası çıkarır, SOUL.md'ye ekler.
    İlk hafta mesajlar birikince "dijital ikiz" ton yakalanır. */

package/src/agent/nightref.js

@@ -318,6 +318,20 @@ async function run(deps) {
     report.notes.push('bugün değerli transkript yok — öğrenme adımı atlandı');
   }
 
+  /* 2b) LLM'siz derin hijyen: yakın-kayıt dedup + gürültü temizliği.
+     LLM (429/limit) çökse bile memory her yansımada sadeleşir. */
+  if (deps.memory && typeof deps.memory.hygiene === 'function') {
+    try {
+      const h = deps.memory.hygiene({ deep: true });
+      if (h && typeof h.removed === 'number' && h.removed > 0) {
+        report.hygiene = { removed: h.removed, remaining: h.remaining || 0 };
+        report.notes.push('derin hijyen: ' + h.removed + ' kayıt temizlendi');
+      }
+    } catch (e) {
+      report.errors.push('hijyen: ' + String((e && e.message) || e).slice(0, 100));
+    }
+  }
+
   /* 3) memory sıkılaştırma: drop/merge kararları → yedek → uygula */
   const entriesNow = deps.memory.entries();
   if (!noLlm && entriesNow.length >= CONSOLIDATE_MIN) {
@@ -401,6 +415,7 @@ async function run(deps) {
       ? '\n## İlgi alanları (günlük çıkarım)\n' + report.interests.labels.map((l) => '- ' + l).join('\n') + '\n'
       : '') +
     '\n## Bellek bakımı\n' +
+    (report.hygiene ? '- Derin hijyen (LLM\u2019siz): ' + report.hygiene.removed + ' kayıt temizlendi\n' : '') +
     '- Kayıt: ' + m.before + ' → ' + m.after + ' (düşülen ' + m.dropped + ', ' + m.merged + ' kayıt birleşti)\n' +
     '- Boyut: ' + m.charsBefore + ' → ' + m.charsAfter + ' char (~' + m.tokensSaved + ' token tasarruf)\n' +
     (report.notes.length ? '- Not: ' + report.notes.join('; ') + '\n' : '') +

package/src/agent/perception.js

@@ -304,6 +304,35 @@ function topicKey(type, title) {
   return normTitle(type + ' ' + title).split(' ').slice(0, 5).join(' ');
 }
 
+/* ---------- benzer haber dedup (kelime-kümesi benzerliği) ----------
+   Aynı olayın farklı kaynak varyasyonları farklı başlıkla gelir → fingerprint
+   kaçırır ("X yaptırım" / "ABD X'e yeni yaptırım"). Bu katman: TR fold'lu
+   stopword temizli kelime kümeleriyle containment/Jaccard benzerliği. */
+
+const SIM_CONTAIN = 0.6;  /* kısa başlık, uzun varyantın alt kümesiyse */
+const SIM_JACCARD = 0.55; /* genel örtüşme eşiği */
+
+const TITLE_STOP = new Set(
+  ('ve veya ya ile için ama fakat da de ki mi mu mu mü bir bu şu o en daha çok az olarak gibi sonra önce yeni son sonucunda ' +
+   'the a an of in on to for and or is are was were be been at by with as it its this that from after before new').split(' ')
+);
+
+function titleTokens(t) {
+  const words = normTitle(String(t || '')).split(' ').filter((w) => w.length > 1 && !TITLE_STOP.has(w));
+  return new Set(words.slice(0, 24));
+}
+
+function tokensSimilar(a, b) {
+  if (!a || !b || !a.size || !b.size) return false;
+  const min = Math.min(a.size, b.size);
+  if (min < 2) return false; /* tek anahtar kelimelik başlık güvenilir değil */
+  let inter = 0;
+  for (const t of a) if (b.has(t)) inter++;
+  if (!inter) return false;
+  if (inter / min >= SIM_CONTAIN) return true;
+  return inter / (a.size + b.size - inter) >= SIM_JACCARD;
+}
+
 function uid() {
   return Date.now().toString(36) + Math.random().toString(36).slice(2, 8);
 }
@@ -516,6 +545,41 @@ async function runCycle({ cfg, signals, llmFilter, now = new Date(), log = () =>
     for (const k of seenKeys.slice(0, seenKeys.length - SEEN_CAP)) delete st.seen[k];
   }
 
+  /* FAZ 1 — döngü içi benzer birleştirme: aynı haberin farklı kaynak
+     varyasyonları TEK adaya iner (kaynaklar birleşir, LLM'e tekrar gitmez) */
+  const mergedPending = [];
+  let similar = 0;
+  for (const ev of pending) {
+    const tk = titleTokens(ev.title);
+    const twin = mergedPending.find((m) => tokensSimilar(m._tk, tk));
+    if (twin) {
+      if (!twin.sources.includes(ev.source)) twin.sources.push(ev.source);
+      similar++;
+      continue;
+    }
+    ev._tk = tk;
+    mergedPending.push(ev);
+  }
+  pending.splice(0, pending.length, ...mergedPending);
+
+  /* FAZ 2 — bildirim geçmişine karşı: son 24 saatte BENZER bir haber zaten
+     BİLDİRİLDİYSE aday sönüklenir (aynı haberin 3 varyasyon spam'i olmasın) */
+  const counts = { ignored: 0, stored: 0, queued: 0, dup: dups, raw: raws.length, similar };
+  const passable = [];
+  for (const ev of pending) {
+    const twin = st.events.find(
+      (s) => s.status === 'notified' && tokensSimilar(titleTokens(s.title), ev._tk)
+    );
+    if (twin) {
+      ev.status = 'ignored';
+      ev.reason = 'benzer haber zaten bildirildi: ' + String(twin.title || '').slice(0, 50);
+      counts.similar++;
+      continue;
+    }
+    passable.push(ev);
+  }
+  pending.splice(0, pending.length, ...passable);
+
   /* UCUZ FİLTRE: tüm adaylar TEK toplu çağrıda (maliyet freni). Çökerse deterministik.
      İlgi alanları: elle girilen + sohbetlerden öğrenilenler; son konuşmalar bağlam. */
   const interests = combinedInterests(cfg);
@@ -532,7 +596,6 @@ async function runCycle({ cfg, signals, llmFilter, now = new Date(), log = () =>
   }
   if (!graded || !graded.size) log('filtre: deterministik puanlama');
 
-  const counts = { ignored: 0, stored: 0, queued: 0, dup: dups, raw: raws.length };
   const actions = [];
   for (const ev of pending) {
     const g = graded && graded.get(String(ev.id).toLowerCase());
@@ -603,7 +666,7 @@ async function runCycle({ cfg, signals, llmFilter, now = new Date(), log = () =>
   st.lastRunAt = now.toISOString();
   saveState(st);
   log(
-    'cycle tamam: raw=' + counts.raw + ' dup=' + dups +
+    'cycle tamam: raw=' + counts.raw + ' dup=' + dups + ' similar=' + counts.similar +
     ' ignored=' + counts.ignored + ' stored=' + counts.stored + ' queued=' + counts.queued +
     ' (' + (Date.now() - t0) + 'ms)'
   );

package/src/main.js

@@ -6420,6 +6420,20 @@ function empatiSourceLinePlain(ev) {
   return src ? '🔗 kaynak: ' + cap(src, 80) : '';
 }
 
+/* WhatsApp: kullanıcı tercihi — ham URL GÖRÜNMEZ, haber başlığı gider.
+   (WA düz metinde başlık-linki desteklemez; gerçek link yine de ajanın
+   BAĞLAM bloğunda durur — "linki at" derse model oradan paylaşıır.) */
+function empatiSourceLineWa(ev) {
+  if (!ev) return '';
+  const oneLine = (s) =>
+    String(s || '').replace(/\s*\n+\s*/g, ' ').replace(/\s{2,}/g, ' ').trim();
+  const ELLIPSIS = '...';
+  const cap = (s, max) =>
+    oneLine(s).length > max ? oneLine(s).slice(0, max - ELLIPSIS.length) + ELLIPSIS : oneLine(s);
+  const title = oneLine(ev.title || ev.source || '').trim();
+  return title ? '🔗 ' + cap(title, 80) : '';
+}
+
 function empatiInjectToSession(sid, out) {
   try {
     if (!sid || engine.isBusy(sid)) return; /* tur ortasında geçmişi karıştırma — bildirim kanala zaten gitti */
@@ -6525,12 +6539,14 @@ function empatiDesktopSid() {
    Hiçbir entegrasyon yazılamazsa masaüstü chat UI (toast) kalır. */
 function empatiNotify(text, ev) {
   const cfg = empatiCfg();
-  /* desktop + Discord: başlık-linki (markdown); WA/TG: ham URL (tıklanabilir
-     olması için şart) — kanallar kendi biçimini alır */
+  /* desktop + Discord: başlık-linki (markdown); TG: ham URL (tıklanabilir
+     olması için şart); WA: yalnız başlık (kullanıcı tercihi — ham URL yok) */
   const src = empatiSourceLine(ev);
   const srcPlain = empatiSourceLinePlain(ev);
+  const srcWa = empatiSourceLineWa(ev);
   const out = PROACTIVE_MARK + '\n' + text + (src ? '\n' + src : '');
   const outPlain = PROACTIVE_MARK + '\n' + text + (srcPlain ? '\n' + srcPlain : '');
+  const outWa = PROACTIVE_MARK + '\n' + text + (srcWa ? '\n' + srcWa : '');
   const inject = empatiInjectText(ev, out);
   const senders = [];
   const tryWa = () => {
@@ -6539,7 +6555,7 @@ function empatiNotify(text, ev) {
       if (own && wa && wa.connected) {
         const jid = own + '@s.whatsapp.net';
         senders.push(() =>
-          Promise.resolve(sendWaSafe(jid, outPlain))
+          Promise.resolve(sendWaSafe(jid, outWa))
             .then(() => empatiInjectToSession(ensureWaSession(jid), inject))
             .catch(() => {})
         );