social-agent-cli 2.0.0 → 2.1.1

package/ai/runner.ts

@@ -3,6 +3,7 @@ import { loadMap } from "./mapper.js";
 import { createPlan, type ExecutionPlan, type PlanStep } from "./planner.js";
 import { healAndContinue } from "./mapper.js";
 import { saveToHistory } from "../core/history.js";
+import { injectWatcher, hasUnexpectedChange } from "../core/page-watcher.js";
 import type { Post, PostResult } from "../core/types.js";
 import { join } from "node:path";
 import { PATHS } from "../core/config.js";
@@ -82,9 +83,10 @@ export async function runCommand(
           await page.waitForTimeout(3000);
         }
 
-        let steps = [...map.steps];
+        // Periferik görüş - MutationObserver enjekte et
+        await injectWatcher(page);
 
-        // IMAGE parametresi var ama map'te upload yok → planner learn_new ile öğretecek
+        let steps = [...map.steps];
         let stepIdx = 0;
         let healAttempt = 0;
 
@@ -114,7 +116,25 @@ export async function runCommand(
             }
 
             stepIdx++;
-            healAttempt = 0; // başarılı, heal sayacını sıfırla
+            healAttempt = 0;
+
+            // Aksiyon-algı döngüsü: step sonrası beklenmeyen değişiklik var mı?
+            await page.waitForTimeout(300); // kısa bekleme - DOM güncellensin
+            const change = await hasUnexpectedChange(page);
+            if (change.changed) {
+              console.log(`    ⚡ ${change.description}`);
+              // Beklenmeyen element çıktı - AI'a sor ne yapmalı
+              const healScreenshot = join(PATHS.screenshots, `${platform}_unexpected.png`);
+              await page.screenshot({ path: healScreenshot });
+              const ariaSnap = await page.locator('body').ariaSnapshot();
+
+              const newSteps = await healAndContinue(
+                platform, stepIdx, steps, healScreenshot, ariaSnap,
+                `Beklenmeyen değişiklik: ${change.description}. Bu element'i handle edip kalan adımlara devam et.`,
+                post.content || step.description, "low"
+              );
+              steps = [...steps.slice(0, stepIdx), ...newSteps];
+            }
           } catch (err: any) {
             healAttempt++;
             const efforts = ["low", "medium", "medium"];

package/core/page-watcher.ts

@@ -0,0 +1,172 @@
+/**
+ * Page Watcher - İnsan beyni modeliyle sayfa izleme
+ *
+ * Beyin modeli:
+ * 1. Periferik görüş → MutationObserver ile DOM değişikliklerini sürekli izle
+ * 2. Değişiklik algılama → Yeni dialog/modal/overlay çıktığında algıla
+ * 3. Dikkat yönlendirme → Beklenmeyen element → otomatik odaklan
+ * 4. Aksiyon-algı döngüsü → Her step sonrası durumu doğrula
+ * 5. Tahmin → Beklenen sonuçla gerçeği karşılaştır
+ */
+
+import type { Page } from "playwright";
+
+export interface PageState {
+  hasNewDialog: boolean;
+  hasNewOverlay: boolean;
+  hasError: boolean;
+  newElements: string[];  // yeni eklenen önemli elementlerin açıklamaları
+  ariaSnapshot: string;
+}
+
+/**
+ * Sayfaya MutationObserver enjekte et - periferik görüş
+ * DOM'a eklenen dialog, modal, overlay, alert gibi elementleri yakalar
+ */
+export async function injectWatcher(page: Page): Promise<void> {
+  await page.evaluate(`(() => {
+    if (window.__socialAgentWatcher) return;
+    window.__socialAgentWatcher = {
+      changes: [],
+      newDialogs: [],
+      newOverlays: [],
+      errors: [],
+    };
+
+    const watcher = window.__socialAgentWatcher;
+
+    const observer = new MutationObserver((mutations) => {
+      for (const mutation of mutations) {
+        for (const node of mutation.addedNodes) {
+          if (!(node instanceof HTMLElement)) continue;
+
+          const role = node.getAttribute('role');
+          const ariaModal = node.getAttribute('aria-modal');
+          const tag = node.tagName.toLowerCase();
+
+          // Dialog/Modal algılama - standart + heuristik
+          const isDialog = role === 'dialog' || role === 'alertdialog' || ariaModal === 'true' || tag === 'dialog';
+          const style = window.getComputedStyle(node);
+          const isFloating = (style.position === 'fixed' || style.position === 'absolute') && style.zIndex && parseInt(style.zIndex) > 50;
+          const cls = (node.className?.toString?.() || '').toLowerCase();
+          const looksLikeModal = cls.match(/modal|dialog|popup|overlay|drawer|sheet|toast|snackbar|dropdown|popover/);
+
+          if (isDialog || (isFloating && looksLikeModal)) {
+            watcher.newDialogs.push({
+              role: role || tag,
+              ariaLabel: node.getAttribute('aria-label') || '',
+              text: node.textContent?.substring(0, 200) || '',
+              className: cls.substring(0, 100),
+              time: Date.now()
+            });
+          }
+
+          // Overlay/backdrop algılama
+          if (isFloating && !isDialog && !looksLikeModal) {
+            const area = node.offsetWidth * node.offsetHeight;
+            const screenArea = window.innerWidth * window.innerHeight;
+            // Ekranın %30'undan büyük fixed element = muhtemelen overlay
+            if (area > screenArea * 0.3) {
+              watcher.newOverlays.push({
+                tag: tag,
+                class: cls.substring(0, 100),
+                time: Date.now()
+              });
+            }
+          }
+
+          // Error mesajı algılama - standart + heuristik
+          const isError = role === 'alert' || node.getAttribute('aria-live') === 'assertive';
+          const looksLikeError = cls.match(/error|warning|alert|danger|notification|banner/);
+          if (isError || looksLikeError) {
+            watcher.errors.push({
+              text: node.textContent?.substring(0, 300) || '',
+              time: Date.now()
+            });
+          }
+        }
+      }
+    });
+
+    observer.observe(document.body, {
+      childList: true,
+      subtree: true,
+    });
+  })()`);
+}
+
+/**
+ * Sayfanın mevcut durumunu oku - değişiklik algılama
+ */
+export async function getPageState(page: Page): Promise<PageState> {
+  const watcherData = await page.evaluate(`(() => {
+    const w = window.__socialAgentWatcher;
+    if (!w) return { newDialogs: [], newOverlays: [], errors: [] };
+    const data = {
+      newDialogs: [...w.newDialogs],
+      newOverlays: [...w.newOverlays],
+      errors: [...w.errors],
+    };
+    // Reset - bir kere okuduktan sonra temizle
+    w.newDialogs = [];
+    w.newOverlays = [];
+    w.errors = [];
+    return data;
+  })()`).catch(() => ({ newDialogs: [], newOverlays: [], errors: [] })) as any;
+
+  const newElements: string[] = [];
+
+  for (const d of watcherData.newDialogs) {
+    newElements.push(`[dialog] ${d.ariaLabel || d.text.substring(0, 50)}`);
+  }
+  for (const o of watcherData.newOverlays) {
+    newElements.push(`[overlay] ${o.tag}.${o.class.substring(0, 30)}`);
+  }
+  for (const e of watcherData.errors) {
+    newElements.push(`[error] ${e.text.substring(0, 50)}`);
+  }
+
+  let ariaSnapshot = "";
+  try {
+    ariaSnapshot = await page.locator('body').ariaSnapshot();
+  } catch {}
+
+  return {
+    hasNewDialog: watcherData.newDialogs.length > 0,
+    hasNewOverlay: watcherData.newOverlays.length > 0,
+    hasError: watcherData.errors.length > 0,
+    newElements,
+    ariaSnapshot,
+  };
+}
+
+/**
+ * Step sonrası durumu doğrula - aksiyon-algı döngüsü
+ * Beklenmeyen element varsa true döner
+ */
+export async function hasUnexpectedChange(page: Page): Promise<{ changed: boolean; description: string }> {
+  const state = await getPageState(page);
+
+  if (state.hasNewDialog) {
+    return {
+      changed: true,
+      description: `Yeni dialog açıldı: ${state.newElements.filter(e => e.startsWith('[dialog]')).join(', ')}`,
+    };
+  }
+
+  if (state.hasError) {
+    return {
+      changed: true,
+      description: `Hata mesajı: ${state.newElements.filter(e => e.startsWith('[error]')).join(', ')}`,
+    };
+  }
+
+  if (state.hasNewOverlay) {
+    return {
+      changed: true,
+      description: `Yeni overlay: ${state.newElements.filter(e => e.startsWith('[overlay]')).join(', ')}`,
+    };
+  }
+
+  return { changed: false, description: "" };
+}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "social-agent-cli",
-  "version": "2.0.0",
+  "version": "2.1.1",
   "description": "AI-powered social media agent - free APIs + browser automation with self-healing selectors",
   "type": "module",
   "bin": {