@coolkiller007/my-page-agent 0.2.6 → 0.2.8

package/dist/index.d.ts

@@ -44,7 +44,7 @@ declare interface AgentConfig extends LLMConfig {
     maxSteps?: number;
     /**
      * 拼装 LLM 提示词时，最近保留完整详情的历史步数；更早的步骤会被压缩成一行。
-     * @default 15
+     * @default 5
      */
     historyWindow?: number;
     /**
@@ -272,6 +272,9 @@ declare class AgentRuntime extends EventTarget {
      * 图片附件缓存（按附件名索引）：所有出现过的图片附件在此登记原始 dataUrl，
      * 使原图在 prompt 里只出现一次之后，仍可被 `image_understand` 工具按名称"按需重传"重新查看，
      * 而不必每步都把原图重新塞进主对话历史（节省 token）。
+     * @note 跨任务持久保留（不随 `execute()` 清空）：缓存本身是纯内存 Map，不进 prompt 就不占 token，
+     * 只有模型主动调用 `image_understand` 时才会产生一次性 token 成本。唯一真实开销是内存，
+     * 因此按 `MAX_CACHED_IMAGES` 做容量上限，超出淘汰最早插入的一张（见 `#cacheImageAttachment`）。
      * 非私有字段：需要被 `tools/index.ts` 中的 `image_understand` 工具从外部读取。
      */
     imageAttachmentCache: Map<string, Attachment>;

package/dist/index.js

@@ -990,6 +990,53 @@ var dom_tree_default = (args = {
 		return false;
 	}
 	/**
+	* 判断某元素（或其祖先）是否带有 data-browser-use-ignore / data-page-agent-ignore 标记。
+	* 这些是我们自己注入的悬浮 UI（agent 面板、模拟遮罩等），命中测试时应视为"透明"。
+	*
+	* @param {Element | null} el - 待检查元素。
+	* @returns {boolean} 是否应在遮挡检测中被忽略。
+	*/
+	function isIgnoredForHitTest(el) {
+		let current = el;
+		while (current) {
+			if (current.dataset && (current.dataset.browserUseIgnore === "true" || current.dataset.pageAgentIgnore === "true")) return true;
+			current = current.parentElement;
+		}
+		return false;
+	}
+	/**
+	* @edit 命中测试时跳过被忽略的悬浮 UI（agent 面板、模拟遮罩等）。
+	* 之前只有 SimulatorMask 会在 DOM 提取期间临时把 pointerEvents 设为 none 来绕开自己，
+	* 但 agent 自身的问答/历史面板（UI.ts）没有做同样处理 —— 当面板展开、在视觉上盖住
+	* 弹窗等页面元素时，elementFromPoint 命中的是面板本身，导致弹窗被误判为"被遮挡"而从
+	* 提交给 LLM 的可交互树中消失，造成"弹窗仍开着，agent 却认为已关闭"的错觉。
+	* 这里统一在遮挡检测层面处理：命中被忽略元素时临时禁用其 pointer-events 再重新探测，
+	* 探测完成后恢复，使得任何打了忽略标记的悬浮 UI 都不会影响真实页面元素的遮挡判断。
+	*
+	* @param {Document | ShadowRoot} doc - 用于命中测试的文档或 shadow root。
+	* @param {number} x - 命中测试点的 x 坐标。
+	* @param {number} y - 命中测试点的 y 坐标。
+	* @returns {Element | null} 忽略悬浮 UI 后，实际命中的最上层元素。
+	*/
+	function elementFromPointSkippingIgnored(doc, x, y) {
+		/** @type {{ el: HTMLElement, prevValue: string }[]} */
+		const restoreList = [];
+		try {
+			let topEl = doc.elementFromPoint(x, y);
+			while (topEl instanceof HTMLElement && isIgnoredForHitTest(topEl)) {
+				restoreList.push({
+					el: topEl,
+					prevValue: topEl.style.pointerEvents
+				});
+				topEl.style.pointerEvents = "none";
+				topEl = doc.elementFromPoint(x, y);
+			}
+			return topEl;
+		} finally {
+			for (const { el, prevValue } of restoreList) el.style.pointerEvents = prevValue;
+		}
+	}
+	/**
 	* Checks if an element is the topmost element at its position.
 	*
 	* @param {HTMLElement} element - The element to check.
@@ -1023,7 +1070,7 @@ var dom_tree_default = (args = {
 			const centerX = rect.left + rect.width / 2;
 			const centerY = rect.top + rect.height / 2;
 			try {
-				const topEl = shadowRoot.elementFromPoint(centerX, centerY);
+				const topEl = elementFromPointSkippingIgnored(shadowRoot, centerX, centerY);
 				if (!topEl) return false;
 				let current = topEl;
 				while (current && current !== shadowRoot) {
@@ -1051,7 +1098,7 @@ var dom_tree_default = (args = {
 			}
 		].some(({ x, y }) => {
 			try {
-				const topEl = document.elementFromPoint(x, y);
+				const topEl = elementFromPointSkippingIgnored(document, x, y);
 				if (!topEl) return false;
 				let current = topEl;
 				while (current && current !== document.documentElement) {
@@ -2822,7 +2869,7 @@ var UI = class {
 		if (status === "running") {
 			this.show();
 			this.#hideInputArea();
-			if (!this.#isExpanded) this.#expand();
+			if (this.#isExpanded) this.#collapse();
 		}
 		if (status === "completed" || status === "error" || status === "stopped") {
 			if (!this.#isExpanded) this.#expand();
@@ -4360,6 +4407,8 @@ var ATTACHMENT_IMAGE_MAX_DIMENSION = 1568;
 var ATTACHMENT_IMAGE_JPEG_QUALITY = .85;
 /** 单次注入里最多内联发送的图片张数，超出的仅登记缓存，需模型主动调用 image_understand 查看 */
 var MAX_INLINE_IMAGES = 4;
+/** 图片缓存跨任务最多保留的张数，超出时淘汰最早插入的一张（防止长会话内存无限增长；缓存本身不占 prompt token） */
+var MAX_CACHED_IMAGES = 20;
 /** 历史任务 done 文本注入 prompt 时的最大字符数 */
 var PREVIOUS_TASK_TEXT_MAX_LENGTH = 300;
 /**
@@ -4440,6 +4489,9 @@ var AgentRuntime = class extends EventTarget {
 	* 图片附件缓存（按附件名索引）：所有出现过的图片附件在此登记原始 dataUrl，
 	* 使原图在 prompt 里只出现一次之后，仍可被 `image_understand` 工具按名称"按需重传"重新查看，
 	* 而不必每步都把原图重新塞进主对话历史（节省 token）。
+	* @note 跨任务持久保留（不随 `execute()` 清空）：缓存本身是纯内存 Map，不进 prompt 就不占 token，
+	* 只有模型主动调用 `image_understand` 时才会产生一次性 token 成本。唯一真实开销是内存，
+	* 因此按 `MAX_CACHED_IMAGES` 做容量上限，超出淘汰最早插入的一张（见 `#cacheImageAttachment`）。
 	* 非私有字段：需要被 `tools/index.ts` 中的 `image_understand` 工具从外部读取。
 	*/
 	imageAttachmentCache = /* @__PURE__ */ new Map();
@@ -4562,7 +4614,6 @@ var AgentRuntime = class extends EventTarget {
 		this.taskId = uid();
 		this.#taskAttachments = attachments;
 		this.pendingAnswerAttachments = [];
-		this.imageAttachmentCache = /* @__PURE__ */ new Map();
 		this.#taskHistoryStart = this.history.length;
 		this.#emitHistoryChange({
 			type: "task_start",
@@ -4815,7 +4866,8 @@ var AgentRuntime = class extends EventTarget {
 	/**
 	* 汇总当前任务之前、同一 AgentRuntime 实例已完成过的历史任务，生成一段纯文字摘要。
 	* 只带文字结论（任务描述 + done 文本 + 涉及的附件文件名），不携带图片原始数据 ——
-	* 图片附件与 `imageAttachmentCache` 一样按任务隔离，跨任务需要复看时应提示用户重新上传。
+	* 图片附件是否仍可复看取决于是否还在 `imageAttachmentCache`（跨任务持久、有容量上限）里：
+	* 还在则提示模型改用 `image_understand` 复看；已被淘汰（或本就是非图片附件）则提示用户重新上传。
 	* 只取最近 `PREVIOUS_TASKS_SUMMARY_LIMIT` 个任务，避免任务数增多后 prompt 无限增长。
 	*/
 	#buildPreviousTasksSummary() {
@@ -4836,12 +4888,25 @@ var AgentRuntime = class extends EventTarget {
 		const recent = summaries.slice(-5);
 		if (recent.length === 0) return "";
 		return `<previous_tasks_summary>\n${recent.map((s) => {
-			const attachmentNote = s.attachmentNames?.length ? ` [attachments uploaded then: ${s.attachmentNames.join(", ")} — NOT available in this task, ask the user to re-upload if you need to see them again]` : "";
+			const attachmentNote = s.attachmentNames?.length ? ` ${this.#describeAttachmentAvailability(s.attachmentNames)}` : "";
 			const result = s.result ? truncate(s.result, PREVIOUS_TASK_TEXT_MAX_LENGTH) : "(no result recorded — task may have been interrupted)";
 			return `- Task: "${s.task}"${attachmentNote}\n  Result: ${result}`;
 		}).join("\n")}\n</previous_tasks_summary>\n\n`;
 	}
 	/**
+	* 按附件名分成"仍在 `imageAttachmentCache` 里、可 `image_understand` 复看"与
+	* "已不可用、需用户重新上传"两组，拼成一句注入 prompt 的提示。
+	*/
+	#describeAttachmentAvailability(attachmentNames) {
+		const viewable = [];
+		const unavailable = [];
+		for (const name of attachmentNames) (this.imageAttachmentCache.has(name) ? viewable : unavailable).push(name);
+		const parts = [];
+		if (viewable.length > 0) parts.push(`still viewable via image_understand: ${viewable.join(", ")}`);
+		if (unavailable.length > 0) parts.push(`NOT available in this task, ask the user to re-upload if you need to see them again: ${unavailable.join(", ")}`);
+		return `[attachments uploaded then — ${parts.join("; ")}]`;
+	}
+	/**
 	* 在每一步之前生成系统观察
 	* @todo 控制台错误
 	*/
@@ -4936,6 +5001,17 @@ var AgentRuntime = class extends EventTarget {
 		return prompt;
 	}
 	/**
+	* 把图片附件登记进 `imageAttachmentCache`；超出 `MAX_CACHED_IMAGES` 容量时淘汰最早插入的一张。
+	* 缓存跨任务持久，容量上限只为控内存，不影响 token（未被 `image_understand` 读取的缓存项不进 prompt）。
+	*/
+	#cacheImageAttachment(attachment) {
+		if (!this.imageAttachmentCache.has(attachment.name) && this.imageAttachmentCache.size >= MAX_CACHED_IMAGES) {
+			const oldestName = this.imageAttachmentCache.keys().next().value;
+			if (oldestName !== void 0) this.imageAttachmentCache.delete(oldestName);
+		}
+		this.imageAttachmentCache.set(attachment.name, attachment);
+	}
+	/**
 	* 把附件内容注入 prompt：图片转为 image_url 片段；文本类文件解码后截断拼进文字部分。
 	* 仅当存在图片附件时才返回多模态数组，纯文本附件保持返回字符串（不影响不支持 vision 的模型）。
 	* 图片附件会先登记进 `imageAttachmentCache`（存原图，供 `image_understand` 复看细节用），
@@ -4949,7 +5025,7 @@ var AgentRuntime = class extends EventTarget {
 		let inlinedImageCount = 0;
 		for (const attachment of attachments) {
 			if (attachment.mimeType.startsWith("image/")) {
-				this.imageAttachmentCache.set(attachment.name, attachment);
+				this.#cacheImageAttachment(attachment);
 				if (inlinedImageCount >= MAX_INLINE_IMAGES) {
 					textSegments.push(`[Image attachment "${attachment.name}" was NOT shown inline (too many images in this batch). Call image_understand with attachment_name="${attachment.name}" if you need to see it.]`);
 					continue;