@coolkiller007/my-page-agent 0.2.6 → 0.2.7

package/dist/index.js

@@ -990,6 +990,53 @@ var dom_tree_default = (args = {
 		return false;
 	}
 	/**
+	* 判断某元素（或其祖先）是否带有 data-browser-use-ignore / data-page-agent-ignore 标记。
+	* 这些是我们自己注入的悬浮 UI（agent 面板、模拟遮罩等），命中测试时应视为"透明"。
+	*
+	* @param {Element | null} el - 待检查元素。
+	* @returns {boolean} 是否应在遮挡检测中被忽略。
+	*/
+	function isIgnoredForHitTest(el) {
+		let current = el;
+		while (current) {
+			if (current.dataset && (current.dataset.browserUseIgnore === "true" || current.dataset.pageAgentIgnore === "true")) return true;
+			current = current.parentElement;
+		}
+		return false;
+	}
+	/**
+	* @edit 命中测试时跳过被忽略的悬浮 UI（agent 面板、模拟遮罩等）。
+	* 之前只有 SimulatorMask 会在 DOM 提取期间临时把 pointerEvents 设为 none 来绕开自己，
+	* 但 agent 自身的问答/历史面板（UI.ts）没有做同样处理 —— 当面板展开、在视觉上盖住
+	* 弹窗等页面元素时，elementFromPoint 命中的是面板本身，导致弹窗被误判为"被遮挡"而从
+	* 提交给 LLM 的可交互树中消失，造成"弹窗仍开着，agent 却认为已关闭"的错觉。
+	* 这里统一在遮挡检测层面处理：命中被忽略元素时临时禁用其 pointer-events 再重新探测，
+	* 探测完成后恢复，使得任何打了忽略标记的悬浮 UI 都不会影响真实页面元素的遮挡判断。
+	*
+	* @param {Document | ShadowRoot} doc - 用于命中测试的文档或 shadow root。
+	* @param {number} x - 命中测试点的 x 坐标。
+	* @param {number} y - 命中测试点的 y 坐标。
+	* @returns {Element | null} 忽略悬浮 UI 后，实际命中的最上层元素。
+	*/
+	function elementFromPointSkippingIgnored(doc, x, y) {
+		/** @type {{ el: HTMLElement, prevValue: string }[]} */
+		const restoreList = [];
+		try {
+			let topEl = doc.elementFromPoint(x, y);
+			while (topEl instanceof HTMLElement && isIgnoredForHitTest(topEl)) {
+				restoreList.push({
+					el: topEl,
+					prevValue: topEl.style.pointerEvents
+				});
+				topEl.style.pointerEvents = "none";
+				topEl = doc.elementFromPoint(x, y);
+			}
+			return topEl;
+		} finally {
+			for (const { el, prevValue } of restoreList) el.style.pointerEvents = prevValue;
+		}
+	}
+	/**
 	* Checks if an element is the topmost element at its position.
 	*
 	* @param {HTMLElement} element - The element to check.
@@ -1023,7 +1070,7 @@ var dom_tree_default = (args = {
 			const centerX = rect.left + rect.width / 2;
 			const centerY = rect.top + rect.height / 2;
 			try {
-				const topEl = shadowRoot.elementFromPoint(centerX, centerY);
+				const topEl = elementFromPointSkippingIgnored(shadowRoot, centerX, centerY);
 				if (!topEl) return false;
 				let current = topEl;
 				while (current && current !== shadowRoot) {
@@ -1051,7 +1098,7 @@ var dom_tree_default = (args = {
 			}
 		].some(({ x, y }) => {
 			try {
-				const topEl = document.elementFromPoint(x, y);
+				const topEl = elementFromPointSkippingIgnored(document, x, y);
 				if (!topEl) return false;
 				let current = topEl;
 				while (current && current !== document.documentElement) {
@@ -2822,7 +2869,7 @@ var UI = class {
 		if (status === "running") {
 			this.show();
 			this.#hideInputArea();
-			if (!this.#isExpanded) this.#expand();
+			if (this.#isExpanded) this.#collapse();
 		}
 		if (status === "completed" || status === "error" || status === "stopped") {
 			if (!this.#isExpanded) this.#expand();