beswarm 0.1.34__py3-none-any.whl → 0.1.36__py3-none-any.whl

beswarm/aient/src/aient/plugins/excute_command.py

@@ -1,6 +1,7 @@
 import subprocess
 from .registry import register_tool
 
+import re
 import html
 
 def unescape_html(input_string: str) -> str:
@@ -15,39 +16,137 @@ def unescape_html(input_string: str) -> str:
   """
   return html.unescape(input_string)
 
+def get_python_executable(command: str) -> str:
+    """
+    获取 Python 可执行文件的路径。
+
+    Returns:
+        str: Python 可执行文件的路径。
+    """
+    cmd_parts = command.split(None, 1)
+    if cmd_parts:
+        executable = cmd_parts[0]
+        args_str = cmd_parts[1] if len(cmd_parts) > 1 else ""
+
+        # 检查是否是 python 可执行文件 (如 python, python3, pythonX.Y)
+        is_python_exe = False
+        if executable == "python" or re.match(r"^python[23]?(\.\d+)?$", executable):
+            is_python_exe = True
+
+        if is_python_exe:
+            # 检查参数中是否已经有 -u 选项
+            args_list = args_str.split()
+            has_u_option = "-u" in args_list
+            if not has_u_option:
+                if args_str:
+                    command = f"{executable} -u {args_str}"
+    return command
+
 # 执行命令
 @register_tool()
 def excute_command(command):
     """
-执行命令并返回输出结果
+执行命令并返回输出结果 (标准输出会实时打印到控制台)
 禁止用于查看pdf，禁止使用 pdftotext 命令
 
 参数:
     command: 要执行的命令，可以克隆仓库，安装依赖，运行代码等
 
 返回:
-    命令执行的输出结果或错误信息
+    命令执行的最终状态和收集到的输出/错误信息
     """
     try:
-        # 使用subprocess.run捕获命令输出
-        command = unescape_html(command)
-        result = subprocess.run(command, shell=True, check=True, capture_output=True, text=True)
-        # 返回命令的标准输出
-        if "pip install" in command:
-            stdout_log = "\n".join([x for x in result.stdout.split('\n') if '━━' not in x])
-        else:
-            stdout_log = result.stdout
-        return f"执行命令成功:\n{stdout_log}"
-    except subprocess.CalledProcessError as e:
-        if "pip install" in command:
-            stdout_log = "\n".join([x for x in e.stdout.split('\n') if '━━' not in x])
+        command = unescape_html(command) # 保留 HTML 解码
+
+        command = get_python_executable(command)
+
+
+        # 使用 Popen 以便实时处理输出
+        # bufsize=1 表示行缓冲, universal_newlines=True 与 text=True 效果类似，用于文本模式
+        process = subprocess.Popen(
+            command,
+            shell=True,
+            stdout=subprocess.PIPE,
+            stderr=subprocess.PIPE,
+            text=True,
+            bufsize=1,
+            universal_newlines=True
+        )
+
+        stdout_lines = []
+
+        # 实时打印 stdout
+        # print(f"--- 开始执行命令: {command} ---")
+        if process.stdout:
+            for line in iter(process.stdout.readline, ''):
+                # 对 pip install 命令的输出进行过滤，去除进度条相关的行
+                if "pip install" in command and '━━' in line:
+                    continue
+                print(line, end='', flush=True) # 实时打印到控制台，并刷新缓冲区
+                stdout_lines.append(line) # 收集行以供后续返回
+            process.stdout.close()
+        # print(f"\n--- 命令实时输出结束 ---")
+
+        # 等待命令完成
+        process.wait()
+
+        # 获取 stderr (命令完成后一次性读取)
+        stderr_output = ""
+        if process.stderr:
+            stderr_output = process.stderr.read()
+            process.stderr.close()
+
+        # 组合最终的 stdout 日志 (已经过 pip install 过滤)
+        final_stdout_log = "".join(stdout_lines)
+
+        if process.returncode == 0:
+            return f"执行命令成功:\n{final_stdout_log}"
         else:
-            stdout_log = e.stdout
-        # 如果命令执行失败，返回错误信息和错误输出
-        return f"执行命令失败 (退出码 {e.returncode}):\n错误: {e.stderr}\n输出: {stdout_log}"
+            return f"执行命令失败 (退出码 {process.returncode}):\n错误: {stderr_output}\n输出: {final_stdout_log}"
+
+    except FileNotFoundError:
+        # 当 shell=True 时，命令未找到通常由 shell 处理，并返回非零退出码。
+        # 此处捕获 FileNotFoundError 主要用于 Popen 自身无法启动命令的场景 (例如 shell 本身未找到)。
+        return f"执行命令失败: 命令或程序未找到 ({command})"
     except Exception as e:
+        # 其他未知异常
         return f"执行命令时发生异常: {e}"
 
 if __name__ == "__main__":
-    print(excute_command("ls -l && echo 'Hello, World!'"))
-    print(excute_command("ls -l && echo 'Hello, World!'"))
+    # print(excute_command("ls -l && echo 'Hello, World!'"))
+    # print(excute_command("ls -l && echo 'Hello, World!'"))
+
+#     tqdm_script = """
+# import time
+# from tqdm import tqdm
+
+# for i in range(10):
+#     print(f"TQDM 进度条测试: {i}")
+#     time.sleep(1)
+# print('\\n-------TQDM 任务完成.')
+# """
+#     processed_tqdm_script = tqdm_script.replace('"', '\\"')
+#     tqdm_command = f"python -u -u -c \"{processed_tqdm_script}\""
+#     # print(f"执行: {tqdm_command}")
+#     print(excute_command(tqdm_command))
+
+
+    # long_running_command_unix = "echo '开始长时间任务...' && for i in 1 2 3; do echo \"正在处理步骤 $i/3...\"; sleep 1; done && echo '长时间任务完成!'"
+    # print(f"执行: {long_running_command_unix}")
+    # print(excute_command(long_running_command_unix))
+
+
+    # long_running_command_unix = "pip install torch"
+    # print(f"执行: {long_running_command_unix}")
+    # print(excute_command(long_running_command_unix))
+
+
+#     python_long_task_command = """
+# python -c "import time; print('Python 长时间任务启动...'); [print(f'Python 任务进度: {i+1}/3', flush=True) or time.sleep(1) for i in range(3)]; print('Python 长时间任务完成.')"
+# """
+#     python_long_task_command = python_long_task_command.strip() # 移除可能的前后空白
+#     print(f"执行: {python_long_task_command}")
+#     print(excute_command(python_long_task_command))
+
+    print(get_python_executable("python -c 'print(123)'"))
+# python -m beswarm.aient.src.aient.plugins.excute_command

beswarm/tools/UIworker.py

@@ -0,0 +1,145 @@
+import os
+import io
+import copy
+import base64
+import platform
+import pyautogui
+from datetime import datetime
+from ..aient.src.aient.plugins import register_tool, get_function_call_list
+
+from ..aient.src.aient.models import chatgpt
+from ..aient.src.aient.prompt import system_prompt, instruction_system_prompt
+from ..aient.src.aient.core.utils import get_image_message, get_text_message
+
+from ..utils import extract_xml_content
+
+async def get_current_screen_image_message(prompt):
+    print("instruction agent 正在截取当前屏幕...")
+    try:
+        # 使用 pyautogui 截取屏幕，返回 PIL Image 对象
+        screenshot = pyautogui.screenshot()
+        # img_width, img_height = screenshot.size # 获取截图尺寸
+        img_width, img_height = pyautogui.size()
+        print(f"截图成功，尺寸: {img_width}x{img_height}")
+
+        # 将 PIL Image 对象转换为 Base64 编码的 PNG 字符串
+        buffered = io.BytesIO()
+        screenshot.save(buffered, format="PNG")
+        base64_encoded_image = base64.b64encode(buffered.getvalue()).decode("utf-8")
+        IMAGE_MIME_TYPE = "image/png" # 截图格式为 PNG
+
+    except ImportError:
+        # Pillow 也是 pyautogui 的依赖，但以防万一单独处理
+        print("\n❌ 请安装所需库: pip install Pillow pyautogui")
+        return False
+    except Exception as e:
+        print(f"\n❌ 截取屏幕或处理图像时出错: {e}")
+        return False
+
+    engine_type = "gpt"
+    message_list = []
+    text_message = await get_text_message(prompt, engine_type)
+    image_message = await get_image_message(f"data:{IMAGE_MIME_TYPE};base64," + base64_encoded_image, engine_type)
+    message_list.append(text_message)
+    message_list.append(image_message)
+    return message_list
+
+@register_tool()
+async def UIworker(goal, tools, work_dir, cache_messages=None):
+    """
+    启动一个 **工作智能体 (Worker Agent)** 来自动完成指定的任务目标 (`goal`)。
+
+    这个工作智能体接收一个清晰的任务描述、一组可供调用的工具 (`tools`)，以及一个工作目录 (`work_dir`)。
+    它会利用语言模型的能力，结合可用的工具，自主规划并逐步执行必要的操作，直到最终完成指定的任务目标。
+    核心功能是根据输入的目标，驱动整个任务执行流程。
+
+    Args:
+        goal (str): 需要完成的具体任务目标描述。工作智能体将围绕此目标进行工作。必须清晰、具体。
+        tools (list[str]): 一个包含可用工具函数对象的列表。工作智能体在执行任务时可能会调用这些工具来与环境交互（例如读写文件、执行命令等）。
+        work_dir (str): 工作目录的绝对路径。工作智能体将在此目录上下文中执行操作。
+
+    Returns:
+        str: 当任务成功完成时，返回字符串 "任务已完成"。
+    """
+
+    tools_json = [value for _, value in get_function_call_list(tools).items()]
+    work_agent_system_prompt = system_prompt.format(
+        os_version=platform.platform(),
+        workspace_path=work_dir,
+        shell=os.getenv('SHELL', 'Unknown'),
+        tools_list=tools_json
+    )
+
+    work_agent_config = {
+        "api_key": os.getenv("API_KEY"),
+        "api_url": os.getenv("BASE_URL"),
+        "engine": os.getenv("MODEL"),
+        "system_prompt": work_agent_system_prompt,
+        "print_log": True,
+        # "max_tokens": 8000,
+        "temperature": 0.5,
+        "function_call_max_loop": 100,
+    }
+    if cache_messages:
+        work_agent_config["cache_messages"] = cache_messages
+
+    instruction_agent_config = {
+        "api_key": os.getenv("API_KEY"),
+        "api_url": os.getenv("BASE_URL"),
+        "engine": os.getenv("MODEL"),
+        "system_prompt": instruction_system_prompt.format(os_version=platform.platform(), tools_list=tools_json, workspace_path=work_dir, current_time=datetime.now().strftime("%Y-%m-%d %H:%M:%S")),
+        "print_log": False,
+        # "max_tokens": 4000,
+        "temperature": 0.7,
+        "use_plugins": False,
+    }
+
+    # 工作agent初始化
+    work_agent = chatgpt(**work_agent_config)
+    async def instruction_agent_task():
+        while True:
+            instruction_prompt = f"""
+任务目标: {goal}
+
+以上对话都是工作智能体的对话历史。
+
+根据以上对话历史和目标，请生成下一步指令。如果任务已完成，请回复"任务已完成"。
+            """
+            # 让指令agent分析对话历史并生成新指令
+            instruction_agent = chatgpt(**instruction_agent_config)
+            instruction_agent.conversation["default"] = copy.deepcopy(work_agent.conversation["default"])
+            new_prompt = await get_current_screen_image_message(instruction_prompt)
+            next_instruction = await instruction_agent.ask_async(new_prompt)
+            print("\n🤖 指令智能体生成的下一步指令:", next_instruction)
+            if "fetch_gpt_response_stream HTTP Error', 'status_code': 404" in next_instruction:
+                raise Exception(f"Model: {instruction_agent_config['engine']} not found!")
+            if "'status_code': 413" in next_instruction:
+                raise Exception(f"The request body is too long, please try again.")
+            next_instruction = extract_xml_content(next_instruction, "instructions")
+            if not next_instruction:
+                print("\n❌ 指令智能体生成的指令不符合要求，请重新生成。")
+                continue
+            else:
+                break
+        return next_instruction
+
+    need_instruction = True
+    while True:
+        next_instruction = ''
+        if need_instruction:
+            next_instruction = await instruction_agent_task()
+
+            # 检查任务是否完成
+            if "任务已完成" in next_instruction:
+                print("\n✅ 任务已完成！")
+                break
+        new_prompt = await get_current_screen_image_message(next_instruction)
+        result = await work_agent.ask_async(new_prompt)
+        if result.strip() == '':
+            print("\n❌ 工作智能体回复为空，请重新生成指令。")
+            need_instruction = False
+            continue
+        print("✅ 工作智能体回复:", result)
+        need_instruction = True
+
+    return "任务已完成"

beswarm/tools/__init__.py

@@ -1,8 +1,11 @@
 from .think import think
 from .edit_file import edit_file
 from .worker import worker
+from .UIworker import UIworker
+
 from .search_arxiv import search_arxiv
 from .repomap import get_code_repo_map
+from .click import find_and_click_element, scroll_screen
 #显式导入 aient.plugins 中的所需内容
 from ..aient.src.aient.plugins import (
     excute_command,
@@ -15,6 +18,7 @@ from ..aient.src.aient.plugins import (
     write_to_file,
     download_read_arxiv_pdf,
     get_url_content,
+    register_tool,
 )
 
 __all__ = [
@@ -34,4 +38,8 @@ __all__ = [
     "write_to_file",
     "download_read_arxiv_pdf",
     "get_url_content",
+    "find_and_click_element",
+    "scroll_screen",
+    "register_tool",
+    "UIworker",
 ]