adam-community 1.0.27__tar.gz → 1.0.29__tar.gz

{adam_community-1.0.27 → adam_community-1.0.29}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: adam_community
-Version: 1.0.27
+Version: 1.0.29
 Summary: Adam Community Tools and Utilities
 Home-page: https://github.com/yourusername/adam-community
 Author: Adam Community
@@ -97,6 +97,83 @@ classes = parse_directory(Path("./"))
 success, errors, zip_name = build_package(Path("./"))
 ```
 
+### 命令执行
+
+#### execCmd - 复杂执行
+
+`execCmd` 是新的命令执行函数，支持异常处理、超时控制、实时输出等特性。
+
+```python
+from adam_community import execCmd, CmdResult
+from subprocess import CalledProcessError, TimeoutExpired
+
+# 基本用法
+result = execCmd("python train.py")
+print(result.stdout)      # 标准输出
+print(result.stderr)      # 错误输出
+print(result.returncode)  # 退出码
+print(result.duration)    # 执行耗时（秒）
+
+# 异常处理
+try:
+    result = execCmd("python train.py", timeout=3600)
+except TimeoutExpired as e:
+    print(f"超时: {e.output}")
+except CalledProcessError as e:
+    print(f"失败 (exit {e.returncode}): {e.stderr}")
+
+# 实时输出到控制台
+result = execCmd("python train.py", echo=True)
+
+# 自定义回调（如写日志、发送到前端）
+result = execCmd(
+    "python train.py",
+    on_stdout=lambda line: logger.info(f"[OUT] {line}"),
+    on_stderr=lambda line: logger.error(f"[ERR] {line}"),
+)
+
+# 指定工作目录和环境变量
+result = execCmd(
+    "python train.py",
+    cwd="/workspace/project",
+    env={"CUDA_VISIBLE_DEVICES": "0,1"},  # 合并到当前环境
+)
+```
+
+**参数说明：**
+
+| 参数 | 类型 | 默认值 | 说明 |
+|------|------|--------|------|
+| `cmd` | str | - | 要执行的命令 |
+| `timeout` | float | None | 超时秒数，None 表示无限制 |
+| `cwd` | str | None | 工作目录 |
+| `env` | dict | None | 环境变量（合并到当前环境） |
+| `shell` | str | /bin/bash | shell 路径 |
+| `echo` | bool | False | 是否实时打印到控制台 |
+| `on_stdout` | Callable | None | stdout 回调 `(line: str) -> None` |
+| `on_stderr` | Callable | None | stderr 回调 `(line: str) -> None` |
+
+**返回值 `CmdResult`：**
+
+| 字段 | 类型 | 说明 |
+|------|------|------|
+| `stdout` | str | 完整标准输出 |
+| `stderr` | str | 完整错误输出 |
+| `returncode` | int | 退出码 |
+| `duration` | float | 执行耗时（秒） |
+| `command` | str | 原始命令 |
+| `timed_out` | bool | 是否超时 |
+
+#### runCmd - 最简执行
+
+`runCmd` 是最简化版命令执行函数，实时输出到控制台，失败时直接退出进程。
+
+```python
+from adam_community import runCmd
+
+runCmd("echo 'Hello, World!'")
+```
+
 ### States Management（任务状态管理）
 
 用于在任务执行过程中记录和读取状态，与服务端共享 `states.json` 文件。

{adam_community-1.0.27 → adam_community-1.0.29}/README.md

@@ -67,6 +67,83 @@ classes = parse_directory(Path("./"))
 success, errors, zip_name = build_package(Path("./"))
 ```
 
+### 命令执行
+
+#### execCmd - 复杂执行
+
+`execCmd` 是新的命令执行函数，支持异常处理、超时控制、实时输出等特性。
+
+```python
+from adam_community import execCmd, CmdResult
+from subprocess import CalledProcessError, TimeoutExpired
+
+# 基本用法
+result = execCmd("python train.py")
+print(result.stdout)      # 标准输出
+print(result.stderr)      # 错误输出
+print(result.returncode)  # 退出码
+print(result.duration)    # 执行耗时（秒）
+
+# 异常处理
+try:
+    result = execCmd("python train.py", timeout=3600)
+except TimeoutExpired as e:
+    print(f"超时: {e.output}")
+except CalledProcessError as e:
+    print(f"失败 (exit {e.returncode}): {e.stderr}")
+
+# 实时输出到控制台
+result = execCmd("python train.py", echo=True)
+
+# 自定义回调（如写日志、发送到前端）
+result = execCmd(
+    "python train.py",
+    on_stdout=lambda line: logger.info(f"[OUT] {line}"),
+    on_stderr=lambda line: logger.error(f"[ERR] {line}"),
+)
+
+# 指定工作目录和环境变量
+result = execCmd(
+    "python train.py",
+    cwd="/workspace/project",
+    env={"CUDA_VISIBLE_DEVICES": "0,1"},  # 合并到当前环境
+)
+```
+
+**参数说明：**
+
+| 参数 | 类型 | 默认值 | 说明 |
+|------|------|--------|------|
+| `cmd` | str | - | 要执行的命令 |
+| `timeout` | float | None | 超时秒数，None 表示无限制 |
+| `cwd` | str | None | 工作目录 |
+| `env` | dict | None | 环境变量（合并到当前环境） |
+| `shell` | str | /bin/bash | shell 路径 |
+| `echo` | bool | False | 是否实时打印到控制台 |
+| `on_stdout` | Callable | None | stdout 回调 `(line: str) -> None` |
+| `on_stderr` | Callable | None | stderr 回调 `(line: str) -> None` |
+
+**返回值 `CmdResult`：**
+
+| 字段 | 类型 | 说明 |
+|------|------|------|
+| `stdout` | str | 完整标准输出 |
+| `stderr` | str | 完整错误输出 |
+| `returncode` | int | 退出码 |
+| `duration` | float | 执行耗时（秒） |
+| `command` | str | 原始命令 |
+| `timed_out` | bool | 是否超时 |
+
+#### runCmd - 最简执行
+
+`runCmd` 是最简化版命令执行函数，实时输出到控制台，失败时直接退出进程。
+
+```python
+from adam_community import runCmd
+
+runCmd("echo 'Hello, World!'")
+```
+
 ### States Management（任务状态管理）
 
 用于在任务执行过程中记录和读取状态，与服务端共享 `states.json` 文件。

{adam_community-1.0.27 → adam_community-1.0.29}/adam_community/__init__.py

@@ -1,15 +1,17 @@
-from .util import messageSend, knowledgeSearch, completionCreate, runCmd
+from .util import messageSend, knowledgeSearch, completionCreate, runCmd, execCmd, CmdResult
 from .tool import Tool
 from .cli.parser import parse_python_file, parse_directory, convert_python_type_to_json_schema
 from .__version__ import __version__
 
 __all__ = [
-    'Tool', 
-    'messageSend', 
-    'knowledgeSearch', 
-    'completionCreate', 
+    'Tool',
+    'messageSend',
+    'knowledgeSearch',
+    'completionCreate',
     'runCmd',
+    'execCmd',
+    'CmdResult',
     'parse_python_file',
-    'parse_directory', 
+    'parse_directory',
     'convert_python_type_to_json_schema'
 ]

adam_community-1.0.29/adam_community/__version__.py

@@ -0,0 +1 @@
+__version__ = "1.0.29"

{adam_community-1.0.27 → adam_community-1.0.29}/adam_community/cli/sif_build.py

@@ -410,18 +410,11 @@ def sif():
 @click.argument('image_url')
 @click.option('--username', help='Docker 仓库用户名')
 @click.option('--password', help='Docker 仓库密码')
-@click.option('--chunk-size', help='覆盖自适应计算的切片大小（如 100M, 500M）')
 @click.option('--keep-temp', is_flag=True, help='保留临时文件')
-def upload(sif_file, image_url, username, password, chunk_size, keep_temp):
-    """将 SIF 文件切片并构建 Docker 镜像推送到仓库
+def upload(sif_file, image_url, username, password, keep_temp):
+    """将 SIF 文件打包为 Docker 镜像并推送到仓库
 
-    切片策略：
-    - 文件 < 500MB：不切片，直接使用原文件
-    - 文件 500MB-2GB：切片大小 100MB
-    - 文件 2GB-10GB：切片大小 500MB
-    - 文件 > 10GB：切片大小 1GB
-
-    可通过 --chunk-size 参数覆盖自适应策略
+    直接使用完整的 SIF 文件，不进行切片，避免合并问题。
 
     示例:
         adam-cli sif upload ./xxx.sif xxx.cn-hangzhou.cr.aliyuncs.com/openscore/openscore-core:1.0.0
@@ -444,7 +437,7 @@ def upload(sif_file, image_url, username, password, chunk_size, keep_temp):
 
     try:
         # ===== 步骤 1: 验证环境 =====
-        console.print("\n[bold blue]📦 步骤 1/5: 验证环境[/bold blue]")
+        console.print("\n[bold blue]📦 步骤 1/4: 验证环境[/bold blue]")
 
         # 验证 SIF 文件
         valid, error_msg = validateSifFile(sif_path)
@@ -475,51 +468,24 @@ def upload(sif_file, image_url, username, password, chunk_size, keep_temp):
                 border_style="red"
             ))
             sys.exit(1)
-        console.print("   ✓ split 命令可用")
         console.print("   ✓ Docker 已安装并运行")
 
         # ===== 步骤 2: 创建工作目录 =====
-        console.print("\n[bold blue]📦 步骤 2/5: 创建工作目录[/bold blue]")
+        console.print("\n[bold blue]📦 步骤 2/4: 创建工作目录[/bold blue]")
         work_dir = createWorkDir(sif_path)
         console.print(f"   ✓ 工作目录: {work_dir}")
 
-        # ===== 步骤 3: 切片 SIF 文件 =====
-        console.print("\n[bold blue]📦 步骤 3/5: 切片 SIF 文件[/bold blue]")
-
-        # 计算切片大小
-        if chunk_size:
-            actual_chunk_size = chunk_size
-            console.print(f"   切片策略: 自定义 ({chunk_size})")
-        else:
-            actual_chunk_size = calculateOptimalChunkSize(file_size)
-            if actual_chunk_size:
-                console.print(f"   切片策略: 自适应 ({actual_chunk_size})")
-            else:
-                console.print(f"   切片策略: 不切片 (文件 < 500MB)")
+        # ===== 步骤 3: 复制 SIF 文件 =====
+        console.print("\n[bold blue]📦 步骤 3/4: 复制 SIF 文件[/bold blue]")
 
+        # 直接复制完整的 SIF 文件，不进行切片
+        dest_file = work_dir / sif_path.name
+        shutil.copy2(sif_path, dest_file)
+        console.print(f"   ✓ SIF 文件已复制: {dest_file.name}")
         console.print(f"   文件大小: {file_size_mb:.2f} MB")
 
-        # 执行切片
-        try:
-            chunks = splitSifFile(sif_path, actual_chunk_size, work_dir)
-            console.print(f"   ✓ 切片完成: {len(chunks)} 个文件")
-
-            # 显示切片详情
-            console.print(f"\n   📄 切片详情:")
-            for chunk in chunks:
-                chunk_size_mb = chunk.stat().st_size / (1024 * 1024)
-                console.print(f"      - {chunk.name} ({chunk_size_mb:.2f} MB)")
-        except subprocess.CalledProcessError as e:
-            console.print(Panel.fit(
-                f"[bold red]❌ SIF 文件切片失败[/bold red]\n"
-                f"错误: {e.stderr}",
-                border_style="red"
-            ))
-            cleanupTempFiles(work_dir, keep_temp, console)
-            sys.exit(1)
-
         # ===== 步骤 4: 生成 Dockerfile =====
-        console.print("\n[bold blue]📦 步骤 4/5: 生成 Dockerfile[/bold blue]")
+        console.print("\n[bold blue]📦 步骤 4/4: 生成 Dockerfile[/bold blue]")
         dockerfile_path = generateDockerfile(work_dir)
         console.print(f"   ✓ Dockerfile 已生成")
 
@@ -554,8 +520,7 @@ def upload(sif_file, image_url, username, password, chunk_size, keep_temp):
         console.print(Panel.fit(
             f"[bold green]✅ 构建成功！[/bold green]\n"
             f"镜像: {image_url}\n"
-            f"大小: {file_size_mb:.2f} MB\n"
-            f"切片数: {len(chunks)}",
+            f"大小: {file_size_mb:.2f} MB",
             border_style="green"
         ))
 

adam_community-1.0.29/adam_community/util/__init__.py

@@ -0,0 +1,73 @@
+# Re-export all public APIs to maintain backward compatibility
+# Usage: from adam_community.util import execCmd, runCmd, ...
+
+from .config import (
+    ADAM_API_HOST,
+    ADAM_API_TOKEN,
+    ADAM_TASK_ID,
+    ADAM_USER_ID,
+    CONDA_ENV,
+    ADAM_TASK_DIR,
+)
+
+from .cmd import (
+    runCmd,
+    execCmd,
+    CmdResult,
+)
+
+from .api import (
+    retry_on_exception,
+    _make_http_request,
+    messageSend,
+    completionCreate,
+    DynamicObject,
+)
+
+from .rag import (
+    RAG,
+    knowledgeSearch,
+)
+
+from .state import (
+    _StatesManager,
+    setState,
+    getState,
+    trackPath,
+)
+
+from .markdown import (
+    markdown_color,
+    markdown_terminal,
+)
+
+__all__ = [
+    # config
+    'ADAM_API_HOST',
+    'ADAM_API_TOKEN',
+    'ADAM_TASK_ID',
+    'ADAM_USER_ID',
+    'CONDA_ENV',
+    'ADAM_TASK_DIR',
+    # cmd
+    'runCmd',
+    'execCmd',
+    'CmdResult',
+    # api
+    'retry_on_exception',
+    '_make_http_request',
+    'messageSend',
+    'completionCreate',
+    'DynamicObject',
+    # rag
+    'RAG',
+    'knowledgeSearch',
+    # state
+    '_StatesManager',
+    'setState',
+    'getState',
+    'trackPath',
+    # markdown
+    'markdown_color',
+    'markdown_terminal',
+]

adam_community-1.0.29/adam_community/util/api.py

@@ -0,0 +1,178 @@
+import time
+import urllib.request
+import urllib.error
+import json
+import ssl
+from functools import wraps
+
+from .config import ADAM_API_HOST, ADAM_API_TOKEN, ADAM_TASK_ID
+
+
+def retry_on_exception(max_retries=3, delay=5):
+    """
+    重试装饰器，在发生异常时最多重试指定次数
+
+    Args:
+        max_retries: 最大重试次数
+        delay: 重试间隔时间（秒）
+    """
+    def decorator(func):
+        @wraps(func)
+        def wrapper(*args, **kwargs):
+            last_exception = None
+            for attempt in range(max_retries):
+                try:
+                    return func(*args, **kwargs)
+                except Exception as e:
+                    last_exception = e
+                    if attempt < max_retries - 1:
+                        time.sleep(delay)
+                        continue
+                    raise last_exception
+            return None
+        return wrapper
+    return decorator
+
+
+def _make_http_request(url, data, return_json=True):
+    """
+    通用的 HTTP POST 请求函数
+
+    Args:
+        url: 请求的 URL
+        data: 请求数据（字典格式）
+        return_json: 是否将响应解析为 JSON，False 则返回文本
+
+    Returns:
+        响应数据（JSON 或文本）
+    """
+    if not ADAM_API_TOKEN:
+        raise ValueError("ADAM_API_TOKEN environment variable is not set")
+
+    headers = {
+        "Authorization": f"Bearer {ADAM_API_TOKEN}",
+        "Content-Type": "application/json"
+    }
+
+    try:
+        # 将请求数据转换为JSON字符串并编码
+        json_data = json.dumps(data).encode('utf-8')
+
+        # 创建请求对象
+        req = urllib.request.Request(url, data=json_data, headers=headers, method='POST')
+
+        context = ssl._create_unverified_context()
+
+        # 发送请求
+        with urllib.request.urlopen(req, context=context) as response:
+            # 检查响应状态码
+            if response.status >= 400:
+                raise Exception(f"HTTP错误: {response.status}")
+
+            # 读取响应
+            response_data = response.read().decode('utf-8')
+
+            # 根据需要返回 JSON 或文本
+            if return_json:
+                return json.loads(response_data)
+            else:
+                return response_data
+
+    except urllib.error.HTTPError as e:
+        raise Exception(f"HTTP请求失败 - HTTP错误 {e.code}: {e.reason}")
+    except urllib.error.URLError as e:
+        raise Exception(f"HTTP请求失败 - 网络错误: {str(e)}")
+    except json.JSONDecodeError as e:
+        if return_json:
+            raise Exception(f"HTTP请求失败 - JSON解析错误: {str(e)}")
+        else:
+            raise Exception(f"HTTP请求失败 - 响应解码错误: {str(e)}")
+    except Exception as e:
+        raise Exception(f"HTTP请求失败: {str(e)}")
+
+
+def messageSend(message):
+    """
+    发送消息给用户
+    """
+    if not ADAM_API_HOST:
+        raise ValueError("ADAM_API_HOST environment variable is not set")
+    if not ADAM_TASK_ID:
+        raise ValueError("ADAM_TASK_ID environment variable is not set")
+
+    url = f"{ADAM_API_HOST}/api/task/create_message"
+
+    request_data = {
+        "task_id": ADAM_TASK_ID,
+        "message": message,
+        "role": "tool"
+    }
+
+    try:
+        return _make_http_request(url, request_data, return_json=True)
+    except Exception as e:
+        raise Exception(f"发送消息失败: {str(e)}")
+
+
+class DynamicObject:
+    """
+    动态对象类，用于处理 JSON 响应
+
+    这个类可以动态地将字典转换为对象属性，支持嵌套的字典结构
+    同时保持原始数据的访问能力
+    """
+    def __init__(self, data):
+        self._raw_data = data
+        if isinstance(data, dict):
+            for key, value in data.items():
+                if isinstance(value, (dict, list)):
+                    setattr(self, key, self._convert_value(value))
+                else:
+                    setattr(self, key, value)
+
+    def _convert_value(self, value):
+        """递归转换嵌套的数据结构"""
+        if isinstance(value, dict):
+            return DynamicObject(value)
+        elif isinstance(value, list):
+            return [self._convert_value(item) for item in value]
+        return value
+
+    def __getattr__(self, name):
+        """处理未定义的属性访问"""
+        return self._raw_data.get(name)
+
+    def __getitem__(self, key):
+        """支持字典式访问"""
+        return self._raw_data.get(key)
+
+    def __str__(self):
+        """返回可读的字符串表示"""
+        return f"DynamicObject({self._raw_data})"
+
+    def __repr__(self):
+        return self.__str__()
+
+    def to_dict(self):
+        """将对象转换回字典"""
+        return self._raw_data
+
+
+@retry_on_exception(max_retries=3)
+def completionCreate(request_params):
+    """
+    创建 openai 的代理函数
+
+    Returns:
+        DynamicObject: 一个动态对象，可以像访问属性一样访问 API 响应的所有字段
+    """
+    if not ADAM_API_HOST:
+        raise ValueError("ADAM_API_HOST environment variable is not set")
+
+    url = f"{ADAM_API_HOST}/api/chat/completions"
+
+    try:
+        response = _make_http_request(url, request_params, return_json=True)
+        return DynamicObject(response)
+    except Exception as e:
+        raise Exception(f"调用聊天补全接口失败: {str(e)}")