dma-cli 0.1.0__tar.gz

dma_cli-0.1.0/PKG-INFO

@@ -0,0 +1,269 @@
+Metadata-Version: 2.4
+Name: dma-cli
+Version: 0.1.0
+Summary: DMA 任务提交命令行工具
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+Requires-Dist: requests
+Requires-Dist: pyyaml
+
+# DMA CLI —— 任务提交工具
+
+深度挖掘（DMA，`https://szc.test.dp.tech`）网页外的命令行提交工具，用于提交单个或批量任务。
+与压测无关，只借用压测脚本里已验证的接口形态，不改动任何压测内容。
+
+> **术语**：本工具的 `image`（镜像）即网页上的「软件目录」，底层接口为 `/softwares/deep-mining`，
+> snapshot 用 `softwareId`/`softwareVersionId`。容器镜像接口（image/public|private）不参与 job 提交，但 `image list` 合并展示供参考。
+
+## 安装
+
+```bash
+# 从 PyPI 安装
+pip install dma-cli
+dma --help
+
+# 从源码安装
+cd tools/dma-cli
+pip install .
+
+# 方式二：本地开发模式（可直接修改代码调试）
+cd tools/dma-cli
+pip install -e .
+
+# 安装后 dma 命令即可全局使用
+dma --help
+```
+
+## 配置
+
+PyPI 安装同时包含配置模板和 `input/` 样例，位于当前 Python 环境的 `share/dma-cli/`。
+可在空的工作目录中运行以下命令，将模板和样例复制到当前目录：
+
+```bash
+python - <<'PY'
+import shutil
+import sysconfig
+from pathlib import Path
+
+examples = Path(sysconfig.get_path("data")) / "share" / "dma-cli"
+for name in ("config.example.yaml", "job.example.json", "batch.example.json"):
+    shutil.copy2(examples / name, name)
+shutil.copytree(examples / "input", "input")
+PY
+```
+
+复制模板并填写：
+
+```bash
+cp config.example.yaml config.yaml
+```
+
+`config.yaml` 关键项：
+
+```yaml
+base_url: https://szc.test.dp.tech
+auth:
+  email: ""          # 验证码登录邮箱（留空则必须填 token）
+  captcha: "952754"  # 固定验证码（测试环境）
+  token: ""          # 直接配 token（优先于 email 登录）
+  uexid: ""          # 留空从 JWT 自动解析为 fe_<userId>
+  user_id: ""        # 留空从 JWT 自动解析
+defaults:
+  biz_platform: 2
+  name_prefix: "cli-job"
+  max_run_time: 15
+  max_run_time_unit: d
+  concurrency: 5
+```
+
+**配置优先级**：CLI 参数 > 环境变量（`DMA_BASE_URL` / `DMA_TOKEN`）> `config.yaml` > 内置默认。
+当前项目持久化于 `~/.dma_cli/session.json`，由 `project use` 写入、`submit` 读取。
+机型与镜像不持久化，每次通过参数或 JSON 配置文件传入。
+
+**安全**：`config.yaml` 与 `~/.dma_cli/` 不入库（仅提交 `config.example.yaml`），禁止提交真实 JWT。
+
+## 入口
+
+```bash
+# 方式一：如果您已经执行了 pip install .，则可以全局直接使用：
+dma <cmd> ...
+
+# 方式二：如果您未安装，可以直接通过 python 入口模块运行：
+python -m dma_cli <cmd> ...
+```
+
+所有命令支持 `-h`：
+
+```bash
+dma --help
+dma job submit --help
+```
+
+## 命令
+
+### login —— 验证码登录
+
+```bash
+dma login
+dma login --email you@example.com
+```
+
+解析 JWT 缓存 `token` / `user_id` / `uexid` 到 `~/.dma_cli/credentials.json`。也可跳过登录，直接在 `config.yaml` 填 `token`。
+
+### whoami —— 查看当前状态
+
+```bash
+dma whoami
+```
+
+显示 base_url、当前用户、当前项目。
+
+### project —— 项目管理
+
+```bash
+dma project list        # 列 projectId | name
+dma project use 3948    # 设为当前项目
+dma project current     # 显示当前项目
+```
+
+### sku —— 机型查询
+
+```bash
+dma sku list --kind cpu   # 列 skuId|skuName|cpu|memory|gpuModel|gpuNum|hasStock
+```
+
+> 仅查询参考，不持久化。提交任务时通过 `--machine_type` 参数传入。
+
+### image —— 镜像查询
+
+```bash
+dma image list   # 列出镜像（公共+私有合并，含 url 列）
+```
+
+> 仅查询参考，不持久化。输出 `url` 列可直接填入 `--image_address`。
+
+### job submit —— 提交任务
+
+提交任务，支持两种入参方式：
+
+**方式一：JSON 配置文件**
+
+```bash
+dma job submit -i job.example.json
+```
+
+**方式二：CLI 参数**
+
+```bash
+dma job submit \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --project_id 3283 \
+  --command "python calc.py" \
+  --job_name my-job
+```
+
+**完整参数列表**：
+
+| 参数 | 缩写 | 说明 |
+|---|---|---|
+| `--config_file` | `-i` | JSON 配置文件路径 |
+| `--input_directory` | — | 输入文件目录 |
+| `--project_id` | — | 项目 ID（0=用当前选择） |
+| `--job_name` | `-n` | 任务名称 |
+| `--image_address` | `-m` | 镜像地址（自动匹配） |
+| `--machine_type` | `-t` | 机器类型名（自动匹配） |
+| `--command` | `-c` | 执行命令 |
+| `--max_run_time` | — | 最大运行时间（分钟） |
+| `--nnode` | — | 节点数 |
+| `--count` | — | 批量提交任务数 |
+| `--concurrency` | — | 批量并发数 |
+| `--batch_file` | — | 批量任务 JSON 数组文件 |
+| `--batch_input_dir` | — | 批量目录扫描路径 |
+| `--dry_run` | — | 只打印 snapshot body |
+| `--poll` | — | 提交后轮询状态 |
+
+## 批量提交
+
+### 方式一：--count（相同参数）
+
+```bash
+dma job submit \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --count 10 \
+  --concurrency 5
+```
+
+### 方式二：--batch_file（差异化配置）
+
+```bash
+# batch.json 格式：
+# [
+#   {"job_name": "job-001", "machine_type": "c2_m2_cpu", ...},
+#   {"job_name": "job-002", "machine_type": "c4_m8_cpu", ...}
+# ]
+
+dma job submit --batch_file batch.json --concurrency 3
+```
+
+### 方式三：--batch_input_dir（目录扫描）
+
+```bash
+# 每个子目录作为一个任务的输入
+dma job submit \
+  --batch_input_dir ./inputs \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --concurrency 5
+```
+
+## 典型流程
+
+```bash
+# 1. 配置
+cp config.example.yaml config.yaml
+# 编辑 config.yaml 填入 token
+
+# 2. 查看状态
+dma whoami
+
+# 3. 切换项目
+dma project list
+dma project use 3948
+
+# 4. 查询机型和镜像
+dma sku list --kind cpu
+dma image list
+
+# 5. 提交任务
+dma job submit -i job.example.json
+
+# 6. 批量提交
+dma job submit --batch_file batch.json
+```
+
+## 文件结构
+
+```
+tools/dma-cli/
+├── README.md              # 本文档
+├── pyproject.toml         # 打包配置
+├── requirements.txt       # requests, pyyaml
+├── config.example.yaml    # 配置模板
+├── job.example.json       # 任务配置示例
+├── batch.example.json     # 批量任务示例
+└── dma_cli/               # Python 包目录
+    ├── __init__.py
+    ├── cli.py             # 命令行入口
+    ├── client.py          # API 客户端
+    ├── state.py           # 状态管理
+    ├── resources.py       # 资源查询
+    ├── submit.py          # 任务提交
+    └── calc.py            # 默认任务脚本
+```
+
+## 不在范围
+
+- 不做多用户 / 不改压测脚本
+- 不做分布式压测

dma_cli-0.1.0/README.md

@@ -0,0 +1,260 @@
+# DMA CLI —— 任务提交工具
+
+深度挖掘（DMA，`https://szc.test.dp.tech`）网页外的命令行提交工具，用于提交单个或批量任务。
+与压测无关，只借用压测脚本里已验证的接口形态，不改动任何压测内容。
+
+> **术语**：本工具的 `image`（镜像）即网页上的「软件目录」，底层接口为 `/softwares/deep-mining`，
+> snapshot 用 `softwareId`/`softwareVersionId`。容器镜像接口（image/public|private）不参与 job 提交，但 `image list` 合并展示供参考。
+
+## 安装
+
+```bash
+# 从 PyPI 安装
+pip install dma-cli
+dma --help
+
+# 从源码安装
+cd tools/dma-cli
+pip install .
+
+# 方式二：本地开发模式（可直接修改代码调试）
+cd tools/dma-cli
+pip install -e .
+
+# 安装后 dma 命令即可全局使用
+dma --help
+```
+
+## 配置
+
+PyPI 安装同时包含配置模板和 `input/` 样例，位于当前 Python 环境的 `share/dma-cli/`。
+可在空的工作目录中运行以下命令，将模板和样例复制到当前目录：
+
+```bash
+python - <<'PY'
+import shutil
+import sysconfig
+from pathlib import Path
+
+examples = Path(sysconfig.get_path("data")) / "share" / "dma-cli"
+for name in ("config.example.yaml", "job.example.json", "batch.example.json"):
+    shutil.copy2(examples / name, name)
+shutil.copytree(examples / "input", "input")
+PY
+```
+
+复制模板并填写：
+
+```bash
+cp config.example.yaml config.yaml
+```
+
+`config.yaml` 关键项：
+
+```yaml
+base_url: https://szc.test.dp.tech
+auth:
+  email: ""          # 验证码登录邮箱（留空则必须填 token）
+  captcha: "952754"  # 固定验证码（测试环境）
+  token: ""          # 直接配 token（优先于 email 登录）
+  uexid: ""          # 留空从 JWT 自动解析为 fe_<userId>
+  user_id: ""        # 留空从 JWT 自动解析
+defaults:
+  biz_platform: 2
+  name_prefix: "cli-job"
+  max_run_time: 15
+  max_run_time_unit: d
+  concurrency: 5
+```
+
+**配置优先级**：CLI 参数 > 环境变量（`DMA_BASE_URL` / `DMA_TOKEN`）> `config.yaml` > 内置默认。
+当前项目持久化于 `~/.dma_cli/session.json`，由 `project use` 写入、`submit` 读取。
+机型与镜像不持久化，每次通过参数或 JSON 配置文件传入。
+
+**安全**：`config.yaml` 与 `~/.dma_cli/` 不入库（仅提交 `config.example.yaml`），禁止提交真实 JWT。
+
+## 入口
+
+```bash
+# 方式一：如果您已经执行了 pip install .，则可以全局直接使用：
+dma <cmd> ...
+
+# 方式二：如果您未安装，可以直接通过 python 入口模块运行：
+python -m dma_cli <cmd> ...
+```
+
+所有命令支持 `-h`：
+
+```bash
+dma --help
+dma job submit --help
+```
+
+## 命令
+
+### login —— 验证码登录
+
+```bash
+dma login
+dma login --email you@example.com
+```
+
+解析 JWT 缓存 `token` / `user_id` / `uexid` 到 `~/.dma_cli/credentials.json`。也可跳过登录，直接在 `config.yaml` 填 `token`。
+
+### whoami —— 查看当前状态
+
+```bash
+dma whoami
+```
+
+显示 base_url、当前用户、当前项目。
+
+### project —— 项目管理
+
+```bash
+dma project list        # 列 projectId | name
+dma project use 3948    # 设为当前项目
+dma project current     # 显示当前项目
+```
+
+### sku —— 机型查询
+
+```bash
+dma sku list --kind cpu   # 列 skuId|skuName|cpu|memory|gpuModel|gpuNum|hasStock
+```
+
+> 仅查询参考，不持久化。提交任务时通过 `--machine_type` 参数传入。
+
+### image —— 镜像查询
+
+```bash
+dma image list   # 列出镜像（公共+私有合并，含 url 列）
+```
+
+> 仅查询参考，不持久化。输出 `url` 列可直接填入 `--image_address`。
+
+### job submit —— 提交任务
+
+提交任务，支持两种入参方式：
+
+**方式一：JSON 配置文件**
+
+```bash
+dma job submit -i job.example.json
+```
+
+**方式二：CLI 参数**
+
+```bash
+dma job submit \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --project_id 3283 \
+  --command "python calc.py" \
+  --job_name my-job
+```
+
+**完整参数列表**：
+
+| 参数 | 缩写 | 说明 |
+|---|---|---|
+| `--config_file` | `-i` | JSON 配置文件路径 |
+| `--input_directory` | — | 输入文件目录 |
+| `--project_id` | — | 项目 ID（0=用当前选择） |
+| `--job_name` | `-n` | 任务名称 |
+| `--image_address` | `-m` | 镜像地址（自动匹配） |
+| `--machine_type` | `-t` | 机器类型名（自动匹配） |
+| `--command` | `-c` | 执行命令 |
+| `--max_run_time` | — | 最大运行时间（分钟） |
+| `--nnode` | — | 节点数 |
+| `--count` | — | 批量提交任务数 |
+| `--concurrency` | — | 批量并发数 |
+| `--batch_file` | — | 批量任务 JSON 数组文件 |
+| `--batch_input_dir` | — | 批量目录扫描路径 |
+| `--dry_run` | — | 只打印 snapshot body |
+| `--poll` | — | 提交后轮询状态 |
+
+## 批量提交
+
+### 方式一：--count（相同参数）
+
+```bash
+dma job submit \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --count 10 \
+  --concurrency 5
+```
+
+### 方式二：--batch_file（差异化配置）
+
+```bash
+# batch.json 格式：
+# [
+#   {"job_name": "job-001", "machine_type": "c2_m2_cpu", ...},
+#   {"job_name": "job-002", "machine_type": "c4_m8_cpu", ...}
+# ]
+
+dma job submit --batch_file batch.json --concurrency 3
+```
+
+### 方式三：--batch_input_dir（目录扫描）
+
+```bash
+# 每个子目录作为一个任务的输入
+dma job submit \
+  --batch_input_dir ./inputs \
+  --machine_type c2_m2_cpu \
+  --image_address ubuntu:22.04-py3.10-terminal-20260916 \
+  --concurrency 5
+```
+
+## 典型流程
+
+```bash
+# 1. 配置
+cp config.example.yaml config.yaml
+# 编辑 config.yaml 填入 token
+
+# 2. 查看状态
+dma whoami
+
+# 3. 切换项目
+dma project list
+dma project use 3948
+
+# 4. 查询机型和镜像
+dma sku list --kind cpu
+dma image list
+
+# 5. 提交任务
+dma job submit -i job.example.json
+
+# 6. 批量提交
+dma job submit --batch_file batch.json
+```
+
+## 文件结构
+
+```
+tools/dma-cli/
+├── README.md              # 本文档
+├── pyproject.toml         # 打包配置
+├── requirements.txt       # requests, pyyaml
+├── config.example.yaml    # 配置模板
+├── job.example.json       # 任务配置示例
+├── batch.example.json     # 批量任务示例
+└── dma_cli/               # Python 包目录
+    ├── __init__.py
+    ├── cli.py             # 命令行入口
+    ├── client.py          # API 客户端
+    ├── state.py           # 状态管理
+    ├── resources.py       # 资源查询
+    ├── submit.py          # 任务提交
+    └── calc.py            # 默认任务脚本
+```
+
+## 不在范围
+
+- 不做多用户 / 不改压测脚本
+- 不做分布式压测

dma_cli-0.1.0/batch.example.json

@@ -0,0 +1,16 @@
+[
+  {
+    "job_name": "cli-job-case1",
+    "machine_type": "c2_m2_cpu",
+    "image_address": "ubuntu:22.04-py3.10-terminal-20260916",
+    "input_directory": "./input/case1",
+    "command": "python calc.py"
+  },
+  {
+    "job_name": "cli-job-case2",
+    "machine_type": "c2_m2_cpu",
+    "image_address": "ubuntu:22.04-py3.10-terminal-20260916",
+    "input_directory": "./input/case2",
+    "command": "python calc.py"
+  }
+]

dma_cli-0.1.0/config.example.yaml

@@ -0,0 +1,18 @@
+# DMA CLI 配置模板 —— 复制为 config.yaml 后填写。
+# 安全：禁止把含真实 token 的 config.yaml 提交到代码仓库（已在 .gitignore 排除）。
+base_url: https://szc.test.dp.tech
+
+auth:
+  email: ""          # 验证码登录邮箱（留空则必须填 token）
+  captcha: "952754"  # 固定验证码（测试环境）
+  token: ""          # 直接配 token（优先于 email 登录，留空走 email）
+  uexid: ""          # 留空则从 JWT 自动解析为 fe_<userId>
+  user_id: ""        # 留空则从 JWT 自动解析
+
+defaults:
+  biz_platform: 2
+  name_prefix: "cli-job"
+  cmd: "python calc.py"
+  max_run_time: 15
+  max_run_time_unit: d
+  concurrency: 5

dma_cli-0.1.0/dma_cli/__init__.py

@@ -0,0 +1,3 @@
+"""DMA CLI —— 任务提交命令行工具"""
+
+__version__ = "0.1.0"

dma_cli-0.1.0/dma_cli/__main__.py

@@ -0,0 +1,6 @@
+"""支持 `python -m dma_cli`（在 tools/dma-cli 目录下运行）。"""
+
+from .cli import main
+
+if __name__ == "__main__":
+    main()

dma_cli-0.1.0/dma_cli/calc.py

@@ -0,0 +1,42 @@
+"""内置默认任务脚本。
+
+"""
+import argparse
+import time
+import sys
+
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--num1", type=float, default=1)
+    parser.add_argument("--operator", choices=["+", "-"], default="+")
+    parser.add_argument("--num2", type=float, default=1)
+    args = parser.parse_args()
+
+    # 打开 run.log 文件并将 print 输出重定向追加至日志
+    with open("run.log", "a", encoding="utf-8") as f:
+        f.write(f"--- 任务启动时间: {time.strftime('%Y-%m-%d %H:%M:%S')} ---\n")
+        f.flush()
+
+        total_seconds = 10 * 60
+        interval = 5
+        elapsed = 0
+        while elapsed < total_seconds:
+            msg = "我大概运行10分钟，你可以先检查其他功能\n"
+            sys.stdout.write(msg)
+            sys.stdout.flush()
+            f.write(msg)
+            f.flush()
+            time.sleep(interval)
+            elapsed += interval
+
+        result = args.num1 + args.num2 if args.operator == "+" else args.num1 - args.num2
+        res_msg = f"计算结果: {args.num1} {args.operator} {args.num2} = {result}\n"
+        sys.stdout.write(res_msg)
+        sys.stdout.flush()
+        f.write(res_msg)
+        f.flush()
+
+
+if __name__ == "__main__":
+    main()