@icyfenix-dmla/cli 2026.4.19-856 → 2026.4.19-920

package/README.md

@@ -0,0 +1,46 @@
+# @icyfenix-dmla/cli
+
+DMLA 沙箱服务命令行工具。
+
+## 安装
+
+```bash
+npm install -g @icyfenix-dmla/cli
+```
+
+## 使用
+
+```bash
+# 启动服务
+dmla start                 # 默认端口 3001
+dmla start --port 8080     # 自定义端口
+dmla start --gpu           # GPU 模式
+
+# 停止服务
+dmla stop
+
+# 查看状态
+dmla status
+
+# 安装镜像
+dmla install               # 安装所有镜像（默认从 Docker Hub）
+dmla install --cpu         # 仅 CPU 版本
+dmla install --gpu         # 仅 GPU 版本
+dmla install --registry acr  # 从阿里云 ACR 安装（国内加速）
+
+# 更新
+dmla update                # 更新 npm 包和镜像
+dmla update --registry acr
+
+# 环境诊断
+dmla doctor
+```
+
+## 要求
+
+- Node.js >= 18.0.0
+- Docker
+
+## 许可证
+
+MIT

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@icyfenix-dmla/cli",
-  "version": "2026.4.19-856",
+  "version": "2026.4.19-920",
   "description": "DMLA 沙箱服务命令行工具",
   "type": "module",
   "main": "src/index.js",
@@ -9,8 +9,16 @@
   },
   "scripts": {
     "start": "node src/index.js",
+    "build": "node scripts/build.js",
+    "prepublishOnly": "npm run build",
     "test": "node --experimental-vm-modules $(npm root)/jest/bin/jest.js"
   },
+  "files": [
+    "bin/",
+    "src/",
+    "scripts/",
+    "README.md"
+  ],
   "dependencies": {
     "commander": "^12.1.0",
     "chalk": "^5.3.0",

package/scripts/build.js

@@ -0,0 +1,50 @@
+/**
+ * 构建脚本：将 local-server 代码复制到 CLI 包中
+ * 用于 npm 发布时包含完整的服务器代码
+ */
+import fs from 'fs'
+import path from 'path'
+import { fileURLToPath } from 'url'
+
+const __filename = fileURLToPath(import.meta.url)
+const __dirname = path.dirname(__filename)
+
+const rootDir = path.resolve(__dirname, '../../..')
+const localServerSrc = path.resolve(rootDir, 'local-server/src')
+const cliServerDest = path.resolve(__dirname, '../src/server')
+
+console.log('📦 构建 CLI 包...')
+console.log(`   源目录: ${localServerSrc}`)
+console.log(`   目标目录: ${cliServerDest}`)
+
+// 递归复制目录
+function copyDir(src, dest) {
+  if (!fs.existsSync(src)) {
+    console.error(`❌ 源目录不存在: ${src}`)
+    process.exit(1)
+  }
+
+  // 创建目标目录
+  if (!fs.existsSync(dest)) {
+    fs.mkdirSync(dest, { recursive: true })
+  }
+
+  const entries = fs.readdirSync(src, { withFileTypes: true })
+
+  for (const entry of entries) {
+    const srcPath = path.join(src, entry.name)
+    const destPath = path.join(dest, entry.name)
+
+    if (entry.isDirectory()) {
+      copyDir(srcPath, destPath)
+    } else if (entry.isFile() && entry.name.endsWith('.js')) {
+      fs.copyFileSync(srcPath, destPath)
+      console.log(`   ✓ 复制: ${entry.name}`)
+    }
+  }
+}
+
+// 执行复制
+copyDir(localServerSrc, cliServerDest)
+
+console.log('✅ 服务器代码已复制到 CLI 包')

package/src/server/index.js

@@ -0,0 +1,42 @@
+/**
+ * Design Machine Learning Applications 本地服务
+ * 提供 Python 代码沙箱执行 API
+ */
+import express from 'express'
+import cors from 'cors'
+import sandboxRouter from './routes/sandbox.js'
+
+export const app = express()
+const PORT = process.env.PORT || 3001
+
+// 中间件
+app.use(cors())
+app.use(express.json())
+
+// 健康检查
+app.get('/api/health', (req, res) => {
+  res.json({ status: 'ok', timestamp: new Date().toISOString() })
+})
+
+// 沙箱 API
+app.use('/api/sandbox', sandboxRouter)
+
+// 错误处理
+app.use((err, req, res, next) => {
+  console.error('Error:', err)
+  res.status(500).json({
+    success: false,
+    error: err.message || 'Internal Server Error'
+  })
+})
+
+// 仅在直接运行时启动服务器（测试时不启动）
+if (import.meta.url === `file://${process.argv[1]}`) {
+  app.listen(PORT, () => {
+    console.log(`🚀 DMLA 本地服务已启动`)
+    console.log(`   API: http://localhost:${PORT}`)
+    console.log(`   健康检查: http://localhost:${PORT}/api/health`)
+  })
+}
+
+export default app

package/src/server/routes/sandbox.js

@@ -0,0 +1,115 @@
+/**
+ * 沙箱 API 路由
+ */
+import { Router } from 'express'
+import { runPythonCode, checkImageExists, checkGPUAvailable } from '../sandbox.js'
+
+const router = Router()
+
+/**
+ * 健康检查
+ */
+router.get('/health', async (req, res) => {
+  try {
+    const imageCpuExists = await checkImageExists(false)
+    const imageGpuExists = await checkImageExists(true)
+    const gpuAvailable = await checkGPUAvailable()
+
+    res.json({
+      status: 'ok',
+      images: {
+        cpu: imageCpuExists,
+        gpu: imageGpuExists
+      },
+      gpu: gpuAvailable
+    })
+  } catch (error) {
+    res.status(500).json({
+      status: 'error',
+      error: error.message
+    })
+  }
+})
+
+/**
+ * 执行代码
+ * POST /api/sandbox/run
+ * Body: { code: string, useGpu?: boolean }
+ */
+router.post('/run', async (req, res) => {
+  const { code, useGpu = false } = req.body
+
+  // 验证请求
+  if (!code || typeof code !== 'string') {
+    return res.status(400).json({
+      success: false,
+      error: 'Missing or invalid code parameter'
+    })
+  }
+
+  // 代码长度限制 (约 100KB)
+  if (code.length > 100000) {
+    return res.status(400).json({
+      success: false,
+      error: 'Code too long (max 100KB)'
+    })
+  }
+
+  try {
+    // 检查镜像是否存在
+    const imageExists = await checkImageExists(useGpu)
+
+    if (!imageExists) {
+      return res.status(503).json({
+        success: false,
+        error: useGpu
+          ? 'GPU 镜像未安装。请运行以下命令安装：\n\nnpm run build:sandbox:gpu\n\n或使用 dmla CLI：\n\ndmla install --gpu'
+          : '沙箱镜像未安装。请运行以下命令安装：\n\nnpm run build:sandbox:cpu\n\n或使用 dmla CLI：\n\ndmla install --cpu'
+      })
+    }
+
+    // 如果请求 GPU，检查 GPU 是否可用
+    if (useGpu) {
+      const gpuAvailable = await checkGPUAvailable()
+      if (!gpuAvailable) {
+        return res.status(503).json({
+          success: false,
+          error: 'GPU 硬件不可用。请确保系统安装了 NVIDIA GPU 驱动和 nvidia-container-toolkit。\n\n诊断步骤：\n1. 运行 nvidia-smi 检查 GPU 状态\n2. 运行 docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi 测试 Docker GPU 支持\n\n或使用 dmla doctor 进行环境诊断'
+        })
+      }
+    }
+
+    // 执行代码
+    const result = await runPythonCode(code, useGpu)
+
+    res.json(result)
+
+  } catch (error) {
+    console.error('Sandbox error:', error)
+    res.status(500).json({
+      success: false,
+      error: error.message || 'Internal sandbox error'
+    })
+  }
+})
+
+/**
+ * GPU 状态检查
+ */
+router.get('/gpu', async (req, res) => {
+  try {
+    const gpuAvailable = await checkGPUAvailable()
+
+    res.json({
+      available: gpuAvailable,
+      message: gpuAvailable ? 'GPU is available' : 'No GPU detected'
+    })
+  } catch (error) {
+    res.status(500).json({
+      available: false,
+      error: error.message
+    })
+  }
+})
+
+export default router

package/src/server/sandbox.js

@@ -0,0 +1,351 @@
+/**
+ * 沙箱管理模块
+ * 负责创建和管理 Docker 容器执行 Python 代码
+ */
+import Docker from 'dockerode'
+import path from 'path'
+import { fileURLToPath } from 'url'
+import fs from 'fs'
+
+const __filename = fileURLToPath(import.meta.url)
+const __dirname = path.dirname(__filename)
+
+// 检测运行模式并计算正确的路径
+// 开发模式: 从 local-server/src 运行，项目根目录在上两级
+// 独立模式: 从 packages/cli/src/server 运行，无 shared_modules 目录
+function detectProjectRoot() {
+  // 尝试向上两级查找 local-server 目录（开发模式）
+  const candidateRoot = path.resolve(__dirname, '..', '..')
+  const localServerPath = path.join(candidateRoot, 'local-server')
+  if (fs.existsSync(localServerPath)) {
+    return candidateRoot
+  }
+
+  // 尝试向上三级查找（独立模式下的项目根目录）
+  const standaloneRoot = path.resolve(__dirname, '..', '..', '..')
+  const standaloneLocalServer = path.join(standaloneRoot, 'local-server')
+  if (fs.existsSync(standaloneLocalServer)) {
+    return standaloneRoot
+  }
+
+  // 独立安装模式，无项目根目录
+  return null
+}
+
+const PROJECT_ROOT = detectProjectRoot()
+
+// 共享模块目录（仅开发模式可用）
+const DEFAULT_SHARED_MODULES_PATH = PROJECT_ROOT
+  ? path.join(PROJECT_ROOT, 'local-server', 'shared_modules')
+  : null
+
+const docker = new Docker()
+
+// 沙箱配置
+const SANDBOX_CONFIG = {
+  imageCpu: 'dmla-sandbox:cpu',
+  imageGpu: 'dmla-sandbox:gpu',
+  timeout: 60000,           // 60 秒超时
+  memory: 4 * 1024 * 1024 * 1024  // 4GB 内存
+}
+
+/**
+ * 获取共享模块路径
+ */
+function getSharedModulesPath() {
+  // 优先使用环境变量指定的路径
+  if (process.env.SHARED_MODULES_PATH) {
+    return process.env.SHARED_MODULES_PATH
+  }
+  // 开发模式下的默认路径
+  return DEFAULT_SHARED_MODULES_PATH
+}
+
+/**
+ * 检查是否启用 Volume Mount
+ */
+function shouldMountSharedModules() {
+  return process.env.MOUNT_SHARED_MODULES !== 'false'
+}
+
+/**
+ * 检查 GPU 是否可用
+ * 通过运行 nvidia-smi 命令检测 GPU 状态
+ */
+export async function checkGPUAvailable() {
+  let container = null
+
+  try {
+    // 创建容器运行 nvidia-smi 命令
+    container = await docker.createContainer({
+      Image: 'nvidia/cuda:11.8-base',
+      Cmd: ['nvidia-smi', '-L'],
+      HostConfig: {
+        DeviceRequests: [{
+          Driver: 'nvidia',
+          Count: -1,  // 使用所有 GPU
+          Capabilities: [['gpu']]
+        }]
+      }
+    })
+
+    // 启动容器
+    await container.start()
+
+    // 等待执行完成
+    await container.wait()
+
+    // 获取输出日志
+    const logs = await container.logs({
+      stdout: true,
+      stderr: true
+    })
+
+    // 解析输出
+    const output = parseDockerLogs(logs)
+
+    // 检查输出是否包含 GPU 信息
+    return output.includes('GPU')
+  } catch {
+    // GPU 不可用或 Docker/nvidia-smi 执行失败
+    return false
+  } finally {
+    // 清理容器
+    if (container) {
+      try {
+        await container.remove({ force: true })
+      } catch {
+        // 忽略清理错误
+      }
+    }
+  }
+}
+
+/**
+ * 执行 Python 代码
+ * 使用 IPython Kernel 执行代码，支持富输出（图片、文本、错误等）
+ * @param {string} code - Python 代码
+ * @param {boolean} useGpu - 是否使用 GPU
+ * @returns {Promise<{success: boolean, outputs: Array, executionTime: number, gpuUsed: boolean}>}
+ */
+export async function runPythonCode(code, useGpu = false) {
+  const startTime = Date.now()
+
+  // 选择镜像
+  const image = useGpu ? SANDBOX_CONFIG.imageGpu : SANDBOX_CONFIG.imageCpu
+
+  // 创建容器配置 - 使用 kernel_runner.py 执行代码
+  const containerConfig = {
+    Image: image,
+    Cmd: ['python3', '/workspace/kernel_runner.py', '--code', code, '--timeout', String(Math.floor(SANDBOX_CONFIG.timeout / 1000))],
+    HostConfig: {
+      Memory: SANDBOX_CONFIG.memory,
+      AutoRemove: false  // 手动移除以获取日志
+    },
+    Env: [
+      'PYTHONUNBUFFERED=1'
+      // matplotlib 使用 IPython Kernel 的 inline 后端，自动发送 display_data
+    ]
+  }
+
+  // Volume Mount 配置 - 挂载共享模块
+  const useMount = shouldMountSharedModules()
+  const sharedModulesPath = getSharedModulesPath()
+
+  if (useMount && sharedModulesPath) {
+    // 检查共享模块目录是否存在
+    if (fs.existsSync(sharedModulesPath)) {
+      containerConfig.HostConfig.Binds = [
+        `${sharedModulesPath}:/usr/local/lib/python3.11/site-packages/shared:ro`
+      ]
+      console.log(`[Sandbox] Volume Mount 已启用: ${sharedModulesPath}`)
+    } else {
+      console.warn(`[Sandbox] 警告: 共享模块目录不存在: ${sharedModulesPath}`)
+      console.warn('[Sandbox] 提示: 运行 npm run extract:shared 生成共享模块')
+    }
+  } else if (!sharedModulesPath) {
+    console.log('[Sandbox] 独立安装模式，无共享模块目录')
+  } else {
+    console.log('[Sandbox] Volume Mount 已禁用 (MOUNT_SHARED_MODULES=false)')
+  }
+
+  // GPU 配置
+  if (useGpu) {
+    containerConfig.HostConfig.DeviceRequests = [{
+      Driver: 'nvidia',
+      Count: -1,  // 使用所有 GPU
+      Capabilities: [['gpu']]
+    }]
+  }
+
+  let container = null
+  let timeoutId = null
+
+  try {
+    // 创建容器
+    container = await docker.createContainer(containerConfig)
+
+    // 设置超时
+    const timeoutPromise = new Promise((_, reject) => {
+      timeoutId = setTimeout(() => {
+        reject(new Error('Execution timeout'))
+      }, SANDBOX_CONFIG.timeout + 10000)  // 额外 10 秒用于清理
+    })
+
+    // 启动容器
+    await container.start()
+
+    // 等待执行完成
+    const waitPromise = container.wait()
+
+    // 竞速: 超时 vs 正常完成
+    const result = await Promise.race([waitPromise, timeoutPromise])
+
+    // 清除超时
+    if (timeoutId) clearTimeout(timeoutId)
+
+    // 获取输出
+    const logs = await container.logs({
+      stdout: true,
+      stderr: true
+    })
+
+    // 解析输出
+    const rawOutput = parseDockerLogs(logs)
+
+    // 解析 JSON 输出
+    let parsedResult
+    try {
+      parsedResult = JSON.parse(rawOutput)
+    } catch (parseError) {
+      // 如果 JSON 解析失败，返回原始输出作为错误
+      const executionTime = (Date.now() - startTime) / 1000
+      return {
+        success: false,
+        outputs: [{
+          type: 'error',
+          ename: 'OutputParseError',
+          evalue: 'Failed to parse kernel output',
+          traceback: [rawOutput]
+        }],
+        executionTime,
+        gpuUsed: useGpu
+      }
+    }
+
+    return {
+      success: parsedResult.success,
+      outputs: parsedResult.outputs || [],
+      executionTime: parsedResult.executionTime || (Date.now() - startTime) / 1000,
+      gpuUsed: useGpu
+    }
+
+  } catch (error) {
+    // 清除超时
+    if (timeoutId) clearTimeout(timeoutId)
+
+    const executionTime = (Date.now() - startTime) / 1000
+
+    return {
+      success: false,
+      outputs: [{
+        type: 'error',
+        ename: error.name || 'ExecutionError',
+        evalue: error.message || 'Unknown error',
+        traceback: [error.message || 'Unknown error']
+      }],
+      executionTime,
+      gpuUsed: useGpu
+    }
+
+  } finally {
+    // 清理容器
+    if (container) {
+      try {
+        await container.remove({ force: true })
+      } catch (e) {
+        console.warn('Failed to remove container:', e.message)
+      }
+    }
+  }
+}
+
+/**
+ * 解析 Docker 日志输出
+ * Docker 日志格式: [8字节头][数据]
+ */
+function parseDockerLogs(logs) {
+  if (!logs || logs.length === 0) return ''
+
+  // 如果是 Buffer
+  if (Buffer.isBuffer(logs)) {
+    let output = ''
+    let offset = 0
+
+    while (offset < logs.length) {
+      // 跳过 8 字节头
+      if (offset + 8 > logs.length) break
+
+      const streamType = logs[offset]
+      const length = logs.readUInt32BE(offset + 4)
+
+      offset += 8
+
+      if (offset + length > logs.length) break
+
+      const chunk = logs.slice(offset, offset + length).toString('utf8')
+      output += chunk
+      offset += length
+    }
+
+    return output
+  }
+
+  // 如果是字符串
+  return logs.toString()
+}
+
+/**
+ * 检查沙箱镜像是否存在
+ */
+export async function checkImageExists(useGpu = false) {
+  const image = useGpu ? SANDBOX_CONFIG.imageGpu : SANDBOX_CONFIG.imageCpu
+
+  try {
+    await docker.getImage(image).inspect()
+    return true
+  } catch {
+    return false
+  }
+}
+
+/**
+ * 拉取沙箱镜像
+ */
+export async function pullImage(useGpu = false) {
+  const image = useGpu ? SANDBOX_CONFIG.imageGpu : SANDBOX_CONFIG.imageCpu
+
+  return new Promise((resolve, reject) => {
+    docker.pull(image, (err, stream) => {
+      if (err) {
+        reject(err)
+        return
+      }
+
+      docker.modem.followProgress(stream, (err, output) => {
+        if (err) {
+          reject(err)
+        } else {
+          resolve(output)
+        }
+      })
+    })
+  })
+}
+
+export default {
+  runPythonCode,
+  checkGPUAvailable,
+  checkImageExists,
+  pullImage
+}

package/tests/cli.test.js

@@ -1,34 +0,0 @@
-/**
- * CLI 命令单元测试
- */
-import { describe, it, expect, beforeAll } from '@jest/globals'
-import { fileURLToPath } from 'url'
-import path from 'path'
-import fs from 'fs'
-
-// ESM 中获取 __dirname
-const __filename = fileURLToPath(import.meta.url)
-const __dirname = path.dirname(__filename)
-
-// 基础测试：确保模块可导入
-describe('CLI Module', () => {
-  beforeAll(() => {
-    // 设置测试环境
-  })
-
-  it('should have correct package.json', async () => {
-    const pkgPath = path.resolve(__dirname, '../package.json')
-    const pkg = JSON.parse(fs.readFileSync(pkgPath, 'utf8'))
-
-    expect(pkg.name).toBe('@icyfenix-dmla/cli')
-    expect(pkg.bin).toBeDefined()
-    expect(pkg.bin.dmla).toBe('./bin/dmla.js')
-  })
-
-  it('should have commander dependency', async () => {
-    const pkgPath = path.resolve(__dirname, '../package.json')
-    const pkg = JSON.parse(fs.readFileSync(pkgPath, 'utf8'))
-
-    expect(pkg.dependencies.commander).toBeDefined()
-  })
-})