@newbeebox/newbeebox-app-engine-cli 1.7.0 → 1.8.1

package/README.md

@@ -90,6 +90,28 @@ nae create --kind template --app-id myredis \
   --template redis --storage 2Gi --config '{"password":"..."}'
 ```
 
+### 构建（本机无 Docker）
+
+没装 Docker、或不想本地 `docker build && push`？把带 `Dockerfile` 的项目目录交给平台代构建，
+构建成功推镜像后照常触发自动部署（与你本地 `push` 等效）。
+
+| 命令 | 说明 |
+|------|------|
+| `nae build <appid> [path]` | 打包本地目录上传，由平台代跑 `docker build`/`push`；缺省跟随日志直至结束 |
+| `nae builds <appid>` | 列出该应用最近的构建任务（状态 / 排队位置） |
+| `nae build-logs <jobid> [-f]` | 某构建任务日志（游标续读，`-f` 跟随至结束） |
+
+```bash
+nae build myweb                      # 打包当前目录，构建并跟随日志
+nae build myweb ./service --tag v2   # 指定上下文目录与镜像 tag
+nae build myweb --dockerfile docker/Dockerfile.prod
+nae build myweb --no-follow          # 只入队，稍后 nae build-logs <job> -f 再看
+```
+
+- 打包遵循上下文根的 `.dockerignore`，务必排除 `node_modules/`、构建产物、`.git/`；压缩后上限 **200MB**。
+- 镜像运行时约束同样适用（非 root、端口 ≥ 1024）；Dockerfile 由你提供。
+- 网页端「应用详情 → 构建」Tab 也能选项目文件夹上传，效果一致。
+
 ### 生命周期
 
 | 命令 | 说明 |

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@newbeebox/newbeebox-app-engine-cli",
-  "version": "1.7.0",
+  "version": "1.8.1",
   "description": "NewBee App Engine 命令行客户端（nae）——参数直达、默认人类可读（加 -o json 出 JSON），便于在终端使用与脚本/管道里解析。",
   "type": "module",
   "bin": {

package/src/build.js

@@ -0,0 +1,160 @@
+// 无 Docker 构建：打包本地目录 → 直传 OSS → 平台入队 → 跟随日志直至终态。
+//
+// 字节全程不经平台 Pod：上传走平台开的预签名 PUT（OSS 公网直传），Runner 拉取走内网预签名 GET。
+// 日志用游标轮询（?after=seq），断线可用 `nae build-logs <job>` 从任意位置续看。
+import { request, NetworkError } from './http.js'
+import { pack } from './tar.js'
+import * as out from './output.js'
+
+const CONTEXT_MAX = 200 * 1024 * 1024 // 与平台 enqueue 时的 HEAD 校验一致（200MB）
+const TERMINAL = new Set(['succeeded', 'failed', 'expired', 'canceled'])
+
+// runBuild `nae build <appid> [path]` 主流程。
+export async function runBuild(cfg, appid, contextPath, opts) {
+  const dockerfile = (opts.dockerfile || 'Dockerfile').trim()
+  const context = contextPath || '.'
+
+  // 预检：应用存在且为普通应用（只有普通应用走镜像推送链路）。
+  const app = await request(cfg, 'GET', `/apps/${appid}`)
+  if (app && app.Kind && app.Kind !== 'normal') {
+    throw new Error(`应用 ${appid} 是模板应用，不支持构建上传（仅普通应用可用）`)
+  }
+
+  // 打包（含 .dockerignore 过滤）。
+  out.info(`打包构建上下文：${context}（Dockerfile=${dockerfile}）…`)
+  const { buffer, fileCount, rawSize, skippedSpecial } = pack(context, dockerfile)
+  if (skippedSpecial > 0) out.info(`（跳过 ${skippedSpecial} 个符号链接/特殊文件）`)
+  out.info(`打包完成：${fileCount} 文件，原始 ${humanSize(rawSize)} → 压缩 ${humanSize(buffer.length)}`)
+  if (buffer.length > CONTEXT_MAX) {
+    throw new Error(`压缩后 ${humanSize(buffer.length)} 超过 200MB 上限——请用 .dockerignore 排除 node_modules/构建产物等`)
+  }
+
+  // 建任务 → 拿预签名上传 URL。
+  const created = await request(cfg, 'POST', `/apps/${appid}/builds`, {
+    body: { tag: opts.tag, dockerfile },
+  })
+  const job = created.job
+  const uploadURL = created.upload_url
+  out.info(`已创建构建任务 #${job.ID}（tag=${job.Tag}）`)
+
+  // 直传 OSS（不经平台）。预签名 PUT 签名用空 Content-Type，故不带任何 Content-Type/MD5 头。
+  out.info(`上传上下文到对象存储…`)
+  await putContext(uploadURL, buffer)
+
+  // 确认入队（平台 HEAD 验对象大小）。
+  const queued = await request(cfg, 'POST', `/builds/${job.ID}/enqueue`)
+  const ahead = queued && queued.position ? `，前面还有 ${queued.position} 个任务` : ''
+  out.info(`已入队${ahead}。任务 #${job.ID}`)
+
+  if (opts.follow === false) {
+    return { job_id: job.ID, status: queued ? queued.Status : 'queued' }
+  }
+  out.info(`跟随构建日志（Ctrl-C 停止跟随，构建仍在后台进行）…`)
+  return await followBuild(cfg, job.ID)
+}
+
+// putContext 用 fetch 直接 PUT 到预签名 URL。body 传 Uint8Array，避免 fetch 自动加 Content-Type
+// （签名以空 Content-Type 计算，加了就 SignatureDoesNotMatch）。
+async function putContext(url, buffer) {
+  const body = new Uint8Array(buffer.buffer, buffer.byteOffset, buffer.byteLength)
+  let resp
+  try {
+    resp = await fetch(url, { method: 'PUT', body })
+  } catch (e) {
+    throw new NetworkError(`上传到对象存储失败（${e.message}）`)
+  }
+  if (!resp.ok) {
+    const text = await resp.text().catch(() => '')
+    throw new Error(`上传到对象存储失败：HTTP ${resp.status} ${text.slice(0, 300)}`)
+  }
+}
+
+// followBuild 游标轮询日志 + 状态，直至终态。返回终态摘要；非成功以退出码 1 结束进程。
+async function followBuild(cfg, jobID) {
+  let after = 0
+  let stopping = false
+  const onSigint = () => {
+    stopping = true
+    out.info(`\n已停止跟随。构建仍在后台进行，可用 nae build-logs ${jobID} -f 续看，或 nae builds 查状态。`)
+    process.exit(0)
+  }
+  process.on('SIGINT', onSigint)
+
+  try {
+    for (;;) {
+      after = await drainLogs(cfg, jobID, after)
+      const job = await request(cfg, 'GET', `/builds/${jobID}`)
+      if (TERMINAL.has(job.Status)) {
+        after = await drainLogs(cfg, jobID, after) // 收尾把剩余日志读干净
+        out.info(`\n构建结束：${statusLabel(job.Status)}${job.Error ? ` — ${job.Error}` : ''}`)
+        process.off('SIGINT', onSigint)
+        if (job.Status !== 'succeeded') process.exit(1)
+        return { job_id: jobID, status: job.Status }
+      }
+      await sleep(2000)
+    }
+  } catch (e) {
+    if (stopping) return
+    throw e
+  }
+}
+
+// drainLogs 拉出 seq>after 的所有分片打到 stdout，返回新游标。
+async function drainLogs(cfg, jobID, after) {
+  for (;;) {
+    const chunks = await request(cfg, 'GET', `/builds/${jobID}/logs`, { query: { after } })
+    if (!Array.isArray(chunks) || chunks.length === 0) return after
+    for (const ch of chunks) {
+      process.stdout.write(ch.Content)
+      after = ch.Seq
+    }
+    if (chunks.length < 1000) return after // 未满页=已读到尾
+  }
+}
+
+// followLogs `nae build-logs <job> [-f]`：单独跟随某任务日志（断线续看入口）。
+export async function followLogs(cfg, jobID, opts) {
+  let after = 0
+  after = await drainLogs(cfg, jobID, after)
+  if (!opts.follow) {
+    const job = await request(cfg, 'GET', `/builds/${jobID}`)
+    out.info(`\n状态：${statusLabel(job.Status)}${job.Error ? ` — ${job.Error}` : ''}`)
+    return
+  }
+  process.on('SIGINT', () => process.exit(0))
+  for (;;) {
+    const job = await request(cfg, 'GET', `/builds/${jobID}`)
+    if (TERMINAL.has(job.Status)) {
+      after = await drainLogs(cfg, jobID, after)
+      out.info(`\n构建结束：${statusLabel(job.Status)}${job.Error ? ` — ${job.Error}` : ''}`)
+      if (job.Status !== 'succeeded') process.exit(1)
+      return
+    }
+    after = await drainLogs(cfg, jobID, after)
+    await sleep(2000)
+  }
+}
+
+function statusLabel(s) {
+  return (
+    {
+      pending_upload: '等待上传',
+      queued: '排队中',
+      building: '构建中',
+      succeeded: '成功',
+      failed: '失败',
+      expired: '已过期',
+      canceled: '已取消',
+    }[s] || s
+  )
+}
+
+function humanSize(n) {
+  if (n < 1024) return `${n} B`
+  if (n < 1024 * 1024) return `${(n / 1024).toFixed(1)} KB`
+  return `${(n / 1024 / 1024).toFixed(1)} MB`
+}
+
+function sleep(ms) {
+  return new Promise((r) => setTimeout(r, ms))
+}

package/src/forward.js

@@ -12,7 +12,7 @@ import { readFileSync, writeFileSync } from 'node:fs'
 import WebSocket from 'ws'
 import { apiBase } from './config.js'
 import { CLI_VERSION } from './version.js'
-import { request } from './http.js'
+import { request, ApiError } from './http.js'
 import * as out from './output.js'
 
 const isWin = platform() === 'win32'
@@ -22,11 +22,25 @@ async function ensureLoggedIn(cfg) {
   await request(cfg, 'GET', '/me')
 }
 
+// ensureAppReachable app 转发启动前的一次预检：GET /apps/:id 同时走 AuthRequired(验登录)
+// 与 AppOwnership(验存在+归属)。应用不存在/不归本人 → 抛错，绝不开监听。
+// 一次调用顶「验活 + 验目标」两件事——避免凭空对垃圾 appid 起一个永远连不通的本地监听。
+async function ensureAppReachable(cfg, appid) {
+  try {
+    await request(cfg, 'GET', `/apps/${encodeURIComponent(appid)}`)
+  } catch (e) {
+    // 应用不存在/无权访问：给清晰提示，不外泄后端内部错误串。
+    // 鉴权(AuthError)/网络(NetworkError)错误原样上抛，交 run() 分类（提示 nae login / 网络）。
+    if (e instanceof ApiError) throw new Error(`应用 ${appid} 不存在或无权访问（用 nae apps 查看你的应用）`)
+    throw e
+  }
+}
+
 // --- app 端口转发 ---
 
 // forwardApp 在本地起 TCP server，把每条连接桥到平台隧道。前台常驻，Ctrl-C 退出。
 export async function forwardApp(cfg, appid, opts) {
-  await ensureLoggedIn(cfg)
+  await ensureAppReachable(cfg, appid)
   const remotePort = opts.port // undefined → 平台取应用容器端口
   const path = `/apps/${appid}/forward` + (remotePort ? `?port=${remotePort}` : '')
   let active = 0
@@ -112,7 +126,11 @@ export async function forwardLLM(cfg, opts) {
 // bridge 一条本地 TCP 连接 ↔ 一条平台 WS 隧道：本地数据缓冲到隧道就绪后发，回包写回本地。
 function bridge(cfg, path, sock, cb) {
   const ws = new WebSocket(wsBase(cfg) + path, {
-    headers: { Authorization: `Bearer ${cfg.token}`, 'X-NAE-CLI-Version': CLI_VERSION },
+    headers: {
+      'User-Agent': `nae-cli/${CLI_VERSION}`,
+      Authorization: `Bearer ${cfg.token}`,
+      'X-NAE-CLI-Version': CLI_VERSION,
+    },
   })
   ws.binaryType = 'nodebuffer'
 

package/src/http.js

@@ -49,7 +49,12 @@ export async function request(cfg, method, path, opts = {}) {
     }
   }
 
-  const headers = { 'X-NAE-CLI-Version': CLI_VERSION }
+  // User-Agent 让审计日志一眼认出是 CLI 及版本（nae-cli/<ver>）；X-NAE-CLI-Version 仍留着喂
+  // APIKey.LastCLIVersion（CLI 配置页展示），两者各司其职、别删。
+  const headers = {
+    'User-Agent': `nae-cli/${CLI_VERSION}`,
+    'X-NAE-CLI-Version': CLI_VERSION,
+  }
   if (token) headers['Authorization'] = `Bearer ${token}`
   let body
   if (opts.body !== undefined) {

package/src/index.js

@@ -9,6 +9,7 @@ import { CLI_VERSION } from './version.js'
 import { request, AuthError, NetworkError } from './http.js'
 import { runLogin } from './login.js'
 import { streamLogs } from './logs.js'
+import { runBuild, followLogs } from './build.js'
 import { forwardApp, forwardLLM } from './forward.js'
 import * as out from './output.js'
 
@@ -370,6 +371,52 @@ program
     })
   )
 
+// --- 构建（无 Docker：把本地目录交平台代构建镜像）---
+
+program
+  .command('build <appid> [path]')
+  .description(
+    '打包本地目录上传，由平台构建 Runner 代跑 docker build/push（适合本机无 Docker）。默认跟随日志直至结束'
+  )
+  .option('--tag <tag>', '目标镜像 tag（缺省 latest）')
+  .option('--dockerfile <path>', '上下文内 Dockerfile 相对路径（缺省 Dockerfile）')
+  .option('--no-follow', '入队后立即返回，不跟随日志（用 nae build-logs <job> -f 再看）')
+  .addHelpText(
+    'after',
+    `
+说明：
+  - 打包遵循上下文根的 .dockerignore（node_modules/构建产物请务必排除）；压缩后上限 200MB。
+  - 上传直传对象存储、构建在仓库机上进行；构建成功推镜像后平台自动部署（与你本地 push 等效）。
+  - 排队：Runner 忙时任务排队等待，日志会显示排队位置。
+
+示例：
+  nae build myweb                      # 打包当前目录，构建并跟随日志
+  nae build myweb ./service --tag v2   # 指定上下文目录与 tag
+  nae build myweb --dockerfile docker/Dockerfile.prod
+  nae build myweb --no-follow          # 只入队，稍后 nae build-logs 看`
+  )
+  .action(
+    run(async (appid, pathArg, opts) => {
+      const res = await runBuild(cfg(), appid, pathArg, opts)
+      if (res) emit(res)
+    })
+  )
+
+program
+  .command('builds <appid>')
+  .description('列出某应用最近的构建任务（含状态与排队位置）')
+  .action(run(async (appid) => emit(await request(cfg(), 'GET', `/apps/${appid}/builds`))))
+
+program
+  .command('build-logs <jobid>')
+  .description('查看某构建任务的日志（游标续读；--follow 跟随至结束）')
+  .option('-f, --follow', '持续跟随直到构建结束')
+  .action(
+    run(async (jobid, opts) => {
+      await followLogs(cfg(), jobid, opts)
+    })
+  )
+
 // --- 运行态：pods / events / metrics / logs ---
 
 program

package/src/tar.js

@@ -0,0 +1,198 @@
+// 零依赖构建上下文打包器：遍历目录 → 应用 .dockerignore → USTAR tar → gzip。
+//
+// 为什么手写而不引 tar 依赖：本 CLI 刻意只带 commander/ws 两个运行依赖。tar 格式很稳，
+// USTAR 头 + gzip 百来行可控，胜过再拉一棵依赖树。docker build - 原生吃 tar.gz 作上下文。
+import { statSync, lstatSync, readdirSync, readFileSync, existsSync } from 'fs'
+import path from 'path'
+import zlib from 'zlib'
+
+// loadDockerignore 读取并解析 <dir>/.dockerignore，返回模式数组（保序，后匹配覆盖前者）。
+// 支持常见形态：注释(#)/空行忽略、前导 ! 取反(重新包含)、* 不跨 /、** 跨目录、? 单字符。
+function loadDockerignore(dir) {
+  const f = path.join(dir, '.dockerignore')
+  if (!existsSync(f)) return []
+  const patterns = []
+  for (let line of readFileSync(f, 'utf8').split('\n')) {
+    line = line.trim()
+    if (line === '' || line.startsWith('#')) continue
+    let negate = false
+    if (line.startsWith('!')) {
+      negate = true
+      line = line.slice(1).trim()
+    }
+    line = line.replace(/^\/+/, '').replace(/\/+$/, '') // 去首尾斜杠，规整
+    if (line === '') continue
+    patterns.push({ re: patternToRegExp(line), negate })
+  }
+  return patterns
+}
+
+// patternToRegExp 把单个 .dockerignore 模式编译为锚定正则。
+// 逐字符转义，仅 * ? ** 特殊：** → 任意(含/)，* → 非/任意，? → 单个非/。
+function patternToRegExp(pat) {
+  let re = '^'
+  for (let i = 0; i < pat.length; i++) {
+    const ch = pat[i]
+    if (ch === '*') {
+      if (pat[i + 1] === '*') {
+        re += '.*'
+        i++
+      } else {
+        re += '[^/]*'
+      }
+    } else if (ch === '?') {
+      re += '[^/]'
+    } else {
+      re += ch.replace(/[.+^${}()|[\]\\]/g, '\\$&')
+    }
+  }
+  return new RegExp(re + '$')
+}
+
+// isIgnored 判定 relPath（posix 斜杠）是否被排除。
+// 对每个祖先前缀逐一试匹配，任一命中即按该模式的 negate 定夺；保序、后者覆盖前者
+// （与 docker 语义一致：node_modules 排掉整棵子树，随后 !node_modules/keep 可挖回）。
+function isIgnored(relPath, patterns) {
+  if (patterns.length === 0) return false
+  const parts = relPath.split('/')
+  let ignored = false
+  for (const { re, negate } of patterns) {
+    let hit = false
+    let prefix = ''
+    for (let i = 0; i < parts.length; i++) {
+      prefix = i === 0 ? parts[0] : prefix + '/' + parts[i]
+      if (re.test(prefix)) {
+        hit = true
+        break
+      }
+    }
+    if (hit) ignored = !negate
+  }
+  return ignored
+}
+
+// walk 递归收集普通文件（相对 root 的 posix 路径 + 绝对路径 + 大小），跳过被忽略项与非常规文件。
+// dockerfileRel 恒被包含（docker 不允许 .dockerignore 排掉 Dockerfile 自身）。
+function walk(root, patterns, dockerfileRel) {
+  const files = []
+  let skippedSpecial = 0
+
+  function recur(absDir, relDir) {
+    for (const name of readdirSync(absDir)) {
+      const abs = path.join(absDir, name)
+      const rel = relDir ? relDir + '/' + name : name
+
+      let st
+      try {
+        st = lstatSync(abs)
+      } catch {
+        continue
+      }
+      const keep = rel === dockerfileRel
+      if (st.isSymbolicLink() || (!st.isDirectory() && !st.isFile())) {
+        if (!keep) {
+          skippedSpecial++
+          continue
+        }
+      }
+      if (st.isDirectory()) {
+        // 目录被忽略则整棵剪枝（除非里头就是 Dockerfile，罕见，简化为不剪）。
+        if (isIgnored(rel, patterns) && !dockerfileRel.startsWith(rel + '/')) continue
+        recur(abs, rel)
+        continue
+      }
+      if (!keep && isIgnored(rel, patterns)) continue
+      files.push({ abs, rel, size: st.size })
+    }
+  }
+
+  recur(root, '')
+  return { files, skippedSpecial }
+}
+
+// --- USTAR 写入 ---
+
+function writeOctal(buf, val, off, len) {
+  // (len-1) 位前导零八进制 + NUL，经典 USTAR 数字域。
+  const s = val.toString(8).padStart(len - 1, '0') + '\0'
+  buf.write(s, off, len, 'ascii')
+}
+
+// tarHeader 造一个 512 字节 USTAR 头。长名用 prefix(155)+name(100) 拆分。
+function tarHeader(name, size, mtime) {
+  const buf = Buffer.alloc(512)
+
+  // 名称：≤100 直接放 name；否则在某个 / 处拆成 prefix(≤155)+name(≤100)。
+  let prefix = ''
+  let fname = name
+  if (Buffer.byteLength(name) > 100) {
+    const idx = splitName(name)
+    if (idx < 0) throw new Error(`路径过长，tar 无法编码（请用 .dockerignore 排除）：${name}`)
+    prefix = name.slice(0, idx)
+    fname = name.slice(idx + 1)
+  }
+
+  buf.write(fname, 0, 100, 'utf8')
+  writeOctal(buf, 0o644, 100, 8) // mode
+  writeOctal(buf, 0, 108, 8) // uid
+  writeOctal(buf, 0, 116, 8) // gid
+  writeOctal(buf, size, 124, 12) // size
+  writeOctal(buf, mtime, 136, 12) // mtime
+  buf.write('        ', 148, 8, 'ascii') // chksum 占位=空格
+  buf.write('0', 156, 1, 'ascii') // typeflag 普通文件
+  buf.write('ustar\0', 257, 6, 'ascii') // magic
+  buf.write('00', 263, 2, 'ascii') // version
+  if (prefix) buf.write(prefix, 345, 155, 'utf8')
+
+  // 校验和：全头字节和（chksum 域按空格计），写 6 位八进制 + NUL + 空格。
+  let sum = 0
+  for (let i = 0; i < 512; i++) sum += buf[i]
+  buf.write(sum.toString(8).padStart(6, '0') + '\0 ', 148, 8, 'ascii')
+  return buf
+}
+
+// splitName 找一个 / 位置把长名拆成 prefix(≤155)/name(≤100)。找不到返回 -1。
+function splitName(name) {
+  for (let i = name.length - 101; i >= 0; i--) {
+    if (name[i] === '/' && Buffer.byteLength(name.slice(0, i)) <= 155 && Buffer.byteLength(name.slice(i + 1)) <= 100) {
+      return i
+    }
+  }
+  return -1
+}
+
+const PAD = Buffer.alloc(512)
+
+// pack 打包 contextDir 为 tar.gz Buffer。dockerfileRel 是上下文内 Dockerfile 相对路径。
+// 返回 { buffer, fileCount, rawSize, skippedSpecial }。
+export function pack(contextDir, dockerfileRel) {
+  const root = path.resolve(contextDir)
+  if (!existsSync(root) || !statSync(root).isDirectory()) {
+    throw new Error(`构建上下文不是目录：${root}`)
+  }
+  const dfRel = dockerfileRel.split(path.sep).join('/')
+  if (!existsSync(path.join(root, dfRel))) {
+    throw new Error(`Dockerfile 不存在：${path.join(root, dfRel)}（用 --dockerfile 指定相对路径）`)
+  }
+
+  const patterns = loadDockerignore(root)
+  const { files, skippedSpecial } = walk(root, patterns, dfRel)
+  if (files.length === 0) throw new Error('构建上下文为空（是否被 .dockerignore 全部排除了？）')
+
+  const parts = []
+  let rawSize = 0
+  const mtime = Math.floor(Date.now() / 1000)
+  for (const f of files) {
+    const content = readFileSync(f.abs)
+    parts.push(tarHeader(f.rel, content.length, mtime))
+    parts.push(content)
+    const rem = content.length % 512
+    if (rem !== 0) parts.push(PAD.subarray(0, 512 - rem))
+    rawSize += content.length
+  }
+  parts.push(PAD, PAD) // 两个空块收尾
+
+  const tar = Buffer.concat(parts)
+  const buffer = zlib.gzipSync(tar, { level: 6 })
+  return { buffer, fileCount: files.length, rawSize, skippedSpecial }
+}