yj-deploy 0.0.6 → 1.0.0

package/README.md

@@ -10,6 +10,7 @@
 - ✔ 支持手动上传其他任何类型项目
 - ✔ 支持灵活配置dockerfile，upload.sh等脚本内容
 - ✔ 支持多种方式配置 `镜像仓库` `镜像环境`等参数
+- ✔ 支持懒上传，仅上传新增部分文件，提升上传效率
 > 全程不需要连接跳板机做任何操作即可完成镜像推送
 
 ## 运行情况

package/lib/main.js

@@ -0,0 +1,560 @@
+import { stdout } from 'single-line-log'
+import fs from 'fs'
+import path from 'path'
+import { Client } from 'ssh2'
+
+
+export default class yjDeploy {
+  config = {
+    host: '',
+    port: '',
+    username: '',
+    password: '',
+    namespace: '', // 项目命名空间，等同于镜像地址目录名称
+    imageStore: 'dev-images', // 镜像仓库
+    tmpName: 'dev', // 镜像环境
+    delay: 0, // 延迟上传时间
+    // 本地文件目录(必填)
+    fileDir: '',
+    // 远程sftp服务根目录
+    rootDir: '/home/yjweb',
+
+    // dockerfile文件信息
+    dockerfile: {
+      name: 'Dockerfile',
+      content: [
+        'FROM harbor.yunjingtech.cn:30002/yj-base/nginx:latest',
+        'RUN rm -rf /usr/share/nginx/html/*',
+        'COPY dist /usr/share/nginx/html/'
+      ]
+    },
+
+    // upload.sh文件信息
+    upload: {
+      name: 'upload.sh',
+      content: [
+        '#!/bin/sh',
+        'tag=`basename \\`pwd\\``:$2-`date +%Y%m%d`',
+        'echo "- 镜像仓库: $1"',
+        'echo "- 镜像环境: $2"',
+        'docker build -t harbor.yunjingtech.cn:30002/$1/$tag .',
+        'docker push harbor.yunjingtech.cn:30002/$1/$tag',
+        'echo - 镜像地址: harbor.yunjingtech.cn:30002/$1/$tag',
+      ]
+    },
+
+    // 上传dist目录信息
+    dist: {
+      name: 'dist'
+    },
+
+    parallelDir: 20, // 文件夹并行创建数量，如果报错，可以减少此配置
+
+    parallelFile: 50, // 文件并行上传数量，如果报错，可以减少此配置
+
+    allLog: false, // 是否显示全部日志
+
+    lazyUpload: false // 是否开启懒上传
+  }
+
+  ssh2Conn = null   
+  // 上传状态
+  uploading = false
+  // 定时器
+  trim = null
+  
+  constructor(config) {
+    this.config = Object.assign(this.config, config)
+
+    return {
+      name: 'yj-deploy',
+      isPut: this.isPut.bind(this),
+      upload: this.upload.bind(this),
+      // webpack钩子
+      apply: this.apply.bind(this),
+      // vite上传钩子
+      closeBundle: this.isPut.bind(this)
+    }
+  }
+
+  // webpack钩子
+  apply(compiler) {
+    if (compiler && compiler.hooks && compiler.hooks.done) {
+      compiler.hooks.done.tap('yj-deploy', () => {
+        this.isPut()
+      })
+    }
+    return 'build'
+  }
+
+  /**
+   * 判断是否需要上传，
+   * vite和 webpack环境在每次编译完都会触发当前方法
+   * 需要通过是否有命令行参数 --deploy
+   */
+  isPut () {
+    const deploy = this.getArgv('--deploy')
+    if(deploy != undefined) {
+      clearTimeout(this.trim)
+      this.trim = setTimeout(() => {
+        this.upload() // 开始上传逻辑
+      }, this.config.delay || 0)
+    }
+  }
+
+  /**
+   * 连接跳板机并开始上传
+   */
+  upload() {
+    console.log('-------------- deploy-start --------------')
+
+    if(!this.config.host) {
+      console.log('- 请配置跳板机地址 host')
+      return
+    }
+
+    if(!this.config.port) {
+      console.log('- 请配置跳板机端口 port')
+      return
+    }
+    if(!this.config.username) {
+      console.log('- 请配置跳板机账号 username')
+      return
+    }
+    if(!this.config.password) {
+      console.log('- 请配置跳板机密码 password')
+      return
+    }
+
+    if(this.uploading) {
+      return
+    }
+
+    this.ssh2Conn = new Client()
+    this.ssh2Conn
+      .on('ready', () => {
+        console.log('- 跳板机连接成功！')
+
+        this.ssh2Conn.sftp(async (err, sftp) => {
+          if (err) {
+            console.log('- sftp连接失败')
+            this.breakConnect()
+          }
+
+          if (!this.config.namespace) {
+            console.log('- 请配置项目命名空间 namespace')
+            this.breakConnect()
+          }
+
+          this.uploading = true
+
+          // 是否重置项目
+          if(this.getArgv('--reset') !== undefined) {
+            console.log('- 重置项目')
+            await this.onShell(`rm -r ${this.config.rootDir}/${this.config.namespace}`)
+          }
+
+          // 上传项目
+          this.upLoadProject(sftp, `${this.config.rootDir}/${this.config.namespace}`)
+        })
+      })
+      .connect({
+        host: this.config.host,
+        port: this.config.port,
+        username: this.config.username,
+        password: this.config.password
+      })
+
+    this.ssh2Conn.on('error', (error) => {
+      console.log(`- 连接失败: ${error}`)
+      this.breakConnect()
+    })
+
+    this.ssh2Conn.on('end', () => {
+      this.uploading = false
+    })
+  }
+
+  /**
+   * 断开连接
+   */
+  breakConnect() {
+    this.uploading = false
+    console.log('- 已断开连接')
+    console.log('-------------- deploy-end --------------')
+    this.ssh2Conn.end()
+  }
+
+  /**
+   * 运行shell命令
+   * @param {*} shell 
+   * @returns Promise
+   */
+  onShell(shell) {
+    const envIsAllLog = this.getArgv('--allLog') !== undefined
+
+    return new Promise((resolve, reject) => {
+      this.ssh2Conn.shell((err, stream) => {
+        if (err) {
+          console.log('- 远程命令错误：' + err, shell)
+          this.breakConnect()
+          reject(err)
+          return
+        }
+        let dataList = []
+        stream
+          .on('close', () => {
+            // 远程命令执行完毕
+            resolve(dataList.toString())
+          })
+          .on('data', (data) => {
+            let str = data.toString()
+            if(envIsAllLog || this.config.allLog) {
+              dataList.push('\n' + str)
+            } else if(str.startsWith('- ')) {
+              dataList.push('\n' + str)
+            }
+          })
+          .stderr.on('data', (data) => {
+            console.log('- 远程命令错误：\n' + data)
+            this.breakConnect()
+            reject(data)
+          })
+        stream.end(shell + '\nexit\n')
+      })
+    })
+  }
+
+  /**
+   * 初始化项目
+   * @param {*} sftp 
+   * @param {*} dir 
+   */
+  projectInit(sftp, dir) {
+    return new Promise(async (resolve, reject) => {
+      // 创建项目目录
+      sftp.mkdir(dir, async (err) => {
+        if (err) {
+          reject(err)
+        } else {
+          // 创建dockerfile
+          console.log('- 正在创建dockerfile')
+          const dockerfile = `${dir}/${this.config.dockerfile.name}`
+          await this.onShell(`touch ${dockerfile}`)
+          await this.onShell(`echo '${this.config.dockerfile.content.join('\n')}' > ${dockerfile}`)
+
+          // 创建upload.sh脚本
+          console.log('- 正在创建upload.sh')
+          const uploadSh = `${dir}/${this.config.upload.name}`
+          await this.onShell(`touch ${uploadSh}`)
+          await this.onShell(`echo '${this.config.upload.content.join('\n')}' > ${uploadSh}`)
+
+          resolve()
+        }
+      })
+    })
+  }
+  
+
+  /**
+   * 判断文件是否存在
+   * @param {*} sftp 
+   * @param {*} remotePath 
+   * @returns 
+   */
+  checkRemoteFile(sftp, remotePath) {
+    return new Promise((resolve) => {
+      sftp.stat(remotePath, (err) => {
+        if (err) {
+          resolve(false) // 文件不存在
+        } else {
+          resolve(true) // 文件存在
+        }
+      })
+    })
+  }
+
+  /**
+   * 上传项目
+   * @param {*} sftp 
+   * @param {*} dir 
+   */
+  upLoadProject(sftp, dir) {
+    sftp.readdir(dir, async (err) => {
+      if (err) {
+        // 不存在目录
+        console.log('- 跳板机不存在项目, 开始创建项目')
+        this.projectInit(sftp, dir)
+          .then(() => {
+            // 目录已创建，再次调用上传
+            console.log(`- ${this.config.namespace}项目创建成功`)
+            this.upLoadProject(sftp, dir)
+          })
+          .catch((err) => {
+            console.log(`- 创建项目失败: ${err}`)
+            this.breakConnect()
+          })
+        return
+      }
+
+      // 是否开启懒上传
+      const lazyUpload = (this.getArgv('--lazyUpload') !== undefined) || this.config.lazyUpload
+
+      const distDir = `${dir}/${this.config.dist.name}`
+      if(!lazyUpload) {
+        // 删除dist目录所有内容
+        await this.onShell(`rm -rf ${distDir}`)
+      }
+      // 再创建一个空的dist
+      await this.onShell(`mkdir ${distDir}`)
+      
+
+      // 获取本地目录下所有文件
+      if(!this.config.fileDir) {
+        console.log('- 请配置待上传文件目录 fileDir')
+        this.breakConnect()
+        return
+      }
+      
+      const { localFileList, dirList } = await this.getFilesInDirectory(this.config.fileDir)
+      if(localFileList.length === 0) {
+        console.log('- 待上传目录没有获取到文件，请检查')
+        this.breakConnect()
+        return
+      }
+
+      /**
+       * 上传文件或目录
+       */
+      let num = 0
+      let total = localFileList.length
+      // 上传文件
+      const uploadFile = (file) => {
+        return new Promise(async (resolve, reject) => {
+          try {
+
+            if(lazyUpload) {
+              const isExist = await this.checkRemoteFile(sftp, `${distDir}${file.remotePath}`)
+              if(isExist) {
+                return resolve() // 文件已存在，跳过上传
+              }
+            }
+
+            const readStream = fs.createReadStream(file.localPath)
+            const writeStream = sftp.createWriteStream(`${distDir}${file.remotePath}`)
+            writeStream.on('close', () => {
+              this.progressBar(++num, total)
+              resolve()
+            })
+            writeStream.on('error', (err) => {
+              console.log(`- 文件 ${file.remotePath} 上传失败：${err}`)
+              reject(err)
+              this.breakConnect()
+            })
+  
+            readStream.pipe(writeStream)
+          } catch (error) {
+            reject(error)
+          }
+        })
+      }
+
+      /**
+       * 分割数组
+       */
+      const chunkArray = (array, chunkSize) => {
+        let result = [];
+        for (let i = 0; i < array.length; i += chunkSize) {
+          result.push(array.slice(i, i + chunkSize));
+        }
+        return result;
+      }
+
+      /**
+       * 串行执行上传文件
+       * @param {Array} promises
+       */
+      const sequentialPromises = (promises) => {
+        if (promises.length === 0) {
+          return Promise.resolve();
+        }
+        // 获取数组的第一个promise并执行
+        const firstPromise = promises.shift();
+        return Promise.all(firstPromise.map(item => uploadFile(item))).then(() => sequentialPromises(promises));
+      }
+
+      // 创建目录, 同时创建多个
+      const createDir = (promises) => {
+        if (promises.length === 0) {
+          return Promise.resolve();
+        }
+        // 获取数组的第一个promise并执行
+        const firstPromise = promises.shift();
+        let shell = firstPromise.map(remotePath => `${distDir}${remotePath}`).join(' ');
+        return this.onShell(`mkdir -p ${shell}`).then(() => createDir(promises));
+      }
+
+      // 先创建目录，将目录分层级创建，增加效率，防止目录过多时串行太慢
+      let dirGroup = [...chunkArray(dirList, this.config.parallelDir || 20)]
+      // console.log(`- 开始创建目录`)
+      await createDir(dirGroup)
+      console.log('- 创建目录完成')
+
+      // 创建文件夹后延迟一下再上传文件，偶尔会报错
+      await new Promise((resolve) => {
+        setTimeout(() => {
+          resolve()
+        }, 500)
+      })
+
+      // 再上传文件
+      // 根据配置文件并行上传数量分割，如果并行太多可能会报错
+      let fileList = [...chunkArray(localFileList, this.config.parallelFile || 50)]
+
+      // console.log('- 开始上传文件')
+      await sequentialPromises(fileList)
+
+      if(lazyUpload) {
+        this.progressBar(total, total)
+        console.log('\x1b[32m%s\x1b[0m', `- 已开启懒上传，本次共上传 ${num} 个文件`)
+      }
+      console.log('- 文件上传成功')
+
+      console.log('- 开始推送镜像')
+      let shell = `cd ${dir} && sh ${this.config.upload.name}`
+      
+      // 判断是不是自动创建的脚本，手动创建的脚本不支持镜像仓库名称参数
+      const isNewShell = await this.isNewShell(sftp, dir)
+      if(isNewShell) {
+        // 添加镜像仓库名称
+        const imageStore = this.getArgv('--imageStore') || this.config.imageStore
+        shell += ` ${imageStore}`
+      } else {
+        console.log('\n- warning 检测到当前脚本为手动创建,不支持镜像仓库配置,imageStore将失效')
+        console.log('- warning 如需支持imageStore参数,请在命令行后添加 --reset 重新生成脚本')
+      }
+      
+      // 添加镜像环境参数
+      const tmpName = this.getArgv('--tmpName') || this.config.tmpName
+      shell += ` ${tmpName}`
+
+      const imagePath = await this.onShell(shell) // 推送镜像
+      console.log(imagePath) // 推送镜像脚本返回输出
+      console.log('- 镜像推送完成')
+
+      this.breakConnect()
+    })
+  }
+
+  /**
+   * 获取脚本内容是不是自动创建的脚本
+   * 兼容用户手动根据运维文档创建的推送脚本，因参数不同可能报错的问题
+   * 有 $2代表是自动创建的版本，否则老版本
+  */
+  async isNewShell(sftp, dir) {
+    return new Promise((resolve, reject) => {
+      sftp.readFile(`${dir}/${this.config.upload.name}`, (err, data) => {
+        if(err) {
+          return reject(false)
+        }
+        
+        const fileText = data.toString()
+        resolve(fileText.includes('$2'))
+      })
+    })
+  }
+
+
+  /**
+   * 进度条
+   * @param description 命令行开头的文字信息
+   * @param bar_length 进度条的长度(单位：字符)，默认设为 25
+   */
+  progressBar(completed, total, bar_length = 25) {
+    let percent = (completed / total).toFixed(4) // 计算进度(子任务的 完成数 除以 总数)
+    let cell_num = Math.floor(percent * bar_length) // 计算需要多少个 █ 符号来拼凑图案 // 拼接黑色条
+    let cell = ''
+    for (let i = 0; i < cell_num; i++) {
+      cell += '█'
+    } // 拼接灰色条
+    let empty = ''
+    for (let i = 0; i < bar_length - cell_num; i++) {
+      empty += '░'
+    } // 拼接最终文本
+    let cmdText = `- 文件上传进度: ${cell}${empty} (${completed}/${total}) ${(
+      100 * percent
+    ).toFixed(2)}%` // 在单行输出文本
+    stdout(cmdText)
+    if(completed == total) {
+      console.log('')
+    }
+  }
+
+  /**
+   * 获取目录下所有文件并分类
+   * @param {*} dir 
+   */
+  getFilesInDirectory(directory) {
+    const fileList = [] // 文件夹
+    const dirList = [] // 最底层目录, 只需要获取最底层目录即可
+    return new Promise((resolve, reject) => {
+      const traverseFolder = (folderPath, parentFolder, level) => {
+        // 读取文件夹列表
+        const files = fs.readdirSync(folderPath)
+        let isDir = false // 当前文件夹内是否还有目录
+        // 遍历文件夹列表
+        files.forEach((fileName) => {
+          // 拼接当前文件路径
+          const filePath = path.join(folderPath, fileName)
+          
+          // 获取文件类型
+          const stats = fs.statSync(filePath)
+          const isDirectory = stats.isDirectory()
+
+          if(!isDirectory) {
+            fileList.push({
+              localPath: filePath, // 本地路径
+              remotePath: `${parentFolder}${fileName}`, // 远程路径
+              level // 文件或目录层级
+            })
+          } else {
+            isDir = true
+          }
+          
+          // 判断该路径是文件夹还是文件
+          if (isDirectory) {
+            // 如果是文件夹，递归遍历
+            traverseFolder(filePath, `${parentFolder}${fileName}/`, level + 1)
+          }
+        })
+
+        if(!isDir) {
+          dirList.push(parentFolder)
+        }
+      }
+
+      traverseFolder(directory, '/', 0)
+
+      resolve({
+        localFileList: fileList,
+        dirList
+      });
+    });
+  }
+
+  /**
+   * 获取命令行参数
+   * @param { string } name
+   */
+  getArgv(name) {
+    const argv = process.argv
+    let result = undefined
+    argv.forEach(item => {
+      if(item.indexOf(name) > -1) {
+        result = item.split('=')[1] || ''
+      }
+    })
+
+    return result
+  }
+}

package/package.json

@@ -1,23 +1,18 @@
 {
   "name": "yj-deploy",
-  "version": "0.0.6",
+  "version": "1.0.0",
   "description": "ssh sftp",
+  "type": "module",
   "scripts": {
     "build": "vite build"
   },
   "files": [
-    "dist",
+    "lib",
     "package.json",
     "README.md"
   ],
-  "main": "./dist/yj-deploy.umd.js",
-  "module": "./dist/yj-deploy.mjs",
-  "exports": {
-    ".": {
-      "import": "./dist/yj-deploy.mjs",
-      "require": "./dist/yj-deploy.umd.js"
-    }
-  },
+  "main": "./lib/main.js",
+  "module": "./lib/main.js",
   "author": "",
   "license": "ISC",
   "dependencies": {