@tmsfe/tmskit 0.0.1

package/src/scripts/run/dev/index.js

@@ -0,0 +1,67 @@
+const webpackServer = require('../../../webpack/devServer');
+const fs = require('fs');
+const { resolve } = require('../../../utils/widgets');
+const init = require('../init/index');
+const { DEFAULT_MODULE_DIR } = require('../../../config/constant');
+const { tmsModulesMergeLocalModuleCfg } = require('../../../utils/tkitUtils');
+const { checkDependencies } = require('../../../utils/checkDependencies');
+const { fail } = require('../../../utils/log');
+
+function isInit(tmsConfig, targetModules, contextDir) {
+  // 判断是否存在dist目录
+  if (!fs.existsSync(contextDir)) {
+    return true;
+  }
+  // 判断dist是否存在node_modules
+  if (!fs.existsSync(`${contextDir}/node_modules`)) {
+    return true;
+  }
+
+  // 判断dist是否存在miniprogram_npm
+  if (!fs.existsSync(`${contextDir}/miniprogram_npm`)) {
+    return true;
+  }
+
+  // 判断dist是否存在app.json
+  if (!fs.existsSync(`${contextDir}/app.json`)) {
+    return true;
+  }
+
+  // 判断\源码\dist\是否存在用户指定的模块
+  for (const item of targetModules) {
+    // 此模块没有root字段(原因：没有merge到module.config.json的配置项。第三方模块的代码可能还没有下载)
+    if (!item.root) {
+      return true;
+    }
+    // 判断编译目录是否有该模块
+    if (!fs.existsSync(`${contextDir}/${item.root}`)) {
+      return true;
+    }
+    // 判断源码目录是否有该模块
+    if (item.path && !fs.existsSync(resolve(item.path))) {
+      fail(`${item.path}模块代码路径不存在, 请检查tms.config.js的${item.name}模块的path`);
+      process.exit(1);
+    }
+  }
+
+  //  判断package.json的版本是否有新的版本
+  return checkDependencies(targetModules, resolve('./'), tmsConfig.webpack.outputDir);
+}
+
+async function dev(tmsConfig, targetModules, env) {
+  // tms.config.js的modules 合并 module.config.json的配置项
+  let newModules = tmsModulesMergeLocalModuleCfg(targetModules, tmsConfig.appName, DEFAULT_MODULE_DIR);
+
+  // 判断是否进行init命令
+  if (isInit(tmsConfig, newModules, resolve('dist'))) {
+    // init函数会将 最新的tms.config.js的modules 合并 module.config.json的配置项 返回，不需要再做重复工作
+    const initData = await init(tmsConfig, targetModules);
+    newModules = initData.targetModules;
+  }
+
+  console.log('当前dev启动的有效模块', newModules.map(item => item.name));
+  webpackServer(tmsConfig, newModules, env);
+}
+
+module.exports = dev;
+

package/src/scripts/run/index.js

@@ -0,0 +1,57 @@
+const init = require('./init/index');
+const dev = require('./dev/index');
+const build = require('./build/index');
+const { createTask  } = require('../../utils/widgets');
+const { MODE } = require('../../config/constant');
+const { readTmsConfig, checkModules } = require('../../utils/tkitUtils');
+
+const handleModulesArg = (cmd) => {
+  // 主模块开发
+  if (cmd.module === MODE.main) {
+    return MODE.main;
+  }
+  // 单模块 或 多模块开发
+  if (cmd.module) {
+    return [
+      cmd.module,
+      ...cmd.args,
+    ];
+  }
+  // 全量模块
+  return MODE.all;
+};
+
+async function run(commandName, cmd) {
+  const moduleArg = handleModulesArg(cmd);
+  const { env } = cmd;
+
+  const tmsConfig = await createTask(readTmsConfig, '开始读取脚手架的配置项', '读取脚手架的配置项完成')(env);
+
+  let modules;
+  // 主模块
+  if (moduleArg === MODE.main) {
+    modules = checkModules(tmsConfig, [...new Set([...tmsConfig.mainPackages])]);;
+  } else if (moduleArg === MODE.all) {
+    // 全量模块
+    modules = tmsConfig.modules;
+  } else {
+    // 检查用户输入modules的有效性
+    modules = checkModules(tmsConfig, [...new Set([...tmsConfig.mainPackages, ...moduleArg])]);;
+  }
+
+  switch (commandName) {
+    case 'init':
+      init(tmsConfig, modules, env);
+      return;
+    case 'dev':
+      dev(tmsConfig, modules, env);
+      return;
+    case 'build':
+      build(tmsConfig, modules, env);
+      return;
+    default:
+      return;
+  }
+}
+
+module.exports = run;

package/src/scripts/run/init/index.js

@@ -0,0 +1,97 @@
+const shelljs = require('shelljs');
+const fs = require('fs');
+const io = require('../../../utils/io');
+const { resolve, createTask } = require('../../../utils/widgets');
+const { buildOutputAppJson } = require('../../../utils/buildAppJson');
+const { npmInstallAll } = require('../../../utils/npmUtils');
+const { buildMpNpm } = require('../../../utils/mpCiUtils');
+const {  MODULE_CODE_DIR, CACHE_DIR, DEFAULT_COPY_CONFIG, DEFAULT_MODULE_DIR } = require('../../../config/constant');
+const { cloneModules } = require('../../../utils/cloneModules');
+const { tmsModulesMergeLocalModuleCfg } = require('../../../utils/tkitUtils');
+const { fail } = require('../../../utils/log');
+
+/**
+ * 拷贝package.json\模块的代码到编译输出目录
+ * @param { object } tmsConfig
+ * @param { array } modules
+ * @param { array } defaultFiles 默认需要拷贝的配置项
+ * @returns
+ */
+const cpFilesToOutput = function (tmsConfig, targetModules, defaultFiles) {
+  const outputDir = resolve(tmsConfig.webpack.outputDir);
+  io.ensureDirExist(outputDir);
+  defaultFiles.forEach((item) => {
+    if (fs.existsSync(resolve(item))) {
+      shelljs.cp('-rf', resolve(item), resolve(tmsConfig.webpack.outputDir, item));
+    }
+  });
+
+  // 拷贝模块的代码到编译输出目录
+  targetModules.forEach((item) => {
+    const outputModuleDir = resolve(`${tmsConfig.webpack.outputDir}/${item.root}`);
+    if (!fs.existsSync(resolve(item.path))) {
+      fail(`${item.path}模块代码路径不存在, 请检查tms.config.js的${item.name}模块的path`);
+      process.exit(1);
+    }
+    if (!fs.existsSync(outputModuleDir)) {
+      shelljs.mkdir('-p', outputModuleDir);
+    } else {
+      // 删除除了node_modules、miniprogram_npm 的其他文件
+      // eslint-disable-next-line
+      shelljs.exec('find . -not \( -name node_modules -or -name miniprogram_npm \)  -delete', { silent: true });
+    }
+    shelljs.cp('-Rf', `${resolve(item.path)}/*`, outputModuleDir);
+  });
+};
+
+async function task(tmsConfig, targetModules) {
+  // 下载和移动代码
+  await createTask(
+    cloneModules,
+    '开始下载模块代码完成',
+    '下载模块代码码完成',
+  )(MODULE_CODE_DIR, resolve('./'), targetModules);
+
+  // tms.config.js的modules 合并 module.config.json的配置项
+  const newModules = tmsModulesMergeLocalModuleCfg(targetModules, tmsConfig.appName, DEFAULT_MODULE_DIR);
+  console.log('当前init的有效模块', newModules.map(item => item.name));
+
+  // 拷贝相关配置文件到输出目录
+  await createTask(
+    cpFilesToOutput,
+    '开始拷贝文件到编译输出目录',
+    '拷贝文件到编译输出目录完成',
+  )(tmsConfig, newModules, DEFAULT_COPY_CONFIG);
+
+  // npm install
+  await createTask(
+    npmInstallAll,
+    '开始npm install',
+    'npm install 完成',
+  )(newModules, resolve(tmsConfig.webpack.outputDir), `${CACHE_DIR}/node_modules`);
+
+  // 构建miniprograme_npm
+  await createTask(
+    buildMpNpm,
+    '开始构建miniprograme_npm',
+    '构建miniprograme_npm 完成',
+  )({ appId: tmsConfig.appId, projectPath: resolve('./'), privateKey: tmsConfig.privateKey });
+
+  // 动态生成编译后的app.json;
+  await createTask(
+    buildOutputAppJson,
+    '开始生成编译后的app.json',
+    '生成编译后的app.json完成',
+  )(tmsConfig, newModules);
+
+  return newModules;
+}
+async function bootstrap(tmsConfig, targetModules) {
+  const newModules = await task(tmsConfig, targetModules);
+
+  return {
+    targetModules: newModules,
+  };
+}
+
+module.exports = bootstrap;

package/src/utils/buildAppJson.js

@@ -0,0 +1,144 @@
+const fs = require('fs');
+const { DEFAULT_MODULE_DIR, MODULE_CONFIG_FILENAME } = require('../config/constant');
+const { fail } = require('./log');
+const { resolve, isObject, isArray } = require('./widgets');
+
+/**
+ * 获取每个模块下面的信息，并且收集，后续更新到appJson里面
+ * @param { object } file 操作目录下面所有的文件
+ * @param { string } appName 小程序的名称
+ */
+function setModuleConfig(file, appName, moduleDir) {
+  const content = file.contents ? JSON.parse(file.contents.toString()) : JSON.parse(file);
+
+  if (isObject(content)) {
+    content.root = content.root.indexOf(moduleDir) > -1 ? content.root : `${moduleDir}/${content.root}`;
+  }
+
+  if (isArray(content)) {
+    let i = content.length - 1;
+    while (i >= 0) {
+      let current = content[i];
+      current.root = current.root.indexOf(moduleDir) > -1 ? current.root : `${moduleDir}/${current.root}`;
+
+      if (appName && current.mpConfig && current.mpConfig[appName]) {
+        current = { ...current, ...current.mpConfig[appName] };
+      }
+
+      delete current.mpConfig;
+      delete current.isSubpackages;
+
+      content[i] = current;
+      i--; // eslint-disable-line
+    }
+  }
+  return content;
+}
+
+/**
+ * 递归获取本地所有模块的配置信息
+ */
+function getLocalModuleConfig(modules = [], appName, moduleDir, moduleConfigFilename) {
+  const modulesConfig = {};
+
+  modules.forEach(({ path }) => {
+    const moduleConfigPath = resolve(path, moduleConfigFilename);
+    if (fs.existsSync(moduleConfigPath)) {
+      const content = fs.readFileSync(moduleConfigPath, 'utf-8');
+      modulesConfig[moduleConfigPath] = setModuleConfig(content, appName, moduleDir);
+    }
+  });
+  return modulesConfig;
+}
+
+/**
+ * 更新appJson里面的首页配置
+ * @param { object } appJson appJson信息
+ * @param { array } mainPackages 小程序主包信息
+ * @returns { object } appJson小程序主页配置信息
+ */
+function updateMainPackages(appJson, mainPackages = []) {
+  let foundMainPackages = appJson.subpackages.filter(subpackage => mainPackages.includes(subpackage.name));
+  if (foundMainPackages.length === 0) {
+    // 没找到主包
+    foundMainPackages = [appJson.subpackages[0]];
+  }
+  // 拼装 app.pages
+  foundMainPackages.forEach((subpackage) => {
+    if (!subpackage.pages || !subpackage.pages.length) {
+      fail(`主包 ${subpackage} 不能没有 pages`);
+      process.exit(-1);
+    }
+    subpackage.pages.forEach((page) => {
+      appJson.pages.push(`${subpackage.root}/${page}`);
+    });
+    if (subpackage.plugins) {
+      Object.assign(appJson.plugins, subpackage.plugins);
+    }
+  });
+
+  // 去掉 subpackages 中的主包配置
+  const foundMainPackageNames = foundMainPackages.map(item => item.name);
+  // eslint-disable-next-line
+  appJson.subpackages = appJson.subpackages.filter(subpackage => !foundMainPackageNames.includes(subpackage.name));
+
+  return appJson;
+}
+/**
+ * 获取app.json内容
+ * @param {string} sourceAppJsonPath
+ * @returns
+ */
+const getAppJsonContent = (sourceAppJsonPath) => {
+  if (!fs.existsSync(sourceAppJsonPath)) {
+    fail(`当前路径 ${sourceAppJsonPath} 没找到app.json`);
+    process.exit(1);
+  }
+  const appJson = JSON.parse(fs.readFileSync(sourceAppJsonPath), 'utf-8');
+  // 加入默认值
+  appJson.subpackages = [];
+  appJson.pages = [];
+  appJson.plugins = {};
+  delete appJson.entranceDeclare;
+  return appJson;
+};
+/**
+ * 更新app.json中的subpackages
+ * @param {Object} appJson
+ * @param {Object} modulesConfig
+ */
+const updateSubpackages = (appJson, modulesConfig) => {
+  // eslint-disable-next-line
+  for (const name in modulesConfig) {
+    const moduleInfo = isObject(modulesConfig[name]) ? [modulesConfig[name]] : modulesConfig[name];
+    // eslint-disable-next-line
+    appJson.subpackages = appJson.subpackages.concat(moduleInfo);
+  }
+};
+
+
+/**
+ * 动态生成编译后的app.json
+ * @param {object} tmsConfig
+ * @param {array} modules
+ * @returns
+ */
+function buildOutputAppJson(tmsConfig, modules) {
+  // 获取当前 modules 下的所有子模块的配置内容
+  const modulesConfig = getLocalModuleConfig(modules, tmsConfig.appName, DEFAULT_MODULE_DIR, MODULE_CONFIG_FILENAME);
+  // 获取app.json的配置
+  const appJson = getAppJsonContent(resolve('./app.json'));
+  // 更新app.json中的subpackages
+  updateSubpackages(appJson, modulesConfig);
+  // 更新主包，需在subpackages处理完成后执行， pages/
+  updateMainPackages(appJson, tmsConfig.mainPackages, DEFAULT_MODULE_DIR);
+
+  fs.writeFileSync(resolve(`${tmsConfig.webpack.outputDir}/app.json`), JSON.stringify(appJson, null, 2), 'utf8');
+
+  return appJson;
+}
+
+module.exports = {
+  setModuleConfig,
+  buildOutputAppJson,
+};

package/src/utils/checkDependencies.js

@@ -0,0 +1,77 @@
+const fs = require('fs');
+const semver = require('semver');
+const { resolve } = require('./widgets');
+const path = require('path');
+const { fail } = require('./log');
+const shelljs = require('shelljs');
+
+const getLatestVersion = (npmName) => {
+  const data = shelljs.exec(`npm view ${npmName} version`);
+  return data.stdout || '0.0.0';
+};
+
+/**
+ * 检查package.json的依赖大于node_module的版本，则返回true
+ * @param {*} modules 模块
+ * @param {*} cwd  待检查package.json所在的目录 (eg: 当前执行脚本的目录)
+ * @param {*} outputDir  待检查node_modules存放的目录 （eg: dist/node_modules）
+ * @returns
+ */
+const checkDependencies = (modules, cwd, outputDir) => {
+  // 步骤1. 收集package.json
+  const packageJsonName = 'package.json';  // 查找文件名
+  // 1.1根目录的package.json
+  const packageArr = [
+    {
+      srcPackageDir: path.join(cwd, packageJsonName),
+      destNpmDir: resolve(outputDir, 'node_modules'),
+    },
+  ];
+  // 1.2模块的package.json
+  modules.forEach((item) => {
+    const srcPackageDir = path.join(cwd, item.path, 'package.json');
+    if (fs.existsSync(srcPackageDir)) {
+      packageArr.push({
+        srcPackageDir,
+        destNpmDir: resolve(outputDir, item.root, 'node_modules'),
+      });
+    }
+  });
+
+  // 步骤2. 比较package.json的依赖与node_modules依赖的版本号
+  for (const item of packageArr) {
+    const packageJson = fs.readFileSync(item.srcPackageDir, 'utf-8');
+    let dependencies;
+    try {
+      dependencies = JSON.parse(packageJson).dependencies;
+    } catch (e) {
+      fail(`解析${packageJson}报错，请检查是否是正确的json配置项`);
+      process.exit(1);
+    }
+    const dependenciesKeys = Object.keys(dependencies);
+    for (const key of dependenciesKeys) {
+      const depPath = path.join(item.destNpmDir, key);
+      if (!fs.existsSync(depPath)) {
+        return true;
+      }
+      const depPackagePath = path.join(depPath, 'package.json');
+      if (fs.existsSync(depPackagePath)) {
+        const packageData = require(depPackagePath);
+        if (dependencies[key] === 'latest') {
+          dependencies[key]  = getLatestVersion(key);
+        }
+        if (packageData.version === 'latest') {
+          packageData.version = getLatestVersion(key);
+        }
+        if (semver.lt(packageData.version, semver.minVersion(dependencies[key]).version)) {
+          return true;
+        }
+      }
+    }
+  }
+  return false;
+};
+
+module.exports = {
+  checkDependencies,
+};

package/src/utils/cliUtils.js

@@ -0,0 +1,35 @@
+const fs = require('fs');
+const cp = require('child_process');
+
+const getDevtoolCliPath = async () => {
+  let cliPath;
+  if (process.platform === 'darwin') {
+    cliPath = '/Applications/wechatwebdevtools.app/Contents/MacOS/cli';
+  } else if (process.platform === 'win32') {
+    cliPath = 'C:/Program Files (x86)/Tencent/微信web开发者工具/cli.bat';
+  } else {
+    // 其余平台暂不支持
+    throw new Error('unsupported platform');
+  }
+  const exists = await new Promise(resolve => fs.exists(cliPath, resolve));
+  if (!exists) {
+    // 找不到开发工具
+    throw new Error(`未找到微信小程序开发者工具，请确认是否安装，如未安装请前往 
+    https://developers.weixin.qq.com/miniprogram/dev/devtools/download.html 下载`);
+  }
+  return cliPath;
+};
+
+const openDevtool = async (path) => {
+  const cliPath = await getDevtoolCliPath();
+  const child = cp.spawn(cliPath, ['open', '--project', path], {
+    detached: true,
+    stdio: 'inherit',
+  });
+  child.unref();
+};
+
+module.exports = {
+  getDevtoolCliPath,
+  openDevtool,
+};

package/src/utils/cloneModules.js

@@ -0,0 +1,90 @@
+const MetalSmith = require('metalsmith');
+const { getGlobalInstance } = require('./global.js');
+const { downloadRepoForGit, resolve } = require('./widgets');
+const { fail } = require('./log');
+const fs = require('fs');
+const shelljs = require('shelljs');
+
+/**
+ * 对克隆下来的模块进行相应的文件处理操作，比如收集处理模块信息，进行信息缓存等操作
+ * @param { string } sourceDir 缓存文件夹
+ * @param { string } targetDir 目标文件夹
+ * @param { arrary } ignore
+ * @returns { undefined } no return
+ */
+function moveFile(sourceDir, targetDir, ignore = []) {
+  // 删除不是文件夹的文件
+  return new Promise((resolve) => {
+    MetalSmith(__dirname)
+      .ignore(ignore)
+      .source(sourceDir)
+      .destination(targetDir)
+      .build((e) => {
+        if (e) {
+          fail(e); // eslint-disable-line
+          console.log('MetalSmith 详细的错误信息:', e);
+        }
+        resolve();
+      });
+  });
+}
+
+/**
+ * 下载目标模块
+ * @param { string } sourceDir 缓存文件夹
+ * @param { string } targetDir 目标文件夹
+ * @returns { array } modules 描述模块的列表
+ */
+async function cloneModules(sourceDir, targetDir, modules) {
+  // 根据小程序的配置文件下载模块， 并且处理信息
+  for (const moduleInfo of modules) { // eslint-disable-line
+    if (moduleInfo.repoInfo) {
+      await downLoadAndMoveModule(sourceDir, targetDir, moduleInfo);
+    }
+  }
+}
+
+/**
+ * 下载模块信息并且将它移动到对应的位置
+ * @param { string } sourceDir 代码缓存文件夹
+ * @param { string } targetDir 代码要放到的目标文件夹
+ * @returns { array } moduleInfo 描述模块的信息
+ */
+async function downLoadAndMoveModule(sourceDir, targetDir,  moduleInfo) {
+  const { repoInfo: { buildGitTag, httpRepoUrl }, path } = moduleInfo;
+
+  // 源码临时存在的源目录
+  let sourcePath = resolve(sourceDir, path);
+  // 源码要放到目标目录
+  const targetPath = resolve(targetDir, path);
+  // 设置模块的构建分支
+  const cloneBranch =  buildGitTag && typeof buildGitTag === 'string' ? buildGitTag : 'master';
+
+  // 检查缓存中有没有
+  const globalInstance = getGlobalInstance();
+  const moduleInCache = globalInstance.getModuleCache(httpRepoUrl, cloneBranch);
+
+  try {
+    if (!moduleInCache) {
+      await downloadRepoForGit(httpRepoUrl, sourcePath, cloneBranch);
+      globalInstance.setModuleCache(httpRepoUrl, cloneBranch, sourcePath);
+    } else {
+      sourcePath = globalInstance.getModuleCache(httpRepoUrl, cloneBranch).dest;
+    }
+
+    if (fs.existsSync(targetPath)) {
+      shelljs.rm('-rf', targetPath);
+    }
+    await moveFile(sourcePath, targetPath, [
+      'node_modules',
+      '.git',
+    ]);
+  } catch (e) {
+    fail(`downLoadAndMoveModule ${e}`);  // eslint-disable-line
+    process.exit(-1);
+  }
+}
+
+module.exports = {
+  cloneModules,
+};

package/src/utils/global.js

@@ -0,0 +1,36 @@
+class Globale {
+  constructor() {
+    this.moduleCache = {};
+  }
+
+  setModuleCache(url, branch, dest) {
+    const instance =  getGlobalInstance();
+
+    const key = `${branch}:${url}`;
+
+    instance.moduleCache[key] = {
+      dest,
+    };
+
+    return instance.moduleCache[key];
+  }
+
+  getModuleCache(url, branch) {
+    const instance = getGlobalInstance();
+
+    return instance.moduleCache[`${branch}:${url}`];
+  }
+}
+
+let instance;
+function getGlobalInstance() {
+  if (instance) {
+    return instance;
+  }
+
+  return instance = new Globale();
+}
+
+module.exports = {
+  getGlobalInstance,
+};

package/src/utils/io.js

@@ -0,0 +1,21 @@
+const fs = require('fs');
+/**
+ * 判断目录是否为空
+ * @param {string} dirname 目录名
+ * @returns
+ */
+const isDirEmpty = dirname => fs.promises.readdir(dirname).then(files => files.length === 0);
+/**
+ * 确保目录存在，不存在就创建一个
+ * @param {*} dirname 目录名
+ */
+const ensureDirExist = (dirname) => {
+  if (!fs.existsSync(dirname)) {
+    fs.mkdirSync(dirname, { recursive: true });
+  }
+};
+
+module.exports = {
+  isDirEmpty,
+  ensureDirExist,
+};

package/src/utils/log.js

@@ -0,0 +1,44 @@
+const chalk = require('chalk');
+
+/**
+ * 本文件提供无依赖的在终端打印彩色文字的方法。
+ */
+const resetCfg = decodeURIComponent('%1B%5B0m'); // \033[0m转义后的字符按,用来还原属性
+
+/**
+ * 打印红底黑字格式的文字
+ * @param {String} message 需要打印的文字信息
+ * @returns {undefined} 无
+ */
+const fail = (message = '') => {
+  const redStyleConfig = decodeURIComponent('%1B%5B41%3B30m'); // \033[41;30m转义后的字符按，console时输出红色文字
+  const greenFontStyleConfig = decodeURIComponent('%1B%5B41%3B37m'); // \033[41;30m转义后的字符按，console时输出红底白色文字
+  console.log(`${redStyleConfig} ERROR ${greenFontStyleConfig} ${message}${resetCfg}`); // eslint-disable-line no-console
+};
+
+/**
+ * 打印绿底黑字格式的文字
+ * @param {String} message 需要打印的文字信息
+ * @returns {undefined} 无
+ */
+const succeed = (message = '') => {
+  const greenStyleConfig = decodeURIComponent('%1B%5B42%3B30m'); // \033[42;30m转义后的字符按，console时输出绿色文字
+  const greenFontStyleConfig = decodeURIComponent('%1B%5B40%3B32m'); // \033[40;32m转义后的字符按，console时输出绿色文字
+  console.log(`${greenStyleConfig} Success ${greenFontStyleConfig} ${message}${resetCfg}`); // eslint-disable-line no-console
+};
+
+
+/**
+ * 打印warn提示
+ * @param {String} message 需要打印的文字信息
+ * @returns {undefined} 无
+ */
+const warn = (message) => {
+  console.log(chalk.yellow(message));
+};
+
+module.exports = {
+  fail,
+  succeed,
+  warn,
+};