crabatool 1.0.62 → 1.0.65

package/lib/config.js

@@ -6,6 +6,9 @@ class Config {
   constructor() {
     this.reportHost = "http://crabadoc.ca.com"; // 用于接收检测报告的服务器，可配置的。由于产品没有提供服务，目前统一放到平台的文档服务器
     this.webhooks = "https://oapi.dingtalk.com/robot/send?access_token=ce27b1b1540881540d44c0bd05ba738d865363758892ede137dc1020bd36bd5a";
+    this.crabaHooks = "https://oapi.dingtalk.com/robot/send?access_token=ce27b1b1540881540d44c0bd05ba738d865363758892ede137dc1020bd36bd5a";
+    //this.webhooks = "https://oapi.dingtalk.com/robot/send?access_token=37279df60e03ebf25e8eb71230ddb93fe74de99951a8d635d0458e60bfcd44d8";
+    this.checkgspx = true; // 检查gspx
 
     this.Version = pg.version;
     this.Debug = false;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "crabatool",
-  "version": "1.0.62",
+  "version": "1.0.65",
   "description": "crabatool",
   "main": "index.js",
   "scripts": {
@@ -26,7 +26,8 @@
     "axios": "^0.27.2",
     "iconv-jschardet": "^2.0.26",
     "compressing": "^1.6.0",
-    "@jslint-org/jslint": "^2022.5.20"
+    "@jslint-org/jslint": "^2022.5.20",
+    "htmlparser2": "^8.0.1"
   },
   "repository": {
     "type": "git",

package/tool/checkgspx.js

@@ -0,0 +1,96 @@
+var utils = require('../lib/utils.js');
+var config = require('../lib/config.js');
+var fs = require('fs');
+var path = require('path');
+var htmlparser2 = require('htmlparser2');
+var warnTags = ['VPanel', 'HPanel', 'HiddenColumn', 'Hblock', 'Vblock']; // 'div', 'table', 'tr', 'td', 'br','HiddenField', 'CloseButton', 'CancelButton'];
+
+module.exports.getResults = function() {
+  var data = {
+    count: 0,
+    tags: {},
+    tagList: [],
+    warnList: {},
+    errorList: []
+  };
+  if (!config.checkgspx) return data;
+
+  var gspxFiles = utils.getFiles({ source: config.webPath, exts: '.gspx' });
+  data.count = gspxFiles.length;
+
+  gspxFiles.forEach(function(filePath) {
+    readGspxToJSON(filePath, data);
+  });
+
+  Object.keys(data.tags).forEach((tag, index) => {
+    data.tagList.push({ name: tag, count: data.tags[tag] });
+  });
+  data.tagList.sort(function(item0, item1) {
+    return item0.count > item1.count ? -1 : 1;
+  });
+  return data;
+}
+
+function readGspxToJSON(fileName, data) {
+  var rootNode;
+  var stack = [];
+  var node;
+  var byte = fs.readFileSync(fileName);
+  var gspxXML = utils.toUtf8(byte);
+
+  fileName = fileName.replace(config.webPath, '');  // 简化文件路径
+  function HtmlParser2ToXml(xml) {
+    var parser = new htmlparser2.Parser({
+      onopentag: function(name, attrs) {
+        node = {};
+        node.Name = name;
+        node.Attributes = attrs;
+        stack.push(node);
+
+        // 标签使用统计
+        if (data.tags[name] === undefined) {
+          data.tags[name] = 1;
+        } else {
+          data.tags[name]++;
+        }
+
+        // 建议优化页面汇总
+        if (warnTags.includes(name)) {
+          if (!data.warnList[fileName]) data.warnList[fileName] = [];
+          data.warnList[fileName].push(name);
+        }
+      },
+      ontext: function(text) {
+        if (text != null && text.trim() != '') {
+          node.Value = text;
+        }
+      },
+      onclosetag: function(tagname) {
+        var pNode = stack.pop();
+        if (stack.length == 0) {
+          rootNode = pNode;
+        } else {
+          var parentNode = stack[stack.length - 1];
+          if (!parentNode.Childs) parentNode.Childs = [];
+          parentNode.Childs.push(pNode);
+        }
+      },
+      onerror: function(error) {
+        console.log("read " + fileName + "    " + error);
+
+        // 异常文件统计
+        data.errorList.push({ fileName: fileName, tag: node.Name, error: error });
+      }
+    }, {
+      lowerCaseTags: false,
+      lowerCaseAttributeNames: false,
+      xmlMode: true
+    });
+    parser.write(gspxXML);
+    parser.end();
+  }
+
+  HtmlParser2ToXml(gspxXML);
+
+  return rootNode;
+}

package/tool/checkjs.js

@@ -5,23 +5,25 @@ var ProgressBar = require('./progressbar.js');
 var jschardet = require('iconv-jschardet');
 var path = require('path');
 var axios = require('axios');
+var gspx = require('./checkgspx.js');
+
+// js超过多少kb给与提示
+var fileSize = 300;
+// 默认忽略大小的文件
+var sizeBlackList = ['craba.min.js', 'crabaEx.min.js', 'crabaNgp.js', 'echarts-all.js', 'echarts.min.js', 'math.min.js'];
+// 语法规则，不能包含这些关键词
+var dangerousJs = ['\\slet\\s', '\\sconst\\s', '\=\>\\s?\\(?\\{', '\\sasync\\s', '\\sawait\\s', '\\.then\\(', '\\sdebugger\\s'];
+
 
 module.exports.start = function() {
   var jsFiles = utils.getFiles({ source: config.webPath, exts: '.js', ignores: config.ignoreCheck });
 
-  var fileSize = 300;
   var errList = [];
   var errRegList = [];
   var bigList = [];
   var notUtf8List = [];
   var utf8List = [];
 
-  // 默认忽略大小的文件
-  var sizeBlackList = ['craba.min.js', 'crabaEx.min.js', 'crabaNgp.js', 'echarts-all.js', 'echarts.min.js', 'math.min.js'];
-
-  // 语法规则，不能包含这些关键词
-  var dangerousJs = ['\\slet\\s', '\\sconst\\s', '\=\>\\s?\\(?\\{', '\\sasync\\s', '\\sawait\\s', '\\.then\\(', '\\sdebugger\\s'];
-
   // 开始检测
   var pb = new ProgressBar('检查进度', jsFiles.length);
   jsFiles.forEach(function(filePath) {
@@ -73,12 +75,17 @@ module.exports.start = function() {
   });
   pb.clear('检验完成');
 
+  // 检查gspx
+  var gspxData = gspx.getResults();
+
   // 生成检测报告 markdown语法
-  var status = '健康';
-  if (errList.length > 0 || notUtf8List.length > 0) {
+  var warnPages = Object.keys(gspxData.warnList).length;
+  var status = '无异常';
+  if (errList.length > 0 || notUtf8List.length > 0 || warnPages > 0 || gspxData.errorList.length > 0) {
     status = '有异常';
   }
 
+
   var modName = getModName();
   var webhookList = [];
   var info = [];
@@ -91,10 +98,11 @@ module.exports.start = function() {
   info.push(`| 生成报告时间 | ${new Date().toString()} |`);
   info.push(`| 网站路径 | ${config.webPath} |`);
   info.push(`| 共检查 | ${jsFiles.length}个js文件 |`);
+  info.push(`| 共检查 | ${gspxData.count}个gspx文件 |`);
   info.push(`| 忽略目录和文件 | ${config.ignoreCheck ? config.ignoreCheck.join('、') : '无' + ' |'}`);
 
-  info.push("# 异常报表");
-  info.push("| 异常类型 | 数量 |");
+  info.push("# 检测报表");
+  info.push("| 类型 | 数量 |");
   info.push("| ------ | ------ |");
   info.push(`| 语法异常文件数 | ${errList.length}个 |`);
   //webhookList.push(`## 自定义规则`);
@@ -109,7 +117,11 @@ module.exports.start = function() {
     webhookList.push(`1. 超过${fileSize}kb的文件数：${bigList.length}个`);
   }
 
-  //webhookList.push(`## jslint规则`);
+  info.push(`| gspx建议优化数 | ${warnPages}个 |`);
+  info.push(`| gspx错误数 | ${gspxData.errorList.length}个 |`);
+
+  webhookList.push(`1. gspx建议优化数：${warnPages}个`);
+  webhookList.push(`1. gspx出错数：${gspxData.errorList.length}个`);
 
 
   // 代码质量管理需要格式
@@ -120,7 +132,7 @@ module.exports.start = function() {
   var detail = [];
   if (errList.length > 0) {
     detail.push("");
-    detail.push('# 语法异常文件清单如下');
+    detail.push('# js语法异常文件清单如下');
     errList.forEach((s, index) => {
 
       detail.push(`## ${index + 1}. ${s}`);
@@ -155,6 +167,33 @@ module.exports.start = function() {
     });
   }
 
+  if (gspxData.errorList.length > 0) {
+    detail.push(`# 出错误页面清单如下`);
+    gspxData.errorList.forEach((info, index) => {
+      detail.push(`## ${index + 1}. ${info.name}`);
+      detail.push(`> 错误标签: ${info.tag}`);
+      detail.push(`> 错误描述：${info.error}`);
+    });
+  }
+
+  if (warnPages > 0) {
+    detail.push(`# 建议优化gspx页面清单如下`);
+    Object.keys(gspxData.warnList).forEach((key, index) => {
+      var tags = gspxData.warnList[key];
+
+      detail.push(`## ${index + 1}. ${key}`); 4
+      detail.push(`> 此页面建议优化标签明细: ${tags.join('、')}`);
+    });
+  }
+
+  detail.push('# 本项目标签使用情况汇总');
+  detail.push("| 标签名称 | 使用次数 |");
+  detail.push("| ----- | ------ |");
+  gspxData.tagList.forEach((item, index) => {
+    detail.push(`| ${item.name} | ${item.count} |`);
+  });
+
+
   // 推送报告到钉钉和文档服务器端
   var id = modName + '_' + new Date().getTime();
   var reportUrl = getReportUrl(id);
@@ -162,9 +201,9 @@ module.exports.start = function() {
   postReport(id, reportUrl, content, sonar);
 
   // 推送到钉钉
-  //if (status != '健康') { // 检查结果检查就不发到钉钉了； ps:健康也发到钉钉，鼓励开发继续保持；
-  postWebhooks(id, reportUrl, webhookList);
-  //}
+  if (status != '无异常') { // 检查结果检查就不发到钉钉了； ps:健康也发到钉钉，鼓励开发继续保持；
+    postWebhooks(id, reportUrl, webhookList);
+  }
 }
 
 function getMathReuslts(content, nreg, filterFun) {
@@ -274,4 +313,20 @@ function postWebhooks(id, reportUrl, webhookList) {
     console.log("推送代码检测失败");
     console.log(error);
   });
+
+  // 如果业务配置的推送地址不是平台群，需要统一推送到平台，汇总一下问题，方便后期统筹
+  if (config.webhooks != config.crabaHooks) {
+    axios({
+      method: 'post',
+      url: config.crabaHooks,
+      data: data,
+      headers: { 'Content-Type': 'application/json' }
+    }).then(function(response) {
+      console.log("推送代码检测状态");
+      console.log(response.data);
+    }).catch(function(error) {
+      console.log("推送代码检测失败");
+      console.log(error);
+    });
+  }
 }

package/tool/start.js

@@ -24,7 +24,7 @@ class Start {
         "1. 启动服务。\t\t\t\t主要包含：自动合并打包init.js和biz.js，查看本地平台的版本",
         "2. 更新当前项目的平台，然后启动服务。\t主要包含：从<内网>拉取环境相关资源，再拷贝到webPath路径下覆盖老文件，替代手工操作，同时解决npm不稳定问题",
         "3. 查询最新平台版本和日期。\t\t主要包含：从<内网>拉取最新平台版本，开发好及时更新补丁",
-        "4. 校验当前项目前端所有js语法兼容性。\t主要包含：对本地js语法做一次初步预检避免上线后才发现问题；比如：编码、let、const、=>、async、await、then、缺function",
+        "4. 校验当前项目前端js语法和兼容性，以及gspx检查。\t主要包含：对本地js语法做一次初步预检避免上线后才发现问题；比如：编码、let、const、=>、async、await、then、缺function",
         "5. 打包当前项目前端所有js。\t\t主要包含：前端es6语法的打包和js的统一压缩处理",
         "6. 安装或更新IDEA环境。\t\t\t主要包含：从<内网>拉取环境相关资源，包括智能语法、新增页面模板、更多新功能",
         "7. 安装或更新vscode环境。\t\t主要包含：从<内网>拉取环境相关资源，包括智能语法、新增页面模板、ctrl+alt+n、alt+j快捷键",
@@ -83,6 +83,7 @@ class Start {
     bindConfigByArgv('-childModList', 'array');
     bindConfigByArgv('-ignoreCompress', 'boolean');
     bindConfigByArgv('-Debug', 'boolean');
+    bindConfigByArgv('-checkgspx', 'boolean');
 
     if (!config.webPath) {
       throw new Error('请检查craba.js，必须告诉工具当前项目的前端路径地址，填绝对路径哦');