tools_batch_files 1.0.0

package/error.txt

@@ -0,0 +1,140 @@
+城市高楼建筑封顶施工航拍 (9).mp4
+福建福州台江万达广场金融中心夜景航拍 (10).mp4
+福建泉州城市夜景东海CBD夜景灯光航拍 (11)~1.mp4
+广东澳门城市风光澳门塔航拍 (1).mp4
+广东东莞城市CBD鸿福路高楼航拍 (9).mp4
+广东佛山千灯湖城市风光航拍 (1).mp4.baiduyun.p.downloading
+广东佛山千灯湖城市风光航拍 (1).mp4.baiduyun.p.downloading
+广东佛山千灯湖城市风光航拍 (13).mp4.baiduyun.p.downloading
+广东佛山千灯湖城市风光航拍 (14).mp4
+广东佛山千灯湖城市风光航拍 (15).mp4
+广东佛山千灯湖城市风光航拍 (17).mp4
+广东佛山千灯湖城市风光航拍 (3).mp4
+广东佛山千灯湖城市风光航拍 (13).mp4.baiduyun.p.downloading
+广东佛山千灯湖城市风光航拍 (14).mp4
+广东佛山千灯湖城市风光航拍 (15).mp4
+广东佛山千灯湖城市风光航拍 (17).mp4
+广东佛山千灯湖城市风光航拍 (3).mp4
+广东佛山千灯湖城市风光航拍 (13).mp4.baiduyun.p.downloading
+广东惠州市政府大楼航拍 (13).mp4
+广东惠州市政府大楼航拍 (14).mp4
+广东惠州市政府大楼航拍 (15).mp4
+广东惠州市政府大楼航拍 (3).mp4
+广东惠州市政府大楼航拍 (6).mp4
+广东惠州市政府大楼航拍 (9).mp4
+广东惠州市政府航拍 (1).mp4
+广东惠州西湖泗洲塔航拍 (12).mp4
+广东湛江人民广场人民大会堂航拍 (1).mp4
+广东湛江人民广场人民大会堂航拍 (10).mp4
+广东湛江人民广场人民大会堂航拍 (11).mp4
+广东湛江人民广场人民大会堂航拍 (13).mp4
+广东湛江人民广场人民大会堂航拍 (14).mp4
+广东湛江人民广场人民大会堂航拍 (15).mp4
+广东湛江人民广场人民大会堂航拍 (16).mp4
+广东湛江人民广场人民大会堂航拍 (2).mp4
+广东湛江人民广场人民大会堂航拍 (3).mp4
+广东湛江人民广场人民大会堂航拍 (4).mp4
+广东湛江人民广场人民大会堂航拍 (6).mp4
+广东湛江人民广场人民大会堂航拍 (7).mp4
+广东肇庆七星山5A景区星湖航拍 (4).mp4
+广东肇庆星湖景区夜景航拍 (5).mp4
+广东中山城市夜景灯光航拍 (2).mp4
+广东中山市政府办公大楼航拍 (1).mp4
+广东中山市政府办公大楼航拍 (2).mp4
+广东中山市政府办公大楼航拍 (4).mp4
+广东中山市政府办公大楼航拍 (5).mp4
+广东中山市政府办公大楼航拍 (6).mp4
+广东中山市政府办公大楼航拍 (7).mp4
+广东中山市政府办公大楼航拍 (8).mp4
+广东中山市政府办公大楼航拍 (9).mp4
+广东中山市政府航拍 (3).mp4
+广东中山市政府航拍 (4).mp4
+广东中山市政府航拍 (8).mp4
+广东中山市政府航拍 (9).mp4
+广东中山市政府建筑航拍 (1).mp4
+广东中山市政府建筑航拍 (2).mp4
+广东中山市政府建筑航拍 (3).mp4
+广西北海北部湾广场航拍 (1).mp4
+航拍河南新乡市市政府 (4).mp4
+航拍衡阳莲湖广场.mp4
+航拍洛阳开元湖洛阳市政府夜景 (6).mp4
+航拍阳朔龙脊山.mp4
+航拍阳朔西街古塔.mp4
+河北邯郸丛台公园航拍 (3).mp4
+河北石家庄城市风光建设航拍 (48).mp4
+河南许昌市委市政府航拍 (1).mp4
+河南许昌市委市政府航拍 (2).mp4
+河南许昌市委市政府航拍 (3).mp4
+河南许昌市委市政府航拍 (5).mp4
+河南许昌市委市政府航拍 (6).mp4
+河南许昌市委市政府航拍 (8).mp4
+河南许昌市政府航拍 (1).mp4
+河南许昌市政府航拍 (15).mp4
+河南许昌市政府航拍 (17).mp4
+河南许昌市政府航拍 (7).mp4
+河南许昌市政府航拍 (9).mp4
+湖南湘潭大桥夜景交通航拍 (6).mp4
+江南水乡乌镇5A景区航拍 (2).mp4
+江南水乡乌镇5A景区航拍 (3).mp4
+江南水乡乌镇5A景区航拍 (5).mp4
+江苏常州城市风光地标建筑航拍 (101).mp4
+江苏淮安城市风光周恩来故居航拍 (1)~1.mp4
+江苏淮安城市风光周恩来故居航拍 (10)~1.mp4
+江苏淮安城市风光周恩来故居航拍 (13)~1.mp4
+江苏淮安城市风光周恩来故居航拍 (2)~1.mp4
+江苏淮安城市风光周恩来故居航拍 (3)~1.mp4
+江苏淮安城市风光周恩来故居航拍 (6)~1.mp4
+江苏淮安周恩来故里5A景区航拍 (1).mp4
+江苏淮安周恩来故里5A景区航拍 (12).mp4
+江苏淮安周恩来故里5A景区航拍 (13).mp4
+江苏淮安周恩来故里5A景区航拍 (2).mp4
+江苏淮安周恩来故里5A景区航拍 (4).mp4
+江苏淮安周恩来故里5A景区航拍 (9).mp4
+江苏苏州观前街步行街航拍 (2).mp4
+江苏宿迁城市风光大剧院体育馆图书馆市政府航拍 (23).mp4
+江苏宿迁城市风光大剧院体育馆图书馆市政府航拍 (34).mp4
+江苏宿迁城市风光大剧院体育馆图书馆市政府航拍 (38).mp4
+江苏宿迁城市风光大剧院体育馆图书馆市政府航拍 (41).mp4
+江苏宿迁城市风光大剧院体育馆图书馆市政府航拍 (54).mp4
+江苏宿迁市政府航拍 (10).mp4
+江苏宿迁市政府航拍 (11).mp4
+江苏宿迁市政府航拍 (13).mp4
+江苏宿迁市政府航拍 (3).mp4
+江苏宿迁市政府航拍 (7).mp4
+江苏徐州电视塔地标建筑航拍 (1).mp4
+江苏徐州电视塔地标建筑航拍 (7).mp4
+江苏徐州汉文化园航拍 (46).mp4
+江苏扬州东关历史文化旅游区航拍 (11).mp4
+江苏扬州瘦西湖5A景区 (6).mp4
+江苏扬州瘦西湖5A景区航拍 (1).mp4
+山东东营区政府航拍 (1).mp4
+山东东营区政府航拍 (2).mp4
+山东东营市政府航拍 (10).mp4
+山东东营市政府航拍 (14).mp4
+山东东营市政府航拍 (16).mp4
+山东东营市政府航拍 (18).mp4
+山东东营市政府航拍 (4).mp4
+山东青岛北站夜景灯光航拍 (1).mp4
+山东泰安泰山市政府中轴线航拍 (3).mp4
+寺庙下雨素材苏州北寺塔实拍 (41).mp4
+寺庙下雨素材苏州北寺塔实拍 (42).mp4
+寺庙下雨素材苏州北寺塔实拍 (92).mp4
+苏州周庄古镇5A景区江南水乡航拍 (3).mp4
+天津城市风光航拍 (33).mp4
+夏日树枝树叶植物实拍 (9).mp4
+云南昆明金殿4A景区航拍 (13).mp4
+浙江杭州城市风光航拍 (8).mp4
+浙江杭州西湖全景大景航拍 (12).mp4
+浙江宁波城市夜幕降临夜景灯光航拍 (5).mp4
+浙江宁波天一阁博物馆5A景区航拍 (22).mp4
+浙江绍兴城市夜景灯光交通航拍 (33).mp4
+浙江台州市政府航拍 (1).mp4
+浙江台州市政府航拍 (2).mp4
+浙江台州市政府航拍 (4).mp4
+浙江台州市政府航拍 (7).mp4
+浙江台州市政府航拍 (9).mp4
+中国蚌埠古民居博览园航拍 (14).mp4
+中国蚌埠古民居博览园航拍 (15).mp4
+珠海澳门城市风光航拍 (9).mp4
+祖国大好河山安徽滁州琅琊山景区航拍 (27).mp4
+祖国大好河山肇庆鼎湖山5A景区蝴蝶湖航拍 (7).mp4

package/filterFail.js

@@ -0,0 +1,40 @@
+const fs = require('fs');
+const readline = require('readline');
+
+//上传失败的文件汇总到 txt中，脚本跑完后，统一便利再上传。
+
+const logFilePath = 'log.txt';
+
+// 创建 readline 接口实例
+const rl = readline.createInterface({
+    input: fs.createReadStream(logFilePath),
+    output: process.stdout,
+    terminal: false
+});
+
+// 匹配视频文件名，和id = undefined
+const filenameRegex = /.*\*\*\*([^*]+)\*\*\*/;
+const idUndefinedRegex = /id = undefined/;
+
+let currentFileName = '';
+
+rl.on('line', (line) => {
+    // 检查是否是文件名行
+    if (line.includes('**************************') && !line.includes('end')) {
+        const match = filenameRegex.exec(line);
+        if (match && match[1]) {
+            currentFileName = match[1].trim(); // 提取并保存当前文件名
+        }
+    }
+
+    // 检查id是否未定义
+    if (idUndefinedRegex.test(line) && currentFileName) {
+        console.log(`找到undefined ID对应的文件名: ${currentFileName}`);
+        // 你可以在这里执行进一步操作，例如存储文件名
+        fs.appendFileSync('undefined-ids.txt', `${currentFileName}\n`);
+    }
+});
+
+rl.on('close', () => {
+    console.log('Finished reading file.');
+});

package/index.js

@@ -0,0 +1,412 @@
+const ffmpeg = require("fluent-ffmpeg");
+const fs = require("fs");
+const path = require("path");
+const XLSX = require("xlsx");
+const FormData = require("form-data");
+const axios = require("axios");
+const generateUniqueHash = require("./utils/index");
+
+const hashOneTime = generateUniqueHash();
+
+// 源文件目录
+const videoFolderPath = "video";
+// 转码文件目录
+const videoTo264oFolderPath = "output/videoTo264";
+// 压缩后
+const outputFolderPath = "output/video";
+
+//转码后
+const outputTransitionCodecFolderPath = "output/videoTo264"
+
+const screenshotsFlodar = "output";
+const screenshotsFlodarChild = "screenshots";
+// 5张截图保存目录
+const screenshotsDir = `${screenshotsFlodar}/${screenshotsFlodarChild}`;
+
+//临时存储截图数组
+let filenames = [];
+
+/**
+ * 压缩视频
+ */
+const batchVideoFile = (fileName) => {
+  const inputFilePath = videoFolderPath + "/" + fileName;
+
+  const outputFilePath = outputFolderPath + "/" + "zip-" + fileName;
+
+  const command = ffmpeg();
+  const videoBitrate = 4000;
+
+  // 设置目标文件大小为50MB
+  // const targetFileSize = 50 * 1024 * 1024;
+
+  // 获取原视频文件大小（bytes）
+  // const inputFileSize = fs.statSync(inputFilePath).size;
+
+  // 根据目标文件大小估算比特率
+  // const videoBitrate = Math.floor((targetFileSize / inputFileSize) * 1000);
+
+  // 创建 ffmpeg 实例
+  // 输入视频文件
+  return new Promise((resolve, reject) => {
+    command
+      .input(inputFilePath)
+      // 设置视频尺寸为
+      // .size('1280x720')
+      // 设置视频编解码参数
+      .videoCodec('libx264')
+      // .videoCodec("mpeg4")
+
+      // 设置视频比特率
+      .videoBitrate(videoBitrate + "k")
+      // 设置音频编解码参数
+      // .audioCodec("aac")
+      .audioCodec('libmp3lame')
+      // 设置音频比特率
+      // .audioBitrate('128k')
+      // 设置输出文件路径
+      .output(outputFilePath)
+      // 开始处理
+      .on("start", () => {
+        logger("视频开始压缩……");
+      })
+      .on("end", () => {
+        logger("视频压缩完成！");
+        resolve(outputFilePath);
+      })
+      .on("error", (err) => {
+        reject(err);
+        logger("视频压缩出错:", err);
+      })
+      .run();
+  });
+};
+
+/**
+ * 转码
+ */
+// const transitionCodec = (fileName) => {
+//   const inputFilePath = videoFolderPath + "/" + fileName;
+//   const outputFilePath = outputTransitionCodecFolderPath + "/" + fileName;
+
+//   const command = ffmpeg(inputFilePath);
+
+//   return new Promise((resolve, reject) => {
+//     command
+//       .input(inputFilePath)
+//       // .videoCodec('libx264')
+//       .videoCodec("mpeg4")
+
+//       .output(outputFilePath)
+//       .on("start", () => {
+//         logger("视频开始转码……");
+//       })
+//       .on("end", () => {
+//         logger("视频转码完成！");
+//         const videoTo264Path = path.join("output", "videoTo264", fileName); // 转码后视频文件路径
+
+//         resolve(videoTo264Path);
+//       })
+//       .on("error", (err) => {
+//         reject(err);
+//         logger("视频转码出错:", err);
+//       })
+//       .run();
+//   });
+// }
+
+/**
+ * 截图
+ */
+const get5Screenshots = (fileName) => {
+  const inputFilePath = videoFolderPath + "/" + fileName;
+
+  const command = ffmpeg(inputFilePath);
+
+  return new Promise((resolve, reject) => {
+    command
+      .on("start", () => {
+        logger("开始截图");
+      })
+      .on("end", (stdout, stderr) => {
+        logger(inputFilePath + "截图完成!!!");
+        resolve();
+      })
+      .on("error", (err) => {
+        logger(inputFilePath + "截图出错:", err);
+        reject(err);
+      })
+
+      .screenshots({
+        timemarks: [0, "25%", "50%", "75%", "90%"],
+        folder: screenshotsDir,
+        filename: `screenshots-at-%s-%i-seconds.png`, //hash或者随机字符
+        size: '840x?'
+      })
+      .on("filenames", (filenamesArr) => {
+        // 将截图文件名存储到临时数组中
+        filenames.push(...filenamesArr);
+      });
+  });
+};
+
+/**
+ * 删除截图文件
+ */
+const deleteScreenshots = () => {
+  filenames.forEach((item) => {
+    const filePath = path.join("output", "screenshots", item);
+
+    fs.unlinkSync(filePath);
+  });
+  filenames = [];
+}
+
+/**
+ * 失败逻辑和 记录错误日志
+ */
+const updateFail = (err) => {
+  logger('xxxxx数据上传失败xxxxx： ' + err);
+  logger(`******************************************************************end`)
+  deleteScreenshots();
+  return Promise.reject();
+}
+
+/**
+ * 成功逻辑和 记录普通日志
+ */
+const updateSuccess = (id) => {
+  deleteScreenshots();
+  logger("数据上传成功！");
+  logger("id = " + id);
+  logger(`******************************************************************end`)
+}
+
+/**
+ * 拼接数据
+ * @param {number} type 1:压缩+截图 2：仅截图
+ * @param {object} options path路径
+ */
+const concatData = (
+  type,
+  { title, keyword, videoFilePath, outputVideoFilePath, screenshotsDir }
+) => {
+  const formData = new FormData();
+  const formatKeyword = keyword.split(",").join(" ");
+
+  if (type === 1) {
+    formData.append("zip_video", fs.createReadStream(outputVideoFilePath));
+  }
+  // else {
+  //   formData.append("zip_video", fs.createReadStream(videoFilePath));
+  // }
+
+  formData.append("title", title);
+  formData.append("keyword", formatKeyword);
+  formData.append("source_video", fs.createReadStream(videoFilePath));
+
+  fs.readdirSync(screenshotsDir).forEach((item, index) => {
+    formData.append(
+      `screenshot${index + 1}`,
+      fs.createReadStream(`${screenshotsDir}/${item}`)
+    );
+  });
+
+  return postData(formData);
+};
+
+/**
+ * 数据传输
+ */
+const postData = (data) => {
+  logger("等待接口返回结果……");
+
+  return axios
+    .post("https://designer-api.51miz.com/designer/CallBack/uploadVideoData", data, {
+      headers: {
+        "Content-Type": "multipart/form-data",
+      },
+    })
+    .then((res) => {
+      console.log(res.data);
+      if (res.data.status == 200) {
+        updateSuccess(res.data.id)
+
+      } else {
+        logger('xxxxx数据上传失败xxxxx： ');
+        logger(`******************************************************************end`)
+        deleteScreenshots();
+        return Promise.reject();
+      }
+    })
+    .catch((err) => {
+      logger('xxxxx数据上传失败xxxxx： ' + err);
+      logger(`******************************************************************end`)
+      deleteScreenshots();
+      return Promise.reject();
+    })
+};
+
+//处理错误信息
+const disposeError = (hash, err) => {
+  logger('任务失败---', hash, err);
+  fs.writeFileSync(hash + '-error.txt', err + '\n', {
+    flag: 'a'
+  })
+  fs.writeFileSync('error.txt', err + '\n', {
+    flag: 'a'
+  })
+}
+
+//处理错误信息
+const logger = (log) => {
+  console.log(log);
+  fs.writeFileSync('log.txt', log + '\n', {
+    flag: 'a'
+  })
+}
+
+/**
+ * 脚本开始前清空截图文件夹
+ */
+const clearDirectoryContents = (dirPath) => {
+  try {
+    const files = fs.readdirSync(dirPath); // 读取目录中的所有文件和目录
+
+    if (files.length > 0) {
+      files.forEach(function (filename) {
+        const filePath = path.join(dirPath, filename);
+        // const fileStat = fs.statSync(filePath);
+
+        // if (fileStat.isDirectory()) {
+        //   // 如果是目录，则递归清空目录
+        //   clearDirectoryContents(filePath);
+        //   // 删除目录本身
+        //   fs.rmdirSync(filePath);
+        // } else {
+        // 如果是文件，直接删除
+        fs.unlinkSync(filePath);
+        logger("截图文件夹已清空。")
+        // }
+      });
+    }
+  } catch (error) {
+    console.error('清空截图文件夹失败！', error);
+  }
+};
+
+/**
+ * 解析Excel数据
+ */
+const transitionExcelToJSON = () => {
+  //当前任务hash
+  const hashOrigin = generateUniqueHash();
+  const hash = hashOrigin.slice(0, 8);
+  logger('任务开始---' + hash);
+  // 读取 Excel 文件
+  const workbook = XLSX.readFile("excel/demo-video.xlsx");
+
+  // 获取第一个工作表（Sheet）
+  const firstSheetName = workbook.SheetNames[0];
+  const worksheet = workbook.Sheets[firstSheetName];
+
+  // 将工作表转换为 JSON 对象
+  const jsonData = XLSX.utils.sheet_to_json(worksheet);
+
+  let taskIndex = 1680;
+
+  const task = (row) => {
+    logger("**************************" + row.fileName + "**************************");
+    clearDirectoryContents(screenshotsDir);
+    return new Promise((resolve, reject) => {
+      const fileName = row.fileName; // Excel的列名分别为： fileName title keyword
+      const title = row.title;
+      const keyword = row.keyword;
+
+      const videoFilePath = path.join(videoFolderPath, fileName); // 视频文件路径
+
+      // 检查视频文件是否存在
+      fs.access(videoFilePath, fs.constants.F_OK, (err) => {
+        if (!err) {
+          const fileSize = fs.statSync(videoFilePath).size / (1024 * 1024);
+          logger("视频大小" + fileSize + 'M');
+
+          //如果原视频 < 50M ,那么不压缩
+          // if (fileSize > 50) {
+
+          Promise.all([batchVideoFile(fileName), get5Screenshots(fileName)])
+            .then(([outputVideoFilePath]) => {
+              console.log("视频处理结束……成功");
+              concatData(1, {
+                title,
+                keyword,
+                videoFilePath,
+                outputVideoFilePath,
+                screenshotsDir,
+              }).then(() => {
+                console.log('concatData成功');
+                resolve();
+              }).catch((reason) => {
+                disposeError(hash, fileName);
+                logger("压缩+截图失败" + reason);
+                reject();
+              });
+            })
+            .catch((reason) => {
+              disposeError(hash, fileName);
+              logger("All失败" + reason);
+              reject();
+            });
+
+          // } else {
+          //   logger("<50M,不压缩");
+          //   get5Screenshots(fileName).then(() => {
+          //     concatData(2, {
+          //       title,
+          //       keyword,
+          //       videoFilePath,
+          //       outputVideoFilePath: '',
+          //       screenshotsDir,
+          //     }).then(() => {
+          //       resolve();
+          //     }).catch((reason) => {
+          //       disposeError(hash, fileName);
+          //       logger("仅截图 失败" + reason);
+          //     });
+          //   });
+          // }
+        } else {
+          logger(`视频文件 ${fileName} 不存在`);
+          resolve();
+        }
+      });
+    })
+  }
+
+
+  const run = (index) => {
+    logger(`----------------------------------------第${index}条----------------------------------------`)
+    logger(`----------------------------------------${new Date()}----------------------------------------`)
+
+    const row = jsonData[index];
+    if (!row) {
+      return;
+    }
+    task(row)
+      .then(() => {
+        taskIndex++;
+        run(taskIndex);
+      })
+      .catch(() => {
+        taskIndex++;
+        run(taskIndex);
+      })
+  }
+
+  for (let i = 0; i < 1; i++) {
+    run(i);
+  }
+
+};
+
+transitionExcelToJSON();