@duoyun/md-img-pull 1.0.0 → 1.1.0

package/README.md

@@ -1,85 +1,85 @@
-# md-img-pull
-
-一个用于将 Markdown 中的网络图片下载到本地、统一重写引用路径并对超大图片进行压缩的命令行工具。适合将笔记、博客中的媒体资源“本地化”，让内容更可移植、更易备份。
-
-## 功能概述
-
-- 递归扫描文件夹或处理单个 `.md` 文件
-- 仅处理以 `http` 开头的图片链接，已本地化的相对/本地路径会跳过
-- 将图片保存到目标 Markdown 同级的 `assets/` 目录，文件名为内容哈希
-- 对超过阈值的图片自动压缩，必要时统一转为 WebP，尽量保留动画
-- 使用并发控制与进度动画，清晰显示下载/压缩过程
-- 输出详细的处理日志（成功/失败、尺寸变化）到目标目录
-
-## 安装
-
-- 全局安装（如果已发布到 npm）：
-  - `npm i -g @duoyun/md-img-pull` 或 `pnpm add -g @duoyun/md-img-pull`
-  - 命令：`md-img-p`
-- 本地构建运行（当前仓库）：
-  - 安装依赖：`pnpm i`
-  - 构建：`pnpm build`
-  - 运行：`node dist/main.cjs`
-
-环境要求：推荐 Node.js ≥ 18。依赖 `sharp`，在常见平台会自动下载所需的 libvips。
-
-## 使用说明
-
-- 运行后按提示输入源路径，可以是：
-  - 某个 Markdown 文件路径，例如 `C:\Notes\foo.md`
-  - 某个目录路径，例如 `C:\Notes`
-- 输出位置：
-  - 单文件模式：在同目录生成 `foo_localized/`，并包含 `assets/`
-  - 目录模式：在同级生成 `Notes_localized/`，保持原有层级结构与 `assets/`
-- 若目标目录已存在，会进行交互确认；按回车或输入 `y/yes` 继续，输入 `n` 取消
-
-示例（本地构建后运行）：
-
-```bash
-node dist/main.cjs
-# 请输入或粘贴需要处理的源文件夹路径: C:\Users\me\Desktop\Notes
-```
-
-## 处理策略
-
-- 下载与重写
-  - 遍历 Markdown AST 中的 `image` 节点，仅处理 `http` 开头的链接
-  - 保存为 `assets/<hash>.<ext>` 并将 Markdown 中的 URL 改为相对路径 `./assets/<hash>.<ext>`
-- 并发与大图串行
-  - 总并发槽位数为 5
-  - 普通图片占用 1 槽位并发下载
-  - 超大图片（> 20MB）会“独占”全部槽位，串行下载与压缩，避免内存与带宽拥塞
-- 压缩与格式
-  - 基准目标：将图片控制在 10MB 内
-  - 首先尝试转 WebP（quality≈80）；仍超出则缩放至最大宽度 2560 并再压缩；最后“保底”极限压缩（quality≈60）
-  - 如果发生压缩/转码，最终扩展名会改为 `.webp`；SVG 不参与压缩与改码
-- 进度与日志
-  - 使用优雅的命令行进度动画显示当前下载项目与累计进度
-  - 处理完成后在输出目录生成 `image-log-*.txt`，记录成功/失败、尺寸变化与汇总统计
-
-## 常见问答
-
-- 已有本地图片会被重复处理吗？不会，工具仅处理 `http` 链接。
-- 动图是否保留？在支持的情况下，WebP 保留原始 GIF/APNG 的动画（由 `sharp` 处理）。
-- 我能调整并发或压缩阈值吗？可以，修改源码中的常量后重新构建：
-  - 并发与大图阈值：[`Semaphore.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/Semaphore.ts)
-  - 压缩目标与质量：[`imageCompression.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/imageCompression.ts)
-
-## 代码入口与关键模块
-
-- CLI 入口与交互：[`main.ts`](file:///c:/Users/37524/Desktop/md-img-pull/main.ts)
-- Markdown 解析与图片节点收集：[`processSingleMarkdown.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/processSingleMarkdown.ts)
-- 下载、本地化与重写：[`downloader.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/downloader.ts)
-- 并发控制（信号量）：[`Semaphore.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/Semaphore.ts)
-- 下载进度动画：[`downloadProgress.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/downloadProgress.ts)
-- 处理日志管理：[`imageLog.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/imageLog.ts)
-
-## 构建与发布
-
-- 使用 `esbuild` 打包为 CJS，并通过 `bin` 暴露命令 `md-img-p`
-- 打包脚本：`pnpm build`
-- 包配置与入口：[`package.json`](file:///c:/Users/37524/Desktop/md-img-pull/package.json)
-
-## 许可
-
-ISC License
+# md-img-pull
+
+一个用于将 Markdown 中的网络图片下载到本地、统一重写引用路径并对超大图片进行压缩的命令行工具。适合将笔记、博客中的媒体资源“本地化”，让内容更可移植、更易备份。
+
+## 功能概述
+
+- 递归扫描文件夹或处理单个 `.md` 文件
+- 仅处理以 `http` 开头的图片链接，已本地化的相对/本地路径会跳过
+- 将图片保存到目标 Markdown 同级的 `assets/` 目录，文件名为内容哈希
+- 对超过阈值的图片自动压缩，必要时统一转为 WebP，尽量保留动画
+- 使用并发控制与进度动画，清晰显示下载/压缩过程
+- 输出详细的处理日志（成功/失败、尺寸变化）到目标目录
+
+## 安装
+
+- 全局安装（如果已发布到 npm）：
+  - `npm i -g @duoyun/md-img-pull` 或 `pnpm add -g @duoyun/md-img-pull`
+  - 命令：`md-img-p`
+- 本地构建运行（当前仓库）：
+  - 安装依赖：`pnpm i`
+  - 构建：`pnpm build`
+  - 运行：`node dist/main.cjs`
+
+环境要求：推荐 Node.js ≥ 18。依赖 `sharp`，在常见平台会自动下载所需的 libvips。
+
+## 使用说明
+
+- 运行后按提示输入源路径，可以是：
+  - 某个 Markdown 文件路径，例如 `C:\Notes\foo.md`
+  - 某个目录路径，例如 `C:\Notes`
+- 输出位置：
+  - 单文件模式：在同目录生成 `foo_localized/`，并包含 `assets/`
+  - 目录模式：在同级生成 `Notes_localized/`，保持原有层级结构与 `assets/`
+- 若目标目录已存在，会进行交互确认；按回车或输入 `y/yes` 继续，输入 `n` 取消
+
+示例（本地构建后运行）：
+
+```bash
+node dist/main.cjs
+# 请输入或粘贴需要处理的源文件夹路径: C:\Users\me\Desktop\Notes
+```
+
+## 处理策略
+
+- 下载与重写
+  - 遍历 Markdown AST 中的 `image` 节点，仅处理 `http` 开头的链接
+  - 保存为 `assets/<hash>.<ext>` 并将 Markdown 中的 URL 改为相对路径 `./assets/<hash>.<ext>`
+- 并发与大图串行
+  - 总并发槽位数为 5
+  - 普通图片占用 1 槽位并发下载
+  - 超大图片（> 20MB）会“独占”全部槽位，串行下载与压缩，避免内存与带宽拥塞
+- 压缩与格式
+  - 基准目标：将图片控制在 10MB 内
+  - 首先尝试转 WebP（quality≈80）；仍超出则缩放至最大宽度 2560 并再压缩；最后“保底”极限压缩（quality≈60）
+  - 如果发生压缩/转码，最终扩展名会改为 `.webp`；SVG 不参与压缩与改码
+- 进度与日志
+  - 使用优雅的命令行进度动画显示当前下载项目与累计进度
+  - 处理完成后在输出目录生成 `image-log-*.txt`，记录成功/失败、尺寸变化与汇总统计
+
+## 常见问答
+
+- 已有本地图片会被重复处理吗？不会，工具仅处理 `http` 链接。
+- 动图是否保留？在支持的情况下，WebP 保留原始 GIF/APNG 的动画（由 `sharp` 处理）。
+- 我能调整并发或压缩阈值吗？可以，修改源码中的常量后重新构建：
+  - 并发与大图阈值：[`Semaphore.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/Semaphore.ts)
+  - 压缩目标与质量：[`imageCompression.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/imageCompression.ts)
+
+## 代码入口与关键模块
+
+- CLI 入口与交互：[`main.ts`](file:///c:/Users/37524/Desktop/md-img-pull/main.ts)
+- Markdown 解析与图片节点收集：[`processSingleMarkdown.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/processSingleMarkdown.ts)
+- 下载、本地化与重写：[`downloader.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/downloader.ts)
+- 并发控制（信号量）：[`Semaphore.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/Semaphore.ts)
+- 下载进度动画：[`downloadProgress.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/downloadProgress.ts)
+- 处理日志管理：[`imageLog.ts`](file:///c:/Users/37524/Desktop/md-img-pull/utils/imageLog.ts)
+
+## 构建与发布
+
+- 使用 `esbuild` 打包为 CJS，并通过 `bin` 暴露命令 `md-img-p`
+- 打包脚本：`pnpm build`
+- 包配置与入口：[`package.json`](file:///c:/Users/37524/Desktop/md-img-pull/package.json)
+
+## 许可
+
+ISC License

package/dist/main.cjs

@@ -30846,64 +30846,74 @@ var DownloadProgressManager = class {
 };
 var downloadProgress = new DownloadProgressManager();
 
-// utils/imageCompression.ts
-var SHARP_OPTIONS = {
-  animated: true,
-  limitInputPixels: false,
-  sequentialRead: true
-};
-var DynamicDots = class {
-  timer = null;
-  dots = "";
-  direction = 1;
-  // 1 = 增加, -1 = 减少
-  spinner;
-  baseText;
-  constructor(spinner, baseText) {
-    this.spinner = spinner;
-    this.baseText = baseText;
-  }
+// utils/compressionProgress.ts
+var CompressionProgressManager = class {
+  spinner = null;
+  activeCount = 0;
+  // 当前正在压缩的任务数
+  currentTask = "";
+  // 当前显示的任务信息
   /**
-   * 开始动画
-   * @param interval 更新间隔（毫秒），默认 300ms
+   * 开始一个压缩任务
+   * @param taskInfo 任务信息（如 "10.81MB → 转换为 WebP"）
+   * @returns 更新函数，用于更新当前任务的进度
    */
-  start(interval = 300) {
-    this.updateText();
-    this.timer = setInterval(() => {
-      if (this.direction === 1) {
-        this.dots += ".";
-        if (this.dots.length >= 3) this.direction = -1;
-      } else {
-        this.dots = this.dots.slice(0, -1);
-        if (this.dots.length <= 0) this.direction = 1;
+  start(taskInfo) {
+    this.activeCount++;
+    if (this.activeCount === 1) {
+      downloadProgress.pause();
+      this.currentTask = taskInfo;
+      this.spinner = ora({
+        text: `\u538B\u7F29\u4E2D: ${taskInfo}`,
+        spinner: "dots",
+        color: "yellow"
+      }).start();
+    }
+    const updateFn = (newInfo) => {
+      if (this.spinner && this.currentTask === taskInfo) {
+        this.currentTask = newInfo;
+        this.spinner.text = `\u538B\u7F29\u4E2D: ${newInfo}`;
       }
-      this.updateText();
-    }, interval);
-  }
-  /**
-   * 更新显示文字
-   */
-  updateText() {
-    const paddedDots = this.dots.padEnd(3, " ");
-    this.spinner.text = `${this.baseText}${paddedDots}`;
+    };
+    return updateFn;
   }
   /**
-   * 更新基础文字（不包含省略号）
+   * 完成一个压缩任务
+   * @param successMsg 成功消息
    */
-  setBaseText(text4) {
-    this.baseText = text4;
-    this.updateText();
+  complete(successMsg) {
+    this.activeCount--;
+    if (this.activeCount === 0 && this.spinner) {
+      this.spinner.succeed(successMsg);
+      this.spinner = null;
+      downloadProgress.resume();
+    }
   }
   /**
-   * 停止动画
+   * 压缩任务失败
+   * @param errorMsg 错误消息
    */
-  stop() {
-    if (this.timer) {
-      clearInterval(this.timer);
-      this.timer = null;
+  fail(errorMsg) {
+    this.activeCount--;
+    if (this.activeCount === 0 && this.spinner) {
+      this.spinner.fail(errorMsg);
+      this.spinner = null;
+      downloadProgress.resume();
     }
   }
 };
+var compressionProgress = new CompressionProgressManager();
+
+// utils/imageCompression.ts
+var SHARP_OPTIONS = {
+  animated: true,
+  limitInputPixels: false,
+  sequentialRead: true
+};
+async function convertToWebp(inputBuffer) {
+  const image2 = (0, import_sharp.default)(inputBuffer, SHARP_OPTIONS);
+  return await image2.webp({ quality: 80, effort: 6 }).toBuffer();
+}
 async function compressImage(inputBuffer) {
   const MAX_SIZE = 10 * 1024 * 1024;
   const image2 = (0, import_sharp.default)(inputBuffer, SHARP_OPTIONS);
@@ -30912,41 +30922,24 @@ async function compressImage(inputBuffer) {
     return inputBuffer;
   }
   const originalSize = (inputBuffer.length / 1024 / 1024).toFixed(2);
-  downloadProgress.pause();
-  const spinner = ora({
-    text: `\u538B\u7F29\u4E2D: ${originalSize}MB \u2192 \u8F6C\u6362\u4E3A WebP`,
-    spinner: "dots",
-    color: "yellow"
-  }).start();
-  const dynamicDots = new DynamicDots(
-    spinner,
-    `\u538B\u7F29\u4E2D: ${originalSize}MB \u2192 \u8F6C\u6362\u4E3A WebP`
-  );
-  dynamicDots.start(300);
+  const taskInfo = `${originalSize}MB \u2192 \u8F6C\u6362\u4E3A WebP`;
+  const updateProgress = compressionProgress.start(taskInfo);
   try {
     let currentBuffer = await image2.webp({ quality: 80, effort: 6 }).toBuffer();
     if (currentBuffer.length > MAX_SIZE) {
-      dynamicDots.setBaseText(
-        `\u538B\u7F29\u4E2D: ${originalSize}MB \u2192 \u7F29\u5C0F\u5206\u8FA8\u7387\u81F3 2560px`
-      );
+      updateProgress(`${originalSize}MB \u2192 \u7F29\u5C0F\u5206\u8FA8\u7387\u81F3 2560px`);
       currentBuffer = await (0, import_sharp.default)(inputBuffer, SHARP_OPTIONS).resize(2560, void 0, { withoutEnlargement: true }).webp({ quality: 75 }).toBuffer();
     }
     if (currentBuffer.length > MAX_SIZE) {
-      dynamicDots.setBaseText(
-        `\u538B\u7F29\u4E2D: ${originalSize}MB \u2192 \u6781\u9650\u538B\u7F29 (quality: 60)`
-      );
+      updateProgress(`${originalSize}MB \u2192 \u6781\u9650\u538B\u7F29 (quality: 60)`);
       currentBuffer = await (0, import_sharp.default)(currentBuffer, SHARP_OPTIONS).webp({ quality: 60 }).toBuffer();
     }
-    dynamicDots.stop();
     const finalSize = (currentBuffer.length / 1024 / 1024).toFixed(2);
-    spinner.succeed(`\u538B\u7F29\u5B8C\u6210: ${originalSize}MB \u2192 ${finalSize}MB`);
+    compressionProgress.complete(`\u538B\u7F29\u5B8C\u6210: ${originalSize}MB \u2192 ${finalSize}MB`);
     return currentBuffer;
   } catch (error2) {
-    dynamicDots.stop();
-    spinner.fail(`\u538B\u7F29\u5931\u8D25: ${error2}`);
+    compressionProgress.fail(`\u538B\u7F29\u5931\u8D25: ${error2}`);
     throw error2;
-  } finally {
-    downloadProgress.resume();
   }
 }
 
@@ -31124,19 +31117,42 @@ var mimeMap = {
   "image/jpeg": ".jpg",
   "image/png": ".png",
   "image/gif": ".gif",
-  "image/svg+xml": ".svg"
+  "image/svg+xml": ".svg",
+  "image/webp": ".webp"
 };
 async function downloadAndLocalize(node2, assetDir) {
   const currentUrl = node2.url;
   if (!currentUrl) return;
-  await downloadSemaphore.acquire(1);
-  let heldPermits = 1;
+  let requiredPermits = 1;
+  try {
+    const headResponse = await axios_default.head(currentUrl, { timeout: 5e3 });
+    const contentLength = parseInt(
+      headResponse.headers["content-length"] || "0",
+      10
+    );
+    if (contentLength > LARGE_IMAGE_THRESHOLD) {
+      requiredPermits = TOTAL_PERMITS;
+    }
+  } catch {
+  }
+  await downloadSemaphore.acquire(requiredPermits);
+  let heldPermits = requiredPermits;
   try {
     const hash = import_crypto2.default.createHash("md5").update(currentUrl).digest("hex");
-    const response = await axios_default.get(currentUrl, {
-      responseType: "arraybuffer",
-      timeout: 1e4
-    });
+    const controller = new AbortController();
+    const downloadTimeout = 6e4;
+    const timeoutId = setTimeout(() => controller.abort(), downloadTimeout);
+    let response;
+    try {
+      response = await axios_default.get(currentUrl, {
+        responseType: "arraybuffer",
+        timeout: 1e4,
+        // 连接超时 10 秒
+        signal: controller.signal
+      });
+    } finally {
+      clearTimeout(timeoutId);
+    }
     const contentType = response.headers["content-type"];
     let finalExt = mimeMap[contentType];
     if (!finalExt) {
@@ -31146,14 +31162,12 @@ async function downloadAndLocalize(node2, assetDir) {
     }
     let imageData = Buffer.from(response.data);
     const MAX_SIZE = 10 * 1024 * 1024;
-    if (imageData.length > MAX_SIZE && contentType !== "image/svg+xml") {
-      if (imageData.length > LARGE_IMAGE_THRESHOLD) {
-        await downloadSemaphore.acquire(TOTAL_PERMITS - 1);
-        heldPermits = TOTAL_PERMITS;
+    if (contentType !== "image/svg+xml") {
+      if (imageData.length > MAX_SIZE) {
+        imageData = await compressImage(imageData);
+      } else {
+        imageData = await convertToWebp(imageData);
       }
-      imageData = await compressImage(imageData);
-    }
-    if (imageData.length !== response.data.byteLength) {
       finalExt = ".webp";
     }
     const fileName = `${hash}${finalExt}`;

package/package.json

@@ -1,51 +1,51 @@
-{
-  "name": "@duoyun/md-img-pull",
-  "version": "1.0.0",
-  "description": "Markdown 媒体资源本地化与压缩工具",
-  "main": "./dist/main.cjs",
-  "repository": {
-    "type": "git",
-    "url": "git+https://github.com/518luck/md-img-pull.git"
-  },
-  "homepage": "https://github.com/518luck/md-img-pull#readme",
-  "publishConfig": {
-    "access": "public",
-    "registry": "https://registry.npmjs.org/"
-  },
-  "bin": {
-    "md-img-p": "dist/main.cjs"
-  },
-  "type": "module",
-  "files": [
-    "dist"
-  ],
-  "scripts": {
-    "build": "esbuild main.ts --bundle --platform=node --format=cjs --outfile=dist/main.cjs --external:sharp --banner:js=\"#!/usr/bin/env node\"",
-    "test": "echo \"Error: no test specified\" && exit 1"
-  },
-  "keywords": [],
-  "author": "",
-  "license": "ISC",
-  "packageManager": "pnpm@10.28.0",
-  "devDependencies": {
-    "@types/fs-extra": "^11.0.4",
-    "@types/node": "^25.2.1",
-    "esbuild": "^0.27.3",
-    "ts-node": "^10.9.2",
-    "typescript": "^5.9.3"
-  },
-  "dependencies": {
-    "@types/mdast": "^4.0.4",
-    "axios": "^1.13.4",
-    "chalk": "^5.6.2",
-    "crypto": "^1.0.1",
-    "fs-extra": "^11.3.3",
-    "ora": "^9.3.0",
-    "p-limit": "^7.3.0",
-    "remark-parse": "^11.0.0",
-    "remark-stringify": "^11.0.0",
-    "sharp": "^0.34.5",
-    "unified": "^11.0.5",
-    "unist-util-visit": "^5.1.0"
-  }
-}
+{
+  "name": "@duoyun/md-img-pull",
+  "version": "1.1.0",
+  "description": "Markdown 媒体资源本地化与压缩工具",
+  "main": "./dist/main.cjs",
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/518luck/md-img-pull.git"
+  },
+  "homepage": "https://github.com/518luck/md-img-pull#readme",
+  "publishConfig": {
+    "access": "public",
+    "registry": "https://registry.npmjs.org/"
+  },
+  "bin": {
+    "md-img-p": "dist/main.cjs"
+  },
+  "type": "module",
+  "files": [
+    "dist"
+  ],
+  "scripts": {
+    "build": "esbuild main.ts --bundle --platform=node --format=cjs --outfile=dist/main.cjs --external:sharp --banner:js=\"#!/usr/bin/env node\"",
+    "test": "echo \"Error: no test specified\" && exit 1"
+  },
+  "keywords": [],
+  "author": "",
+  "license": "ISC",
+  "packageManager": "pnpm@10.28.0",
+  "devDependencies": {
+    "@types/fs-extra": "^11.0.4",
+    "@types/node": "^25.2.1",
+    "esbuild": "^0.27.3",
+    "ts-node": "^10.9.2",
+    "typescript": "^5.9.3"
+  },
+  "dependencies": {
+    "@types/mdast": "^4.0.4",
+    "axios": "^1.13.4",
+    "chalk": "^5.6.2",
+    "crypto": "^1.0.1",
+    "fs-extra": "^11.3.3",
+    "ora": "^9.3.0",
+    "p-limit": "^7.3.0",
+    "remark-parse": "^11.0.0",
+    "remark-stringify": "^11.0.0",
+    "sharp": "^0.34.5",
+    "unified": "^11.0.5",
+    "unist-util-visit": "^5.1.0"
+  }
+}