smart-image-scraper-mcp 2.11.3 → 2.12.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "smart-image-scraper-mcp",
-  "version": "2.11.3",
+  "version": "2.12.0",
   "description": "全网智能图片抓取 MCP 服务器 - 支持 Bing/Google 图片搜索、验证和下载",
   "main": "src/index.js",
   "type": "module",

package/src/infrastructure/logger.js

@@ -134,8 +134,11 @@ class Logger {
 
     const formatted = this._format(level, message, data);
     
-    // 输出到 stderr
-    console.error(formatted);
+    // 输出到 stderr（使用 process.stderr.write 避免 console.error 阻塞 MCP stdio）
+    // 仅输出 WARN 及以上级别到 stderr，减少 IO 压力
+    if (level >= LogLevel.WARN) {
+      process.stderr.write(formatted + '\n');
+    }
     
     // 输出到文件（异步写入，避免阻塞事件循环）
     if (this.logFile) {
@@ -204,7 +207,7 @@ class Logger {
   }
 }
 
-// 根据环境变量确定日志级别
-const defaultLevel = process.env.NODE_ENV === 'production' ? LogLevel.INFO : LogLevel.DEBUG;
+// MCP 模式下默认 WARN 级别，避免 stderr 输出阻塞 stdio 通信
+const defaultLevel = LogLevel[process.env.LOG_LEVEL?.toUpperCase()] ?? LogLevel.WARN;
 export const logger = new Logger({ level: defaultLevel });
 export default logger;

package/src/services/fileManager.js

@@ -160,11 +160,19 @@ export class FileManager {
         return { success: false, url, error: 'Malformed URL' };
       }
 
+      // 为防盗链域名添加 Referer 头，绕过防盗链检测
+      const downloadHeaders = {};
+      try {
+        const parsed = new URL(url);
+        downloadHeaders['Referer'] = `${parsed.protocol}//${parsed.hostname}/`;
+      } catch { /* ignore */ }
+
       response = await httpClient.get(url, {
         responseType: 'stream',
         timeout: 20000, // 连接超时20秒
         maxContentLength: 50 * 1024 * 1024, // 最大50MB
         maxBodyLength: 50 * 1024 * 1024,
+        headers: downloadHeaders,
       });
 
       if (response.status !== 200) {

package/src/services/linkValidator.js

@@ -11,11 +11,90 @@ import config from '../config/index.js';
 // 使用配置中的并发数，避免硬编码与配置不一致
 const globalValidateLimit = pLimit(config.MAX_VALIDATE_CONCURRENCY);
 
+// 已知有防盗链保护的域名列表
+// 这些域名的图片在浏览器直接打开会返回 403 或替换图
+const HOTLINK_PROTECTED_DOMAINS = [
+  'pic.huitu.com',
+  'img.shetu66.com',
+  'pic.nximg.cn',
+  'gd-hbimg.huaban.com',
+  'hbimg.huaban.com',
+  'img.zcool.cn',
+  'img.zcool.com',
+  'pic1.zhimg.com',
+  'pic2.zhimg.com',
+  'pic3.zhimg.com',
+  'pic4.zhimg.com',
+  'picx.zhimg.com',
+  'img.alicdn.com',
+  'img.taobao.com',
+  'gw.alicdn.com',
+  'cbu01.alicdn.com',
+  'img.pconline.com.cn',
+  'img.zol-img.com.cn',
+  'p0.meituan.net',
+  'p1.meituan.net',
+  'img.doubanio.com',
+  'img1.doubanio.com',
+  'img2.doubanio.com',
+  'img3.doubanio.com',
+  'img9.doubanio.com',
+  'ww1.sinaimg.cn',
+  'ww2.sinaimg.cn',
+  'ww3.sinaimg.cn',
+  'ww4.sinaimg.cn',
+  'wx1.sinaimg.cn',
+  'wx2.sinaimg.cn',
+  'wx3.sinaimg.cn',
+  'wx4.sinaimg.cn',
+  'tvax1.sinaimg.cn',
+  'tvax2.sinaimg.cn',
+  'tvax3.sinaimg.cn',
+  'tvax4.sinaimg.cn',
+  'tva1.sinaimg.cn',
+  'tva2.sinaimg.cn',
+  'tva3.sinaimg.cn',
+  'tva4.sinaimg.cn',
+  'cdn.pixabay.com',
+  'images.unsplash.com',
+  'img.freepik.com',
+];
+
 export class LinkValidator {
   constructor() {
     this.limit = globalValidateLimit;
   }
 
+  /**
+   * 检测 URL 是否有防盗链保护
+   * @param {string} url - 图片URL
+   * @returns {boolean} true 表示有防盗链
+   */
+  isHotlinkProtected(url) {
+    try {
+      const hostname = new URL(url).hostname.toLowerCase();
+      return HOTLINK_PROTECTED_DOMAINS.some(domain => 
+        hostname === domain || hostname.endsWith('.' + domain)
+      );
+    } catch {
+      return false;
+    }
+  }
+
+  /**
+   * 获取防盗链 URL 对应的 Referer
+   * @param {string} url - 图片URL
+   * @returns {string|null} Referer URL
+   */
+  getRefererForUrl(url) {
+    try {
+      const parsed = new URL(url);
+      return `${parsed.protocol}//${parsed.hostname}/`;
+    } catch {
+      return null;
+    }
+  }
+
   /**
    * 验证 URL 格式
    * @param {string} url - URL字符串

package/src/services/orchestrator.js

@@ -159,15 +159,22 @@ export class Orchestrator {
       // 检查是否已中止
       if (signal?.aborted) throw new Error('操作已取消');
 
+      // link 模式：过滤掉有防盗链保护的 URL（用户无法直接在浏览器中打开）
+      const filteredRawUrls = rawUrls.filter(url => !this.linkValidator.isHotlinkProtected(url));
+      const hotlinkCount = rawUrls.length - filteredRawUrls.length;
+      if (hotlinkCount > 0) {
+        logger.warn(`[HOTLINK] "${keyword}" - filtered ${hotlinkCount} hotlink-protected URLs`);
+      }
+
       if (fastMode) {
         // fast 模式：直接使用搜索结果，不验证
-        resultUrls = rawUrls.slice(0, count);
+        resultUrls = filteredRawUrls.slice(0, count);
         qualityModeLabel = '快速模式（跳过验证）';
         logger.info(`[FAST] "${keyword}" - ${resultUrls.length} URLs`);
       } else {
         // balanced 或 high 模式：验证链接（限制验证数量避免超时）
-        const maxValidate = Math.min(rawUrls.length, count * 2 + 5);
-        const urlsToValidate = rawUrls.slice(0, maxValidate);
+        const maxValidate = Math.min(filteredRawUrls.length, count * 2 + 5);
+        const urlsToValidate = filteredRawUrls.slice(0, maxValidate);
         const { valid } = await this.linkValidator.validateMany(urlsToValidate, {
           fetchQuality: prioritizeQuality,
           sortByQuality: prioritizeQuality,
@@ -198,6 +205,7 @@ export class Orchestrator {
         success: true,
         mode: 'link',
         totalSearched: rawUrls.length,
+        hotlinkFiltered: hotlinkCount,
         urls: resultUrls,
         count: resultUrls.length,
         qualityMode,
@@ -548,6 +556,9 @@ export class Orchestrator {
 
       if (r.mode === 'link') {
         lines.push(`- 搜索到: ${r.totalSearched || 0} 张`);
+        if (r.hotlinkFiltered > 0) {
+          lines.push(`- 防盗链过滤: ${r.hotlinkFiltered} 张`);
+        }
         lines.push(`- 质量模式: ${r.qualityModeLabel || '快速模式'}`);
         lines.push(`- 返回: ${r.count || 0} 张`);
         lines.push(`- 耗时: ${(r.duration / 1000).toFixed(2)}秒`);