scm-crawler-mcp-server 1.0.0__tar.gz

scm_crawler_mcp_server-1.0.0/.env

@@ -0,0 +1,5 @@
+OSS_ENDPOINT=https://oss-cn-shanghai.aliyuncs.com
+OSS_ACCESS_KEY_ID=LTAI5tAe9gApiEsUh1HnpFzH
+OSS_ACCESS_KEY_SECRET=dwNTjVYxUhNtFGTlI5A52SdzCFteC
+OSS_BUCKET_NAME=gi-gicnisys-dev
+OSS_PREFIX=scm-reports/

scm_crawler_mcp_server-1.0.0/PKG-INFO

@@ -0,0 +1,94 @@
+Metadata-Version: 2.5
+Name: scm-crawler-mcp-server
+Version: 1.0.0
+Summary: 中化采购平台公告抓取 MCP 服务
+Requires-Python: >=3.10
+Requires-Dist: fastmcp>=0.2.0
+Requires-Dist: openpyxl>=3.1.0
+Requires-Dist: oss2>=2.18.0
+Description-Content-Type: text/markdown
+
+# 中化采购平台公告抓取 MCP 服务
+
+一个基于 [FastMCP](https://github.com/jlowin/fastmcp) 的 MCP 服务，用于抓取中化采购供应链平台（scm.esinochem.com）的公告信息，按关键字筛选近 7 天数据，生成 Excel 并上传至阿里云 OSS，返回下载链接。
+
+## 功能
+
+- 抓取三个类别：招标公告、资格预审公告、采购公告
+- 按标题搜索关键字：外包、派遣、招聘、猎头、培训
+- 自动去重，保留命中关键字列表
+- 过滤近 7 天发布且需求类型为"服务"的公告
+- 生成格式化的多 Sheet Excel 文件
+- 上传至阿里云 OSS，返回 7 天有效的签名下载链接
+- 作为 MCP 工具 `fetch_notices` 供智能体调用
+
+## 安装
+
+本项目通过 PyPI 发布，可直接使用 `uvx` 运行：
+
+```bash
+uvx scm-crawler-mcp-server
+```
+
+或在百炼 MCP 配置中引用：
+
+```json
+{
+  "command": "uvx",
+  "args": ["scm-crawler-mcp-server"]
+}
+```
+
+## 环境变量
+
+运行前需配置以下 OSS 环境变量（百炼部署时通过 MCP 配置的 `env` 注入）：
+
+| 变量名 | 说明 | 示例 |
+| -------- | ------ | ------ |
+| `OSS_ENDPOINT` | OSS 端点（不带协议前缀） | `oss-cn-shanghai.aliyuncs.com` |
+| `OSS_ACCESS_KEY_ID` | 阿里云 AccessKey ID | `LTAI5t...` |
+| `OSS_ACCESS_KEY_SECRET` | 阿里云 AccessKey Secret | `dwNTj...` |
+| `OSS_BUCKET_NAME` | Bucket 名称 | `gi-gicnisys-dev` |
+| `OSS_PREFIX` | 上传目录前缀（可选） | `scm-reports/` |
+
+## 使用
+
+在支持 MCP 的客户端（如 Cline、百炼智能体）中调用工具 `fetch_notices`，无参数，返回 JSON：
+
+```json
+{
+  "status": "success",
+  "file_name": "中化采购平台_公告关键字搜索结果_近7天_2026-09-14.xlsx",
+  "oss_url": "https://...",
+  "date": "2026-09-14",
+  "categories": {
+    "招标公告": {"count": 3, "keyword_hits": {"外包": 2, "培训": 1}},
+    "采购公告": {"count": 5, "keyword_hits": {"招聘": 4, "培训": 1}}
+  }
+}
+```
+
+## 本地开发
+
+```bash
+# 创建虚拟环境
+uv venv
+source .venv/bin/activate  # Windows: .venv\Scripts\activate
+
+# 安装依赖
+uv add fastmcp openpyxl oss2
+
+# 运行服务
+uv run python -m scm_crawler_mcp_server.server
+```
+
+## 依赖
+
+- Python >= 3.10
+- fastmcp >= 0.2.0
+- openpyxl >= 3.1.0
+- oss2 >= 2.18.0
+
+## 许可证
+
+MIT

scm_crawler_mcp_server-1.0.0/README.md

@@ -0,0 +1,84 @@
+# 中化采购平台公告抓取 MCP 服务
+
+一个基于 [FastMCP](https://github.com/jlowin/fastmcp) 的 MCP 服务，用于抓取中化采购供应链平台（scm.esinochem.com）的公告信息，按关键字筛选近 7 天数据，生成 Excel 并上传至阿里云 OSS，返回下载链接。
+
+## 功能
+
+- 抓取三个类别：招标公告、资格预审公告、采购公告
+- 按标题搜索关键字：外包、派遣、招聘、猎头、培训
+- 自动去重，保留命中关键字列表
+- 过滤近 7 天发布且需求类型为"服务"的公告
+- 生成格式化的多 Sheet Excel 文件
+- 上传至阿里云 OSS，返回 7 天有效的签名下载链接
+- 作为 MCP 工具 `fetch_notices` 供智能体调用
+
+## 安装
+
+本项目通过 PyPI 发布，可直接使用 `uvx` 运行：
+
+```bash
+uvx scm-crawler-mcp-server
+```
+
+或在百炼 MCP 配置中引用：
+
+```json
+{
+  "command": "uvx",
+  "args": ["scm-crawler-mcp-server"]
+}
+```
+
+## 环境变量
+
+运行前需配置以下 OSS 环境变量（百炼部署时通过 MCP 配置的 `env` 注入）：
+
+| 变量名 | 说明 | 示例 |
+| -------- | ------ | ------ |
+| `OSS_ENDPOINT` | OSS 端点（不带协议前缀） | `oss-cn-shanghai.aliyuncs.com` |
+| `OSS_ACCESS_KEY_ID` | 阿里云 AccessKey ID | `LTAI5t...` |
+| `OSS_ACCESS_KEY_SECRET` | 阿里云 AccessKey Secret | `dwNTj...` |
+| `OSS_BUCKET_NAME` | Bucket 名称 | `gi-gicnisys-dev` |
+| `OSS_PREFIX` | 上传目录前缀（可选） | `scm-reports/` |
+
+## 使用
+
+在支持 MCP 的客户端（如 Cline、百炼智能体）中调用工具 `fetch_notices`，无参数，返回 JSON：
+
+```json
+{
+  "status": "success",
+  "file_name": "中化采购平台_公告关键字搜索结果_近7天_2026-09-14.xlsx",
+  "oss_url": "https://...",
+  "date": "2026-09-14",
+  "categories": {
+    "招标公告": {"count": 3, "keyword_hits": {"外包": 2, "培训": 1}},
+    "采购公告": {"count": 5, "keyword_hits": {"招聘": 4, "培训": 1}}
+  }
+}
+```
+
+## 本地开发
+
+```bash
+# 创建虚拟环境
+uv venv
+source .venv/bin/activate  # Windows: .venv\Scripts\activate
+
+# 安装依赖
+uv add fastmcp openpyxl oss2
+
+# 运行服务
+uv run python -m scm_crawler_mcp_server.server
+```
+
+## 依赖
+
+- Python >= 3.10
+- fastmcp >= 0.2.0
+- openpyxl >= 3.1.0
+- oss2 >= 2.18.0
+
+## 许可证
+
+MIT

scm_crawler_mcp_server-1.0.0/pyproject.toml

@@ -0,0 +1,19 @@
+[project]
+name = "scm-crawler-mcp-server"                 # 包名（PyPI 上必须唯一）
+version = "1.0.0"                               # 版本号（每次更新必须递增）
+description = "中化采购平台公告抓取 MCP 服务"    # 包描述
+readme = "README.md"                            # README 文件
+requires-python = ">=3.10"                      # Python 版本要求（百炼推荐 3.10）
+
+dependencies = [                                # 运行时依赖
+    "fastmcp>=0.2.0",                           # MCP 框架
+    "openpyxl>=3.1.0",                          # Excel 生成
+    "oss2>=2.18.0",                             # 阿里云 OSS SDK
+]
+
+[project.scripts]                               # 声明命令行入口（百炼 uvx 调用此入口）
+scm-crawler-mcp-server = "scm_crawler_mcp_server:main"  # 入口函数
+
+[build-system]                                  # 构建系统配置
+requires = ["hatchling"]                        # 使用 hatchling 构建
+build-backend = "hatchling.build"               # 构建后端

scm_crawler_mcp_server-1.0.0/src/scm_crawler_mcp_server/__init__.py

@@ -0,0 +1,7 @@
+# src/scm_crawler_mcp_server/__init__.py
+
+from .server import run       # 从 server.py 导入 run 函数
+
+def main() -> None:
+    """百炼 uvx 启动入口"""
+    run()                      # 调用 run() 启动 MCP 服务

scm_crawler_mcp_server-1.0.0/src/scm_crawler_mcp_server/server.py

@@ -0,0 +1,330 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+中化采购平台公告抓取 MCP Server
+功能：抓取平台公告 → 生成 Excel → 上传 OSS → 返回下载链接
+"""
+
+import json                                                     # JSON 序列化
+import os                                                       # 环境变量读取
+import sys                                                      # 标准错误输出（日志）
+import urllib.request                                           # HTTP 请求
+import urllib.error                                             # HTTP 异常处理
+from datetime import datetime, timedelta                        # 日期计算
+import uuid                                                     # 生成唯一文件名
+import oss2                                                     # 阿里云 OSS SDK
+from fastmcp import FastMCP                                     # MCP 框架
+
+
+# ==================== 全局配置 ====================
+
+KEYWORDS = ["外包", "派遣", "招聘", "猎头", "培训"]              # 搜索关键字
+
+CATEGORIES = [                                                  # 公告类别
+    ("招标公告", "01", "Bid"),                                  # 招标公告
+    ("资格预审公告", "02", "Bid"),                              # 资格预审公告
+    ("采购公告", "01", "UnBid"),                                # 采购公告
+]
+
+API_URL = "https://scm.esinochem.com/gateway/obs/business/notice/outer/page/queryPageList"
+
+PAGE_SIZE = 50                                                  # 每页记录数
+REQUEST_TIMEOUT = 40                                            # 请求超时（秒）
+MAX_RETRIES = 3                                                 # 最大重试次数
+DAYS = 7                                                        # 抓取近 N 天
+
+
+# ==================== 爬虫函数 ====================
+
+def post_json(payload, retries=MAX_RETRIES):
+    """向平台接口发送 POST 请求，返回 JSON 字典。"""
+    data = json.dumps(payload, ensure_ascii=False).encode("utf-8")  # 转为 UTF-8 字节流
+    req = urllib.request.Request(
+        API_URL,
+        data=data,
+        headers={
+            "Content-Type": "application/json;charset=UTF-8",   # JSON 格式
+            "User-Agent": "Mozilla/5.0 ... Chrome/120.0",       # 伪装浏览器
+        },
+        method="POST",
+    )
+    last_err = None
+    for i in range(retries):                                    # 重试循环
+        try:
+            with urllib.request.urlopen(req, timeout=REQUEST_TIMEOUT) as resp:
+                return json.loads(resp.read().decode("utf-8"))  # 解析响应
+        except Exception as e:
+            last_err = e
+            print(f"  [WARN] 请求失败(第{i+1}次): {e}", file=sys.stderr)
+    raise RuntimeError(f"接口请求连续失败 {retries} 次: {last_err}")
+
+
+def crawl_keyword(category_name, notice_type, plate_type, keyword):
+    """按类别+关键字抓取全部页，返回记录列表。"""
+    records = []
+    page = 0
+    while True:
+        start = page * PAGE_SIZE                                # 分页偏移
+        payload = {
+            "start": start,
+            "limit": PAGE_SIZE,
+            "currentPage": page + 1,
+            "model": {
+                "noticeType": notice_type,                      # 公告类型
+                "plateType": plate_type,                        # 板块类型
+                "title": keyword,                               # 标题关键字
+            },
+        }
+        j = post_json(payload)
+        if not j.get("status") or not j.get("data"):
+            raise RuntimeError(f"接口返回异常: {json.dumps(j, ensure_ascii=False)[:200]}")
+        data = j["data"]
+        total = int(data.get("totalCount", 0))                  # 总条数
+        root = data.get("root") or []                           # 当前页记录
+        records.extend(root)
+        print(f"  [类别:{category_name} 关键字:{keyword}] 第{page+1}页, 累计{len(records)}/{total}", file=sys.stderr)
+        if start + PAGE_SIZE >= total or not root:              # 已抓完
+            break
+        page += 1
+    return records
+
+
+def collect():
+    """抓取全部类别×关键字，按 noticeId 去重。"""
+    result = {}
+    for cat_name, notice_type, plate_type in CATEGORIES:
+        rows = {}
+        for kw in KEYWORDS:
+            for r in crawl_keyword(cat_name, notice_type, plate_type, kw):
+                nid = r.get("noticeId")                         # 唯一标识
+                if not nid:
+                    continue
+                if nid in rows:                                 # 去重：合并关键字
+                    if kw not in rows[nid]["keywords"]:
+                        rows[nid]["keywords"].append(kw)
+                else:
+                    rows[nid] = {                               # 首次记录
+                        "title": r.get("title") or "",
+                        "keywords": [kw],
+                        "noticeTypeName": r.get("noticeTypeName") or "",
+                        "purchaseMethodDesc": r.get("purchaseMethodDesc") or "",
+                        "requireTypeDesc": r.get("requireTypeDesc") or "",
+                        "purchaseCompanyName": r.get("purchaseCompanyName") or "",
+                        "buName": r.get("buName") or "",
+                        "createTimeStr": r.get("createTimeStr") or "",
+                        "endTimeStr": r.get("endTimeStr") or "",
+                        "noticeStatusDesc": r.get("noticeStatusDesc") or "",
+                        "noticeId": nid,
+                    }
+        result[cat_name] = rows
+        print(f"类别[{cat_name}] 去重后 {len(rows)} 条", file=sys.stderr)
+    return result
+
+
+# ==================== Excel 生成 ====================
+
+def build_excel_bytes(cat_rows):
+    """生成 Excel 字节流，返回 (字节流, 统计信息, 日期字符串)。"""
+    from openpyxl import Workbook                               # 工作簿
+    from openpyxl.styles import Font, PatternFill, Alignment, Border, Side
+    from openpyxl.utils import get_column_letter                # 列号转字母
+    from io import BytesIO                                      # 内存字节流
+
+    TODAY = datetime.now()
+    THRESHOLD = (TODAY - timedelta(days=DAYS - 1)).strftime("%Y-%m-%d")  # 近 N 天起始
+    TODAY_STR = TODAY.strftime("%Y-%m-%d")
+
+    wb = Workbook()                                             # 新建工作簿
+
+    # -------- 样式 --------
+    hdr_font = Font(name="微软雅黑", size=10, bold=True, color="FFFFFF")  # 表头白字
+    hdr_fill = PatternFill("solid", fgColor="42506B")           # 表头深蓝底
+    hdr_align = Alignment(horizontal="center", vertical="center")
+    body_font = Font(name="微软雅黑", size=10)
+    stripe_fill = PatternFill("solid", fgColor="F2F6FC")        # 斑马纹
+    center = Alignment(horizontal="center", vertical="center")
+    left = Alignment(horizontal="left", vertical="center")
+    thin = Side(style="thin", color="C0C4CC")
+    border = Border(left=thin, right=thin, top=thin, bottom=thin)
+
+    headers = ["序号", "公告标题", "命中关键词", "公告类型", "采购方式", "需求类型",
+               "采购单位", "需求单位", "发布日期", "截止日期", "公告状态", "公告链接"]
+    widths = [5, 55, 12, 12, 8, 8, 16, 22, 11, 11, 10, 50]
+
+    stats = {}                                                  # 各类别统计
+
+    # -------- 每个类别生成一个 Sheet --------
+    for idx, (cat_name, _n, _p) in enumerate(CATEGORIES):
+        # 过滤：近 N 天 + 需求类型为 "服务"
+        rows = [r for r in cat_rows[cat_name].values()
+                if r["createTimeStr"] and r["createTimeStr"] >= THRESHOLD
+                and r["requireTypeDesc"] == "服务"]
+        rows.sort(key=lambda r: r["createTimeStr"], reverse=True)  # 按日期倒序
+
+        kw_count = {kw: 0 for kw in KEYWORDS}
+        for r in rows:
+            for kw in r["keywords"]:
+                if kw in kw_count:
+                    kw_count[kw] += 1
+        stats[cat_name] = (len(rows), kw_count)
+
+        ws = wb.active if idx == 0 else wb.create_sheet()       # 首个用默认 Sheet
+        ws.title = cat_name
+        ws.append(headers)                                      # 写表头
+
+        for c in range(1, len(headers) + 1):                    # 表头样式
+            cell = ws.cell(row=1, column=c)
+            cell.font = hdr_font
+            cell.fill = hdr_fill
+            cell.alignment = hdr_align
+
+        for i, r in enumerate(rows, start=1):                   # 写数据行
+            link = "https://scm.esinochem.com/hpc/index.html#/content?noticeId=" + r["noticeId"]
+            ws.append([i, r["title"], ",".join(r["keywords"]), r["noticeTypeName"],
+                       r["purchaseMethodDesc"], r["requireTypeDesc"], r["purchaseCompanyName"],
+                       r["buName"], r["createTimeStr"], r["endTimeStr"],
+                       r["noticeStatusDesc"], link])
+            excel_row = i + 1
+            for c in range(1, len(headers) + 1):                # 正文样式
+                cell = ws.cell(row=excel_row, column=c)
+                cell.font = body_font
+                cell.border = border
+                cell.alignment = center if c not in (2, 12) else left
+                if excel_row % 2 == 0:
+                    cell.fill = stripe_fill
+            ws.cell(row=excel_row, column=12).hyperlink = link   # 可点击链接
+            ws.cell(row=excel_row, column=12).style = "Hyperlink"
+
+        for c, w in enumerate(widths, start=1):                 # 列宽
+            ws.column_dimensions[get_column_letter(c)].width = w
+        if rows:
+            ws.auto_filter.ref = f"A1:{get_column_letter(len(headers))}{len(rows)+1}"
+        ws.freeze_panes = "A2"                                  # 冻结首行
+
+    # -------- 搜索说明 Sheet --------
+    ws = wb.create_sheet("搜索说明")
+    notes = [
+        (f"中化采购供应链平台 - 公告关键字搜索结果(近{DAYS}天)", True),
+        ("", False),
+        ("数据来源: https://scm.esinochem.com/hpc/index.html#/notice", False),
+        (f"生成日期: {TODAY_STR}", False),
+        (f"搜索方式: 标题包含关键字(共{len(KEYWORDS)}个)", False),
+        (f"数据范围: 仅保留近{DAYS}天发布且需求类型为「服务」的公告 ({THRESHOLD} 至 {TODAY_STR})", False),
+        ("", False),
+    ]
+    for i, (txt, bold) in enumerate(notes, start=1):
+        cell = ws.cell(row=i, column=1, value=txt)
+        cell.font = Font(name="微软雅黑", size=13 if bold else 10, bold=bold)
+
+    head_row = len(notes) + 1                                   # 统计表头行
+    matrix = ["类别"] + KEYWORDS + ["命中人次(含交叉)", "去重后条数"]
+    for c, h in enumerate(matrix, start=1):
+        cell = ws.cell(row=head_row, column=c, value=h)
+        cell.font = hdr_font
+        cell.fill = hdr_fill
+        cell.alignment = hdr_align
+
+    r = head_row + 1
+    for cat_name, _n, _p in CATEGORIES:
+        n, kw_count = stats[cat_name]
+        ws.cell(row=r, column=1, value=cat_name).font = body_font
+        for c, kw in enumerate(KEYWORDS, start=2):
+            ws.cell(row=r, column=c, value=kw_count[kw]).font = body_font
+        ws.cell(row=r, column=len(KEYWORDS) + 2, value=sum(kw_count.values())).font = body_font
+        ws.cell(row=r, column=len(KEYWORDS) + 3, value=n).font = body_font
+        r += 1
+
+    ws.cell(row=r, column=1, value="总计").font = Font(name="微软雅黑", size=10, bold=True)
+    for c in range(2, len(KEYWORDS) + 4):                       # 合计行公式
+        col = get_column_letter(c)
+        cell = ws.cell(row=r, column=c)
+        cell.value = f"=SUM({col}{head_row+1}:{col}{r-1})"
+        cell.font = Font(name="微软雅黑", size=10, bold=True)
+
+    ws.column_dimensions["A"].width = 22
+    for c in range(2, len(KEYWORDS) + 4):
+        ws.column_dimensions[get_column_letter(c)].width = 11
+
+    bio = BytesIO()                                             # 写入内存
+    wb.save(bio)
+    bio.seek(0)
+    return bio.getvalue(), stats, TODAY_STR
+
+
+# ==================== OSS 上传 ====================
+
+def upload_to_oss(file_bytes, filename):
+    """上传字节流到 OSS，返回签名下载链接。"""
+    # 从环境变量读取（百炼部署时通过 MCP 配置的 env 注入）
+    endpoint = os.environ.get("OSS_ENDPOINT", "")
+    key_id = os.environ.get("OSS_ACCESS_KEY_ID", "")
+    key_secret = os.environ.get("OSS_ACCESS_KEY_SECRET", "")
+    bucket_name = os.environ.get("OSS_BUCKET_NAME", "")
+    prefix = os.environ.get("OSS_PREFIX", "")
+
+    if not all([endpoint, key_id, key_secret, bucket_name]):    # 校验必填项
+        raise RuntimeError("OSS 环境变量未完全配置")
+
+    # 去除协议前缀（oss2 只接受主机名）
+    if endpoint.startswith("http://"):
+        endpoint = endpoint[7:]
+    elif endpoint.startswith("https://"):
+        endpoint = endpoint[8:]
+
+    auth = oss2.Auth(key_id, key_secret)
+    bucket = oss2.Bucket(auth, endpoint, bucket_name)
+
+    if prefix and not prefix.endswith("/"):                     # 确保前缀以 / 结尾
+        prefix += "/"
+    object_key = f"{prefix}{datetime.now().strftime('%Y%m%d')}/{uuid.uuid4().hex}_{filename}"
+
+    bucket.put_object(object_key, file_bytes)                   # 上传
+    url = bucket.sign_url('GET', object_key, 7 * 24 * 3600)     # 7 天有效签名 URL
+    return url
+
+
+# ==================== MCP 服务 ====================
+
+mcp = FastMCP("scm-crawler-mcp-server")                         # 创建 MCP 实例
+
+
+@mcp.tool()                                                     # 注册工具
+def fetch_notices() -> str:
+    """
+    抓取中化采购平台公告，生成 Excel 并上传 OSS，返回下载链接。
+    """
+    try:
+        print("开始抓取...", file=sys.stderr)
+        cat_rows = collect()                                    # 1. 抓取
+        excel_bytes, stats, today_str = build_excel_bytes(cat_rows)  # 2. 生成 Excel
+
+        filename = f"中化采购平台_公告关键字搜索结果_近{DAYS}天_{today_str}.xlsx"
+        oss_url = upload_to_oss(excel_bytes, filename)          # 3. 上传 OSS
+        print(f"上传成功: {oss_url}", file=sys.stderr)
+
+        summary = {
+            "status": "success",
+            "file_name": filename,
+            "oss_url": oss_url,
+            "date": today_str,
+            "categories": {}
+        }
+        for cat_name, (count, kw_count) in stats.items():
+            summary["categories"][cat_name] = {
+                "count": count,
+                "keyword_hits": kw_count
+            }
+        return json.dumps(summary, ensure_ascii=False, indent=2)
+    except Exception as e:
+        import traceback
+        print(traceback.format_exc(), file=sys.stderr)
+        return json.dumps({"status": "error", "message": str(e)}, ensure_ascii=False)
+
+
+def run():
+    """MCP 服务启动入口（百炼 uvx 调用此函数）。"""
+    mcp.run(transport='stdio')                                  # 必须用 stdio 模式
+
+
+if __name__ == "__main__":
+    run()                                                       # 本地调试入口