qcrawler 0.4.3__tar.gz

qcrawler-0.4.3/PKG-INFO

@@ -0,0 +1,337 @@
+Metadata-Version: 2.4
+Name: qcrawler
+Version: 0.4.3
+Summary: 分布式 Python 爬虫框架
+License: MIT
+Classifier: Development Status :: 3 - Alpha
+Classifier: Intended Audience :: Developers
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Topic :: Internet :: WWW/HTTP :: Indexing/Search
+Requires-Python: >=3.11
+Description-Content-Type: text/markdown
+Requires-Dist: requests>=2.28
+Requires-Dist: loguru>=0.7
+Requires-Dist: parsel>=1.8
+Requires-Dist: pyyaml>=6.0
+Requires-Dist: pydantic>=2.0
+Requires-Dist: redis>=4.0
+Requires-Dist: sqlalchemy>=2.0
+Requires-Dist: psycopg[binary]>=3.1
+Requires-Dist: minio>=7.0
+Provides-Extra: curl
+Requires-Dist: curl_cffi>=0.5; extra == "curl"
+Provides-Extra: all
+Requires-Dist: qcrawler[curl]; extra == "all"
+
+# QCrawl
+
+分布式 Python 爬虫框架，开箱即用。
+
+## 特性
+
+- **极简开发** — 继承 `QSpider`，实现 `parse` 即可运行
+- **分布式调度** — Redis 种子队列 + 分布式去重 + 多进程/多线程并发
+- **多下载引擎** — requests / curl_cffi（TLS 指纹伪装）/ request-go（Go 子进程）
+- **统一数据层** — Pydantic 模型 + PostgreSQL 批量写入 + MinIO 文件存储
+- **生产级能力** — 代理池、域名限速、Cookie 管理、自动重试、死信队列
+- **可观测指标** — Redis 指标采集（供爬虫管理平台消费）+ 结构化日志
+- **本地调试** — `send_seed` 一条命令跑通全流程，无需 Redis/PG
+
+## 安装
+
+```bash
+# 从私有源安装（推荐）
+pip install qcrawl --extra-index-url https://spidercoding-cn-hangzhou.devops.aliyuncs.com/packages/api/protocol/pypi/repo-mxqeh --trusted-host spidercoding-cn-hangzhou.devops.aliyuncs.com
+
+# 可选：TLS 指纹伪装
+pip install "qcrawl[curl]"
+
+# 全部安装
+pip install "qcrawl[all]"
+```
+
+> 注：zsh 下方括号需加引号，如 `"qcrawl[all]"`
+
+## 快速开始
+
+### 1. 编写爬虫
+
+```python
+# spiders/ithome/ithome_spider.py
+from qcrawl import QSpider, Request
+
+class IthomeSpider(QSpider):
+    name = "ithome"
+    data_type = "news"
+    table = "ithome_data"
+
+    def start_request(self, request_item):
+        url = request_item.seed_dict.get("url") or "https://www.ithome.com/"
+        yield Request(url, meta={"seed_id": request_item.seed_id})
+
+    def parse(self, response):
+        links = response.css("a[href*='/0/']::attr(href)").getall()
+        for link in links[:10]:
+            yield Request(response.urljoin(link), callback="parse_detail")
+
+    def parse_detail(self, response):
+        title = response.css("h1::text").get() or ""
+        if not title:
+            return
+        self.report_data({
+            "data_type": self.data_type,
+            "url": response.url,
+            "ext": {"title": title.strip()},
+        })
+```
+
+### 2. 本地调试（无需 Redis/PG）
+
+```python
+from qcrawl import send_seed
+from spiders.ithome.ithome_spider import IthomeSpider
+
+send_seed(IthomeSpider, {"url": "https://www.ithome.com/"})
+```
+
+### 3. CLI 启动
+
+安装后直接使用 `qcrawl` 命令（无需 main.py）。示例爬虫已拆分至独立项目 **qcrawl_crawler**（爬虫业务仓库），切换到该目录即可体验：
+
+```bash
+cd qcrawl_crawler
+
+# 本地模式
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --local
+
+# 分布式模式（读取 settings.yaml）
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --env dev --project_id my_project
+
+# 手动指定连接
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider \
+    --project_id my_project \
+    --redis_url redis://127.0.0.1:6379/0 \
+    --db_url postgresql+psycopg://user:pass@localhost:5432/crawl \
+    --processes 2 \
+    --threads 8
+
+# 使用 curl_cffi 绕过 TLS 指纹检测
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --http_client curl --local
+
+# 导入种子文件
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --seeds_file seeds.jsonl --env dev
+```
+
+## CLI 参数
+
+| 参数 | 说明 | 默认值 |
+|------|------|--------|
+| `-s, --spider` | 爬虫类路径（必填） | — |
+| `--env` | 运行环境 dev/prod | dev |
+| `--project_id` | 项目 ID | — |
+| `--processes` | 工作进程数 | 1 |
+| `--threads` | 每进程并发线程数 | 4 |
+| `--proxy_type` | 代理模式 off/static/api/redis | off |
+| `--proxy_url` | 代理地址 | — |
+| `--timeout` | 请求超时秒数 | 15 |
+| `--retry` | 重试次数 | 3 |
+| `--delay` | 请求间隔秒数 | 0 |
+| `--http_client` | HTTP 引擎 requests/curl/request-go | requests |
+| `--redis_url` | Redis 连接串 | — |
+| `--db_url` | PostgreSQL 连接串 | — |
+| `--seeds_file` | 种子文件路径 (JSON/JSONL) | — |
+| `--local` | 本地模式（无需 Redis/PG） | — |
+| `--migrate` | 仅执行表结构迁移 | — |
+
+## 架构
+
+```
+┌─────────────────────────────────────────────────┐
+│              CLI (qcrawl 命令)                   │
+├─────────────────────────────────────────────────┤
+│  Engine（引擎）                                  │
+│  ├── Scheduler（Redis 种子消费 + 去重）          │
+│  ├── Middleware Chain（中间件链）                 │
+│  │   Log → UA → Proxy → Retry → Cookie         │
+│  │   → Redirect → Timeout → RateLimit          │
+│  ├── Downloader（下载器）                        │
+│  │   requests / curl_cffi / request-go         │
+│  └── Worker Thread Pool（并发执行）              │
+├─────────────────────────────────────────────────┤
+│  DataLayer（数据层）                             │
+│  ├── Reporter → PostgreSQL 批量写入             │
+│  ├── MinIO → 文件存储                           │
+│  └── MetricsCollector → Redis 指标采集          │
+└─────────────────────────────────────────────────┘
+```
+
+## 配置优先级
+
+```
+命令行参数 > 爬虫类 settings > settings.yaml > 框架默认值
+```
+
+### settings.yaml 示例
+
+```yaml
+common:
+  threads: 4
+  timeout: 15
+  retry_times: 3
+
+dev:
+  redis_url: redis://127.0.0.1:6379/0
+  log_level: DEBUG
+
+prod:
+  redis_url: ${REDIS_URL}
+  db_url: ${DB_URL}
+  threads: 16
+  processes: 4
+  log_level: INFO
+```
+
+## 数据上报
+
+```python
+from qcrawl import ReportItem
+from datetime import date
+
+# 方式一：dict（简单场景）
+self.report_data({
+    "data_type": "news",
+    "url": response.url,
+    "dt": date.today().isoformat(),  # 自定义日期标识
+    "ext": {"title": "hello"},
+})
+
+# 方式二：ReportItem（推荐，有类型提示）
+self.report_data(ReportItem(
+    data_type="news",
+    url=response.url,
+    dt="2026-07-30",
+    ext={"title": "hello", "content": "..."},
+))
+```
+
+框架自动注入 `project_id`、`spider_name`、`seed_id`、`pod_ip`、`crawl_time` 字段。
+
+**字段说明：**
+
+| 字段 | 类型 | 来源 | 说明 |
+|------|------|------|------|
+| `project_id` | str | 框架注入 | 项目 ID |
+| `spider_name` | str | 框架注入 | 爬虫名称 |
+| `seed_id` | str | 框架注入 | 种子 ID（链路追踪） |
+| `pod_ip` | str | 框架注入 | 执行节点 IP |
+| `crawl_time` | datetime | 框架注入 | 抓取时间（UTC） |
+| `data_type` | str | 开发者填 | 数据类型（news/article/product 等） |
+| `dt` | str | 开发者填 | 自定义日期标识（如 "2026-07-30"） |
+| `url` | str | 开发者填 | 数据来源 URL |
+| `s3_addr` | list[str] | 开发者填 | MinIO 文件地址列表 |
+| `ext` | JSONB | 开发者填 | 站点特有字段，自由写入 |
+
+## 文件上传
+
+```python
+def parse_detail(self, response):
+    img_bytes = self.download(response.css("img::attr(src)").get())
+    s3_url = self.upload_file(img_bytes, key="images/abc.png", content_type="image/png")
+    self.report_data({"data_type": "image", "s3_addr": [s3_url], "ext": {}})
+```
+
+## 监控指标
+
+QCrawl 运行时将指标写入 Redis（`qcrawl:metrics:{project}:{spider}:*`），不包含内置监控 API 与 Dashboard。可视化展示、死信重放等运维能力由**爬虫管理平台**（独立项目）直接读取 Redis / PostgreSQL 承接，详见 DESIGN.md 第 17 章。
+
+## 新项目使用
+
+安装 qcrawl 后，你的爬虫项目只需如下结构：
+
+```
+my_crawler/
+├── settings.yaml          # 环境配置（redis/pg/minio）
+└── spiders/
+    ├── __init__.py
+    └── ithome/
+        ├── __init__.py
+        └── ithome_spider.py
+```
+
+无需 `main.py`，直接在项目根目录执行：
+
+```bash
+cd my_crawler
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --env dev --project_id my_project
+```
+
+## 开发
+
+```bash
+# 克隆 & 安装开发依赖
+git clone https://gitee.com/yezhian/qcrawl.git && cd qcrawl
+python -m venv .venv && source .venv/bin/activate
+pip install -e ".[all]"
+
+# 运行测试
+pytest tests/ -v
+
+# 构建发布
+pip install build twine
+python -m build
+twine upload --repository packages-pypi dist/*
+```
+
+## 项目结构
+
+```
+qcrawl/
+├── qcrawl/                  # 框架源码包
+│   ├── __init__.py          # 公共 API 导出
+│   ├── cli.py               # CLI 入口（console_scripts）
+│   ├── engine.py            # 引擎（线程池 + 中间件链）
+│   ├── spider.py            # QSpider 基类
+│   ├── scheduler.py         # Redis 种子调度 + 去重
+│   ├── request.py           # Request 模型
+│   ├── response.py          # Response 封装
+│   ├── request_item.py      # 种子封装
+│   ├── settings.py          # 四级配置系统
+│   ├── context.py           # 线程上下文（seed_id 传递）
+│   ├── debug.py             # send_seed 本地调试
+│   ├── enums.py             # 框架枚举（ProjectId / DataType）
+│   ├── process_manager.py   # 多进程管理
+│   ├── datalayer/           # 数据层
+│   │   ├── database.py      # 数据库连接 + 自动建表
+│   │   ├── report_item.py   # ReportItem 统一模型
+│   │   ├── reporter.py      # PG 批量写入
+│   │   └── minio_client.py  # MinIO 文件存储
+│   ├── downloader/          # 下载器
+│   │   ├── requests_downloader.py  # requests（默认）
+│   │   ├── curl.py          # curl_cffi（TLS 伪装）
+│   │   └── request_go.py    # Go 子进程
+│   ├── middlewares/         # 中间件
+│   │   ├── log.py           # 日志（priority=50）
+│   │   ├── useragent.py     # UA 轮换（100）
+│   │   ├── proxy.py         # 代理分配（200）
+│   │   ├── retry.py         # 自动重试（300）
+│   │   ├── cookie.py        # Cookie 管理（400）
+│   │   ├── redirect.py      # 重定向跟随（500）
+│   │   ├── timeout.py       # 超时控制（600）
+│   │   └── ratelimit.py     # 域名限速（700）
+│   ├── seed_queue.py        # Redis 种子队列（FIFO + 死信）
+│   └── utils/               # 工具
+│       ├── fingerprint.py   # URL 去重指纹
+│       ├── lock.py          # 分布式锁
+│       ├── metrics.py       # 指标采集器
+│       ├── log.py           # 日志初始化
+│       └── network.py       # 网络工具
+└── tests/                   # 单元测试
+```
+
+> 爬虫业务代码（spiders/settings.yaml/推种子脚本）已独立为 **qcrawl_crawler** 仓库维护，本仓库仅保留框架本体。
+
+## License
+
+MIT

qcrawler-0.4.3/README.md

@@ -0,0 +1,310 @@
+# QCrawl
+
+分布式 Python 爬虫框架，开箱即用。
+
+## 特性
+
+- **极简开发** — 继承 `QSpider`，实现 `parse` 即可运行
+- **分布式调度** — Redis 种子队列 + 分布式去重 + 多进程/多线程并发
+- **多下载引擎** — requests / curl_cffi（TLS 指纹伪装）/ request-go（Go 子进程）
+- **统一数据层** — Pydantic 模型 + PostgreSQL 批量写入 + MinIO 文件存储
+- **生产级能力** — 代理池、域名限速、Cookie 管理、自动重试、死信队列
+- **可观测指标** — Redis 指标采集（供爬虫管理平台消费）+ 结构化日志
+- **本地调试** — `send_seed` 一条命令跑通全流程，无需 Redis/PG
+
+## 安装
+
+```bash
+# 从私有源安装（推荐）
+pip install qcrawl --extra-index-url https://spidercoding-cn-hangzhou.devops.aliyuncs.com/packages/api/protocol/pypi/repo-mxqeh --trusted-host spidercoding-cn-hangzhou.devops.aliyuncs.com
+
+# 可选：TLS 指纹伪装
+pip install "qcrawl[curl]"
+
+# 全部安装
+pip install "qcrawl[all]"
+```
+
+> 注：zsh 下方括号需加引号，如 `"qcrawl[all]"`
+
+## 快速开始
+
+### 1. 编写爬虫
+
+```python
+# spiders/ithome/ithome_spider.py
+from qcrawl import QSpider, Request
+
+class IthomeSpider(QSpider):
+    name = "ithome"
+    data_type = "news"
+    table = "ithome_data"
+
+    def start_request(self, request_item):
+        url = request_item.seed_dict.get("url") or "https://www.ithome.com/"
+        yield Request(url, meta={"seed_id": request_item.seed_id})
+
+    def parse(self, response):
+        links = response.css("a[href*='/0/']::attr(href)").getall()
+        for link in links[:10]:
+            yield Request(response.urljoin(link), callback="parse_detail")
+
+    def parse_detail(self, response):
+        title = response.css("h1::text").get() or ""
+        if not title:
+            return
+        self.report_data({
+            "data_type": self.data_type,
+            "url": response.url,
+            "ext": {"title": title.strip()},
+        })
+```
+
+### 2. 本地调试（无需 Redis/PG）
+
+```python
+from qcrawl import send_seed
+from spiders.ithome.ithome_spider import IthomeSpider
+
+send_seed(IthomeSpider, {"url": "https://www.ithome.com/"})
+```
+
+### 3. CLI 启动
+
+安装后直接使用 `qcrawl` 命令（无需 main.py）。示例爬虫已拆分至独立项目 **qcrawl_crawler**（爬虫业务仓库），切换到该目录即可体验：
+
+```bash
+cd qcrawl_crawler
+
+# 本地模式
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --local
+
+# 分布式模式（读取 settings.yaml）
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --env dev --project_id my_project
+
+# 手动指定连接
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider \
+    --project_id my_project \
+    --redis_url redis://127.0.0.1:6379/0 \
+    --db_url postgresql+psycopg://user:pass@localhost:5432/crawl \
+    --processes 2 \
+    --threads 8
+
+# 使用 curl_cffi 绕过 TLS 指纹检测
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --http_client curl --local
+
+# 导入种子文件
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --seeds_file seeds.jsonl --env dev
+```
+
+## CLI 参数
+
+| 参数 | 说明 | 默认值 |
+|------|------|--------|
+| `-s, --spider` | 爬虫类路径（必填） | — |
+| `--env` | 运行环境 dev/prod | dev |
+| `--project_id` | 项目 ID | — |
+| `--processes` | 工作进程数 | 1 |
+| `--threads` | 每进程并发线程数 | 4 |
+| `--proxy_type` | 代理模式 off/static/api/redis | off |
+| `--proxy_url` | 代理地址 | — |
+| `--timeout` | 请求超时秒数 | 15 |
+| `--retry` | 重试次数 | 3 |
+| `--delay` | 请求间隔秒数 | 0 |
+| `--http_client` | HTTP 引擎 requests/curl/request-go | requests |
+| `--redis_url` | Redis 连接串 | — |
+| `--db_url` | PostgreSQL 连接串 | — |
+| `--seeds_file` | 种子文件路径 (JSON/JSONL) | — |
+| `--local` | 本地模式（无需 Redis/PG） | — |
+| `--migrate` | 仅执行表结构迁移 | — |
+
+## 架构
+
+```
+┌─────────────────────────────────────────────────┐
+│              CLI (qcrawl 命令)                   │
+├─────────────────────────────────────────────────┤
+│  Engine（引擎）                                  │
+│  ├── Scheduler（Redis 种子消费 + 去重）          │
+│  ├── Middleware Chain（中间件链）                 │
+│  │   Log → UA → Proxy → Retry → Cookie         │
+│  │   → Redirect → Timeout → RateLimit          │
+│  ├── Downloader（下载器）                        │
+│  │   requests / curl_cffi / request-go         │
+│  └── Worker Thread Pool（并发执行）              │
+├─────────────────────────────────────────────────┤
+│  DataLayer（数据层）                             │
+│  ├── Reporter → PostgreSQL 批量写入             │
+│  ├── MinIO → 文件存储                           │
+│  └── MetricsCollector → Redis 指标采集          │
+└─────────────────────────────────────────────────┘
+```
+
+## 配置优先级
+
+```
+命令行参数 > 爬虫类 settings > settings.yaml > 框架默认值
+```
+
+### settings.yaml 示例
+
+```yaml
+common:
+  threads: 4
+  timeout: 15
+  retry_times: 3
+
+dev:
+  redis_url: redis://127.0.0.1:6379/0
+  log_level: DEBUG
+
+prod:
+  redis_url: ${REDIS_URL}
+  db_url: ${DB_URL}
+  threads: 16
+  processes: 4
+  log_level: INFO
+```
+
+## 数据上报
+
+```python
+from qcrawl import ReportItem
+from datetime import date
+
+# 方式一：dict（简单场景）
+self.report_data({
+    "data_type": "news",
+    "url": response.url,
+    "dt": date.today().isoformat(),  # 自定义日期标识
+    "ext": {"title": "hello"},
+})
+
+# 方式二：ReportItem（推荐，有类型提示）
+self.report_data(ReportItem(
+    data_type="news",
+    url=response.url,
+    dt="2026-07-30",
+    ext={"title": "hello", "content": "..."},
+))
+```
+
+框架自动注入 `project_id`、`spider_name`、`seed_id`、`pod_ip`、`crawl_time` 字段。
+
+**字段说明：**
+
+| 字段 | 类型 | 来源 | 说明 |
+|------|------|------|------|
+| `project_id` | str | 框架注入 | 项目 ID |
+| `spider_name` | str | 框架注入 | 爬虫名称 |
+| `seed_id` | str | 框架注入 | 种子 ID（链路追踪） |
+| `pod_ip` | str | 框架注入 | 执行节点 IP |
+| `crawl_time` | datetime | 框架注入 | 抓取时间（UTC） |
+| `data_type` | str | 开发者填 | 数据类型（news/article/product 等） |
+| `dt` | str | 开发者填 | 自定义日期标识（如 "2026-07-30"） |
+| `url` | str | 开发者填 | 数据来源 URL |
+| `s3_addr` | list[str] | 开发者填 | MinIO 文件地址列表 |
+| `ext` | JSONB | 开发者填 | 站点特有字段，自由写入 |
+
+## 文件上传
+
+```python
+def parse_detail(self, response):
+    img_bytes = self.download(response.css("img::attr(src)").get())
+    s3_url = self.upload_file(img_bytes, key="images/abc.png", content_type="image/png")
+    self.report_data({"data_type": "image", "s3_addr": [s3_url], "ext": {}})
+```
+
+## 监控指标
+
+QCrawl 运行时将指标写入 Redis（`qcrawl:metrics:{project}:{spider}:*`），不包含内置监控 API 与 Dashboard。可视化展示、死信重放等运维能力由**爬虫管理平台**（独立项目）直接读取 Redis / PostgreSQL 承接，详见 DESIGN.md 第 17 章。
+
+## 新项目使用
+
+安装 qcrawl 后，你的爬虫项目只需如下结构：
+
+```
+my_crawler/
+├── settings.yaml          # 环境配置（redis/pg/minio）
+└── spiders/
+    ├── __init__.py
+    └── ithome/
+        ├── __init__.py
+        └── ithome_spider.py
+```
+
+无需 `main.py`，直接在项目根目录执行：
+
+```bash
+cd my_crawler
+qcrawl -s spiders.ithome.ithome_spider.IthomeSpider --env dev --project_id my_project
+```
+
+## 开发
+
+```bash
+# 克隆 & 安装开发依赖
+git clone https://gitee.com/yezhian/qcrawl.git && cd qcrawl
+python -m venv .venv && source .venv/bin/activate
+pip install -e ".[all]"
+
+# 运行测试
+pytest tests/ -v
+
+# 构建发布
+pip install build twine
+python -m build
+twine upload --repository packages-pypi dist/*
+```
+
+## 项目结构
+
+```
+qcrawl/
+├── qcrawl/                  # 框架源码包
+│   ├── __init__.py          # 公共 API 导出
+│   ├── cli.py               # CLI 入口（console_scripts）
+│   ├── engine.py            # 引擎（线程池 + 中间件链）
+│   ├── spider.py            # QSpider 基类
+│   ├── scheduler.py         # Redis 种子调度 + 去重
+│   ├── request.py           # Request 模型
+│   ├── response.py          # Response 封装
+│   ├── request_item.py      # 种子封装
+│   ├── settings.py          # 四级配置系统
+│   ├── context.py           # 线程上下文（seed_id 传递）
+│   ├── debug.py             # send_seed 本地调试
+│   ├── enums.py             # 框架枚举（ProjectId / DataType）
+│   ├── process_manager.py   # 多进程管理
+│   ├── datalayer/           # 数据层
+│   │   ├── database.py      # 数据库连接 + 自动建表
+│   │   ├── report_item.py   # ReportItem 统一模型
+│   │   ├── reporter.py      # PG 批量写入
+│   │   └── minio_client.py  # MinIO 文件存储
+│   ├── downloader/          # 下载器
+│   │   ├── requests_downloader.py  # requests（默认）
+│   │   ├── curl.py          # curl_cffi（TLS 伪装）
+│   │   └── request_go.py    # Go 子进程
+│   ├── middlewares/         # 中间件
+│   │   ├── log.py           # 日志（priority=50）
+│   │   ├── useragent.py     # UA 轮换（100）
+│   │   ├── proxy.py         # 代理分配（200）
+│   │   ├── retry.py         # 自动重试（300）
+│   │   ├── cookie.py        # Cookie 管理（400）
+│   │   ├── redirect.py      # 重定向跟随（500）
+│   │   ├── timeout.py       # 超时控制（600）
+│   │   └── ratelimit.py     # 域名限速（700）
+│   ├── seed_queue.py        # Redis 种子队列（FIFO + 死信）
+│   └── utils/               # 工具
+│       ├── fingerprint.py   # URL 去重指纹
+│       ├── lock.py          # 分布式锁
+│       ├── metrics.py       # 指标采集器
+│       ├── log.py           # 日志初始化
+│       └── network.py       # 网络工具
+└── tests/                   # 单元测试
+```
+
+> 爬虫业务代码（spiders/settings.yaml/推种子脚本）已独立为 **qcrawl_crawler** 仓库维护，本仓库仅保留框架本体。
+
+## License
+
+MIT

qcrawler-0.4.3/pyproject.toml

@@ -0,0 +1,40 @@
+[project]
+name = "qcrawler"
+version = "0.4.3"
+description = "分布式 Python 爬虫框架"
+readme = "README.md"
+license = {text = "MIT"}
+requires-python = ">=3.11"
+classifiers = [
+    "Development Status :: 3 - Alpha",
+    "Intended Audience :: Developers",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+    "Programming Language :: Python :: 3.13",
+    "Topic :: Internet :: WWW/HTTP :: Indexing/Search",
+]
+dependencies = [
+    "requests >= 2.28",
+    "loguru >= 0.7",
+    "parsel >= 1.8",
+    "pyyaml >= 6.0",
+    "pydantic >= 2.0",
+    "redis >= 4.0",
+    "sqlalchemy >= 2.0",
+    "psycopg[binary] >= 3.1",
+    "minio >= 7.0",
+]
+
+[project.optional-dependencies]
+curl = ["curl_cffi >= 0.5"]
+all = ["qcrawler[curl]"]
+
+[project.scripts]
+qcrawl = "qcrawl.cli:main"
+
+[build-system]
+requires = ["setuptools >= 68.0"]
+build-backend = "setuptools.build_meta"
+
+[tool.setuptools.packages.find]
+include = ["qcrawl*"]