tasklite-engine 1.4.2__tar.gz → 2.1.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/PKG-INFO +76 -45
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/README.md +75 -44
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/pyproject.toml +1 -0
- tasklite_engine-2.1.0/tasklite/__init__.py +215 -0
- tasklite_engine-2.1.0/tasklite/backend/__init__.py +23 -0
- tasklite_engine-2.1.0/tasklite/backend/base.py +381 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/backend/memory.py +131 -90
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/backend/sqlite_backend.py +442 -324
- tasklite_engine-2.1.0/tasklite/contrib/__init__.py +7 -0
- tasklite_engine-2.1.0/tasklite/engine/__init__.py +21 -0
- tasklite_engine-2.1.0/tasklite/engine/admission.py +323 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/channel.py +195 -168
- tasklite_engine-2.1.0/tasklite/engine/completion.py +440 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/config.py +64 -55
- tasklite_engine-2.1.0/tasklite/engine/dispatch.py +615 -0
- tasklite_engine-1.4.2/tasklite/taxonomy.py → tasklite_engine-2.1.0/tasklite/engine/errorclass.py +340 -373
- tasklite_engine-2.1.0/tasklite/engine/governor.py +566 -0
- tasklite_engine-1.4.2/tasklite/engine/inflight.py → tasklite_engine-2.1.0/tasklite/engine/in_flight.py +46 -26
- tasklite_engine-1.4.2/tasklite/engine/console.py → tasklite_engine-2.1.0/tasklite/engine/ops.py +141 -87
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/recovery.py +153 -89
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/resource.py +131 -128
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/runtime.py +257 -118
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/scheduler.py +100 -79
- tasklite_engine-2.1.0/tasklite/engine/selection.py +244 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/session.py +24 -12
- tasklite_engine-2.1.0/tasklite/engine/store.py +906 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/engine/types.py +55 -40
- tasklite_engine-1.4.2/tasklite/engine/pacing.py → tasklite_engine-2.1.0/tasklite/engine/wait.py +13 -7
- tasklite_engine-2.1.0/tasklite/exceptions.py +66 -0
- tasklite_engine-2.1.0/tasklite/hooks.py +69 -0
- tasklite_engine-2.1.0/tasklite/models/__init__.py +11 -0
- tasklite_engine-2.1.0/tasklite/models/attempt.py +138 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/models/context.py +87 -89
- tasklite_engine-2.1.0/tasklite/models/job.py +437 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/models/state.py +65 -32
- tasklite_engine-2.1.0/tasklite/models/task.py +268 -0
- tasklite_engine-2.1.0/tasklite/pipeline.py +718 -0
- tasklite_engine-2.1.0/tasklite/selection.py +116 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/testing.py +8 -8
- tasklite_engine-2.1.0/tasklite/utils/__init__.py +4 -0
- tasklite_engine-2.1.0/tasklite/utils/clock.py +24 -0
- tasklite_engine-1.4.2/tasklite/utils/injective.py → tasklite_engine-2.1.0/tasklite/utils/encoding.py +79 -57
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/utils/ipc.py +80 -38
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/utils/jsonutil.py +17 -8
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/utils/lockfile.py +25 -13
- tasklite_engine-2.1.0/tasklite/wrappers/__init__.py +19 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/wrappers/discovery.py +266 -187
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/wrappers/http.py +355 -290
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite_engine.egg-info/PKG-INFO +76 -45
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite_engine.egg-info/SOURCES.txt +19 -7
- tasklite_engine-2.1.0/tests/test_encoding.py +533 -0
- tasklite_engine-2.1.0/tests/test_exceptions.py +99 -0
- tasklite_engine-2.1.0/tests/test_hooks.py +118 -0
- tasklite_engine-2.1.0/tests/test_jsonutil.py +97 -0
- tasklite_engine-2.1.0/tests/test_package_surface.py +246 -0
- tasklite_engine-2.1.0/tests/test_pipeline.py +970 -0
- tasklite_engine-2.1.0/tests/test_testing.py +187 -0
- tasklite_engine-1.4.2/tasklite/__init__.py +0 -139
- tasklite_engine-1.4.2/tasklite/backend/__init__.py +0 -12
- tasklite_engine-1.4.2/tasklite/backend/base.py +0 -256
- tasklite_engine-1.4.2/tasklite/contrib/__init__.py +0 -6
- tasklite_engine-1.4.2/tasklite/engine/__init__.py +0 -20
- tasklite_engine-1.4.2/tasklite/engine/completion.py +0 -380
- tasklite_engine-1.4.2/tasklite/engine/dispatch.py +0 -465
- tasklite_engine-1.4.2/tasklite/engine/governor.py +0 -394
- tasklite_engine-1.4.2/tasklite/engine/policy.py +0 -448
- tasklite_engine-1.4.2/tasklite/engine/store.py +0 -692
- tasklite_engine-1.4.2/tasklite/exceptions.py +0 -54
- tasklite_engine-1.4.2/tasklite/hooks.py +0 -49
- tasklite_engine-1.4.2/tasklite/models/__init__.py +0 -6
- tasklite_engine-1.4.2/tasklite/models/job.py +0 -510
- tasklite_engine-1.4.2/tasklite/pipeline.py +0 -591
- tasklite_engine-1.4.2/tasklite/utils/__init__.py +0 -7
- tasklite_engine-1.4.2/tasklite/wrappers/__init__.py +0 -53
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/LICENSE +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/setup.cfg +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite/py.typed +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite_engine.egg-info/dependency_links.txt +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite_engine.egg-info/requires.txt +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tasklite_engine.egg-info/top_level.txt +0 -0
- {tasklite_engine-1.4.2 → tasklite_engine-2.1.0}/tests/test_packaging.py +0 -0
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.4
|
|
2
2
|
Name: tasklite-engine
|
|
3
|
-
Version: 1.
|
|
3
|
+
Version: 2.1.0
|
|
4
4
|
Summary: A lightweight task orchestration engine with zero external dependencies, process isolation, and ACID persistence
|
|
5
5
|
License-Expression: MIT
|
|
6
6
|
Project-URL: Homepage, https://github.com/CaptainLi321/tasklite
|
|
@@ -37,7 +37,7 @@ Dynamic: license-file
|
|
|
37
37
|
[](LICENSE)
|
|
38
38
|
[]()
|
|
39
39
|
[-orange.svg)]()
|
|
40
|
-
[]()
|
|
41
41
|
|
|
42
42
|
---
|
|
43
43
|
|
|
@@ -51,7 +51,7 @@ Dynamic: license-file
|
|
|
51
51
|
- **标准库进程池 (`multiprocessing.Pool` / `ProcessPoolExecutor`)**:
|
|
52
52
|
- ❌ 缺乏内置状态持久化,程序中断后已完成进度丢失;
|
|
53
53
|
- ❌ 子任务发生 C 扩展段错误 (SIGSEGV) 或内存泄露 (OOM) 时,容易导致主进程一同崩溃;
|
|
54
|
-
- ❌ 缺少全局速率限制与服务熔断机制,缺乏 DAG
|
|
54
|
+
- ❌ 缺少全局速率限制与服务熔断机制,缺乏 DAG 拓扑依赖与失败隔离。
|
|
55
55
|
- **重型分布式任务队列 (`Celery` / `Airflow` / `Temporal`)**:
|
|
56
56
|
- ❌ 强依赖 Redis、RabbitMQ、PostgreSQL 等外部服务,本地单机运行或轻量嵌入脚本时运维成本过高;
|
|
57
57
|
- ❌ 架构较重,不适合作为随用随走的轻量批处理脚手架。
|
|
@@ -59,7 +59,7 @@ Dynamic: license-file
|
|
|
59
59
|
**TaskLite 的设计定位**:
|
|
60
60
|
**零依赖的单机批处理脚手架**——只需 `pip install tasklite-engine`。
|
|
61
61
|
1. **多 Worker 并发加速**:多进程并行执行,充分利用多核算力,彻底解决单线程耗时长的问题;
|
|
62
|
-
2. **断点续跑防重跑**:以 SQLite WAL
|
|
62
|
+
2. **断点续跑防重跑**:以 SQLite WAL 事务表记录状态,已完成的任务自动跳过,失败任务立即重入队重试、预算耗尽进失败档案,杜绝因个别失败导致全量重跑;
|
|
63
63
|
3. **物理隔离与容灾**:主进程只负责调度,业务逻辑在独立子进程中运行并设超时强杀,即使子任务崩溃、死锁或系统断电,状态依然完整可恢复。
|
|
64
64
|
|
|
65
65
|
---
|
|
@@ -119,7 +119,7 @@ flowchart TD
|
|
|
119
119
|
|
|
120
120
|
### 2. ⚡ SQLite WAL 状态持久化 (ACID)
|
|
121
121
|
- 基于 SQLite WAL + `synchronous=FULL` 模式;
|
|
122
|
-
-
|
|
122
|
+
- 状态机(Wall 成功档案 / Queue 待办 / In-Flight 在途 / Failed 失败档案)在单次事务中原子转移;
|
|
123
123
|
- 遭遇中断或异常关机时,重启后支持 At-Least-Once 接续执行。
|
|
124
124
|
|
|
125
125
|
### 3. 🔍 函数式增量探索 (Functional Discovery)
|
|
@@ -132,7 +132,7 @@ flowchart TD
|
|
|
132
132
|
|
|
133
133
|
### 5. 🔗 DAG 拓扑依赖与级联熔断
|
|
134
134
|
- 任务通过 `depends_on` 声明依赖;
|
|
135
|
-
-
|
|
135
|
+
- 父任务失败进入失败档案时,所有下游依赖自动标记跳过 (`ERR_JOB_DEPENDENCY`),避免无效计算。
|
|
136
136
|
|
|
137
137
|
### 6. 📦 产物沙盒与自动清理
|
|
138
138
|
- `ctx.declare_output()` 声明产出文件,内置路径遍历防御 (`../` 拒绝);
|
|
@@ -140,10 +140,17 @@ flowchart TD
|
|
|
140
140
|
|
|
141
141
|
### 7. 🌐 组合式 HTTP 网络工具与快照守卫 (HTTP Wrappers)
|
|
142
142
|
- 开放 Callable 设计,支持原生 `urllib`、`requests`、`httpx` 或平台自定义签名 SDK;
|
|
143
|
-
- `http_guard` 自动捕获 429、解析 `Retry-After` 并触发 `ctx.suspend_resource`
|
|
143
|
+
- `http_guard` 自动捕获 429、解析 `Retry-After` 并触发 `ctx.suspend_resource` 全管线挂起,收敛异常三分类;
|
|
144
144
|
- `SQLiteSnapshotStore` 提供单射键原始响应快照持久化,支持全离线幂等重放;
|
|
145
145
|
- 内置标准 Netscape `cookies.txt` 解析工具。
|
|
146
146
|
|
|
147
|
+
### 8. 🎛️ 执行选择 (Selection):Exclude 延迟留队 + Skip 终态跳过
|
|
148
|
+
- **第三类调度扩展 seam(候选准入/选择,与 OrderingPolicy / RequeuePolicy 并列,决策见 [ADR-0006](docs/adr/0006-selection-scheduling-seam.md))**:`pipeline.selection(Exclude(type="pdf_to_md"), Skip(type="ocr"))` 以方法调用配置 pipeline 级规则,两类语义严格区分:
|
|
149
|
+
- `Exclude`(延迟):命中作业不派发、不消耗资源与重试预算,队列行原样保留;下游允许作业本次报 `ERR_DEPENDENCY_EXCLUDED` 并计入 `stats["excluded_blocked"]`,下一次 run 自动恢复执行;
|
|
150
|
+
- `Skip`(终态):命中作业移出队列(不进 wall / 失败档案),下游整链级联跳过(attempt 记 `DEPENDENCY_SKIPPED`),下次运行不再重试;同一 task_type 同时命中时 Skip 优先。
|
|
151
|
+
- 停摆仲裁用 **Kahn 入度消减**(波前 = wall ∪ excluded)严格区分「真死锁」(依赖环/缺口 → 既有归因熔断)与「仅被 Exclude 阻塞」(留队 + COMPLETED 收敛);不存在固定等待兜底与忙旋,混合真实死锁不会被选择规则掩盖;
|
|
152
|
+
- 默认空规则与扩展前完全等价;`Rule` 协议要求 `matches_type(task_type)`(缺少则注册期 fail-loud),顶层导出 `Exclude` / `Selection` / `Skip`。
|
|
153
|
+
|
|
147
154
|
---
|
|
148
155
|
|
|
149
156
|
|
|
@@ -167,31 +174,31 @@ from tasklite import TaskLite, Job, RetryError, RateLimitResource
|
|
|
167
174
|
|
|
168
175
|
logging.getLogger("tasklite").setLevel(logging.INFO)
|
|
169
176
|
|
|
170
|
-
# 1.
|
|
177
|
+
# 1. 定义任务处理器(在独立子进程中执行,必须模块级定义)
|
|
171
178
|
def download_handler(job: Job, ctx):
|
|
172
179
|
# 声明产出文件(失败时自动清理半残文件)
|
|
173
180
|
out = ctx.declare_output(f"./downloads/{job.job_id}.jpg", cleanup_on_fail=True)
|
|
174
|
-
|
|
181
|
+
|
|
175
182
|
# 模拟业务下载
|
|
176
183
|
success = do_download(job.payload["url"], out)
|
|
177
184
|
if not success:
|
|
178
|
-
raise RetryError("
|
|
179
|
-
|
|
185
|
+
raise RetryError("网络抖动,立即重入队重试")
|
|
186
|
+
|
|
180
187
|
return True, {"size": 1024, "path": str(out)}
|
|
181
188
|
|
|
182
|
-
# 2.
|
|
189
|
+
# 2. 初始化引擎(六步调用契约:初始化 → register_resource → register_task → enqueue → run → stop)
|
|
183
190
|
pipeline = TaskLite(
|
|
184
191
|
name="media_downloader",
|
|
185
192
|
state_dir="./state", # 状态持久化目录(SQLite WAL)
|
|
186
193
|
output_root="./downloads", # 产物沙盒根目录
|
|
187
|
-
max_workers=4, #
|
|
194
|
+
max_workers=4, # 并发子进程数(内部 __workers__ 容量资源,可覆盖)
|
|
188
195
|
)
|
|
189
196
|
|
|
190
|
-
# 3. 注册全局限速(每秒最多 2
|
|
191
|
-
pipeline.
|
|
192
|
-
pipeline.
|
|
197
|
+
# 3. 注册全局限速(每秒最多 2 次请求)与 Task 规格
|
|
198
|
+
pipeline.register_resource(RateLimitResource("api", interval_seconds=0.5))
|
|
199
|
+
pipeline.register_task("download", download_handler, default_resources={"api": 1.0})
|
|
193
200
|
|
|
194
|
-
# 4.
|
|
201
|
+
# 4. 入队并启动(阻塞直到队列全部完成,返回 RunSummary)
|
|
195
202
|
pipeline.enqueue([
|
|
196
203
|
Job("download", "img_001", payload={"url": "https://example.com/1.jpg"}),
|
|
197
204
|
Job("download", "img_002", payload={"url": "https://example.com/2.jpg"}),
|
|
@@ -201,6 +208,24 @@ pipeline.run()
|
|
|
201
208
|
|
|
202
209
|
---
|
|
203
210
|
|
|
211
|
+
## 🧭 三层模型(Task / Job / Attempt)
|
|
212
|
+
|
|
213
|
+
本引擎按实时系统理论建模为三层(设计总纲 [ADR-0004](docs/adr/0004-v2-parallel-rebuild.md),上位裁决 [ADR-0005](docs/adr/0005-v2-promotion.md)):
|
|
214
|
+
|
|
215
|
+
| 层 | 定义 | 持久化 |
|
|
216
|
+
|---|---|---|
|
|
217
|
+
| **Task(规格)** | 进程内注册的静态模板:task_type 名、handler、默认资源、payload_schema、默认 max_retries / timeout | 代码即规格,不落盘;注册于 `register_task` |
|
|
218
|
+
| **Job(逻辑实例)** | 一次有界激活;`uid = task_type::job_id` 身份不变 | queue 行 job_data JSON(uid 为主键) |
|
|
219
|
+
| **Attempt(执行轨迹)** | 一次物理执行的记录:attempt 序号、incarnation、起止时间、结局 | append-only 新表 `attempts` |
|
|
220
|
+
|
|
221
|
+
任一 attempts 行可回溯「哪次激活的第几次执行、由哪个 run 派发、结局如何、当前终态在哪、规格是什么」——端到端追溯链完整。完整使用指南见 **[`docs/V2_GUIDE.md`](docs/V2_GUIDE.md)**(权威);v1 → v2 命名映射见 [ADR-0004](docs/adr/0004-v2-parallel-rebuild.md);未来演进方向(CLI 直达、make 式级联更新、调度策略族)见 [ROADMAP](docs/ROADMAP.md)。**v1 已退役**(git 历史与 `v1-final` 标签留档)。
|
|
222
|
+
|
|
223
|
+
```python
|
|
224
|
+
from tasklite import TaskLite, Job, Task, AttemptRecord
|
|
225
|
+
```
|
|
226
|
+
|
|
227
|
+
---
|
|
228
|
+
|
|
204
229
|
## 🍳 实战 Recipes
|
|
205
230
|
|
|
206
231
|
### Recipe 1: 增量分页扫描器 (Discovery)
|
|
@@ -218,7 +243,7 @@ def item_id(post) -> str:
|
|
|
218
243
|
return str(post["id"]) # 唯一内容 ID
|
|
219
244
|
|
|
220
245
|
def process_item(job, ctx, post, content_id: str):
|
|
221
|
-
# 发现新内容时派生子任务(content_id
|
|
246
|
+
# 发现新内容时派生子任务(content_id 已做单射编码)
|
|
222
247
|
ctx.spawn(Job("download", content_id, payload={"url": post["url"]}))
|
|
223
248
|
|
|
224
249
|
# 注册增量探索
|
|
@@ -259,7 +284,7 @@ from tasklite import RateLimitHit
|
|
|
259
284
|
def fetch_handler(job, ctx):
|
|
260
285
|
resp = requests.get(job.payload["url"])
|
|
261
286
|
if resp.status_code == 429:
|
|
262
|
-
# 全管线挂起 api 资源 1
|
|
287
|
+
# 全管线挂起 api 资源 1 小时,状态持久化到磁盘,随后抛出瞬态重试
|
|
263
288
|
ctx.suspend_resource("api", seconds=3600)
|
|
264
289
|
raise RateLimitHit("Triggered 429, suspending API for 1h")
|
|
265
290
|
return True, resp.json()
|
|
@@ -286,8 +311,8 @@ def agent_worker(job: Job, ctx):
|
|
|
286
311
|
return True, {"tokens": result.get("usage", 0)}
|
|
287
312
|
|
|
288
313
|
pipeline = TaskLite(name="agent_batch", state_dir="./agent_state", max_workers=8)
|
|
289
|
-
pipeline.
|
|
290
|
-
pipeline.
|
|
314
|
+
pipeline.register_resource(RateLimitResource("llm_rpm", interval_seconds=0.1))
|
|
315
|
+
pipeline.register_task("analyze", agent_worker, default_resources={"llm_rpm": 1.0})
|
|
291
316
|
|
|
292
317
|
# 入队海量任务,中途即使断网或意外中断,重启后自动跳过已完成任务接续执行
|
|
293
318
|
pipeline.enqueue([
|
|
@@ -301,40 +326,43 @@ pipeline.run()
|
|
|
301
326
|
|
|
302
327
|
```python
|
|
303
328
|
from tasklite import TaskLite, RateLimitResource
|
|
304
|
-
from tasklite.wrappers.http import SQLiteSnapshotStore, http_guard,
|
|
329
|
+
from tasklite.wrappers.http import SQLiteSnapshotStore, http_guard, urllib_fetch
|
|
305
330
|
|
|
306
331
|
pipeline = TaskLite("crawler", state_dir="./states")
|
|
307
|
-
pipeline.
|
|
332
|
+
pipeline.register_resource(RateLimitResource("api", interval_seconds=1.0))
|
|
308
333
|
|
|
309
334
|
# 原始 HTTP 响应持久化快照(独立 snapshots.db,支持全离线重放与反爬保护)
|
|
310
335
|
snapshot_store = SQLiteSnapshotStore("./snapshots.db")
|
|
311
|
-
cached_fetch = snapshot_store.cached(
|
|
336
|
+
cached_fetch = snapshot_store.cached(urllib_fetch)
|
|
312
337
|
|
|
313
338
|
def crawler_handler(job, ctx):
|
|
314
|
-
# 429 时自动挂起 api 资源、5xx 瞬态重试、4xx
|
|
339
|
+
# 429 时自动挂起 api 资源、5xx 瞬态重试、4xx 直接进失败档案
|
|
315
340
|
with http_guard(ctx=ctx, resource="api", default_suspend_ttl=60.0):
|
|
316
341
|
resp = cached_fetch(job.payload["url"])
|
|
317
342
|
return resp.json()
|
|
318
343
|
|
|
319
|
-
pipeline.
|
|
344
|
+
pipeline.register_task("fetch", crawler_handler, default_resources={"api": 1.0})
|
|
320
345
|
```
|
|
321
346
|
|
|
322
347
|
---
|
|
323
348
|
|
|
324
349
|
|
|
325
|
-
## 🛠️
|
|
350
|
+
## 🛠️ 失败档案与运维 (Failed & Ops)
|
|
326
351
|
|
|
327
|
-
|
|
352
|
+
当任务重试预算耗尽或发生致命错误时,任务进入持久化**失败档案**(failed 表,与 wall 按 uid 互斥且唯一终态)。运维 API 仅限 `run()` 外调用:
|
|
328
353
|
|
|
329
354
|
```python
|
|
330
|
-
# 1.
|
|
331
|
-
for entry in pipeline.
|
|
332
|
-
print(f"UID: {entry.uid},
|
|
355
|
+
# 1. 检查失败详情(条目携带原始业务 payload 快照,补跑自足)
|
|
356
|
+
for entry in pipeline.list_failures():
|
|
357
|
+
print(f"UID: {entry.uid}, 原因: {entry.error}, 元数据: {entry.meta}")
|
|
358
|
+
|
|
359
|
+
# 2. 清理指定类型的失败档案(默认保留 fatal 错误,可入队同名任务重跑)
|
|
360
|
+
pipeline.clear_failures(task_types=["download"], keep_fatal=False)
|
|
333
361
|
|
|
334
|
-
#
|
|
335
|
-
pipeline.
|
|
362
|
+
# 3. 单条人工补跑:移出档案、按档案 payload 快照队首重入队
|
|
363
|
+
pipeline.retry_failure("download::img_001")
|
|
336
364
|
|
|
337
|
-
#
|
|
365
|
+
# 4. 精确或前缀清理历史(wall / failed)
|
|
338
366
|
pipeline.clear_history("download::")
|
|
339
367
|
```
|
|
340
368
|
|
|
@@ -345,30 +373,33 @@ pipeline.clear_history("download::")
|
|
|
345
373
|
```
|
|
346
374
|
tasklite/
|
|
347
375
|
├── pipeline.py # TaskLite 核心门面与配置
|
|
376
|
+
├── selection.py # 执行选择规则值对象 Exclude/Skip(候选准入 seam,ADR-0006)
|
|
348
377
|
├── hooks.py # 用户工具函数(job_ref / progress_hook / slice_list)
|
|
349
378
|
├── engine/ # 核心执行机器群
|
|
350
379
|
│ ├── runtime.py # 核心运行期深模块、主循环事件泵 (EngineRuntime)
|
|
351
380
|
│ ├── config.py # RunConfig 静态装配快照、默认值唯一解析点
|
|
352
381
|
│ ├── session.py # RunSession 单次 run 生命周期状态与钩子单一出口
|
|
353
|
-
│ ├──
|
|
382
|
+
│ ├── wait.py # 事件泵等待/空闲决策纯函数
|
|
354
383
|
│ ├── types.py # 引擎公共值对象单一真相源
|
|
355
|
-
│ ├── store.py # 状态事务、3-strike
|
|
356
|
-
│ ├──
|
|
384
|
+
│ ├── store.py # 状态事务、3-strike 崩溃与失败写入隔离 (StateStore)
|
|
385
|
+
│ ├── ops.py # OpsConsole:run() 外纯运维接缝(管理 API 委托目标)
|
|
357
386
|
│ ├── dispatch.py # 任务派发状态机 (DispatchMachine)
|
|
358
387
|
│ ├── completion.py # 任务完成与提交 (CompletionMachine)
|
|
359
388
|
│ ├── recovery.py # 崩溃检测与恢复 (RecoveryOrchestrator)
|
|
360
389
|
│ ├── channel.py # IPC 与子进程执行通道 (ExecutionChannel / WorkerLaunchSpec)
|
|
361
|
-
│ ├── scheduler.py # 资源调度与 DAG 依赖 (JobScheduler)
|
|
362
|
-
│ ├──
|
|
363
|
-
│ ├── governor.py #
|
|
364
|
-
│ ├──
|
|
390
|
+
│ ├── scheduler.py # 资源调度与 DAG 依赖 (JobScheduler / OrderingPolicy 排序 seam / Selection 候选准入 seam)
|
|
391
|
+
│ ├── admission.py # rerun 准入 (RerunPolicy) 与重入队节奏 (RequeuePolicy seam)
|
|
392
|
+
│ ├── governor.py # 死锁归因仲裁与依赖宽限,消费选择停摆事实 (DeadlockGovernor)
|
|
393
|
+
│ ├── selection.py # Skip 闭包与选择停摆图事实 (SelectionMachine)
|
|
394
|
+
│ ├── in_flight.py # 在途作业租约追踪 (InFlightTracker)
|
|
395
|
+
│ ├── errorclass.py # 错误分类与校验分类深模块 (ErrorClassifier)
|
|
365
396
|
│ └── resource.py # 令牌桶限速与并发容量资源
|
|
366
397
|
├── backend/ # SQLite WAL 强一致事务持久化后端
|
|
367
|
-
├── models/ # Job /
|
|
368
|
-
├──
|
|
369
|
-
├── testing.py # fake_ctx:handler 单测的官方 TaskContext 构造器
|
|
398
|
+
├── models/ # Task / Job / Attempt / PipelineState / JobContext 数据模型
|
|
399
|
+
├── testing.py # fake_ctx:handler 单测的官方 JobContext 构造器
|
|
370
400
|
├── wrappers/ # discovery.py(增量扫描)/ http.py(网络守卫与快照)
|
|
371
|
-
|
|
401
|
+
├── contrib/ # 生态扩展套件与参考实现(核心不依赖)
|
|
402
|
+
└── utils/ # encoding(单射 %XX 转义)/ ipc(IPC 信号与降级落盘)/ clock / jsonutil(禁NaN)/ lockfile
|
|
372
403
|
```
|
|
373
404
|
|
|
374
405
|
---
|
|
@@ -8,7 +8,7 @@
|
|
|
8
8
|
[](LICENSE)
|
|
9
9
|
[]()
|
|
10
10
|
[-orange.svg)]()
|
|
11
|
-
[]()
|
|
12
12
|
|
|
13
13
|
---
|
|
14
14
|
|
|
@@ -22,7 +22,7 @@
|
|
|
22
22
|
- **标准库进程池 (`multiprocessing.Pool` / `ProcessPoolExecutor`)**:
|
|
23
23
|
- ❌ 缺乏内置状态持久化,程序中断后已完成进度丢失;
|
|
24
24
|
- ❌ 子任务发生 C 扩展段错误 (SIGSEGV) 或内存泄露 (OOM) 时,容易导致主进程一同崩溃;
|
|
25
|
-
- ❌ 缺少全局速率限制与服务熔断机制,缺乏 DAG
|
|
25
|
+
- ❌ 缺少全局速率限制与服务熔断机制,缺乏 DAG 拓扑依赖与失败隔离。
|
|
26
26
|
- **重型分布式任务队列 (`Celery` / `Airflow` / `Temporal`)**:
|
|
27
27
|
- ❌ 强依赖 Redis、RabbitMQ、PostgreSQL 等外部服务,本地单机运行或轻量嵌入脚本时运维成本过高;
|
|
28
28
|
- ❌ 架构较重,不适合作为随用随走的轻量批处理脚手架。
|
|
@@ -30,7 +30,7 @@
|
|
|
30
30
|
**TaskLite 的设计定位**:
|
|
31
31
|
**零依赖的单机批处理脚手架**——只需 `pip install tasklite-engine`。
|
|
32
32
|
1. **多 Worker 并发加速**:多进程并行执行,充分利用多核算力,彻底解决单线程耗时长的问题;
|
|
33
|
-
2. **断点续跑防重跑**:以 SQLite WAL
|
|
33
|
+
2. **断点续跑防重跑**:以 SQLite WAL 事务表记录状态,已完成的任务自动跳过,失败任务立即重入队重试、预算耗尽进失败档案,杜绝因个别失败导致全量重跑;
|
|
34
34
|
3. **物理隔离与容灾**:主进程只负责调度,业务逻辑在独立子进程中运行并设超时强杀,即使子任务崩溃、死锁或系统断电,状态依然完整可恢复。
|
|
35
35
|
|
|
36
36
|
---
|
|
@@ -90,7 +90,7 @@ flowchart TD
|
|
|
90
90
|
|
|
91
91
|
### 2. ⚡ SQLite WAL 状态持久化 (ACID)
|
|
92
92
|
- 基于 SQLite WAL + `synchronous=FULL` 模式;
|
|
93
|
-
-
|
|
93
|
+
- 状态机(Wall 成功档案 / Queue 待办 / In-Flight 在途 / Failed 失败档案)在单次事务中原子转移;
|
|
94
94
|
- 遭遇中断或异常关机时,重启后支持 At-Least-Once 接续执行。
|
|
95
95
|
|
|
96
96
|
### 3. 🔍 函数式增量探索 (Functional Discovery)
|
|
@@ -103,7 +103,7 @@ flowchart TD
|
|
|
103
103
|
|
|
104
104
|
### 5. 🔗 DAG 拓扑依赖与级联熔断
|
|
105
105
|
- 任务通过 `depends_on` 声明依赖;
|
|
106
|
-
-
|
|
106
|
+
- 父任务失败进入失败档案时,所有下游依赖自动标记跳过 (`ERR_JOB_DEPENDENCY`),避免无效计算。
|
|
107
107
|
|
|
108
108
|
### 6. 📦 产物沙盒与自动清理
|
|
109
109
|
- `ctx.declare_output()` 声明产出文件,内置路径遍历防御 (`../` 拒绝);
|
|
@@ -111,10 +111,17 @@ flowchart TD
|
|
|
111
111
|
|
|
112
112
|
### 7. 🌐 组合式 HTTP 网络工具与快照守卫 (HTTP Wrappers)
|
|
113
113
|
- 开放 Callable 设计,支持原生 `urllib`、`requests`、`httpx` 或平台自定义签名 SDK;
|
|
114
|
-
- `http_guard` 自动捕获 429、解析 `Retry-After` 并触发 `ctx.suspend_resource`
|
|
114
|
+
- `http_guard` 自动捕获 429、解析 `Retry-After` 并触发 `ctx.suspend_resource` 全管线挂起,收敛异常三分类;
|
|
115
115
|
- `SQLiteSnapshotStore` 提供单射键原始响应快照持久化,支持全离线幂等重放;
|
|
116
116
|
- 内置标准 Netscape `cookies.txt` 解析工具。
|
|
117
117
|
|
|
118
|
+
### 8. 🎛️ 执行选择 (Selection):Exclude 延迟留队 + Skip 终态跳过
|
|
119
|
+
- **第三类调度扩展 seam(候选准入/选择,与 OrderingPolicy / RequeuePolicy 并列,决策见 [ADR-0006](docs/adr/0006-selection-scheduling-seam.md))**:`pipeline.selection(Exclude(type="pdf_to_md"), Skip(type="ocr"))` 以方法调用配置 pipeline 级规则,两类语义严格区分:
|
|
120
|
+
- `Exclude`(延迟):命中作业不派发、不消耗资源与重试预算,队列行原样保留;下游允许作业本次报 `ERR_DEPENDENCY_EXCLUDED` 并计入 `stats["excluded_blocked"]`,下一次 run 自动恢复执行;
|
|
121
|
+
- `Skip`(终态):命中作业移出队列(不进 wall / 失败档案),下游整链级联跳过(attempt 记 `DEPENDENCY_SKIPPED`),下次运行不再重试;同一 task_type 同时命中时 Skip 优先。
|
|
122
|
+
- 停摆仲裁用 **Kahn 入度消减**(波前 = wall ∪ excluded)严格区分「真死锁」(依赖环/缺口 → 既有归因熔断)与「仅被 Exclude 阻塞」(留队 + COMPLETED 收敛);不存在固定等待兜底与忙旋,混合真实死锁不会被选择规则掩盖;
|
|
123
|
+
- 默认空规则与扩展前完全等价;`Rule` 协议要求 `matches_type(task_type)`(缺少则注册期 fail-loud),顶层导出 `Exclude` / `Selection` / `Skip`。
|
|
124
|
+
|
|
118
125
|
---
|
|
119
126
|
|
|
120
127
|
|
|
@@ -138,31 +145,31 @@ from tasklite import TaskLite, Job, RetryError, RateLimitResource
|
|
|
138
145
|
|
|
139
146
|
logging.getLogger("tasklite").setLevel(logging.INFO)
|
|
140
147
|
|
|
141
|
-
# 1.
|
|
148
|
+
# 1. 定义任务处理器(在独立子进程中执行,必须模块级定义)
|
|
142
149
|
def download_handler(job: Job, ctx):
|
|
143
150
|
# 声明产出文件(失败时自动清理半残文件)
|
|
144
151
|
out = ctx.declare_output(f"./downloads/{job.job_id}.jpg", cleanup_on_fail=True)
|
|
145
|
-
|
|
152
|
+
|
|
146
153
|
# 模拟业务下载
|
|
147
154
|
success = do_download(job.payload["url"], out)
|
|
148
155
|
if not success:
|
|
149
|
-
raise RetryError("
|
|
150
|
-
|
|
156
|
+
raise RetryError("网络抖动,立即重入队重试")
|
|
157
|
+
|
|
151
158
|
return True, {"size": 1024, "path": str(out)}
|
|
152
159
|
|
|
153
|
-
# 2.
|
|
160
|
+
# 2. 初始化引擎(六步调用契约:初始化 → register_resource → register_task → enqueue → run → stop)
|
|
154
161
|
pipeline = TaskLite(
|
|
155
162
|
name="media_downloader",
|
|
156
163
|
state_dir="./state", # 状态持久化目录(SQLite WAL)
|
|
157
164
|
output_root="./downloads", # 产物沙盒根目录
|
|
158
|
-
max_workers=4, #
|
|
165
|
+
max_workers=4, # 并发子进程数(内部 __workers__ 容量资源,可覆盖)
|
|
159
166
|
)
|
|
160
167
|
|
|
161
|
-
# 3. 注册全局限速(每秒最多 2
|
|
162
|
-
pipeline.
|
|
163
|
-
pipeline.
|
|
168
|
+
# 3. 注册全局限速(每秒最多 2 次请求)与 Task 规格
|
|
169
|
+
pipeline.register_resource(RateLimitResource("api", interval_seconds=0.5))
|
|
170
|
+
pipeline.register_task("download", download_handler, default_resources={"api": 1.0})
|
|
164
171
|
|
|
165
|
-
# 4.
|
|
172
|
+
# 4. 入队并启动(阻塞直到队列全部完成,返回 RunSummary)
|
|
166
173
|
pipeline.enqueue([
|
|
167
174
|
Job("download", "img_001", payload={"url": "https://example.com/1.jpg"}),
|
|
168
175
|
Job("download", "img_002", payload={"url": "https://example.com/2.jpg"}),
|
|
@@ -172,6 +179,24 @@ pipeline.run()
|
|
|
172
179
|
|
|
173
180
|
---
|
|
174
181
|
|
|
182
|
+
## 🧭 三层模型(Task / Job / Attempt)
|
|
183
|
+
|
|
184
|
+
本引擎按实时系统理论建模为三层(设计总纲 [ADR-0004](docs/adr/0004-v2-parallel-rebuild.md),上位裁决 [ADR-0005](docs/adr/0005-v2-promotion.md)):
|
|
185
|
+
|
|
186
|
+
| 层 | 定义 | 持久化 |
|
|
187
|
+
|---|---|---|
|
|
188
|
+
| **Task(规格)** | 进程内注册的静态模板:task_type 名、handler、默认资源、payload_schema、默认 max_retries / timeout | 代码即规格,不落盘;注册于 `register_task` |
|
|
189
|
+
| **Job(逻辑实例)** | 一次有界激活;`uid = task_type::job_id` 身份不变 | queue 行 job_data JSON(uid 为主键) |
|
|
190
|
+
| **Attempt(执行轨迹)** | 一次物理执行的记录:attempt 序号、incarnation、起止时间、结局 | append-only 新表 `attempts` |
|
|
191
|
+
|
|
192
|
+
任一 attempts 行可回溯「哪次激活的第几次执行、由哪个 run 派发、结局如何、当前终态在哪、规格是什么」——端到端追溯链完整。完整使用指南见 **[`docs/V2_GUIDE.md`](docs/V2_GUIDE.md)**(权威);v1 → v2 命名映射见 [ADR-0004](docs/adr/0004-v2-parallel-rebuild.md);未来演进方向(CLI 直达、make 式级联更新、调度策略族)见 [ROADMAP](docs/ROADMAP.md)。**v1 已退役**(git 历史与 `v1-final` 标签留档)。
|
|
193
|
+
|
|
194
|
+
```python
|
|
195
|
+
from tasklite import TaskLite, Job, Task, AttemptRecord
|
|
196
|
+
```
|
|
197
|
+
|
|
198
|
+
---
|
|
199
|
+
|
|
175
200
|
## 🍳 实战 Recipes
|
|
176
201
|
|
|
177
202
|
### Recipe 1: 增量分页扫描器 (Discovery)
|
|
@@ -189,7 +214,7 @@ def item_id(post) -> str:
|
|
|
189
214
|
return str(post["id"]) # 唯一内容 ID
|
|
190
215
|
|
|
191
216
|
def process_item(job, ctx, post, content_id: str):
|
|
192
|
-
# 发现新内容时派生子任务(content_id
|
|
217
|
+
# 发现新内容时派生子任务(content_id 已做单射编码)
|
|
193
218
|
ctx.spawn(Job("download", content_id, payload={"url": post["url"]}))
|
|
194
219
|
|
|
195
220
|
# 注册增量探索
|
|
@@ -230,7 +255,7 @@ from tasklite import RateLimitHit
|
|
|
230
255
|
def fetch_handler(job, ctx):
|
|
231
256
|
resp = requests.get(job.payload["url"])
|
|
232
257
|
if resp.status_code == 429:
|
|
233
|
-
# 全管线挂起 api 资源 1
|
|
258
|
+
# 全管线挂起 api 资源 1 小时,状态持久化到磁盘,随后抛出瞬态重试
|
|
234
259
|
ctx.suspend_resource("api", seconds=3600)
|
|
235
260
|
raise RateLimitHit("Triggered 429, suspending API for 1h")
|
|
236
261
|
return True, resp.json()
|
|
@@ -257,8 +282,8 @@ def agent_worker(job: Job, ctx):
|
|
|
257
282
|
return True, {"tokens": result.get("usage", 0)}
|
|
258
283
|
|
|
259
284
|
pipeline = TaskLite(name="agent_batch", state_dir="./agent_state", max_workers=8)
|
|
260
|
-
pipeline.
|
|
261
|
-
pipeline.
|
|
285
|
+
pipeline.register_resource(RateLimitResource("llm_rpm", interval_seconds=0.1))
|
|
286
|
+
pipeline.register_task("analyze", agent_worker, default_resources={"llm_rpm": 1.0})
|
|
262
287
|
|
|
263
288
|
# 入队海量任务,中途即使断网或意外中断,重启后自动跳过已完成任务接续执行
|
|
264
289
|
pipeline.enqueue([
|
|
@@ -272,40 +297,43 @@ pipeline.run()
|
|
|
272
297
|
|
|
273
298
|
```python
|
|
274
299
|
from tasklite import TaskLite, RateLimitResource
|
|
275
|
-
from tasklite.wrappers.http import SQLiteSnapshotStore, http_guard,
|
|
300
|
+
from tasklite.wrappers.http import SQLiteSnapshotStore, http_guard, urllib_fetch
|
|
276
301
|
|
|
277
302
|
pipeline = TaskLite("crawler", state_dir="./states")
|
|
278
|
-
pipeline.
|
|
303
|
+
pipeline.register_resource(RateLimitResource("api", interval_seconds=1.0))
|
|
279
304
|
|
|
280
305
|
# 原始 HTTP 响应持久化快照(独立 snapshots.db,支持全离线重放与反爬保护)
|
|
281
306
|
snapshot_store = SQLiteSnapshotStore("./snapshots.db")
|
|
282
|
-
cached_fetch = snapshot_store.cached(
|
|
307
|
+
cached_fetch = snapshot_store.cached(urllib_fetch)
|
|
283
308
|
|
|
284
309
|
def crawler_handler(job, ctx):
|
|
285
|
-
# 429 时自动挂起 api 资源、5xx 瞬态重试、4xx
|
|
310
|
+
# 429 时自动挂起 api 资源、5xx 瞬态重试、4xx 直接进失败档案
|
|
286
311
|
with http_guard(ctx=ctx, resource="api", default_suspend_ttl=60.0):
|
|
287
312
|
resp = cached_fetch(job.payload["url"])
|
|
288
313
|
return resp.json()
|
|
289
314
|
|
|
290
|
-
pipeline.
|
|
315
|
+
pipeline.register_task("fetch", crawler_handler, default_resources={"api": 1.0})
|
|
291
316
|
```
|
|
292
317
|
|
|
293
318
|
---
|
|
294
319
|
|
|
295
320
|
|
|
296
|
-
## 🛠️
|
|
321
|
+
## 🛠️ 失败档案与运维 (Failed & Ops)
|
|
297
322
|
|
|
298
|
-
|
|
323
|
+
当任务重试预算耗尽或发生致命错误时,任务进入持久化**失败档案**(failed 表,与 wall 按 uid 互斥且唯一终态)。运维 API 仅限 `run()` 外调用:
|
|
299
324
|
|
|
300
325
|
```python
|
|
301
|
-
# 1.
|
|
302
|
-
for entry in pipeline.
|
|
303
|
-
print(f"UID: {entry.uid},
|
|
326
|
+
# 1. 检查失败详情(条目携带原始业务 payload 快照,补跑自足)
|
|
327
|
+
for entry in pipeline.list_failures():
|
|
328
|
+
print(f"UID: {entry.uid}, 原因: {entry.error}, 元数据: {entry.meta}")
|
|
329
|
+
|
|
330
|
+
# 2. 清理指定类型的失败档案(默认保留 fatal 错误,可入队同名任务重跑)
|
|
331
|
+
pipeline.clear_failures(task_types=["download"], keep_fatal=False)
|
|
304
332
|
|
|
305
|
-
#
|
|
306
|
-
pipeline.
|
|
333
|
+
# 3. 单条人工补跑:移出档案、按档案 payload 快照队首重入队
|
|
334
|
+
pipeline.retry_failure("download::img_001")
|
|
307
335
|
|
|
308
|
-
#
|
|
336
|
+
# 4. 精确或前缀清理历史(wall / failed)
|
|
309
337
|
pipeline.clear_history("download::")
|
|
310
338
|
```
|
|
311
339
|
|
|
@@ -316,30 +344,33 @@ pipeline.clear_history("download::")
|
|
|
316
344
|
```
|
|
317
345
|
tasklite/
|
|
318
346
|
├── pipeline.py # TaskLite 核心门面与配置
|
|
347
|
+
├── selection.py # 执行选择规则值对象 Exclude/Skip(候选准入 seam,ADR-0006)
|
|
319
348
|
├── hooks.py # 用户工具函数(job_ref / progress_hook / slice_list)
|
|
320
349
|
├── engine/ # 核心执行机器群
|
|
321
350
|
│ ├── runtime.py # 核心运行期深模块、主循环事件泵 (EngineRuntime)
|
|
322
351
|
│ ├── config.py # RunConfig 静态装配快照、默认值唯一解析点
|
|
323
352
|
│ ├── session.py # RunSession 单次 run 生命周期状态与钩子单一出口
|
|
324
|
-
│ ├──
|
|
353
|
+
│ ├── wait.py # 事件泵等待/空闲决策纯函数
|
|
325
354
|
│ ├── types.py # 引擎公共值对象单一真相源
|
|
326
|
-
│ ├── store.py # 状态事务、3-strike
|
|
327
|
-
│ ├──
|
|
355
|
+
│ ├── store.py # 状态事务、3-strike 崩溃与失败写入隔离 (StateStore)
|
|
356
|
+
│ ├── ops.py # OpsConsole:run() 外纯运维接缝(管理 API 委托目标)
|
|
328
357
|
│ ├── dispatch.py # 任务派发状态机 (DispatchMachine)
|
|
329
358
|
│ ├── completion.py # 任务完成与提交 (CompletionMachine)
|
|
330
359
|
│ ├── recovery.py # 崩溃检测与恢复 (RecoveryOrchestrator)
|
|
331
360
|
│ ├── channel.py # IPC 与子进程执行通道 (ExecutionChannel / WorkerLaunchSpec)
|
|
332
|
-
│ ├── scheduler.py # 资源调度与 DAG 依赖 (JobScheduler)
|
|
333
|
-
│ ├──
|
|
334
|
-
│ ├── governor.py #
|
|
335
|
-
│ ├──
|
|
361
|
+
│ ├── scheduler.py # 资源调度与 DAG 依赖 (JobScheduler / OrderingPolicy 排序 seam / Selection 候选准入 seam)
|
|
362
|
+
│ ├── admission.py # rerun 准入 (RerunPolicy) 与重入队节奏 (RequeuePolicy seam)
|
|
363
|
+
│ ├── governor.py # 死锁归因仲裁与依赖宽限,消费选择停摆事实 (DeadlockGovernor)
|
|
364
|
+
│ ├── selection.py # Skip 闭包与选择停摆图事实 (SelectionMachine)
|
|
365
|
+
│ ├── in_flight.py # 在途作业租约追踪 (InFlightTracker)
|
|
366
|
+
│ ├── errorclass.py # 错误分类与校验分类深模块 (ErrorClassifier)
|
|
336
367
|
│ └── resource.py # 令牌桶限速与并发容量资源
|
|
337
368
|
├── backend/ # SQLite WAL 强一致事务持久化后端
|
|
338
|
-
├── models/ # Job /
|
|
339
|
-
├──
|
|
340
|
-
├── testing.py # fake_ctx:handler 单测的官方 TaskContext 构造器
|
|
369
|
+
├── models/ # Task / Job / Attempt / PipelineState / JobContext 数据模型
|
|
370
|
+
├── testing.py # fake_ctx:handler 单测的官方 JobContext 构造器
|
|
341
371
|
├── wrappers/ # discovery.py(增量扫描)/ http.py(网络守卫与快照)
|
|
342
|
-
|
|
372
|
+
├── contrib/ # 生态扩展套件与参考实现(核心不依赖)
|
|
373
|
+
└── utils/ # encoding(单射 %XX 转义)/ ipc(IPC 信号与降级落盘)/ clock / jsonutil(禁NaN)/ lockfile
|
|
343
374
|
```
|
|
344
375
|
|
|
345
376
|
---
|