django-simpletask5 0.2.9__tar.gz → 0.2.10__tar.gz

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: django-simpletask5
-Version: 0.2.9
+Version: 0.2.10
 Summary: Lightweight async task execution framework for Django
 Author-email: rRR0VrFP <rrr0vrfp@qq.com>
 Maintainer-email: rRR0VrFP <rrr0vrfp@qq.com>
@@ -776,6 +776,16 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 
 ## Releases
 
+### 0.2.10
+
+- **修复 MySQL/InnoDB 并发写入死锁** — 后台批量改状态原使用 `WHERE execution_id IN (...)`、`WHERE status = 'pending'` 等**二级索引范围更新**，会与前台 `Task` 子类 `create()` 触发的 `TaskExecution` 插入在二级索引间隙上相互阻塞，在高并发下偶发 `OperationalError (1213)` 死锁。现改为**先查出主键、再按主键更新**（`WHERE id IN (...)`），不触碰二级索引间隙，从源头消除死锁，无需重试、不改变原有同事务语义
+  - `django_simpletask5/executors/retry_timeout.py`：领取超时 / 执行超时的批量改状态改为按主键更新
+  - `django_simpletask5/admin.py`：`cancel_selected` 批量取消改为按主键更新
+- **修复 MySQL 下 `bulk_create` 触发任务时 `task_id` 为空** — 部分数据库后端（如 MySQL）的 `bulk_create` 不回填自增主键，导致批量创建时生成的 `TaskExecution.task_id` 落成 `None`，业务对象无法反查。现按 `skip_publish` 分流：标记跳过发布的实例仍走高性能批量插入，需要触发任务的实例改为逐条保存，由信号在拿到真实主键后创建并发布 execution。返回值语义保持不变：仍返回传入的同一批实例并保持原顺序
+- **修复示例项目 `OrderTask` 迁移的主键顺序** — 修正 `0002` 迁移先删旧主键再新增自增主键，解决 MySQL 执行时 `1068 Multiple primary key defined`
+- **Dashboard 查询优化** — 卡片当日指标、近 30 天状态分布改用走索引的自然日范围查询（`created_at__gte/__lt`）替代 `created_at__date` 全表扫描；每日执行图表由逐日 60 次 `count` 合并为单次 `TruncDate` 分组聚合。仪表盘整体查询数降至常量级，不再随天数增长。新增 `TaskExecution` 的 `(status, created_at)` 联合索引（迁移 `0015`）支撑状态分布查询
+- **Dashboard Worker 表增强** — Active Workers 表新增“运行时长”与“最后心跳”两列；心跳距今超过 Worker 注册 TTL 阈值（约 60%）时以 `⚠` 标记，提示该 Worker 可能即将失联；时间戳缺失或非法时降级为 `-`，不影响其余展示
+
 ### 0.2.9
 
 - **启用状态所有权独立跟踪** — 新增 `CronJob.is_active_modified_by_user` 字段与迁移 `0014`，将“启用/暂停状态”与“定义字段”的所有权彻底分离。用户手动启停（快捷按钮 / 批量操作 / 编辑表单）后置该标记，自动同步（`sync_cronjobs`）不再覆盖 `is_active`；未手动改过的任务仍按代码注册值同步。暂停只锁 `is_active`，`cron_expression` 等定义字段照常同步
@@ -790,9 +800,7 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **可观测性入口公开** — Dashboard 使用的 Worker 统计入口由 `_get_worker_stats` 改为公开的 `get_worker_stats()`；消费者线程心跳改为读取 `DJANGO_SIMPLETASK_WORKER_HEARTBEAT_INTERVAL`，Worker 注册、Redis 降级和日志节流逻辑补充了完整说明
 - **注释与文档校准** — 为整个 `django_simpletask5` 生产包补充中文模块/类/函数/分支注释，并修正归档路径、归档清理、`running/timeout` 状态流转、Admin 只读性、脚本白名单、连接池 heartbeat、优雅退出等待时间等与实际行为不一致的说明
 - **迁移与翻译** — 新增迁移 `django_simpletask5.0014_cronjob_is_active_modified_by_user`，同步更新简体中文翻译与迁移中的字段 `help_text`
-- **测试** — 新增 `test_logging_utils.py`；扩充消息发布、消息队列、CronJob 同步、Admin 启停、Reclaim、Worker 恢复、Redis 锁与集成测试，覆盖最终发布失败、队列积压统计、`force` 同步、启停所有权、查询串保留、空锁配置和 Worker 清理 glob 等场景
 - **环境要求** — 代码使用 `X | None` 联合类型，最低 Python 版本明确为 3.10；同时将 Django 最低版本明确为 4.2，并补充 `Django>=4.2` 依赖声明
-- **版本** — `pyproject.toml` 版本更新为 `0.2.9`
 
 ### 0.2.8
 
@@ -807,15 +815,11 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **重试不再搁浅任务** — 失败重试先落库 `retry` 再发布重试消息，发布失败则 requeue 当前消息，杜绝任务永久停在无人处理的 `retry` 状态；KombuQueue 依据 AMQP `x-death` 上限丢弃毒消息，避免无限 requeue 造成的队头阻塞与空转
 - **消费者重连提示** — Worker 断连重连成功后输出 `Consumer connection restored` 恢复日志，便于运维确认消费通道已恢复
 - **安全与健壮性加固** — broker 账号/密码按百分号编码、脚本白名单按路径段边界匹配、signals 快照按实例隔离，覆盖相关回归测试
-- **新增测试约定** — 单元测试中对预期触发（如无效 UUID 校验、毒消息丢弃、消费者断连、执行器加载失败等）产生的错误日志必须屏蔽输出，统一使用 `django_simpletask5_example.tests.suppress_expected_errors` 或替换 logger，保证测试输出干净可读；本次同步清理全部此类预期错误日志
 
 ### 0.2.6
 
 - **新增 `canceled` 状态** — 取消已发布但未执行的任务改为独立的终态 `canceled`（原复用 `failed`），Worker 消费到已取消消息时直接跳过；Admin 取消操作、归档/清理/统计（新增 `canceled_count`）、Dashboard 状态图均纳入该状态，取消与执行失败可清晰区分
 - **WorkerSupervisor 守护线程** — 统一的 Worker 线程保活机制，周期性心跳并自动重启异常退出的 Worker 线程，保持目标 Worker 数量，提升长时间运行稳定性
-- **韧性/恢复测试套件** — 新增 `test_resilience_recovery.py`，模拟 Redis、DB、MQ 连接中断后的自动恢复：Worker 启动时 Redis 注册失败重试、消费者断连自动重连、锁引擎中断后消息重入队并在 Redis 恢复后继续处理、DB 瞬断重入队、执行器异常标记 failed/retry、crontab 调度器 Redis 恢复检测等
-- **测试套件稳定性修复** — `test_worker_registry` 隔离全局 `_active_workers` 消除跨用例污染；`test_integration` 动态探测本地可用的 Redis/RabbitMQ 镜像（支持 `DJANGO_SIMPLETASK_REDIS_IMAGE` / `DJANGO_SIMPLETASK_RABBITMQ_IMAGE` 环境变量覆盖），并改为真实 AMQP 握手探测 RabbitMQ 就绪，避免新建容器连接被重置的偶发失败
-- **测试服务脚本** — `start-test-services.sh` 默认使用 6379/5672 端口并动态检测本地镜像，提供 `start` / `stop` / `status` 子命令，便于一键启动测试依赖
 
 ### 0.2.5
 
@@ -860,7 +864,6 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **破坏性变更**: 移除 `Task` 模型上的自定义主键，`task_id` 不再是主键字段，改为 `unique=True` 的唯一标识字段。所有 `Task` 子模型将自动获得 Django 默认的自增 `id` 主键。已有数据库需要迁移处理。
 - **统计维度调整**: `TaskExecutionStat` 的统计维度由 `task_model` 改为 `executor_class`，统一覆盖有模型任务和 Cron 定时任务两种场景。对应 API `_update_stats()` 按 `executor_class` 分组聚合。
 - **Admin 优化**: CronJob 列表页移除 `executor_class` 列避免表格撑开；TaskExecutionStat 列表页新增 `executor_class` 列、`created_at` 设为只读修复详情页错误。
-- **测试修复**: 修复 `TransactionTestCase` + `on_commit` 在 SQLite 共享内存连接下因 `TestCase` 残留原子块导致回调不执行的兼容性问题；Redis MQ / RabbitMQ E2E 集成测试全部通过。
 
 ### 0.1.5
 

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/README.md

@@ -737,6 +737,16 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 
 ## Releases
 
+### 0.2.10
+
+- **修复 MySQL/InnoDB 并发写入死锁** — 后台批量改状态原使用 `WHERE execution_id IN (...)`、`WHERE status = 'pending'` 等**二级索引范围更新**，会与前台 `Task` 子类 `create()` 触发的 `TaskExecution` 插入在二级索引间隙上相互阻塞，在高并发下偶发 `OperationalError (1213)` 死锁。现改为**先查出主键、再按主键更新**（`WHERE id IN (...)`），不触碰二级索引间隙，从源头消除死锁，无需重试、不改变原有同事务语义
+  - `django_simpletask5/executors/retry_timeout.py`：领取超时 / 执行超时的批量改状态改为按主键更新
+  - `django_simpletask5/admin.py`：`cancel_selected` 批量取消改为按主键更新
+- **修复 MySQL 下 `bulk_create` 触发任务时 `task_id` 为空** — 部分数据库后端（如 MySQL）的 `bulk_create` 不回填自增主键，导致批量创建时生成的 `TaskExecution.task_id` 落成 `None`，业务对象无法反查。现按 `skip_publish` 分流：标记跳过发布的实例仍走高性能批量插入，需要触发任务的实例改为逐条保存，由信号在拿到真实主键后创建并发布 execution。返回值语义保持不变：仍返回传入的同一批实例并保持原顺序
+- **修复示例项目 `OrderTask` 迁移的主键顺序** — 修正 `0002` 迁移先删旧主键再新增自增主键，解决 MySQL 执行时 `1068 Multiple primary key defined`
+- **Dashboard 查询优化** — 卡片当日指标、近 30 天状态分布改用走索引的自然日范围查询（`created_at__gte/__lt`）替代 `created_at__date` 全表扫描；每日执行图表由逐日 60 次 `count` 合并为单次 `TruncDate` 分组聚合。仪表盘整体查询数降至常量级，不再随天数增长。新增 `TaskExecution` 的 `(status, created_at)` 联合索引（迁移 `0015`）支撑状态分布查询
+- **Dashboard Worker 表增强** — Active Workers 表新增“运行时长”与“最后心跳”两列；心跳距今超过 Worker 注册 TTL 阈值（约 60%）时以 `⚠` 标记，提示该 Worker 可能即将失联；时间戳缺失或非法时降级为 `-`，不影响其余展示
+
 ### 0.2.9
 
 - **启用状态所有权独立跟踪** — 新增 `CronJob.is_active_modified_by_user` 字段与迁移 `0014`，将“启用/暂停状态”与“定义字段”的所有权彻底分离。用户手动启停（快捷按钮 / 批量操作 / 编辑表单）后置该标记，自动同步（`sync_cronjobs`）不再覆盖 `is_active`；未手动改过的任务仍按代码注册值同步。暂停只锁 `is_active`，`cron_expression` 等定义字段照常同步
@@ -751,9 +761,7 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **可观测性入口公开** — Dashboard 使用的 Worker 统计入口由 `_get_worker_stats` 改为公开的 `get_worker_stats()`；消费者线程心跳改为读取 `DJANGO_SIMPLETASK_WORKER_HEARTBEAT_INTERVAL`，Worker 注册、Redis 降级和日志节流逻辑补充了完整说明
 - **注释与文档校准** — 为整个 `django_simpletask5` 生产包补充中文模块/类/函数/分支注释，并修正归档路径、归档清理、`running/timeout` 状态流转、Admin 只读性、脚本白名单、连接池 heartbeat、优雅退出等待时间等与实际行为不一致的说明
 - **迁移与翻译** — 新增迁移 `django_simpletask5.0014_cronjob_is_active_modified_by_user`，同步更新简体中文翻译与迁移中的字段 `help_text`
-- **测试** — 新增 `test_logging_utils.py`；扩充消息发布、消息队列、CronJob 同步、Admin 启停、Reclaim、Worker 恢复、Redis 锁与集成测试，覆盖最终发布失败、队列积压统计、`force` 同步、启停所有权、查询串保留、空锁配置和 Worker 清理 glob 等场景
 - **环境要求** — 代码使用 `X | None` 联合类型，最低 Python 版本明确为 3.10；同时将 Django 最低版本明确为 4.2，并补充 `Django>=4.2` 依赖声明
-- **版本** — `pyproject.toml` 版本更新为 `0.2.9`
 
 ### 0.2.8
 
@@ -768,15 +776,11 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **重试不再搁浅任务** — 失败重试先落库 `retry` 再发布重试消息，发布失败则 requeue 当前消息，杜绝任务永久停在无人处理的 `retry` 状态；KombuQueue 依据 AMQP `x-death` 上限丢弃毒消息，避免无限 requeue 造成的队头阻塞与空转
 - **消费者重连提示** — Worker 断连重连成功后输出 `Consumer connection restored` 恢复日志，便于运维确认消费通道已恢复
 - **安全与健壮性加固** — broker 账号/密码按百分号编码、脚本白名单按路径段边界匹配、signals 快照按实例隔离，覆盖相关回归测试
-- **新增测试约定** — 单元测试中对预期触发（如无效 UUID 校验、毒消息丢弃、消费者断连、执行器加载失败等）产生的错误日志必须屏蔽输出，统一使用 `django_simpletask5_example.tests.suppress_expected_errors` 或替换 logger，保证测试输出干净可读；本次同步清理全部此类预期错误日志
 
 ### 0.2.6
 
 - **新增 `canceled` 状态** — 取消已发布但未执行的任务改为独立的终态 `canceled`（原复用 `failed`），Worker 消费到已取消消息时直接跳过；Admin 取消操作、归档/清理/统计（新增 `canceled_count`）、Dashboard 状态图均纳入该状态，取消与执行失败可清晰区分
 - **WorkerSupervisor 守护线程** — 统一的 Worker 线程保活机制，周期性心跳并自动重启异常退出的 Worker 线程，保持目标 Worker 数量，提升长时间运行稳定性
-- **韧性/恢复测试套件** — 新增 `test_resilience_recovery.py`，模拟 Redis、DB、MQ 连接中断后的自动恢复：Worker 启动时 Redis 注册失败重试、消费者断连自动重连、锁引擎中断后消息重入队并在 Redis 恢复后继续处理、DB 瞬断重入队、执行器异常标记 failed/retry、crontab 调度器 Redis 恢复检测等
-- **测试套件稳定性修复** — `test_worker_registry` 隔离全局 `_active_workers` 消除跨用例污染；`test_integration` 动态探测本地可用的 Redis/RabbitMQ 镜像（支持 `DJANGO_SIMPLETASK_REDIS_IMAGE` / `DJANGO_SIMPLETASK_RABBITMQ_IMAGE` 环境变量覆盖），并改为真实 AMQP 握手探测 RabbitMQ 就绪，避免新建容器连接被重置的偶发失败
-- **测试服务脚本** — `start-test-services.sh` 默认使用 6379/5672 端口并动态检测本地镜像，提供 `start` / `stop` / `status` 子命令，便于一键启动测试依赖
 
 ### 0.2.5
 
@@ -821,7 +825,6 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **破坏性变更**: 移除 `Task` 模型上的自定义主键，`task_id` 不再是主键字段，改为 `unique=True` 的唯一标识字段。所有 `Task` 子模型将自动获得 Django 默认的自增 `id` 主键。已有数据库需要迁移处理。
 - **统计维度调整**: `TaskExecutionStat` 的统计维度由 `task_model` 改为 `executor_class`，统一覆盖有模型任务和 Cron 定时任务两种场景。对应 API `_update_stats()` 按 `executor_class` 分组聚合。
 - **Admin 优化**: CronJob 列表页移除 `executor_class` 列避免表格撑开；TaskExecutionStat 列表页新增 `executor_class` 列、`created_at` 设为只读修复详情页错误。
-- **测试修复**: 修复 `TransactionTestCase` + `on_commit` 在 SQLite 共享内存连接下因 `TestCase` 残留原子块导致回调不执行的兼容性问题；Redis MQ / RabbitMQ E2E 集成测试全部通过。
 
 ### 0.1.5
 

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5/admin.py

@@ -279,8 +279,10 @@ class TaskExecutionAdmin(DjangoCheckboxNormalizeAdmin, DjangoTabbedChangeformAdm
     @admin.action(description=_("Cancel selected pending tasks"))
     def cancel_selected(self, request, queryset):
         """批量取消仍处于 pending 的记录。"""
-        # 用 queryset.update 一次完成，避免逐条 save 产生大量 SQL。
-        updated = queryset.filter(status='pending').update(status='canceled')
+        # 先按状态筛出主键，再按主键批量更新：避免直接对 status 二级索引
+        # 做范围 UPDATE 产生间隙锁，与前台 create 的 execution INSERT 死锁。
+        pks = list(queryset.filter(status='pending').values_list('pk', flat=True))
+        updated = TaskExecution.objects.filter(pk__in=pks).update(status='canceled') if pks else 0
         self.message_user(request, _("%d execution(s) have been cancelled.") % updated)
 
 

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5/dashboards.py

@@ -1,15 +1,46 @@
 """Admin 仪表盘：执行统计、趋势图、失败列表与 Worker 状态。"""
 
-from datetime import date, timedelta
+import time
+from datetime import date, datetime, time as dt_time, timedelta
 
-from django.db.models import Count
+from django.db.models import Count, Q
+from django.db.models.functions import TruncDate
 from django.urls import reverse
+from django.utils import timezone
 from django.utils.translation import gettext_lazy as _
 
 from django_admin_dashboards.base import Dashboard, Layout, CardComponent, ChartComponent, TableComponent
 
 from django_simpletask5.models import TaskExecution, CronJob, TaskExecutionArchive
-from django_simpletask5.core.worker_registry import get_worker_stats
+from django_simpletask5.core.worker_registry import get_worker_stats, WORKER_TTL
+
+
+def _day_range(day):
+    """返回某自然日的 ``[起, 止)`` 时间范围，供走索引的范围查询使用。
+
+    ``created_at__date=day`` 会把列包成函数、无法命中 ``created_at`` 索引；
+    改用 ``created_at__gte / __lt`` 的闭开区间即可正常走索引。
+    """
+    start = timezone.make_aware(datetime.combine(day, dt_time.min))
+    end = timezone.make_aware(datetime.combine(day + timedelta(days=1), dt_time.min))
+    return start, end
+
+
+def _format_duration(seconds):
+    """把秒数格式化为 ``1d2h`` / ``3h05m`` / ``12m30s`` / ``45s`` 形式。"""
+    seconds = int(seconds)
+    if seconds < 0:
+        seconds = 0
+    days, rem = divmod(seconds, 86400)
+    hours, rem = divmod(rem, 3600)
+    minutes, secs = divmod(rem, 60)
+    if days:
+        return f"{days}d{hours}h"
+    if hours:
+        return f"{hours}h{minutes:02d}m"
+    if minutes:
+        return f"{minutes}m{secs:02d}s"
+    return f"{secs}s"
 
 
 class TaskDashboard(Dashboard):
@@ -42,21 +73,27 @@ class TaskDashboard(Dashboard):
         layout = Layout(columns=12)
 
         today = date.today()
+        today_start, today_end = _day_range(today)
 
-        # 顶部卡片指标：当天执行量、成功数、失败数、积压与定时任务数。
-        total_today = TaskExecution.objects.filter(
-            created_at__date=today
-        ).count()
-        success_today = TaskExecution.objects.filter(
-            created_at__date=today, status="success"
-        ).count()
+        # 当日各状态计数合并为一次聚合查询，走 created_at 索引范围扫描。
+        today_stats = TaskExecution.objects.filter(
+            created_at__gte=today_start, created_at__lt=today_end
+        ).aggregate(
+            total=Count("execution_id"),
+            success=Count("execution_id", filter=Q(status="success")),
+            failed=Count("execution_id", filter=Q(status="failed")),
+            retry=Count("execution_id", filter=Q(status="retry")),
+        )
+        total_today = today_stats["total"]
+        success_today = today_stats["success"]
+        failed_today = today_stats["failed"]
+        retry_today = today_stats["retry"]
+
+        # 积压/运行中与定时任务、归档数：各自单次计数。
         pending = TaskExecution.objects.filter(status="pending").count()
         running = TaskExecution.objects.filter(status="running").count()
         active_cronjobs = CronJob.objects.filter(is_active=True).count()
         archives_count = TaskExecutionArchive.objects.count()
-        failed_today = TaskExecution.objects.filter(
-            created_at__date=today, status="failed"
-        ).count()
 
         # Worker 数据来自 Redis；Redis 不可用时显示 "-" 而不是 0，避免误导。
         worker_stats = get_worker_stats()
@@ -122,7 +159,7 @@ class TaskDashboard(Dashboard):
             ), 3),
             (CardComponent(
                 title=_("Today Retries"),
-                value=TaskExecution.objects.filter(status="retry", created_at__date=today).count(),
+                value=retry_today,
                 icon_class="ri-refresh-line",
                 color="info",
                 link=reverse("admin:django_simpletask5_taskexecution_changelist") + "?status__exact=retry",
@@ -131,8 +168,9 @@ class TaskDashboard(Dashboard):
 
         # 最近约 30 天状态分布（含今天与 30 天前）：按 status 聚合执行数量。
         thirty_days_ago = today - timedelta(days=30)
+        thirty_days_start, _unused_end = _day_range(thirty_days_ago)
         status_counts = TaskExecution.objects.filter(
-            created_at__date__gte=thirty_days_ago
+            created_at__gte=thirty_days_start
         ).values("status").annotate(
             count=Count("execution_id")
         )
@@ -228,23 +266,46 @@ class TaskDashboard(Dashboard):
         ])
 
         # Worker 列表：Redis 不可用时列表为空，但其它卡片仍可正常展示。
+        now = time.time()
         worker_rows = []
         for w in worker_stats["workers"]:
             pid = w.get("pid", "?")
             tid = w.get("tid", "?")
             hostname = w.get("hostname", "?")
+
+            # 运行时长：worker 自注册以来的存活时间。
+            try:
+                uptime = _format_duration(now - float(w.get("started_at", now)))
+            except (TypeError, ValueError):
+                uptime = "-"
+
+            # 最后心跳：距今时长；接近 TTL 说明 worker 可能即将失联。
+            try:
+                since_hb = now - float(w.get("updated_at", now))
+                stale = since_hb >= WORKER_TTL * 0.6
+                heartbeat = _format_duration(since_hb)
+                if stale:
+                    heartbeat = f"⚠ {heartbeat}"
+            except (TypeError, ValueError):
+                heartbeat = "-"
+
             worker_rows.append([
                 f"{hostname}:{pid}:{tid}",
                 w.get("queue", "?"),
                 w.get("status", "?"),
                 w.get("current_execution_id", "")[:8] or "-",
                 ",".join(w.get("services", [])) or "-",
+                uptime,
+                heartbeat,
             ])
 
         layout.add_row([
             (TableComponent(
                 title=_("Active Workers"),
-                columns=[_("Identity"), _("Queue"), _("Status"), _("Current Execution"), _("Services")],
+                columns=[
+                    _("Identity"), _("Queue"), _("Status"), _("Current Execution"),
+                    _("Services"), _("Uptime"), _("Last Heartbeat"),
+                ],
                 data=worker_rows,
             ), 12),
         ])
@@ -252,28 +313,37 @@ class TaskDashboard(Dashboard):
         return layout
 
     def _daily_executions_chart(self):
-        """构造最近 30 天成功/失败堆叠柱状图数据。"""
+        """构造最近 30 天成功/失败堆叠柱状图数据。
+
+        仅执行一次按天分组的聚合查询，避免逐日发起 60 次 count。
+        """
         today = date.today()
+        start_day = today - timedelta(days=29)
+        start, _unused_start_end = _day_range(start_day)
+        _unused_today_start, end = _day_range(today)
+
+        # 一次聚合出每天的成功数、失败/超时数。
+        rows = TaskExecution.objects.filter(
+            created_at__gte=start, created_at__lt=end
+        ).annotate(
+            day=TruncDate("created_at")
+        ).values("day").annotate(
+            success=Count("execution_id", filter=Q(status="success")),
+            failed=Count("execution_id", filter=Q(status__in=["failed", "timeout"])),
+        )
+
+        by_day = {row["day"]: row for row in rows}
+
         labels = []
         success_data = []
         failed_data = []
-
-        # 从 29 天前到今天，保证 X 轴时间正序。
+        # 从 29 天前到今天，保证 X 轴时间正序；缺失的日期补 0。
         for i in range(29, -1, -1):
             d = today - timedelta(days=i)
             labels.append(d.strftime("%m-%d"))
-
-            # 每天两个聚合查询：成功数、失败/超时数。
-            success_data.append(
-                TaskExecution.objects.filter(
-                    created_at__date=d, status="success"
-                ).count()
-            )
-            failed_data.append(
-                TaskExecution.objects.filter(
-                    created_at__date=d, status__in=["failed", "timeout"]
-                ).count()
-            )
+            row = by_day.get(d)
+            success_data.append(row["success"] if row else 0)
+            failed_data.append(row["failed"] if row else 0)
         return {
             "labels": labels,
             "datasets": [

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5/executors/retry_timeout.py

@@ -67,40 +67,43 @@ class RetryTimeoutExecutor(BaseExecutor):
         )
 
         # 领取超时：任务从未开始运行，说明消息可能丢失，不应消耗业务重试次数。
-        pickup_ids = list(
+        # 同时取出主键与 execution_id：更新走主键精确命中，避免 WHERE
+        # execution_id IN (...) 走唯一索引范围扫描产生间隙锁，与前台 create 的
+        # execution INSERT 相互阻塞形成死锁。
+        pickup_rows = list(
             timeout_records.filter(started_at__isnull=True)
-            .values_list('execution_id', flat=True)
+            .values_list('pk', 'execution_id')
         )
-        if pickup_ids:
-            # 先批量改状态，再在事务提交后逐条发布，避免消费者读到旧状态。
-            TaskExecution.objects.filter(execution_id__in=pickup_ids).update(
+        if pickup_rows:
+            # 先按主键批量改状态，再在事务提交后逐条发布，避免消费者读到旧状态。
+            TaskExecution.objects.filter(pk__in=[pk for pk, _ in pickup_rows]).update(
                 status='retry',
             )
-            for exec_id in pickup_ids:
+            for _, exec_id in pickup_rows:
                 transaction.on_commit(
                     partial(_publish_message_by_id, exec_id)
                 )
 
         # 执行超时：任务确实运行过，消耗一次重试次数。
-        exec_ids = list(
+        exec_rows = list(
             timeout_records.filter(started_at__isnull=False)
-            .values_list('execution_id', flat=True)
+            .values_list('pk', 'execution_id')
         )
         # 有执行超时任务时，消耗一次重试次数后重新投递。
-        if exec_ids:
-            TaskExecution.objects.filter(execution_id__in=exec_ids).update(
+        if exec_rows:
+            TaskExecution.objects.filter(pk__in=[pk for pk, _ in exec_rows]).update(
                 status='retry',
                 retry_count=models.F('retry_count') + 1,
             )
-            for exec_id in exec_ids:
+            for _, exec_id in exec_rows:
                 transaction.on_commit(
                     partial(_publish_message_by_id, exec_id)
                 )
 
-        total = len(pickup_ids) + len(exec_ids)
+        total = len(pickup_rows) + len(exec_rows)
         return json.dumps({
             'retried': total,
-            'pickup_timeout_retried': len(pickup_ids),
-            'exec_timeout_retried': len(exec_ids),
+            'pickup_timeout_retried': len(pickup_rows),
+            'exec_timeout_retried': len(exec_rows),
             'success': True,
         })

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5/locale/zh_Hans/LC_MESSAGES/django.po

@@ -243,6 +243,12 @@ msgstr "当前执行"
 msgid "Services"
 msgstr "服务"
 
+msgid "Uptime"
+msgstr "运行时长"
+
+msgid "Last Heartbeat"
+msgstr "最后心跳"
+
 #: django_simpletask5/dashboards.py:261
 msgid "Failed/Timeout"
 msgstr "失败/超时"

django_simpletask5-0.2.10/django_simpletask5/migrations/0015_taskexecution_idx_exec_status_created.py

@@ -0,0 +1,19 @@
+# Generated by Django 5.2.17 on 2026-10-27 06:17
+
+from django.db import migrations, models
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ("django_simpletask5", "0014_cronjob_is_active_modified_by_user"),
+    ]
+
+    operations = [
+        migrations.AddIndex(
+            model_name="taskexecution",
+            index=models.Index(
+                fields=["status", "created_at"], name="idx_exec_status_created"
+            ),
+        ),
+    ]

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5/models.py

@@ -54,13 +54,29 @@ class TaskQuerySet(models.QuerySet):
     """Task 专用 QuerySet，在批量创建后自动发布任务。"""
 
     def bulk_create(self, objs, **kwargs):
-        """批量创建业务对象，并为创建出的实例批量生成 execution。"""
-        instances = super().bulk_create(objs, **kwargs)
+        """批量创建业务对象，并按需为创建出的实例生成 execution。
 
-        # 延迟导入避免 models 与 publisher 的循环依赖。
-        from django_simpletask5.core.publisher import bulk_create_and_publish
-        bulk_create_and_publish(instances, trigger_event='create')
-        return instances
+        需要触发消息的实例逐条 ``save()``，由 post_save 信号发布任务。这样做的
+        原因是部分数据库后端（如 MySQL）的 ``bulk_create`` 不会回填自增主键，
+        会导致 execution 的 ``task_id`` 落成 None；逐条保存可拿到真实主键。
+
+        标记了 ``skip_publish`` 的实例不触发任务，仍走高性能的 ``bulk_create``。
+        返回值与 Django 一致：传入的同一批实例（保持原顺序）。
+        """
+        objs = list(objs)
+
+        # 屏蔽消息触发的实例不产生 execution，保留批量插入的高性能。
+        skipped = [obj for obj in objs if getattr(obj, '_skip_publish', False)]
+        if skipped:
+            super().bulk_create(skipped, **kwargs)
+
+        # 需要触发的实例逐条保存：信号会在 post_save 中创建 execution 并发布。
+        # bulk_create 专属的 kwargs（batch_size/ignore_conflicts 等）在此无意义，忽略。
+        for obj in objs:
+            if not getattr(obj, '_skip_publish', False):
+                obj.save()
+
+        return objs
 
 
 class TaskManager(models.Manager):
@@ -335,6 +351,7 @@ class TaskExecution(models.Model):
         ordering = ['-created_at']
         indexes = [
             models.Index(fields=['status', 'expire_time'], name='idx_exec_status_expire'),
+            models.Index(fields=['status', 'created_at'], name='idx_exec_status_created'),
         ]
 
     def __str__(self):

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: django-simpletask5
-Version: 0.2.9
+Version: 0.2.10
 Summary: Lightweight async task execution framework for Django
 Author-email: rRR0VrFP <rrr0vrfp@qq.com>
 Maintainer-email: rRR0VrFP <rrr0vrfp@qq.com>
@@ -776,6 +776,16 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 
 ## Releases
 
+### 0.2.10
+
+- **修复 MySQL/InnoDB 并发写入死锁** — 后台批量改状态原使用 `WHERE execution_id IN (...)`、`WHERE status = 'pending'` 等**二级索引范围更新**，会与前台 `Task` 子类 `create()` 触发的 `TaskExecution` 插入在二级索引间隙上相互阻塞，在高并发下偶发 `OperationalError (1213)` 死锁。现改为**先查出主键、再按主键更新**（`WHERE id IN (...)`），不触碰二级索引间隙，从源头消除死锁，无需重试、不改变原有同事务语义
+  - `django_simpletask5/executors/retry_timeout.py`：领取超时 / 执行超时的批量改状态改为按主键更新
+  - `django_simpletask5/admin.py`：`cancel_selected` 批量取消改为按主键更新
+- **修复 MySQL 下 `bulk_create` 触发任务时 `task_id` 为空** — 部分数据库后端（如 MySQL）的 `bulk_create` 不回填自增主键，导致批量创建时生成的 `TaskExecution.task_id` 落成 `None`，业务对象无法反查。现按 `skip_publish` 分流：标记跳过发布的实例仍走高性能批量插入，需要触发任务的实例改为逐条保存，由信号在拿到真实主键后创建并发布 execution。返回值语义保持不变：仍返回传入的同一批实例并保持原顺序
+- **修复示例项目 `OrderTask` 迁移的主键顺序** — 修正 `0002` 迁移先删旧主键再新增自增主键，解决 MySQL 执行时 `1068 Multiple primary key defined`
+- **Dashboard 查询优化** — 卡片当日指标、近 30 天状态分布改用走索引的自然日范围查询（`created_at__gte/__lt`）替代 `created_at__date` 全表扫描；每日执行图表由逐日 60 次 `count` 合并为单次 `TruncDate` 分组聚合。仪表盘整体查询数降至常量级，不再随天数增长。新增 `TaskExecution` 的 `(status, created_at)` 联合索引（迁移 `0015`）支撑状态分布查询
+- **Dashboard Worker 表增强** — Active Workers 表新增“运行时长”与“最后心跳”两列；心跳距今超过 Worker 注册 TTL 阈值（约 60%）时以 `⚠` 标记，提示该 Worker 可能即将失联；时间戳缺失或非法时降级为 `-`，不影响其余展示
+
 ### 0.2.9
 
 - **启用状态所有权独立跟踪** — 新增 `CronJob.is_active_modified_by_user` 字段与迁移 `0014`，将“启用/暂停状态”与“定义字段”的所有权彻底分离。用户手动启停（快捷按钮 / 批量操作 / 编辑表单）后置该标记，自动同步（`sync_cronjobs`）不再覆盖 `is_active`；未手动改过的任务仍按代码注册值同步。暂停只锁 `is_active`，`cron_expression` 等定义字段照常同步
@@ -790,9 +800,7 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **可观测性入口公开** — Dashboard 使用的 Worker 统计入口由 `_get_worker_stats` 改为公开的 `get_worker_stats()`；消费者线程心跳改为读取 `DJANGO_SIMPLETASK_WORKER_HEARTBEAT_INTERVAL`，Worker 注册、Redis 降级和日志节流逻辑补充了完整说明
 - **注释与文档校准** — 为整个 `django_simpletask5` 生产包补充中文模块/类/函数/分支注释，并修正归档路径、归档清理、`running/timeout` 状态流转、Admin 只读性、脚本白名单、连接池 heartbeat、优雅退出等待时间等与实际行为不一致的说明
 - **迁移与翻译** — 新增迁移 `django_simpletask5.0014_cronjob_is_active_modified_by_user`，同步更新简体中文翻译与迁移中的字段 `help_text`
-- **测试** — 新增 `test_logging_utils.py`；扩充消息发布、消息队列、CronJob 同步、Admin 启停、Reclaim、Worker 恢复、Redis 锁与集成测试，覆盖最终发布失败、队列积压统计、`force` 同步、启停所有权、查询串保留、空锁配置和 Worker 清理 glob 等场景
 - **环境要求** — 代码使用 `X | None` 联合类型，最低 Python 版本明确为 3.10；同时将 Django 最低版本明确为 4.2，并补充 `Django>=4.2` 依赖声明
-- **版本** — `pyproject.toml` 版本更新为 `0.2.9`
 
 ### 0.2.8
 
@@ -807,15 +815,11 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **重试不再搁浅任务** — 失败重试先落库 `retry` 再发布重试消息，发布失败则 requeue 当前消息，杜绝任务永久停在无人处理的 `retry` 状态；KombuQueue 依据 AMQP `x-death` 上限丢弃毒消息，避免无限 requeue 造成的队头阻塞与空转
 - **消费者重连提示** — Worker 断连重连成功后输出 `Consumer connection restored` 恢复日志，便于运维确认消费通道已恢复
 - **安全与健壮性加固** — broker 账号/密码按百分号编码、脚本白名单按路径段边界匹配、signals 快照按实例隔离，覆盖相关回归测试
-- **新增测试约定** — 单元测试中对预期触发（如无效 UUID 校验、毒消息丢弃、消费者断连、执行器加载失败等）产生的错误日志必须屏蔽输出，统一使用 `django_simpletask5_example.tests.suppress_expected_errors` 或替换 logger，保证测试输出干净可读；本次同步清理全部此类预期错误日志
 
 ### 0.2.6
 
 - **新增 `canceled` 状态** — 取消已发布但未执行的任务改为独立的终态 `canceled`（原复用 `failed`），Worker 消费到已取消消息时直接跳过；Admin 取消操作、归档/清理/统计（新增 `canceled_count`）、Dashboard 状态图均纳入该状态，取消与执行失败可清晰区分
 - **WorkerSupervisor 守护线程** — 统一的 Worker 线程保活机制，周期性心跳并自动重启异常退出的 Worker 线程，保持目标 Worker 数量，提升长时间运行稳定性
-- **韧性/恢复测试套件** — 新增 `test_resilience_recovery.py`，模拟 Redis、DB、MQ 连接中断后的自动恢复：Worker 启动时 Redis 注册失败重试、消费者断连自动重连、锁引擎中断后消息重入队并在 Redis 恢复后继续处理、DB 瞬断重入队、执行器异常标记 failed/retry、crontab 调度器 Redis 恢复检测等
-- **测试套件稳定性修复** — `test_worker_registry` 隔离全局 `_active_workers` 消除跨用例污染；`test_integration` 动态探测本地可用的 Redis/RabbitMQ 镜像（支持 `DJANGO_SIMPLETASK_REDIS_IMAGE` / `DJANGO_SIMPLETASK_RABBITMQ_IMAGE` 环境变量覆盖），并改为真实 AMQP 握手探测 RabbitMQ 就绪，避免新建容器连接被重置的偶发失败
-- **测试服务脚本** — `start-test-services.sh` 默认使用 6379/5672 端口并动态检测本地镜像，提供 `start` / `stop` / `status` 子命令，便于一键启动测试依赖
 
 ### 0.2.5
 
@@ -860,7 +864,6 @@ Worker 消费消息 → 获取分布式锁 → 加载执行器 → 执行并保
 - **破坏性变更**: 移除 `Task` 模型上的自定义主键，`task_id` 不再是主键字段，改为 `unique=True` 的唯一标识字段。所有 `Task` 子模型将自动获得 Django 默认的自增 `id` 主键。已有数据库需要迁移处理。
 - **统计维度调整**: `TaskExecutionStat` 的统计维度由 `task_model` 改为 `executor_class`，统一覆盖有模型任务和 Cron 定时任务两种场景。对应 API `_update_stats()` 按 `executor_class` 分组聚合。
 - **Admin 优化**: CronJob 列表页移除 `executor_class` 列避免表格撑开；TaskExecutionStat 列表页新增 `executor_class` 列、`created_at` 设为只读修复详情页错误。
-- **测试修复**: 修复 `TransactionTestCase` + `on_commit` 在 SQLite 共享内存连接下因 `TestCase` 残留原子块导致回调不执行的兼容性问题；Redis MQ / RabbitMQ E2E 集成测试全部通过。
 
 ### 0.1.5
 

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/django_simpletask5.egg-info/SOURCES.txt

@@ -57,6 +57,7 @@ django_simpletask5/migrations/0011_taskexecutionstat_canceled_count.py
 django_simpletask5/migrations/0012_alter_taskexecution_status.py
 django_simpletask5/migrations/0013_alter_taskexecution_task_id.py
 django_simpletask5/migrations/0014_cronjob_is_active_modified_by_user.py
+django_simpletask5/migrations/0015_taskexecution_idx_exec_status_created.py
 django_simpletask5/migrations/__init__.py
 django_simpletask5/services/__init__.py
 django_simpletask5/services/archive.py

{django_simpletask5-0.2.9 → django_simpletask5-0.2.10}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "django-simpletask5"
-version = "0.2.9"
+version = "0.2.10"
 description = "Lightweight async task execution framework for Django"
 readme = "README.md"
 license = {text = "MIT"}