@researai/deepscientist 1.5.11 → 1.5.12

package/docs/zh/02_START_RESEARCH_GUIDE.md

@@ -115,13 +115,21 @@ type StartResearchTemplate = {
   baseline_variant_id: string
   baseline_urls: string
   paper_urls: string
+  review_materials: string
   runtime_constraints: string
   objectives: string
   need_research_paper: boolean
   research_intensity: 'light' | 'balanced' | 'sprint'
   decision_policy: 'autonomous' | 'user_gated'
   launch_mode: 'standard' | 'custom'
-  custom_profile: 'continue_existing_state' | 'revision_rebuttal' | 'freeform'
+  custom_profile: 'continue_existing_state' | 'review_audit' | 'revision_rebuttal' | 'freeform'
+  review_followup_policy: 'audit_only' | 'auto_execute_followups' | 'user_gated_followups'
+  baseline_execution_policy:
+    | 'auto'
+    | 'must_reproduce_or_verify'
+    | 'reuse_existing_only'
+    | 'skip_unless_blocking'
+  manuscript_edit_mode: 'none' | 'copy_ready_text' | 'latex_required'
   entry_state_summary: string
   review_summary: string
   custom_brief: string
@@ -187,6 +195,9 @@ type StartResearchContractFields = {
     decision_policy,
     launch_mode,
     custom_profile,
+    review_followup_policy,
+    baseline_execution_policy,
+    manuscript_edit_mode,
     scope,
     baseline_mode,
     resource_policy,
@@ -196,6 +207,7 @@ type StartResearchContractFields = {
     objectives: string[],
     baseline_urls: string[],
     paper_urls: string[],
+    review_materials: string[],
     entry_state_summary,
     review_summary,
     custom_brief,
@@ -265,11 +277,19 @@ type StartResearchContractFields = {
 **`baseline_urls`**
 
 - 当没有 registry baseline 时，作为恢复 baseline 的候选来源。
+- 可以填写网络链接，也可以直接填写绝对本地文件 / 文件夹路径。
 - 提交时转成 `string[]`。
 
 **`paper_urls`**
 
-- 论文、代码仓库、benchmark、leaderboard 等参考资料。
+- 论文、代码仓库、benchmark、leaderboard、manuscript 路径等参考资料。
+- 可以填写网络链接，也可以直接填写绝对本地文件 / 文件夹路径。
+- 提交时转成 `string[]`。
+
+**`review_materials`**
+
+- 主要用于 `review_audit` 或 `revision_rebuttal`。
+- 每行填写一个 URL，或一个绝对本地文件 / 文件夹路径，用于 reviewer comments、decision letter、meta-review 或 revision packet。
 - 提交时转成 `string[]`。
 
 ### 约束与目标
@@ -325,12 +345,49 @@ type StartResearchContractFields = {
 - `continue_existing_state`
   - 先审计已有 baseline、结果、草稿或混合资产
   - prompt builder 会显式引导 agent 优先打开 `intake-audit`
+- `review_audit`
+  - 这是一个对现有 draft / paper package 做独立 skeptical 审计的任务
+  - prompt builder 会显式引导 agent 优先打开 `review`
 - `revision_rebuttal`
   - 这是一个审稿回复、revision、rebuttal 类型任务
   - prompt builder 会显式引导 agent 优先打开 `rebuttal`
 - `freeform`
+  - 这是“其它”入口
   - 以自定义 brief 为主，尽量少做额外假设
 
+**`baseline_execution_policy`**
+
+- 仅在 `launch_mode = custom` 时有意义。
+- `auto`
+  - 让启动合同和当前证据自己决定
+- `must_reproduce_or_verify`
+  - 在 reviewer-linked 的后续工作之前，先验证或恢复 rebuttal 关键依赖的 baseline / comparator
+- `reuse_existing_only`
+  - 默认信任当前 baseline / 结果，除非它们明显不一致或不可用
+- `skip_unless_blocking`
+  - 默认跳过 baseline 重跑，只有当某个 review / rebuttal 条目明确依赖缺失 comparator 时才补跑
+
+**`review_followup_policy`**
+
+- 主要用于 `review_audit`。
+- `audit_only`
+  - 只完成审计产物和路由建议
+- `auto_execute_followups`
+  - 审计后自动继续进入合理的实验和论文修改
+- `user_gated_followups`
+  - 先完成审计，再在昂贵后续动作前等待你的批准
+
+**`manuscript_edit_mode`**
+
+- 主要用于 `review_audit` 和 `revision_rebuttal`。
+- `none`
+  - 只输出规划产物
+- `copy_ready_text`
+  - 输出 section-level 的可直接粘贴修改文本
+- `latex_required`
+  - 优先把提供的 LaTeX 树当作写作表面，并输出 LaTeX-ready 的替换文本
+  - 如果选择这个模式，最好同时通过本地路径 / 文件夹输入提供 LaTeX 源目录
+
 **`entry_state_summary`**
 
 - 用自然语言概括当前已经存在什么。
@@ -387,6 +444,9 @@ type StartResearchContractFields = {
 - `custom + continue_existing_state`
   - 告诉 agent 先整理和信任排序已有资产
   - 明确优先 `intake-audit`
+- `custom + review_audit`
+  - 告诉 agent 当前 draft / paper 状态就是主动合同
+  - 明确优先 `review`
 - `custom + revision_rebuttal`
   - 告诉 agent 先理解 reviewer comments 和当前论文状态
   - 明确优先 `rebuttal`
@@ -486,6 +546,9 @@ type StartResearchContractFields = {
     "decision_policy": "user_gated",
     "launch_mode": "custom",
     "custom_profile": "revision_rebuttal",
+    "review_followup_policy": "audit_only",
+    "baseline_execution_policy": "skip_unless_blocking",
+    "manuscript_edit_mode": "latex_required",
     "scope": "baseline_plus_direction",
     "baseline_mode": "restore_from_url",
     "resource_policy": "balanced",
@@ -499,6 +562,9 @@ type StartResearchContractFields = {
     ],
     "baseline_urls": [],
     "paper_urls": [],
+    "review_materials": [
+      "/absolute/path/to/review-comments.md"
+    ],
     "entry_state_summary": "A draft and previous experiment outputs already exist.",
     "review_summary": "Reviewers asked for one stronger ablation, one extra baseline, and a clearer limitation paragraph.",
     "custom_brief": "Treat the current manuscript and review packet as the active contract."
@@ -509,7 +575,7 @@ type StartResearchContractFields = {
 ## 运行时意义
 
 - `startup_contract` 是项目的持久状态，不只是 UI 临时字段。
-- 后续 prompt builder 还会继续读取 `launch_mode`、`custom_profile`、`entry_state_summary`、`review_summary`、`custom_brief`。
+- 后续 prompt builder 还会继续读取 `launch_mode`、`custom_profile`、`review_followup_policy`、`baseline_execution_policy`、`manuscript_edit_mode`、`entry_state_summary`、`review_summary`、`review_materials`、`custom_brief`。
 - 所以 `Start Research` 不只影响第一轮，还会影响后续路由判断。
 
 ## 修改检查清单

package/docs/zh/09_DOCTOR.md

@@ -10,12 +10,20 @@
    npm install -g @researai/deepscientist
    ```
 
-2. 先确保 Codex 已安装并完成认证：
+2. 先确保 Codex 自己已经可用：
+
+   默认 OpenAI 路径：
 
    ```bash
    codex --login
    ```
 
+   provider-backed profile 路径：
+
+   ```bash
+   codex --profile minimax
+   ```
+
    如果 `codex` 缺失，请显式修复：
 
    ```bash
@@ -81,6 +89,23 @@ codex --login
 
 先完成一次登录，再重新执行 `ds doctor`。
 
+### Codex profile 在终端里可用，但 DeepScientist 还是失败
+
+请显式让 DeepScientist 使用同一个 profile：
+
+```bash
+ds doctor --codex-profile minimax
+ds --codex-profile minimax
+```
+
+把这里的 `minimax` 换成你的真实 profile 名，例如 `m27`、`glm`、`ark`、`bailian`。
+
+同时检查：
+
+- 启动 DeepScientist 的这个 shell 中，provider API key 仍然可见
+- 该 profile 指向的是 provider 的 Coding Plan endpoint，而不是普通通用 API endpoint
+- 如果模型应该由 profile 自己决定，请在 `~/DeepScientist/config/runners.yaml` 中使用 `model: inherit`
+
 ### 当前配置的 Codex 模型不可用
 
 DeepScientist 会在启动前强制做一次真实的 Codex hello 探测。当前版本里，这个探测会先使用：
@@ -95,6 +120,8 @@ DeepScientist 会在启动前强制做一次真实的 Codex hello 探测。当
 ds doctor
 ```
 
+对于 provider-backed 的 Codex profile，通常建议直接使用 `model: inherit`。
+
 ### 没有安装 `uv`
 
 正常情况下，第一次运行 `ds` 会自动在本地安装 `uv`。如果自动安装失败，再手动执行：

package/docs/zh/12_GUIDED_WORKFLOW_TOUR.md

@@ -118,12 +118,12 @@ DeepScientist 常见有两种使用方式：
 
 这两栏的目的，是在第一轮开始前尽量减少歧义。
 
-把仓库放进 `Baseline links`，适合这些情况：
+把仓库或绝对本地文件 / 文件夹路径放进 `Baseline links`，适合这些情况：
 
 - baseline 必须来自某个特定官方仓库
 - quest 需要先恢复指定实现
 
-把论文或关键材料放进 `Reference papers / repos`，适合这些情况：
+把论文、manuscript 路径或关键材料放进 `Paper / reference sources`，适合这些情况：
 
 - 任务由某篇论文定义
 - 评测协议来自某个明确来源
@@ -131,6 +131,9 @@ DeepScientist 常见有两种使用方式：
 
 如果你已经知道 baseline 和论文，不要把它们藏在主请求正文里，应该放进专门字段。
 
+这两个参考字段不是只能填网络链接。
+你也可以直接填写绝对本地文件路径，或者绝对本地文件夹路径。
+
 ### 4.5 Reusable baseline
 
 只有当你已经把某个可信 baseline 导入了 registry，才需要选择它。
@@ -177,6 +180,22 @@ DeepScientist 常见有两种使用方式：
 - `Standard` 让 quest 按普通研究主线启动
 - `Research paper = On` 可以把分析与写作保持在范围内
 
+如果你把 `Launch mode` 切到 `Custom`，要进一步明确自定义任务类型：
+
+- `Continue existing state`
+  - 适合已有资产很多、希望先复用再决策的任务
+- `Review`
+  - 适合已有较完整 draft / paper package，想先做一次独立 skeptical 审计
+- `Rebuttal / revision`
+  - 适合 reviewer comments 驱动，需要把评论映射成补实验、改文和 response letter 的任务
+- `Other / freeform`
+  - 适合其他不完全属于标准 custom 类型的任务
+
+如果你选择的是 `Review`，还要继续决定：
+
+- 审计后是直接停止，还是自动继续补实验和改稿
+- 论文修改输出是普通可直接替换文本，还是 LaTeX-ready 文本
+
 ### 4.8 Runtime constraints
 
 这一栏应该写“硬规则”，而不是写愿望。

package/docs/zh/15_CODEX_PROVIDER_SETUP.md

@@ -0,0 +1,285 @@
+# 15 Codex Provider 配置
+
+DeepScientist 不会为 MiniMax、GLM、火山方舟、阿里百炼单独实现一套 provider 适配器。
+
+它复用的是你本机已经能正常工作的 Codex CLI 配置。
+
+推荐顺序始终是：
+
+1. 先让 Codex 自己能工作
+2. 确认 `codex` 或 `codex --profile <name>` 在终端里可用
+3. 运行 `ds doctor`
+4. 再运行 `ds` 或 `ds --codex-profile <name>`
+
+## 三种推荐使用方式
+
+### 1. 默认 OpenAI 登录路径
+
+如果你的 Codex CLI 走的是标准 OpenAI 登录流，就用这一条。
+
+```bash
+codex --login
+ds doctor
+ds
+```
+
+### 2. 临时使用 provider profile
+
+如果你已经有一个可用的 Codex profile，例如 `minimax`、`glm`、`ark`、`bailian`，最简单的方式就是直接在启动 `ds` 时透传它。
+
+```bash
+codex --profile minimax
+ds doctor --codex-profile minimax
+ds --codex-profile minimax
+```
+
+这是最简单的路径。只是临时试用某个 provider 时，不需要先改 `runners.yaml`。
+
+### 3. 持久化 provider profile
+
+如果你希望 DeepScientist 之后默认就走这个 profile，可以写进 `runners.yaml`：
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: minimax
+  model: inherit
+  model_reasoning_effort: xhigh
+  approval_policy: on-request
+  sandbox_mode: workspace-write
+```
+
+注意：
+
+- 对 provider-backed 的 Codex profile，建议优先使用 `model: inherit`
+- 除非你非常确定该 provider 接受你要显式传入的模型名，否则不要再额外硬写一个模型
+- DeepScientist 会复用你终端里同一个 `~/.codex/config.toml` 与环境变量
+
+## Provider 一览
+
+| Provider | 官方文档 | 是否需要 Codex 登录 | DeepScientist 应该怎么用 |
+|---|---|---|---|
+| OpenAI | 正常 Codex 配置即可 | 是 | 不需要 profile，直接 `ds` |
+| MiniMax | [MiniMax Codex CLI](https://platform.minimaxi.com/docs/coding-plan/codex-cli) | 否 | 使用你自己的 Codex profile，例如 `ds --codex-profile minimax` |
+| GLM | [GLM Coding Plan：其他工具](https://docs.bigmodel.cn/cn/coding-plan/tool/others) | 否 | 使用一个指向 GLM coding endpoint 的 Codex profile |
+| 火山方舟 | [Ark Coding Plan 总览](https://www.volcengine.com/docs/82379/1925114?lang=zh) | 否 | 使用一个指向 Ark coding endpoint 的 Codex profile |
+| 阿里百炼 | [百炼 Coding Plan：其他工具](https://help.aliyun.com/zh/model-studio/other-tools-coding-plan) | 否 | 使用一个指向 Bailian coding endpoint 的 Codex profile |
+
+## OpenAI
+
+### 需要准备什么
+
+- 正常安装的 Codex CLI
+- 已成功执行过一次 `codex --login`，或者在 `codex` 交互界面里完成首次认证
+
+### DeepScientist 命令
+
+```bash
+ds doctor
+ds
+```
+
+### 持久化 runner 配置
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: ""
+  model: gpt-5.4
+```
+
+## MiniMax
+
+MiniMax 是最典型的 profile 模式。它的官方 Codex CLI 文档直接给了自定义 provider 的配置方式，并明确写了 `requires_openai_auth = false`。
+
+官方文档：
+
+- <https://platform.minimaxi.com/docs/coding-plan/codex-cli>
+
+### 需要准备什么
+
+- 已安装 Codex CLI
+- 在启动 Codex 和 DeepScientist 的 shell 中可见的 `MINIMAX_API_KEY`
+- `~/.codex/config.toml` 中已经配置好的 Codex profile
+
+### Codex 侧配置
+
+MiniMax 官方页面给了真实的 Codex custom provider 示例。profile 名称由你自己决定。下面用 `minimax` 作为示例；如果你已经配置成 `m27`，就继续使用 `m27`。
+
+```toml
+[model_providers.minimax]
+name = "MiniMax Chat Completions API"
+base_url = "https://api.minimaxi.com/v1"
+env_key = "MINIMAX_API_KEY"
+wire_api = "chat"
+requires_openai_auth = false
+request_max_retries = 4
+stream_max_retries = 10
+stream_idle_timeout_ms = 300000
+
+[profiles.minimax]
+model = "codex-MiniMax-M2.5"
+model_provider = "minimax"
+```
+
+然后执行：
+
+```bash
+export MINIMAX_API_KEY="..."
+codex --profile minimax
+```
+
+### DeepScientist 命令
+
+```bash
+ds doctor --codex-profile minimax
+ds --codex-profile minimax
+```
+
+### 持久化 runner 配置
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: minimax
+  model: inherit
+```
+
+## GLM
+
+GLM 的官方文档把 Coding Plan 描述成 OpenAI-compatible 的 coding endpoint，而不是单独的 Codex 登录流程。
+
+官方文档：
+
+- <https://docs.bigmodel.cn/cn/coding-plan/tool/others>
+- <https://docs.bigmodel.cn/cn/coding-plan/faq>
+
+### 官方给出的 provider 关键值
+
+- Base URL：`https://open.bigmodel.cn/api/coding/paas/v4`
+- API Key：你的 GLM Coding Plan key
+- Model：文档中明确写了 `GLM-4.7`，部分场景也支持 `GLM-5`
+
+### 推荐做法
+
+GLM 当前没有像 MiniMax 那样单独给出一篇 Codex CLI 专页。对 DeepScientist 来说，最稳的做法是：
+
+1. 在 `~/.codex/config.toml` 中创建一个指向上面 GLM coding endpoint 的 Codex profile
+2. 先确保 `codex --profile glm` 在终端里能工作
+3. 再让 DeepScientist 复用同一个 profile
+
+### DeepScientist 命令
+
+```bash
+ds doctor --codex-profile glm
+ds --codex-profile glm
+```
+
+### 持久化 runner 配置
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: glm
+  model: inherit
+```
+
+## 火山方舟
+
+火山方舟的 Coding Plan 官方文档明确列出了 Codex CLI。
+
+官方文档：
+
+- <https://www.volcengine.com/docs/82379/1925114?lang=zh>
+
+### 官方给出的 provider 关键值
+
+- OpenAI-compatible Base URL：`https://ark.cn-beijing.volces.com/api/coding/v3`
+- 支持的 coding 模型：`doubao-seed-code-preview-latest`、`ark-code-latest`
+- 必须使用 Coding Plan 的 key 和对应的 Coding Plan endpoint
+
+### 推荐做法
+
+先创建一个指向 Ark coding endpoint 的 Codex profile，并先验证：
+
+```bash
+codex --profile ark
+```
+
+然后再启动 DeepScientist：
+
+```bash
+ds doctor --codex-profile ark
+ds --codex-profile ark
+```
+
+### 持久化 runner 配置
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: ark
+  model: inherit
+```
+
+## 阿里百炼
+
+阿里百炼的 Coding Plan 官方文档也是 OpenAI-compatible endpoint 路径。它特别强调：必须使用 Coding Plan 专属 key 和 endpoint，而不是普通平台 endpoint。
+
+官方文档：
+
+- <https://help.aliyun.com/zh/model-studio/other-tools-coding-plan>
+- <https://help.aliyun.com/zh/model-studio/coding-plan-faq>
+
+### 官方给出的 provider 关键值
+
+- OpenAI-compatible Base URL：`https://coding.dashscope.aliyuncs.com/v1`
+- API Key：Coding Plan 专属 key，通常形如 `sk-sp-...`
+- Model：请以当前百炼 Coding Plan 概览页支持的模型为准
+
+### 推荐做法
+
+先创建一个指向 Bailian Coding Plan endpoint 的 Codex profile，并先验证：
+
+```bash
+codex --profile bailian
+```
+
+然后再启动 DeepScientist：
+
+```bash
+ds doctor --codex-profile bailian
+ds --codex-profile bailian
+```
+
+### 持久化 runner 配置
+
+```yaml
+codex:
+  enabled: true
+  binary: codex
+  config_dir: ~/.codex
+  profile: bailian
+  model: inherit
+```
+
+## 一份统一的排障清单
+
+如果 provider-backed profile 在 DeepScientist 里还是失败：
+
+1. 先手动运行 `codex --profile <name>`
+2. 确认 provider API key 在同一个 shell 中可见
+3. 确认 Base URL 使用的是 Coding Plan endpoint，而不是普通通用 API endpoint
+4. DeepScientist 里优先保持 `model: inherit`
+5. 运行 `ds doctor --codex-profile <name>`
+6. 最后再运行 `ds --codex-profile <name>`

package/docs/zh/README.md

@@ -39,7 +39,6 @@ DeepScientist 灵活且易于使用，支持：
 | [Dr. Claw](https://github.com/OpenLAIR/dr-claw) | Open-source | ✓ |  | ✓ |  | ✓ |  |
 | [FARS](https://analemma.ai/fars/) | Closed-source | ✓ |  |  |  |  |  |
 | [EvoScientist](https://github.com/EvoScientist/EvoScientist) | Open-source | ✓ |  | ✓ | ✓ | ✓ |  |
-| [PaperClaw](https://github.com/meowscles69/PaperClaw) | Open-source |  |  |  |  |  | ✓ |
 | [ScienceClaw](https://github.com/beita6969/ScienceClaw) | Open-source |  |  |  | ✓ | ✓ |  |
 | [claude-scholar](https://github.com/Galaxy-Dawn/claude-scholar) | Open-source | ✓ |  | ✓ | ✓ |  |  |
 | [Research-Claw](https://github.com/wentorai/Research-Claw) | Open-source | ✓ |  | ✓ | ✓ | ✓ |  |
@@ -77,6 +76,8 @@ DeepScientist 灵活且易于使用，支持：
 
 - [00 快速开始](./00_QUICK_START.md)
   从安装、启动，到创建第一个项目，先看这一篇。
+- [15 Codex Provider 配置](./15_CODEX_PROVIDER_SETUP.md)
+  如果你准备通过 MiniMax、GLM、火山方舟、阿里百炼或其他 Codex profile 来运行 DeepScientist，先看这一篇。
 - [12 引导式工作流教程](./12_GUIDED_WORKFLOW_TOUR.md)
   按真实产品流程，逐步理解从首页到工作区应该怎么使用。
 - [02 Start Research 参考](./02_START_RESEARCH_GUIDE.md)
@@ -115,6 +116,8 @@ DeepScientist 灵活且易于使用，支持：
 
 - [09 启动诊断](./09_DOCTOR.md)
   启动诊断、排查常见运行问题，先看这篇。
+- [15 Codex Provider 配置](./15_CODEX_PROVIDER_SETUP.md)
+  如果问题更像出在 Codex profile、provider endpoint、API key 或模型配置上，优先看这篇。
 - [01 设置参考](./01_SETTINGS_REFERENCE.md)
   如果问题可能和配置、凭据或 connector 有关，再查这篇。
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@researai/deepscientist",
-  "version": "1.5.11",
+  "version": "1.5.12",
   "description": "DeepScientist is not just a fully open-source autonomous scientific discovery system. It is also a research map that keeps growing from every round.",
   "license": "Apache-2.0",
   "files": [

package/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "deepscientist"
-version = "1.5.11"
+version = "1.5.12"
 description = "DeepScientist Core skeleton"
 readme = "README.md"
 requires-python = ">=3.11"

package/src/deepscientist/__init__.py

@@ -5,4 +5,4 @@ __all__ = ["__version__"]
 try:
     __version__ = _package_version("deepscientist")
 except PackageNotFoundError:  # pragma: no cover - source checkout fallback
-    __version__ = "1.5.11"
+    __version__ = "1.5.12"

package/src/deepscientist/bash_exec/monitor.py

@@ -22,7 +22,7 @@ from .service import (
     _coerce_session_status,
     _parse_progress_marker,
 )
-from ..shared import append_jsonl, ensure_dir, read_json, read_jsonl, utc_now
+from ..shared import append_jsonl, ensure_dir, iter_jsonl, read_json, read_jsonl, utc_now
 
 DEFAULT_STOP_GRACE_SECONDS = 5
 TERMINAL_IO_POLL_SECONDS = 0.02
@@ -298,7 +298,7 @@ def run_monitor(session_dir: Path) -> int:
     log_path.touch(exist_ok=True)
     input_path.touch(exist_ok=True)
     if not input_cursor_path.exists():
-        _atomic_write_json(input_cursor_path, {"offset": len(read_jsonl(input_path)), "updated_at": utc_now()})
+        _atomic_write_json(input_cursor_path, {"offset": sum(1 for _ in iter_jsonl(input_path)), "updated_at": utc_now()})
 
     tool_env = os.environ.pop("DS_BASH_EXEC_TOOL_ENV", "")
     env_payload = os.environ.copy()
@@ -451,9 +451,11 @@ def run_monitor(session_dir: Path) -> int:
             if output_fd is not None and process.poll() is None:
                 cursor_payload = read_json(input_cursor_path, {}) or {}
                 offset = int(cursor_payload.get("offset") or 0)
-                input_entries = read_jsonl(input_path)
-                if offset < len(input_entries):
-                    for entry in input_entries[offset:]:
+                total_input_entries = sum(1 for _ in iter_jsonl(input_path))
+                if offset < total_input_entries:
+                    for index, entry in enumerate(iter_jsonl(input_path)):
+                        if index < offset:
+                            continue
                         raw_data = str(entry.get("data") or "")
                         if raw_data:
                             try: