@piagent/platform 1.36.1 → 1.37.1

package/evals/long-task-soak-v1/scenarios/long-node-inventory-platform.json

@@ -0,0 +1,64 @@
+{
+  "id": "long-node-inventory-platform",
+  "title": "A 60-120 minute session: inventory spec, then warehouses, HTTP API, audit log, a legacy refactor with a 20k-row import, and a CLI, as follow-ups in one conversation",
+  "category": ["long-horizon", "mixed", "business", "autonomous"],
+  "language": "vi",
+  "fixture": "node-inventory-long",
+  "requires": [],
+  "prompt": "Làm giúp anh toàn bộ SPEC.md cho thư viện kho-hang: cài đặt đủ 9 mục trong src/, viết test cho từng mục trong test/, chạy npm test đến khi qua hết. Đặc tả đã đủ, không cần hỏi lại, cứ làm đến xong.",
+  "oracle": { "hidden": "hidden", "checks": [{ "name": "main: SPEC.md acceptance", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+  "reference": "reference",
+  "phases": [
+    {
+      "id": "p2",
+      "prompt": "Ổn rồi. Giờ làm tiếp phần đa kho (warehouse) cho kho-hang, vẫn trong src/index.js, giữ nguyên mọi hành vi cũ (gọi kiểu cũ không truyền kho thì hiểu là kho 'MAIN'):\n\n1. receive(sku, qty, { lot, expiresOn, warehouse }): warehouse mặc định 'MAIN', phải là chuỗi khác rỗng (sai → INVALID_INPUT). Mỗi lô thuộc về một kho.\n2. onHand(sku, warehouse?) và available(sku, warehouse?): có warehouse thì tính riêng kho đó; không có thì là tổng các kho (available tổng = cộng available của từng kho).\n3. reserve(orderId, sku, qty, { warehouse }): mặc định 'MAIN'. Một đơn chỉ thuộc một kho: giữ chỗ cùng đơn ở kho khác → INVALID_INPUT. commit lấy hàng theo FEFO trong kho của đơn, kết quả vẫn là [{ sku, lot, qty }].\n4. Điều chuyển kho: transfer(transferId, sku, qty, { from, to, lot }) tạo phiếu chuyển đang chờ và giữ chỗ hàng ở kho nguồn (available kho nguồn giảm ngay, onHand chưa đổi). lot không bắt buộc: có lot thì chuyển đúng lô đó, không có thì lấy theo FEFO. Sai dữ liệu (qty không nguyên dương, from = to, thiếu from/to, transferId trùng một phiếu đang chờ) → INVALID_INPUT; không đủ hàng → INSUFFICIENT_STOCK. completeTransfer(transferId) chuyển hàng thật: trừ ở kho nguồn, cộng vào kho đích giữ nguyên tên lô và expiresOn (trùng lô thì cộng dồn), trả về [{ sku, lot, qty, expiresOn }] theo thứ tự đã lấy. cancelTransfer(transferId) huỷ phiếu và trả lại giữ chỗ. Phiếu lạ → InventoryError code 'UNKNOWN_TRANSFER'.\n5. stockReport({ warehouse }): mỗi cặp (kho, sku) đang có ít nhất một lô là một dòng { warehouse, sku, onHand, reserved, available }; reserved = giữ chỗ của các đơn + phiếu chuyển đang chờ đi ra từ kho đó; available = max(0, hàng chưa hết hạn − reserved). Không truyền warehouse thì lấy mọi kho.\n6. CSV và báo cáo: importCsv(text, { warehouse }) nhận thêm cột warehouse (không bắt buộc; không có cột hoặc ô trống thì lấy options.warehouse, mặc định 'MAIN'). exportCsv() giữ đúng định dạng cũ nhưng chỉ xuất kho MAIN; exportCsv({ warehouse: 'HN' }) xuất một kho theo định dạng cũ; exportCsv({ all: true }) có header warehouse,sku,lot,qty,expiresOn, sắp theo warehouse, sku, lot. lowStock(threshold, { warehouse }) và expiringWithin(days, { warehouse }) thêm tuỳ chọn lọc kho; không lọc thì expiringWithin gộp cùng sku + lot ở các kho thành một dòng (cộng qty), dòng vẫn có dạng như cũ.\n7. toJSON / fromJSON giữ cả kho, giữ chỗ và phiếu chuyển đang chờ.\n\nCó hai điểm nghiệp vụ anh chưa chốt, em hỏi anh trước khi code phần đó, đừng tự đoán:\n(a) lô đã hết hạn có được điều chuyển sang kho khác không (ví dụ gom về kho huỷ), nếu không thì báo lỗi thế nào;\n(b) lúc commit mà hàng chưa hết hạn không còn đủ cho phần đơn đã giữ (vì có lô hết hạn sau khi giữ chỗ) thì có cho tồn âm / backorder phần thiếu không, đơn xử lý thế nào.\n\nViết test cho từng mục trong test/, bổ sung SPEC.md (mục mới cho đa kho), chạy npm test đến khi qua hết.",
+      "oracle": { "hidden": "hidden-p2", "checks": [{ "name": "p2: warehouses, transfers, member answers", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+      "reference": "reference-p2"
+    },
+    {
+      "id": "p3",
+      "prompt": "Tốt. Tiếp theo anh cần một API HTTP JSON cho kho-hang, chỉ dùng node:http (không thêm thư viện ngoài nào):\n\n- src/server.js export createServer({ inventory }) trả về http.Server chưa listen (test sẽ tự listen(0)). Mọi phản hồi là JSON, content-type application/json; charset=utf-8.\n- Routes:\n  POST /receive, body { sku, qty, lot, expiresOn?, warehouse? } → 201 { ok: true }\n  POST /orders/:id/reserve, body { sku, qty, warehouse? } → 200 { ok: true }\n  POST /orders/:id/release → 200 { ok: true } (đơn lạ cũng 200)\n  POST /orders/:id/commit → 200 { taken: [...] }\n  POST /transfers, body { id, sku, qty, from, to, lot? } → 201 { ok: true }\n  POST /transfers/:id/complete → 200 { moved: [...] }\n  POST /transfers/:id/cancel → 200 { ok: true }\n  GET /stock/:sku?warehouse=HN → 200 { sku, warehouse, onHand, available } (không có warehouse thì warehouse: null và tính mọi kho; sku trong URL được URL-encode)\n  GET /reports/low-stock?threshold=N, GET /reports/expiring?days=N, GET /reports/stock?warehouse= → 200, mảng y như thư viện trả\n- Kiểm tra đầu vào: không tự ép kiểu (qty \"5\" là sai), threshold và days bắt buộc và phải là số nguyên.\n- Lỗi trả body { error: { code, message } }. Ánh xạ: INVALID_INPUT 400; body không phải JSON hợp lệ → 400 INVALID_JSON; JSON nhưng không phải object → 400 INVALID_INPUT; UNKNOWN_ORDER, UNKNOWN_TRANSFER 404; không có route → 404 NOT_FOUND; route có nhưng sai method → 405 METHOD_NOT_ALLOWED; INSUFFICIENT_STOCK 409; EXPIRED_LOT 422; body trên 1 MB → 413 PAYLOAD_TOO_LARGE (vẫn trả JSON lỗi tử tế, đừng cắt kết nối giữa chừng); lỗi bất ngờ → 500 INTERNAL, không lộ stack.\n- bin/server.js chạy server: PORT (mặc định 3000, 0 = cổng trống bất kỳ), KHO_TODAY=YYYY-MM-DD để cố định ngày (dùng cho test); khi sẵn sàng in ra stdout đúng một dòng `listening on <port>`. Graceful shutdown: nhận SIGTERM hoặc SIGINT thì ngừng nhận kết nối mới, chờ request đang chạy xong rồi thoát mã 0, không được treo vì kết nối keep-alive.\n\nViết test tích hợp trong test/: khởi động server trên cổng 0, gọi bằng fetch, phủ các route, các mã lỗi và SIGTERM. Chạy npm test đến khi qua hết.",
+      "oracle": { "hidden": "hidden-p3", "checks": [{ "name": "p3: HTTP API", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+      "reference": "reference-p3"
+    },
+    {
+      "id": "p4",
+      "prompt": "Tiếp nhé, kế toán cần audit log và chống ghi trùng.\n\n1. Audit log trong thư viện: mọi thay đổi trạng thái thành công ghi đúng một sự kiện vào log chỉ ghi thêm (append-only); thao tác lỗi hoặc không đổi gì (ví dụ release đơn lạ) thì không ghi. Mỗi sự kiện có seq (1, 2, 3… tăng dần) và type thuộc đúng các loại: received, reserved, released, committed, transfer_created, transfer_completed, transfer_cancelled, cộng các trường em cần (phải serialize được bằng JSON).\n   - inventory.events() trả về bản sao sâu của log: sửa bản sao không được ảnh hưởng log.\n   - new Inventory({ clock, onEvent }): onEvent(event) được gọi đúng một lần cho mỗi sự kiện mới, theo thứ tự.\n   - Inventory.replay(events, { clock, onEvent }) dựng lại y nguyên trạng thái (lô, giữ chỗ, phiếu chuyển đang chờ) từ danh sách sự kiện đã qua JSON. Quan trọng: replay áp dụng đúng kết quả đã ghi (lô nào, bao nhiêu) chứ không chạy lại FEFO, vì lúc replay ngày đã khác và có lô đã hết hạn. Inventory sau replay giữ nguyên log cũ, sự kiện mới tiếp tục seq; onEvent không bị gọi lại cho các sự kiện cũ.\n2. Lưu bền ở server: bin/server.js đọc biến KHO_LOG (đường dẫn file JSON lines). Khởi động thì dựng lại trạng thái từ file; mỗi sự kiện mới được ghi thêm vào cuối file ngay khi xảy ra. File chỉ được ghi thêm, không bao giờ viết lại.\n3. Idempotency cho mọi route POST qua header Idempotency-Key: cùng key + cùng method, path và cùng nội dung body JSON (so sánh sau khi parse, không phụ thuộc thứ tự khoá hay khoảng trắng) → trả lại đúng status và body của lần đầu, kèm header Idempotent-Replayed: true, không chạy lại. Cùng key nhưng khác request → 422 IDEMPOTENCY_KEY_REUSED. Chỉ lưu phản hồi thành công (2xx); request lỗi thì gửi lại cùng key vẫn được thực thi lại. Key phải còn hiệu lực sau khi server khởi động lại với cùng KHO_LOG (lưu thế nào tuỳ em, miễn đọc lại được). Không có header thì như cũ.\n\nViết test cho cả ba phần (có test khởi động lại server với KHO_LOG), bổ sung SPEC.md, chạy npm test đến khi qua hết.",
+      "oracle": { "hidden": "hidden-p4", "checks": [{ "name": "p4: audit log, replay, idempotency", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+      "reference": "reference-p4"
+    },
+    {
+      "id": "p5",
+      "prompt": "Phần tiếp theo là dọn nợ kỹ thuật, hơi nặng, em làm cẩn thận:\n\nA. src/legacy/report-engine.js (khoảng 3.750 dòng code cũ, nhiều hàm copy-paste). Tách thành các module trong src/reports/ mà KHÔNG đổi output:\n - src/legacy/report-engine.js chỉ còn là lớp nối (re-export), tối đa 150 dòng, vẫn export đủ VERSION và mọi hàm rpt_* hiện có với cùng chữ ký (rows, opts).\n - Trong src/reports/ có ít nhất 5 module, mỗi file không quá 600 dòng; gộp các helper và phần tính toán / định dạng bị lặp, tổng số dòng (src/reports/ + report-engine.js) không quá 60% file cũ.\n - Output của mọi hàm phải giữ y nguyên từng ký tự với mọi opts, kể cả những chỗ trông như bug hay không nhất quán giữa các định dạng: phòng kế toán và hai cửa hàng đang parse các output này. Nên chụp output của bản cũ (golden) trước khi tách rồi so lại.\nB. Nhập file data/stock-2025.csv (khoảng 20.000 dòng, xuất từ hệ thống cũ qua Excel) bằng thư viện:\n - src/import.js export async importFile(inventory, path, options) → { imported, errors: [{ line, message }] }, bên dưới dùng importCsv; line là số dòng vật lý trong file (header là dòng 1, dòng trống vẫn được đếm).\n - Siết importCsv cho dữ liệu thật: bỏ BOM UTF-8 đầu file; xử lý CRLF; dòng có số cột khác header là lỗi; qty phải là số nguyên dương; sku và lot không rỗng; expiresOn rỗng hoặc là ngày có thật dạng YYYY-MM-DD (2025-02-30 hay 31/12/2025 là lỗi), receive cũng phải từ chối ngày không có thật; các cột khác theo tên (name, category, …) thì bỏ qua.\n - Hiệu năng: nhập cả file phải dưới 5 giây.\n\nViết test cho cả hai phần, chạy npm test đến khi qua hết.",
+      "oracle": { "hidden": "hidden-p5", "checks": [{ "name": "p5: legacy split with golden outputs, big CSV import", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+      "reference": "reference-p5"
+    },
+    {
+      "id": "p6",
+      "prompt": "Phần cuối: gói tất cả thành công cụ dòng lệnh và viết tài liệu.\n\n1. bin/kho.js (chạy bằng node bin/kho.js …). Trạng thái lưu trong cùng định dạng log sự kiện với server: --log <file> (mặc định biến KHO_LOG, rồi ./kho.log.jsonl). Tham số chung: --today YYYY-MM-DD để cố định ngày, --json để in JSON (không có thì in bảng / chữ dễ đọc). Tham số có thể đứng trước hoặc sau đối số.\n - receive <sku> <qty> --lot <lô> [--expires YYYY-MM-DD] [--warehouse <kho>]\n - reserve <đơn> <sku> <qty> [--warehouse <kho>]; release <đơn>; commit <đơn> (--json in mảng taken)\n - transfer <mã> <sku> <qty> --from <kho> --to <kho> [--lot <lô>]; transfer-complete <mã> (--json in mảng moved); transfer-cancel <mã>\n - import <file.csv> [--warehouse <kho>]: in `imported <số dòng>` ra stdout, mỗi dòng lỗi in ra stderr dạng `line <số dòng>: <lý do>`\n - stock <sku> [--warehouse <kho>] (--json: { sku, onHand, available })\n - report low-stock --threshold <n> | report expiring --days <n> | report stock, đều nhận [--warehouse <kho>] (--json in đúng mảng như thư viện)\n - serve [--port <n>]: chạy API trên cùng log, in `listening on <port>`, SIGTERM thì thoát mã 0\n - --help in hướng dẫn liệt kê mọi lệnh, thoát 0.\n Mã thoát: 0 thành công; 1 lỗi nghiệp vụ, stderr bắt đầu bằng mã lỗi (ví dụ `INSUFFICIENT_STOCK: ...`); 2 sai cú pháp (lệnh lạ, thiếu tham số); 3 import có dòng lỗi (các dòng đúng vẫn được nhập).\n2. Viết lại README.md bằng tiếng Việt cho người mới vào: cài đặt và chạy test, thư viện, API HTTP (mọi route, bảng mã lỗi → HTTP, Idempotency-Key), audit log và KHO_LOG, CLI (mọi lệnh, có ví dụ), module báo cáo legacy report-engine sau khi tách.\n3. Rà lại toàn bộ: mọi quy tắc anh đã chốt từ đầu buổi đến giờ phải đúng ở cả thư viện, API và CLI. Thêm test cho CLI, chạy npm test đến khi qua hết rồi báo anh.",
+      "oracle": { "hidden": "hidden-p6", "checks": [{ "name": "p6: CLI, README, mid-session rule, full regression", "run": "node --test 'test/*.test.js'", "timeoutSec": 600 }] },
+      "reference": "reference-p6"
+    }
+  ],
+  "questionsExpected": false,
+  "decisions": [
+    {
+      "id": "expired-transfer", "mustAsk": true,
+      "topic": ["hết hạn[\\s\\S]{0,80}(điều chuyển|chuyển kho|chuyển sang|chuyển đi|chuyển lô|được chuyển|transfer)", "(điều chuyển|chuyển kho|chuyển sang|chuyển lô|transfer)[\\s\\S]{0,80}hết hạn", "kho hu[ỷủ]", "expired[\\s\\S]{0,80}(transfer|move)", "(transfer|move)[\\s\\S]{0,80}expired"],
+      "reply": "Không được chuyển lô đã hết hạn (lô hết hạn khi expiresOn < hôm nay), kể cả về kho huỷ. Cụ thể: (1) transfer chỉ định lot mà lô đó đã hết hạn → InventoryError code 'EXPIRED_LOT'. (2) transfer không chỉ định lot: nếu hàng chưa hết hạn ở kho nguồn (sau khi trừ phần đang giữ chỗ) không đủ nhưng tính thêm hàng đã hết hạn thì đủ → cũng 'EXPIRED_LOT', để kho biết là do hàng hết hạn; tính cả hàng hết hạn vẫn không đủ → 'INSUFFICIENT_STOCK'. (3) completeTransfer kiểm tra lại y như vậy: nếu trong lúc chờ chuyển mà lô hết hạn làm không đủ hàng thì từ chối 'EXPIRED_LOT', không thay đổi gì, phiếu vẫn ở trạng thái chờ (huỷ được)."
+    },
+    {
+      "id": "no-backorder", "mustAsk": true,
+      "topic": ["tồn âm", "âm kho", "số âm", "back.?order", "negative (stock|inventory|on.?hand|quantit)", "giao thiếu", "xuất thiếu", "commit[\\s\\S]{0,80}(không (còn )?đủ|thiếu|insufficient|not enough|short)", "(không (còn )?đủ|thiếu hàng|insufficient|not enough)[\\s\\S]{0,80}commit"],
+      "reply": "Không cho tồn âm, không backorder, cũng không xuất thiếu một phần. commit phải từ chối cả đơn với code 'INSUFFICIENT_STOCK' (kể cả khi các SKU khác trong đơn vẫn đủ hàng), không trừ gì cả, và GIỮ NGUYÊN giữ chỗ của đơn (không tự release) để bên bán tự xử lý; sau đó nhập thêm hàng rồi commit lại thì phải được."
+    }
+  ],
+  "approvals": "allow",
+  "userActions": [
+    { "when": { "minutes": 12 }, "do": "steer", "text": "À, anh chốt thêm một quy tắc cho báo cáo tồn theo kho stockReport (phần đa kho, nếu em chưa làm tới thì nhớ áp dụng khi làm): các dòng sắp theo available giảm dần; bằng nhau thì theo mã kho tăng dần, rồi tới sku tăng dần. Áp dụng ở mọi nơi trả báo cáo này về sau (thư viện, API, CLI). Em cứ làm tiếp việc đang làm." },
+    { "when": { "minutes": 30 }, "do": "stop_then_continue", "text": "Anh lỡ bấm dừng, em làm tiếp phần đang dở nhé." },
+    { "when": { "minutes": 50 }, "do": "restart", "hard": true, "text": "Anh vừa cập nhật Piagent nên Gateway khởi động lại, em làm tiếp nhé." },
+    { "when": { "minutes": 75 }, "do": "stop_then_continue", "text": "Anh bấm dừng xem tiến độ thôi, em tiếp tục từ chỗ đang làm nhé." }
+  ],
+  "budget": { "maxMinutes": 150, "maxNudges": 4, "stallMinutes": 15 }
+}

package/evals/long-task-soak-v1/scenarios/long-polyglot-platform.json

@@ -0,0 +1,288 @@
+{
+  "id": "long-polyglot-platform",
+  "title": "One long session on a polyglot monorepo: rename + contract v2, Go ledger with shared conformance, contract v3 with property tests, a 25k-line log investigation, a 3k-line legacy router refactor, CI and release 3.0.0",
+  "category": [
+    "long-horizon",
+    "polyglot",
+    "autonomous",
+    "framework"
+  ],
+  "language": "vi",
+  "fixture": "polyglot-monorepo-long",
+  "requires": [
+    "python",
+    "docker"
+  ],
+  "prompt": "Em làm giúp anh hết TODO.md nhé: đổi domain \"customer\" sang \"account\" trong toàn bộ monorepo (contract JSON, pricing-py, web-js, scripts, docs, fixtures), bump order contract lên v2 kèm compat shim đọc payload v1, cập nhật CHANGELOG cho release 2.0.0. Spec trong TODO.md đã chốt rồi, không cần hỏi lại. Làm xong thì chạy unittest Python, npm test bên web-js, release.sh --dry-run và grep lại cho sạch chữ customer, tick hết checklist. Mấy spec trong docs/specs/ là việc của các bước sau, anh sẽ giao dần trong cuộc trò chuyện này, giờ chưa đụng tới.",
+  "questionsExpected": false,
+  "decisions": [],
+  "approvals": "allow",
+  "userActions": [
+    {
+      "when": {
+        "minutes": 12
+      },
+      "do": "steer",
+      "text": "À anh bổ sung một rule từ phía Account API, áp dụng ngay và cho mọi service (pricing-py, web-js, và cả ledger-go khi làm tới): payload có account_id với khoảng trắng ở đầu hoặc cuối (vd \" A-1\", \"A-1 \", tab hay newline) phải bị reject với error code INVALID, ở mọi version payload (cả v1 đi qua compat shim). Không được tự trim. Khoảng trắng ở giữa (\"A 1\") vẫn hợp lệ. Các lỗi version/mixed fields vẫn ưu tiên như cũ. Nhớ ghi rule này vào CHANGELOG của release có nó."
+    },
+    {
+      "when": {
+        "minutes": 30
+      },
+      "do": "stop_then_continue",
+      "text": "Sorry anh lỡ bấm Stop. Em làm tiếp phần đang dở nhé, không cần làm lại từ đầu."
+    },
+    {
+      "when": {
+        "minutes": 50
+      },
+      "do": "restart",
+      "hard": true,
+      "text": "Gateway bên công ty vừa restart nên phiên bị ngắt giữa chừng. Em xem lại repo đang tới đâu (git status, chạy test) rồi làm tiếp cho xong việc đang làm nhé."
+    },
+    {
+      "when": {
+        "minutes": 78
+      },
+      "do": "stop_then_continue",
+      "text": "Anh bấm Stop chỉ để xem tiến độ thôi, ổn rồi. Em tiếp tục cho xong nhé, xong nhớ chạy lại test."
+    }
+  ],
+  "budget": {
+    "maxMinutes": 150,
+    "maxNudges": 4,
+    "stallMinutes": 15
+  },
+  "oracle": {
+    "hidden": "hidden",
+    "checks": [
+      {
+        "name": "pricing-py unittest (hidden acceptance + own tests)",
+        "run": "cd services/pricing-py && /usr/bin/python3 -m unittest discover -s tests -v",
+        "timeoutSec": 300,
+        "stopOnFail": false
+      },
+      {
+        "name": "web-js node --test (hidden acceptance + own tests)",
+        "run": "cd services/web-js && node --test 'test/*.test.js'",
+        "timeoutSec": 300,
+        "stopOnFail": false
+      },
+      {
+        "name": "release.sh and dev-env.sh use ACCOUNT_API_URL, release 2.0.0 / contract v2",
+        "run": "bash .soak/check_release.sh",
+        "timeoutSec": 120,
+        "stopOnFail": false
+      },
+      {
+        "name": "no leftover customer outside CHANGELOG/TODO/compat; bookkeeping done",
+        "run": "/usr/bin/python3 .soak/check_rename.py",
+        "timeoutSec": 120,
+        "stopOnFail": false
+      }
+    ]
+  },
+  "reference": "reference",
+  "referenceSetup": [
+    "rm -f services/pricing-py/pricing/customer.py services/pricing-py/fixtures/customers.json services/pricing-py/tests/test_customer.py services/web-js/src/customer.js services/web-js/test/customer.test.js docs/customer-tiers.md"
+  ],
+  "phases": [
+    {
+      "id": "p2",
+      "prompt": "Release 2.0.0 ổn rồi, cảm ơn em. Giờ làm tiếp docs/specs/2-ledger-go.md nhé: service mới services/ledger-go (Go, stdlib only) đọc file event order (JSON Lines) và tính balance theo account, có CLI; đồng thời dựng bộ shared contract conformance để cùng một bộ payload chạy ở Python, Node và Go, và sửa luôn bug SHOP-412 về currency. Máy không cài Go, chạy go test / go vet qua Docker như trong spec. Spec đã chốt, không cần hỏi lại; xong thì chạy đủ test cả ba service.",
+      "oracle": {
+        "hidden": "hidden-p2",
+        "checks": [
+          {
+            "name": "pricing-py unittest (hidden acceptance + own tests)",
+            "run": "cd services/pricing-py && /usr/bin/python3 -m unittest discover -s tests -v",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "web-js node --test (hidden acceptance + own tests)",
+            "run": "cd services/web-js && node --test 'test/*.test.js'",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "ledger-go go vet + go test (Docker, hidden acceptance + own tests)",
+            "run": "bash .soak/go.sh 'timeout 540 go vet ./... && timeout 540 go test -count=1 ./...'",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "ledger CLI books the hidden event file exactly",
+            "run": "bash .soak/p2/check_cli.sh",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          }
+        ]
+      },
+      "reference": "reference-p2"
+    },
+    {
+      "id": "p3",
+      "prompt": "Tiếp spec 3 (docs/specs/3-contract-v3.md): order contract v3 thêm settlement_currency và fx_rate_ppm. Cả ba service phải đọc được v1/v2/v3 theo luật compat trong spec, writer ghi version thấp nhất đủ chở order, settlement total phải chính xác tuyệt đối, ledger tính balance theo settlement currency. Viết thêm property-style tests với random payload có seed cố định ở cả Python, Node và Go. Làm hết rồi chạy lại đủ test ba service nhé.",
+      "oracle": {
+        "hidden": "hidden-p3",
+        "checks": [
+          {
+            "name": "pricing-py unittest (hidden acceptance + own tests)",
+            "run": "cd services/pricing-py && /usr/bin/python3 -m unittest discover -s tests -v",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "web-js node --test (hidden acceptance + own tests)",
+            "run": "cd services/web-js && node --test 'test/*.test.js'",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "ledger-go go vet + go test (Docker, hidden acceptance + own tests)",
+            "run": "bash .soak/go.sh 'timeout 540 go vet ./... && timeout 540 go test -count=1 ./...'",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "1500 seeded v1/v2/v3 payloads agree with the spec in Python, Node and Go",
+            "run": "bash .soak/p3/crosscheck.sh",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          }
+        ]
+      },
+      "reference": "reference-p3"
+    },
+    {
+      "id": "p4",
+      "prompt": "Giờ chuyển qua vụ sự cố hôm 14/10: làm spec 4 (docs/specs/4-log-report.md). Viết scripts/log_report.py đọc logs/prod-2025-10.log, ra top error signature, p95 latency theo endpoint và khung giờ incident đúng theo định nghĩa trong spec, số liệu sẽ được đối chiếu chính xác từng con số. Không sửa file log. Viết test cho tool và ghi postmortem vào docs/incidents/2025-10-14.md.",
+      "oracle": {
+        "hidden": "hidden-p4",
+        "checks": [
+          {
+            "name": "log_report.py exact numbers (prod log + unseen log) and postmortem",
+            "run": "/usr/bin/python3 .soak/p4/check_log_report.py",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "scripts/tests unittest",
+            "run": "/usr/bin/python3 -m unittest discover -s scripts/tests -v",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          }
+        ]
+      },
+      "reference": "reference-p4"
+    },
+    {
+      "id": "p5",
+      "prompt": "Tiếp spec 5: tách services/web-js/src/legacy/router-old.js (~3000 dòng) thành các module nhỏ trong src/router/, hành vi phải y hệt bản cũ kể cả mấy quirk ghi ở đầu file và message lỗi. Nhớ ghi golden từ router cũ TRƯỚC khi đụng vào code, rồi mới refactor và xoá file legacy. Xong chạy npm test.",
+      "oracle": {
+        "hidden": "hidden-p5",
+        "checks": [
+          {
+            "name": "web-js node --test (hidden acceptance + own tests)",
+            "run": "cd services/web-js && node --test 'test/*.test.js'",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "legacy router removed, split into small modern modules, own golden test",
+            "run": "node .soak/p5/check_structure.mjs",
+            "timeoutSec": 120,
+            "stopOnFail": false
+          }
+        ]
+      },
+      "reference": "reference-p5",
+      "referenceSetup": [
+        "rm -rf services/web-js/src/legacy"
+      ]
+    },
+    {
+      "id": "p6",
+      "prompt": "Bước cuối, spec 6 (docs/specs/6-ci-release-3.md): viết scripts/ci.sh chạy mọi thứ (Go qua Docker), cập nhật docs, CHANGELOG và bump release 3.0.0 cho cả ba service. Trước khi chốt em rà lại toàn bộ: mọi yêu cầu anh đã thêm giữa chừng trong cuộc trò chuyện này phải có đủ ở cả ba service (kể cả ledger-go), và chạy bash scripts/ci.sh tới khi in ci: all ok.",
+      "oracle": {
+        "hidden": "hidden-p6",
+        "checks": [
+          {
+            "name": "pricing-py unittest (hidden acceptance + own tests)",
+            "run": "cd services/pricing-py && /usr/bin/python3 -m unittest discover -s tests -v",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "scripts/tests unittest",
+            "run": "/usr/bin/python3 -m unittest discover -s scripts/tests -v",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "web-js node --test (hidden acceptance + own tests)",
+            "run": "cd services/web-js && node --test 'test/*.test.js'",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "ledger-go go vet + go test (Docker, hidden acceptance + own tests)",
+            "run": "bash .soak/go.sh 'timeout 540 go vet ./... && timeout 540 go test -count=1 ./...'",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "ledger CLI books the hidden event file exactly",
+            "run": "bash .soak/p2/check_cli.sh",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "1500 seeded v1/v2/v3 payloads agree with the spec in Python, Node and Go",
+            "run": "bash .soak/p3/crosscheck.sh",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "log_report.py exact numbers (prod log + unseen log) and postmortem",
+            "run": "/usr/bin/python3 .soak/p4/check_log_report.py",
+            "timeoutSec": 600,
+            "stopOnFail": false
+          },
+          {
+            "name": "legacy router removed, split into small modern modules, own golden test",
+            "run": "node .soak/p5/check_structure.mjs",
+            "timeoutSec": 120,
+            "stopOnFail": false
+          },
+          {
+            "name": "release 3.0.0 / contract v3 across three services, v3 samples and ledger-go version checked",
+            "run": "bash .soak/check_release.sh",
+            "timeoutSec": 300,
+            "stopOnFail": false
+          },
+          {
+            "name": "no leftover customer outside CHANGELOG/TODO/compat (whole repo, 3.0.0)",
+            "run": "/usr/bin/python3 .soak/check_rename.py",
+            "timeoutSec": 120,
+            "stopOnFail": false
+          },
+          {
+            "name": "CHANGELOG 3.0.0 (incl. the mid-task account_id rule), docs/ledger.md, docs/contract.md v3, README",
+            "run": "/usr/bin/python3 .soak/p6/check_docs.py",
+            "timeoutSec": 60,
+            "stopOnFail": false
+          },
+          {
+            "name": "scripts/ci.sh runs every step, passes, and fails on a failing Python or Go test",
+            "run": "bash .soak/p6/check_ci.sh",
+            "timeoutSec": 1800,
+            "stopOnFail": false
+          }
+        ]
+      },
+      "reference": "reference-p6"
+    }
+  ]
+}

package/evals/long-task-soak-v1/scenarios/long-postgres-booking-platform.json

@@ -0,0 +1,210 @@
+{
+  "id": "long-postgres-booking-platform",
+  "title": "Long session (60–120 min): meeting-room booking platform on real PostgreSQL grown over six phases — SPEC, recurring bookings, node:http API with roles, window-function reporting on 50k rows with an index, a 20k-row legacy CSV migration, operations scripts and final regression — with a mid-task rule change, Stops and a Gateway restart",
+  "category": [
+    "long-horizon",
+    "third-party",
+    "business",
+    "integration"
+  ],
+  "language": "vi",
+  "fixture": "node-postgres-long",
+  "requires": [
+    "docker",
+    "network"
+  ],
+  "prompt": "Hôm nay anh em mình làm cả buổi trên repo dat-phong-hop này. Bắt đầu với toàn bộ SPEC.md cho dịch vụ đặt lịch phòng họp nhé: thêm migration mới, hoàn thiện repository (phòng họp và đặt lịch), chống trùng lịch an toàn khi nhiều người đặt cùng lúc, huỷ đặt lịch, danh sách có phân trang, và viết test tích hợp chạy với PostgreSQL thật (dùng scripts/db-up.sh hoặc docker-compose.yml). Chỗ nào SPEC ghi \"cần chủ sản phẩm chốt\" thì hỏi anh trước khi làm phần đó, còn lại em cứ tự làm đến khi npm run migrate && npm test qua hết. Xong thì dừng container Postgres em đã bật. Các phần sau anh sẽ giao tiếp trong docs/backlog/, em chưa cần làm trước.",
+  "questionsExpected": false,
+  "decisions": [
+    {
+      "id": "legacy-conflict-import-cancelled",
+      "mustAsk": true,
+      "topic": [
+        "legacy",
+        "h[eệ] th[oố]ng c[uũ]",
+        "d[uữ] li[eệ]u c[uũ]",
+        "d[oò]ng c[uũ]",
+        "l[iị]ch c[uũ]",
+        "b[aả]n ghi c[uũ]",
+        "import",
+        "nh[aậ]p (d[uữ] li[eệ]u|l[iị]ch|v[aà]o)",
+        "\\bCSV\\b",
+        "migrat(e|ion) (data|of the old)"
+      ],
+      "option": "legacy-conflict",
+      "reply": "Dòng cũ đang hiệu lực mà trùng giờ với đặt lịch đã có trong hệ thống mới thì KHÔNG bỏ qua: vẫn nhập vào nhưng ở trạng thái đã huỷ, cancelled_at là thời điểm chạy import, và thêm cột cancelled_reason (text) với giá trị 'legacy-conflict' để sau này tra lại. Đặt lịch đang có trong hệ thống mới giữ nguyên. Những dòng này tính vào imported và conflicts, không nằm trong problems."
+    },
+    {
+      "id": "series-conflict-reject-all",
+      "mustAsk": true,
+      "topic": [
+        "chu[oỗ]i",
+        "series",
+        "recurr",
+        "[dđ][iị]nh k[yỳ]",
+        "l[aặ]p l[aạ]i",
+        "l[aầ]n l[aặ]p",
+        "bu[oổ]i (tr[uù]ng|b[iị] tr[uù]ng|l[aặ]p)",
+        "occurrence"
+      ],
+      "option": "từ chối (cả|toàn bộ)|reject (the )?(whole|entire|all)|whole series|entire series|all.or.nothing|không tạo buổi nào",
+      "reply": "Từ chối cả chuỗi, không tạo buổi nào: ném BOOKING_CONFLICT, và error.conflicts liệt kê đầy đủ mọi buổi bị trùng ({ startsAt, endsAt }, theo thứ tự thời gian) để người đặt biết mà chọn giờ khác. Không bỏ qua riêng buổi trùng."
+    },
+    {
+      "id": "cancel-soft-delete",
+      "mustAsk": true,
+      "topic": [
+        "hu[ỷy]",
+        "h[ủu]y",
+        "cancel",
+        "x[oó][aáà]",
+        "delete",
+        "soft",
+        "xoá mềm|xóa mềm|xoá hẳn|xóa hẳn"
+      ],
+      "option": "soft|mềm|cancelled_at|giữ lại|đánh dấu|mark",
+      "reply": "Huỷ là xoá mềm: giữ lại bản ghi và đặt cancelled_at = thời điểm huỷ (cột cancelled_at trong bảng bookings). Đặt lịch đã huỷ không tính khi kiểm tra trùng và không hiện trong listBookings mặc định, nhưng listBookings({ includeCancelled: true }) vẫn phải trả về chúng (kèm cancelledAt), getBooking vẫn trả về được, và huỷ lần nữa thì báo ALREADY_CANCELLED."
+    },
+    {
+      "id": "back-to-back",
+      "mustAsk": true,
+      "topic": [
+        "li[eề]n k[eề]",
+        "liền nhau|nối tiếp|sát nhau",
+        "back.?to.?back",
+        "adjacent",
+        "end.*start",
+        "kết thúc.*bắt đầu",
+        "ch[aạ]m",
+        "\\[\\s*\\)|half.?open|nửa mở"
+      ],
+      "option": "không (bị |được )?(tính là |coi là )?(trùng|xung đột)|cho phép|allow|not (a )?conflict|no conflict|don.?t conflict|half.?open|\\[\\)",
+      "reply": "Hai lịch liền kề (giờ kết thúc lịch này bằng giờ bắt đầu lịch kia, ví dụ 09:00–10:00 và 10:00–11:00) KHÔNG tính là trùng, phải cho phép đặt. Chỉ khi hai khoảng thật sự giao nhau mới là BOOKING_CONFLICT."
+    }
+  ],
+  "approvals": "allow",
+  "userActions": [
+    {
+      "when": {
+        "minutes": 15
+      },
+      "do": "steer",
+      "text": "Anh bổ sung một yêu cầu, áp dụng từ giờ cho mọi danh sách đặt lịch (listBookings, và sau này cả API): sắp theo giờ bắt đầu, cùng giờ bắt đầu thì theo tên phòng A→Z (không phân biệt hoa thường), rồi mới tới id. Phân trang con trỏ phải đúng theo thứ tự mới, không lặp, không sót. Yêu cầu này giữ nguyên cho các phần sau."
+    },
+    {
+      "when": {
+        "minutes": 32
+      },
+      "do": "stop_then_continue",
+      "text": "Anh lỡ tay bấm Stop, xin lỗi em. Em làm tiếp phần đang dở nhé, không cần làm lại từ đầu."
+    },
+    {
+      "when": {
+        "minutes": 52
+      },
+      "do": "restart",
+      "hard": true,
+      "text": "Anh vừa phải khởi động lại gateway của công ty nên cuộc trò chuyện bị ngắt giữa chừng. Em kiểm tra lại trạng thái repo (git status, chạy test) rồi làm tiếp phần đang dở cho xong nhé."
+    },
+    {
+      "when": {
+        "minutes": 80
+      },
+      "do": "stop_then_continue",
+      "text": "Anh dừng em một chút để xem tiến độ, ổn rồi. Em tiếp tục phần đang làm cho đến khi xong hết nhé."
+    }
+  ],
+  "budget": {
+    "maxMinutes": 160,
+    "maxNudges": 4,
+    "stallMinutes": 15
+  },
+  "oracle": {
+    "hidden": "hidden",
+    "checks": [
+      {
+        "name": "main: SPEC acceptance on a throwaway PostgreSQL",
+        "run": "bash scripts/oracle.sh",
+        "timeoutSec": 600
+      }
+    ]
+  },
+  "reference": "reference",
+  "phases": [
+    {
+      "id": "p2",
+      "prompt": "Phần SPEC ổn rồi, cảm ơn em. Tiếp theo em làm docs/backlog/02-lich-dinh-ky.md (đặt lịch định kỳ hằng ngày/hằng tuần) nhé, cùng cách làm như trước: chỗ nào ghi \"cần chủ sản phẩm chốt\" thì hỏi anh, còn lại tự làm đến khi npm run migrate && npm test qua hết (test cũ vẫn phải qua). Xong thì dừng container Postgres.",
+      "oracle": {
+        "hidden": "hidden-p2",
+        "checks": [
+          {
+            "name": "p2: recurring bookings + all earlier acceptance",
+            "run": "bash scripts/oracle.sh",
+            "timeoutSec": 600
+          }
+        ]
+      },
+      "reference": "reference-p2"
+    },
+    {
+      "id": "p3",
+      "prompt": "Ok anh xem rồi. Giờ tới docs/backlog/03-http-api.md: API HTTP JSON bằng node:http (không dùng framework), token đơn giản với vai trò admin/member, member chỉ huỷ được lịch của chính mình. Test tích hợp khởi động server trên cổng 0. Làm đến khi toàn bộ test qua, xong dừng container.",
+      "oracle": {
+        "hidden": "hidden-p3",
+        "checks": [
+          {
+            "name": "p3: node:http API with roles + all earlier acceptance",
+            "run": "bash scripts/oracle.sh",
+            "timeoutSec": 600
+          }
+        ]
+      },
+      "reference": "reference-p3"
+    },
+    {
+      "id": "p4",
+      "prompt": "Tiếp theo là docs/backlog/04-bao-cao.md: báo cáo công suất phòng theo tuần tính bằng SQL (hàm cửa sổ), index bookings_report_idx, script seed 50.000 đặt lịch và route /reports/utilisation cho admin. Em tự kiểm tra bằng EXPLAIN là báo cáo dùng đúng index và chạy dưới 2 giây trên dữ liệu seed nhé. Xong dừng container.",
+      "oracle": {
+        "hidden": "hidden-p4",
+        "checks": [
+          {
+            "name": "p4: utilisation report, index use and speed on 50k rows + all earlier acceptance",
+            "run": "bash scripts/oracle.sh",
+            "timeoutSec": 900
+          }
+        ]
+      },
+      "reference": "reference-p4"
+    },
+    {
+      "id": "p5",
+      "prompt": "Phần lớn nhất đây: docs/backlog/05-chuyen-du-lieu-cu.md, chuyển dữ liệu từ hệ thống cũ (data/legacy-bookings.csv, khoảng 20.000 dòng). Em đọc kỹ legacy/import-old.js để hiểu đúng cách hệ thống cũ đọc dữ liệu, nhưng không sửa file đó và không sửa file CSV. Viết importer mới có dry-run và báo cáo, chạy thử dry-run trên file thật rồi gửi anh số liệu. Chỗ cần chủ sản phẩm chốt thì hỏi anh. Xong dừng container.",
+      "oracle": {
+        "hidden": "hidden-p5",
+        "checks": [
+          {
+            "name": "p5: legacy CSV importer (dry-run, report, re-run) + all earlier acceptance",
+            "run": "bash scripts/oracle.sh",
+            "timeoutSec": 1200
+          }
+        ]
+      },
+      "reference": "reference-p5"
+    },
+    {
+      "id": "p6",
+      "prompt": "Cuối cùng là docs/backlog/06-ban-giao.md: db:reset, db:seed, mục \"Vận hành\" trong README bằng tiếng Việt, rồi kiểm tra hồi quy toàn bộ trên một database mới: mọi yêu cầu từ đầu buổi tới giờ, kể cả những điều anh dặn thêm giữa chừng. Xong nhớ dừng mọi container em đã bật.",
+      "oracle": {
+        "hidden": "hidden-p6",
+        "checks": [
+          {
+            "name": "p6: operations scripts, README, the mid-task ordering rule + full regression",
+            "run": "bash scripts/oracle.sh",
+            "timeoutSec": 1200
+          }
+        ]
+      },
+      "reference": "reference-p6"
+    }
+  ]
+}