@aiquants/daily-report 0.7.0 → 0.9.0

package/src/server/handlers.action.spec.ts

@@ -0,0 +1,44 @@
+/**
+ * Action-endpoint tests: the dev-only clearCache gate.
+ * action エンドポイントのテスト: 開発専用 clearCache の封鎖ゲート。
+ */
+import { describe, expect, it } from "vitest"
+import { createDailyReportHandlers } from "./handlers"
+import { makeHandlersFixture } from "./test-helpers/handlers-config"
+
+/** POST /action の引数を組み立てる (FormData ボディ付き)。 */
+const makeActionArgs = (intent: string) => {
+    const body = new FormData()
+    body.set("intent", intent)
+    return {
+        request: new Request("http://localhost/daily_report/api/action", { method: "POST", body }),
+        params: { endpoint: "action" } as Record<string, string | undefined>,
+    }
+}
+
+describe("action / clearCache の封鎖ゲート", () => {
+    it("既定 (未注入) では clearCache を 400 で拒否し、service.clearCache を呼ばない", async () => {
+        // 認証済みなら誰でも全ワーカーのキャッシュを無制限破棄できてしまうため既定封鎖
+        const { config, calls } = makeHandlersFixture()
+        const { api } = createDailyReportHandlers(config)
+        const res = await api.action(makeActionArgs("clearCache"))
+        expect(res.status).toBe(400)
+        expect(calls.clearCache).toBe(0)
+    })
+
+    it("enableDevCacheClear:true のときだけ clearCache を実行する", async () => {
+        const { config, calls } = makeHandlersFixture({ enableDevCacheClear: true })
+        const { api } = createDailyReportHandlers(config)
+        const res = await api.action(makeActionArgs("clearCache"))
+        expect(res.status).toBe(200)
+        expect(calls.clearCache).toBe(1)
+    })
+
+    it("未認証は clearCache 以前に 401 で弾く", async () => {
+        const { config, calls } = makeHandlersFixture({ user: null, enableDevCacheClear: true })
+        const { api } = createDailyReportHandlers(config)
+        const res = await api.action(makeActionArgs("clearCache"))
+        expect(res.status).toBe(401)
+        expect(calls.clearCache).toBe(0)
+    })
+})

package/src/server/handlers.ids-stream.spec.ts

@@ -0,0 +1,414 @@
+/**
+ * NDJSON streaming tests for the `ids-stream` endpoint.
+ * `ids-stream` エンドポイントの NDJSON 配信テスト。
+ *
+ * ここで固定する不変条件のうち、特に重要なもの:
+ *
+ * - **旧 `ids` JSON エンドポイントは存在しない** (クリーンカットオーバーの回帰防止)。
+ * - **チャンク順序とカーソル連鎖が SQL の並び順 (営業日降順・ID 降順・NULL 営業日末尾) と
+ *   厳密に一致する。** ズレると再開時に行の欠落または重複が起きる。
+ * - **`total` は接続ごとの先頭行にのみ載る** (進捗分母の契約)。
+ * - **不正カーソルは fail-closed で 400** (DB アクセスなし)。
+ * - **`Cache-Control: no-transform`** — compression ミドルウェアのバッファリング防止が
+ *   ストリーミングの成立条件そのもの。
+ */
+import { describe, expect, it, vi } from "vitest"
+import type { DailyReportIdsStreamChunkLine, DailyReportIdsStreamLine } from "../shared/ids-stream"
+import type { DailyReportItem } from "../shared/types"
+import { createDailyReportHandlers } from "./handlers"
+import { makeApiArgs, makeHandlersFixture, TEST_EXTERNAL_USER_ID } from "./test-helpers/handlers-config"
+
+/** ストリーム順 (営業日降順・ID 降順) の合成アイテムを count 件生成する。 */
+const makeItems = (count: number): DailyReportItem[] => {
+    // 10 件ごとに営業日を 1 日下げ、同日内は ID 降順になる (日付演算で常に正規形 YYYY-MM-DD を保つ)
+    const baseUtc = Date.UTC(2026, 6, 31)
+    return Array.from({ length: count }, (_, index) => ({
+        reportHubId: count - index,
+        businessDate: new Date(baseUtc - Math.floor(index / 10) * 86_400_000).toISOString().slice(0, 10),
+        sourceType: "Internal",
+    }))
+}
+
+/** レスポンス全体をドレインし、NDJSON 行の配列へパースする。 */
+const readNdjsonLines = async (response: Response): Promise<DailyReportIdsStreamLine[]> => {
+    const text = await response.text()
+    return text
+        .split("\n")
+        .filter((line) => line.trim() !== "")
+        .map((line) => JSON.parse(line) as DailyReportIdsStreamLine)
+}
+
+/** チャンク行だけを取り出す (エラー行が混じればテストを落とす)。 */
+const asChunks = (lines: DailyReportIdsStreamLine[]): DailyReportIdsStreamChunkLine[] => {
+    return lines.map((line) => {
+        expect(line).toHaveProperty("items")
+        return line as DailyReportIdsStreamChunkLine
+    })
+}
+
+describe("ids-stream / 入口の検証", () => {
+    it("未認証は 401 を返し、サービスを呼ばない", async () => {
+        const { config, calls } = makeHandlersFixture({ user: null })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        expect(response.status).toBe(401)
+        expect(calls.getDailyReportIds).toHaveLength(0)
+    })
+
+    it("GET 以外は 405 を返す", async () => {
+        const { config } = makeHandlersFixture()
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream", { method: "POST" }))
+        expect(response.status).toBe(405)
+    })
+
+    it("旧 ids エンドポイントは存在せず 404 を返す (クリーンカットオーバーの固定)", async () => {
+        const { config } = makeHandlersFixture()
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids"))
+        expect(response.status).toBe(404)
+    })
+
+    it("ストリーミング応答のヘッダー契約 (x-ndjson / no-transform / nosniff / Set-Cookie 伝搬)", async () => {
+        const { config } = makeHandlersFixture({ cookie: "session=abc", idsStreamItems: makeItems(1) })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        expect(response.status).toBe(200)
+        expect(response.headers.get("Content-Type")).toBe("application/x-ndjson; charset=utf-8")
+        expect(response.headers.get("Cache-Control")).toBe("private, no-cache, no-transform")
+        expect(response.headers.get("X-Content-Type-Options")).toBe("nosniff")
+        expect(response.headers.get("Set-Cookie")).toBe("session=abc")
+    })
+
+    it("新規接続でサービス例外 (全量・先頭ページとも失敗) は定型エラー行 + 正常クローズ", async () => {
+        const { config } = makeHandlersFixture({ idsStreamError: new Error("db down: SanwaPython secret") })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        // ストリーミングは開始済みなので 200 のままエラー行で通知する (クライアントは再開する)
+        expect(response.status).toBe(200)
+        const body = await response.text()
+        expect(body).not.toContain("SanwaPython")
+        const lines = body
+            .split("\n")
+            .filter((line) => line.trim() !== "")
+            .map((line) => JSON.parse(line) as Record<string, unknown>)
+        expect(lines).toHaveLength(1)
+        expect(lines[0]).toEqual({ error: "stream interrupted by server error" })
+    })
+
+    it("再開接続でサービス例外はストリーム開始前に 500 JSON へ落ちる", async () => {
+        const { config } = makeHandlersFixture({ idsStreamError: new Error("db down: SanwaPython secret") })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream", { query: "?cursor_report_hub_id=10&cursor_business_date=2026-07-31" }))
+        expect(response.status).toBe(500)
+        expect(response.headers.get("Content-Type")).toContain("application/json")
+        expect(await response.text()).not.toContain("SanwaPython")
+    })
+})
+
+describe("ids-stream / 高速先頭ページ (キャッシュミス時の初回描画短縮)", () => {
+    it("全量クエリが遅い場合、先頭ページが先に届き、全量確定後の行に total が載る", async () => {
+        const items = makeItems(1100)
+        let releaseFull: (() => void) | null = null
+        const fullGate = new Promise<void>((resolve) => {
+            releaseFull = resolve
+        })
+        const { config, calls } = makeHandlersFixture({ idsStreamItems: items, idsStreamFullGate: fullGate })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        const reader = response.body?.getReader()
+        if (!reader) throw new Error("body must be a stream")
+        const decoder = new TextDecoder()
+
+        // 1 行目: 全量を待たずに先頭ページ (200 件・total 無し) が届く
+        const first = await reader.read()
+        const firstLine = JSON.parse(decoder.decode(first.value)) as DailyReportIdsStreamChunkLine
+        expect(firstLine.items).toEqual(items.slice(0, 200))
+        expect(firstLine.total).toBeUndefined()
+        expect(firstLine.isLast).toBe(false)
+        expect(firstLine.nextCursor).toEqual({ businessDate: items[199].businessDate, reportHubId: items[199].reportHubId })
+        expect(calls.getDailyReportIdsFirstPage).toEqual([[TEST_EXTERNAL_USER_ID, 200]])
+
+        // 全量を解放すると、続きの行 (先頭ページの続きから) に total が載る
+        releaseFull?.()
+        let rest = ""
+        while (true) {
+            const { done, value } = await reader.read()
+            if (done) break
+            rest += decoder.decode(value, { stream: true })
+        }
+        const restLines = rest
+            .split("\n")
+            .filter((line) => line.trim() !== "")
+            .map((line) => JSON.parse(line) as DailyReportIdsStreamChunkLine)
+        expect(restLines[0].total).toBe(1100)
+        expect(restLines.slice(1).every((line) => line.total === undefined)).toBe(true)
+        // 先頭ページ + 続きの連結が全量と厳密一致 (欠落・重複なし)
+        expect([...firstLine.items, ...restLines.flatMap((line) => line.items)]).toEqual(items)
+        expect(restLines[restLines.length - 1].isLast).toBe(true)
+    })
+
+    it("先頭ページが上限未満なら全量クエリを待たずに完結する (小規模データセットの最速経路)", async () => {
+        const items = makeItems(5)
+        // 全量は永遠に解決しない (待っていないことの証明)
+        const { config } = makeHandlersFixture({ idsStreamItems: items, idsStreamFullGate: new Promise<void>(() => {}) })
+        const { api } = createDailyReportHandlers(config)
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream"))))
+        expect(lines).toHaveLength(1)
+        expect(lines[0]).toEqual({ items, nextCursor: null, isLast: true, total: 5 })
+    })
+
+    it("先頭ページ送出後に全量クエリが失敗したら、定型エラー行 + 正常クローズ (受信済みの続きから再開できる)", async () => {
+        const items = makeItems(1100)
+        // 全量クエリだけを失敗させる (先頭ページは成功して 200 件が届いている)。
+        // 生成直後に catch を付けて未処理拒否警告を防ぐ (await 側では正しく throw される)
+        const failedGate = Promise.reject(new Error("full query down: SanwaPython secret"))
+        failedGate.catch(() => {})
+        const { config } = makeHandlersFixture({ idsStreamItems: items, idsStreamFullGate: failedGate })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        expect(response.status).toBe(200)
+        const body = await response.text()
+        expect(body).not.toContain("SanwaPython")
+        const lines = body
+            .split("\n")
+            .filter((line) => line.trim() !== "")
+            .map((line) => JSON.parse(line) as Record<string, unknown>)
+        // 1 行目: 先頭ページ (200 件・total 無し・isLast 無し)
+        expect((lines[0] as DailyReportIdsStreamChunkLine).items).toHaveLength(200)
+        expect((lines[0] as DailyReportIdsStreamChunkLine).isLast).toBe(false)
+        expect((lines[0] as DailyReportIdsStreamChunkLine).total).toBeUndefined()
+        // 2 行目: 内部情報を含まない定型エラー行 (クライアントはカーソル再開する)
+        expect(lines[1]).toEqual({ error: "stream interrupted by server error" })
+        expect(lines).toHaveLength(2)
+    })
+
+    it("キャッシュヒット相当 (全量が即時) では従来どおり先頭行に total が載る", async () => {
+        const items = makeItems(5)
+        const { config } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream"))))
+        expect(lines[0].total).toBe(5)
+    })
+
+    it("再開接続は先頭ページクエリを発行しない (受信済みの続きだけを読む)", async () => {
+        const items = makeItems(5)
+        const { config, calls } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        await (await api.loader(makeApiArgs("ids-stream", { query: `?cursor_report_hub_id=${items[1].reportHubId}&cursor_business_date=${items[1].businessDate}` }))).text()
+        expect(calls.getDailyReportIdsFirstPage).toHaveLength(0)
+    })
+})
+
+describe("ids-stream / チャンク分割と total", () => {
+    it("空データセットは total 0 の単一終端行になる", async () => {
+        const { config } = makeHandlersFixture({ idsStreamItems: [] })
+        const { api } = createDailyReportHandlers(config)
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream"))))
+        expect(lines).toHaveLength(1)
+        expect(lines[0]).toEqual({ items: [], nextCursor: null, isLast: true, total: 0 })
+    })
+
+    it("小規模データは 1 行で全件 + total + isLast", async () => {
+        const items = makeItems(5)
+        const { config, calls } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream"))))
+        expect(lines).toHaveLength(1)
+        expect(lines[0].items).toEqual(items)
+        expect(lines[0].total).toBe(5)
+        expect(lines[0].isLast).toBe(true)
+        expect(lines[0].nextCursor).toBeNull()
+        expect(calls.getDailyReportIds).toEqual([[TEST_EXTERNAL_USER_ID, false]])
+    })
+
+    it("9000 件は 200/4000/4000/800 の 4 チャンクに割れ、total は先頭行のみ、カーソルが連鎖する", async () => {
+        const items = makeItems(9000)
+        const { config } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream"))))
+
+        expect(lines.map((line) => line.items.length)).toEqual([200, 4000, 4000, 800])
+        expect(lines[0].total).toBe(9000)
+        expect(lines.slice(1).every((line) => line.total === undefined)).toBe(true)
+
+        // カーソルは各チャンク末尾アイテムのキーと一致する
+        expect(lines[0].nextCursor).toEqual({ businessDate: items[199].businessDate, reportHubId: items[199].reportHubId })
+        expect(lines[1].nextCursor).toEqual({ businessDate: items[4199].businessDate, reportHubId: items[4199].reportHubId })
+        expect(lines[2].nextCursor).toEqual({ businessDate: items[8199].businessDate, reportHubId: items[8199].reportHubId })
+        expect(lines[3].nextCursor).toBeNull()
+        expect(lines.map((line) => line.isLast)).toEqual([false, false, false, true])
+
+        // 全チャンクの連結が元配列と厳密一致する (欠落・重複なし)
+        expect(lines.flatMap((line) => line.items)).toEqual(items)
+    })
+
+    it("forceRefresh=true はサービスへ透過する", async () => {
+        const { config, calls } = makeHandlersFixture({ idsStreamItems: makeItems(1) })
+        const { api } = createDailyReportHandlers(config)
+        await (await api.loader(makeApiArgs("ids-stream", { query: "?forceRefresh=true" }))).text()
+        expect(calls.getDailyReportIds).toEqual([[TEST_EXTERNAL_USER_ID, true]])
+    })
+})
+
+describe("ids-stream / カーソル再開", () => {
+    it("中間カーソルからの再開は「厳密に後」の行から欠落・重複なく続く", async () => {
+        const items = makeItems(1100)
+        const { config } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+
+        const cursorItem = items[199]
+        const query = `?cursor_report_hub_id=${cursorItem.reportHubId}&cursor_business_date=${cursorItem.businessDate}`
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream", { query }))))
+
+        const resumed = lines.flatMap((line) => line.items)
+        expect(resumed).toEqual(items.slice(200))
+        // 再開接続でも先頭行に最新の total が載り直す
+        expect(lines[0].total).toBe(1100)
+    })
+
+    it("NULL 営業日領域は cursor_report_hub_id 単独で再開できる", async () => {
+        const dated = makeItems(3)
+        const nullRegion: DailyReportItem[] = [
+            { reportHubId: 900, businessDate: null, sourceType: "NI" },
+            { reportHubId: 800, businessDate: null, sourceType: "NI" },
+            { reportHubId: 700, businessDate: null, sourceType: "NI" },
+        ]
+        const { config } = makeHandlersFixture({ idsStreamItems: [...dated, ...nullRegion] })
+        const { api } = createDailyReportHandlers(config)
+
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream", { query: "?cursor_report_hub_id=900" }))))
+        expect(lines.flatMap((line) => line.items)).toEqual([
+            { reportHubId: 800, businessDate: null, sourceType: "NI" },
+            { reportHubId: 700, businessDate: null, sourceType: "NI" },
+        ])
+    })
+
+    it("末尾以降を指すカーソルは空チャンク + isLast で正常終端する", async () => {
+        const items = makeItems(5)
+        const { config } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        const last = items[items.length - 1]
+        const query = `?cursor_report_hub_id=${last.reportHubId}&cursor_business_date=${last.businessDate}`
+        const lines = asChunks(await readNdjsonLines(await api.loader(makeApiArgs("ids-stream", { query }))))
+        expect(lines).toHaveLength(1)
+        expect(lines[0]).toEqual({ items: [], nextCursor: null, isLast: true, total: 5 })
+    })
+
+    it.each([
+        ["営業日のみ (位置を決められない)", "?cursor_business_date=2026-07-31"],
+        ["日付形式違反 (スラッシュ)", "?cursor_report_hub_id=10&cursor_business_date=2026/07/31"],
+        ["日付形式違反 (桁欠け)", "?cursor_report_hub_id=10&cursor_business_date=2026-7-31"],
+        ["非整数 ID", "?cursor_report_hub_id=abc"],
+        ["小数 ID", "?cursor_report_hub_id=12.5"],
+        ["ゼロ ID", "?cursor_report_hub_id=0"],
+        ["負数 ID", "?cursor_report_hub_id=-1"],
+        ["先頭ゼロ ID (正規形でない)", "?cursor_report_hub_id=007"],
+    ])("不正カーソル (%s) は 400 で、サービスを呼ばない", async (_label, query) => {
+        const { config, calls } = makeHandlersFixture({ idsStreamItems: makeItems(3) })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream", { query }))
+        expect(response.status).toBe(400)
+        expect(calls.getDailyReportIds).toHaveLength(0)
+    })
+})
+
+describe("ids-stream / 逐次配信", () => {
+    it("チャンクは 1 つの巨大な書き込みではなく複数回の enqueue で届く (pull 単位のバックプレッシャー)", async () => {
+        const items = makeItems(9000)
+        const { config } = makeHandlersFixture({ idsStreamItems: items })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        const body = response.body
+        if (!body) throw new Error("body must be a stream")
+
+        // reader で読み、read() の回数 (= enqueue の粒度) を数える
+        const reader = body.getReader()
+        const decoder = new TextDecoder()
+        let readCount = 0
+        let text = ""
+        while (true) {
+            const { done, value } = await reader.read()
+            if (done) break
+            readCount += 1
+            text += decoder.decode(value, { stream: true })
+        }
+        // 200/4000/4000/800 の 4 チャンク = 4 回以上の read で届く (全体一括 1 回ではない)
+        expect(readCount).toBeGreaterThanOrEqual(4)
+        expect(text.split("\n").filter((line) => line.trim() !== "")).toHaveLength(4)
+    })
+
+    it("reader.cancel() は例外なく受理される (切断安全)", async () => {
+        const { config } = makeHandlersFixture({ idsStreamItems: makeItems(1100) })
+        const { api } = createDailyReportHandlers(config)
+        const response = await api.loader(makeApiArgs("ids-stream"))
+        const reader = response.body?.getReader()
+        if (!reader) throw new Error("body must be a stream")
+        await reader.read()
+        await expect(reader.cancel()).resolves.toBeUndefined()
+    })
+})
+
+describe("ids-stream / 中断", () => {
+    it("送出前に中断済みのリクエストは 1 行も流さずクローズする", async () => {
+        const { config } = makeHandlersFixture({ idsStreamItems: makeItems(50) })
+        const { api } = createDailyReportHandlers(config)
+        const abortController = new AbortController()
+        abortController.abort()
+        const response = await api.loader(makeApiArgs("ids-stream", { signal: abortController.signal }))
+        expect(response.status).toBe(200)
+        expect(await response.text()).toBe("")
+    })
+})
+
+describe("ids-stream / ハートビート", () => {
+    it("次チャンク待ち (全量クエリ確定待ち) が長引く間は空行ハートビートを送る", async () => {
+        vi.useFakeTimers()
+        try {
+            // 全量クエリを保留させ、先頭ページ (200 件) 描画後に無音区間を作る
+            let releaseFull: () => void = () => {}
+            const fullGate = new Promise<void>((resolve) => {
+                releaseFull = resolve
+            })
+            const items = makeItems(400)
+            const { config } = makeHandlersFixture({
+                idsStreamItems: items,
+                idsStreamFirstPageItems: items.slice(0, 200),
+                idsStreamFullGate: fullGate,
+            })
+            const { api } = createDailyReportHandlers(config)
+            const response = await api.loader(makeApiArgs("ids-stream"))
+            const reader = (response.body as ReadableStream<Uint8Array>).getReader()
+            const decoder = new TextDecoder()
+
+            // 先頭ページの最初のチャンク (200 件、isLast 無し)
+            const first = await reader.read()
+            const firstLine = JSON.parse(decoder.decode(first.value).trim()) as DailyReportIdsStreamChunkLine
+            expect(firstLine.items).toHaveLength(200)
+            expect(firstLine.isLast).toBe(false)
+
+            // 全量ゲート未解放のまま 15s 経過 → 接続の生存を示す空行
+            const heartbeatRead = reader.read()
+            await vi.advanceTimersByTimeAsync(15_000)
+            const heartbeat = await heartbeatRead
+            expect(decoder.decode(heartbeat.value)).toBe("\n")
+
+            // 全量を解放すると残りが流れて isLast で閉じる (ハートビートが本体を壊していない)
+            releaseFull()
+            let sawLast = false
+            for (let i = 0; i < 50; i++) {
+                const { done, value } = await reader.read()
+                if (done) break
+                const text = decoder.decode(value).trim()
+                if (text === "") continue
+                for (const raw of text.split("\n")) {
+                    const line = JSON.parse(raw) as DailyReportIdsStreamChunkLine
+                    if (line.isLast) sawLast = true
+                }
+            }
+            expect(sawLast).toBe(true)
+        } finally {
+            vi.useRealTimers()
+        }
+    })
+})