qaify-playwright-reporter 0.7.0 → 0.9.0

package/README.md

@@ -105,11 +105,22 @@ Untuk aplikasi yang repo FE dan BE-nya terpisah dan belum memasang Playwright, Q
 
 1. Pilih repo runner: repo kosong (mis. `qaify-runner`) atau repo aplikasinya sendiri. Jalankan `npx qaify-playwright-reporter init-runner` di dalamnya. Perintah ini menulis `.github/workflows/qaify-audit.yml`.
 2. Pasang GitHub App Qaify di repo runner, repo FE, dan repo BE.
-3. Di repo runner, isi secret `QA_FACTORY_TOKEN` (token reporter repo runner), dan variable `QA_FACTORY_URL`. Secret `CLAUDE_CODE_OAUTH_TOKEN` bersifat opsional.
+3. Di repo runner, isi secret `QA_FACTORY_TOKEN` (token reporter repo runner), dan variable `QA_FACTORY_URL`. Secret `CLAUDE_CODE_OAUTH_TOKEN` bersifat opsional. Secret ini dibutuhkan untuk [perbaikan temuan oleh Claude](#perbaikan-temuan-audit-oleh-claude-pr-ke-repo-febe) dan audit mode Claude.
 
-   - Tanpa secret itu, audit berjalan **tanpa AI** (`qaify audit-static`): build, test, `composer audit` / `npm audit`, route GET publik BE, dan smoke test Playwright FE (desktop + mobile, screenshot setiap halaman untuk lampiran laporan PDF). Smoke test juga memeriksa elemen yang meluap, gambar rusak, tombol yang tertutup elemen lain, error JavaScript, request API, dan aset yang gagal. Setiap jenis masalah difoto lagi dengan kotak merah di elemennya atau banner berisi pesan errornya. Temuan smoke diberi halaman dan berkas sumber bila bisa ditebak (route FE → komponen halaman, route BE → method controller). Request FE yang gagal dipetakan ke controller BE, dan route BE yang error dihubungkan ke halaman FE yang memanggilnya.
-   - Dengan secret itu, Claude yang mengaudit. Hasilnya lebih dalam, termasuk logika bisnis dan kontrak API.
-   - Mode bisa dipaksa lewat variable `QA_FACTORY_AUDIT_MODE` (`static` / `claude`).
+   Mode audit dipilih di Qaify: **Tanpa AI** (default) atau **Claude**, sebagai setelan aplikasi, dan bisa diganti di dialog **Audit sekarang**. Jadi Claude bisa dipakai hanya untuk memperbaiki temuan, sementara auditnya tetap tanpa AI. Mode Claude tanpa secret di atas dijalankan sebagai Tanpa AI (dengan peringatan di run).
+
+   - **Tanpa AI** (`qaify audit-static`): build, test, `composer audit` / `npm audit` (satu temuan per paket, paling banyak 10 di laporan), pemeriksaan API BE, cek kontrak FE↔BE, dan smoke test Playwright FE (desktop + mobile, screenshot setiap halaman untuk lampiran laporan PDF). Smoke test juga memeriksa elemen yang meluap, gambar rusak, tombol yang tertutup elemen lain, error JavaScript, request API, dan aset yang gagal. Setiap jenis masalah difoto lagi dengan kotak merah di elemennya atau banner berisi pesan errornya. Temuan smoke diberi halaman dan berkas sumber bila bisa ditebak (route FE → komponen halaman, route BE → method controller). Request FE yang gagal dipetakan ke controller BE, dan route BE yang error dihubungkan ke halaman FE yang memanggilnya.
+
+     Pemeriksaan API (deterministik, aturan bisnis tidak ditebak):
+     - **Login API** dengan akun di catatan aplikasi (`email / password`; token Bearer atau cookie Sanctum SPA). Beri label untuk uji antar-role, mis. `admin: admin@pos.test / rahasia; kasir: kasir@pos.test / kasir123`.
+     - **Smoke API**: semua route GET (yang terlindungi juga, bila login berhasil), `{param}` diisi ID pertama dari route index-nya. Respons ≥500 menjadi temuan.
+     - **Validasi**: POST/PUT/PATCH dikirimi body kosong dan nilai yang melanggar aturan FormRequest / `validate()`. 500, atau input salah yang diterima, menjadi temuan.
+     - **Otorisasi**: route API pengubah data tanpa middleware auth, route GET publik yang mengembalikan data di resource yang lainnya terlindungi, dan route `role:x` yang bisa dibuka akun berlabel role lain.
+     - **Kontrak FE↔BE**: `axios`/`fetch` di `src/` FE dicocokkan dengan `route:list` BE (path tidak ada / method tidak diterima).
+   - **Claude**: Claude yang mengaudit. Hasilnya lebih dalam, termasuk logika bisnis dan kontrak API, tetapi memakan kuota langganan.
+   - Variable `QA_FACTORY_AUDIT_MODE` (`static` / `claude`) hanya dipakai bila backend Qaify belum mengirim mode (versi lama).
+
+   Runner yang dibuat sebelum 0.8 perlu memperbarui workflow: `npx qaify-playwright-reporter init-runner --force`. Tanpa itu, workflow lama tetap memilih mode dari secret dan variable. Runner yang dibuat sebelum 0.9 perlu menjalankan perintah yang sama agar pemeriksaan API dan perbaikan dependensi tanpa AI (`qaify-fix.yml`) aktif.
 4. Di Qaify → **Aplikasi**, tambahkan aplikasi (repo FE, BE, runner), lalu klik **Audit sekarang**.
 
 Alur di workflow:
@@ -128,7 +139,7 @@ Keamanan:
 - `QA_FACTORY_TOKEN` tidak tersedia di step Claude.
 - Isi repo diperlakukan sebagai data, bukan instruksi.
 
-Satu audit adalah satu sesi Claude yang panjang (sampai 45 menit), sehingga memakan kuota langganan pemilik runner.
+Satu audit mode Claude adalah satu sesi Claude yang panjang (sampai 45 menit), sehingga memakan kuota langganan pemilik runner. Audit tanpa AI tidak memakai kuota.
 
 ## Perbaikan temuan audit oleh Claude (PR ke repo FE/BE)
 
@@ -148,6 +159,8 @@ Model dipilih Qaify per temuan dan dikirim lewat konteks. Kamu tidak perlu mengi
 
 Tier bisa diubah per aplikasi, model bisa dikunci, dan setiap temuan bisa diperbaiki dengan model pilihan (alias atau ID versi, mis. `claude-sonnet-5-5`). Perbaikan otomatis yang gagal dicoba sekali lagi dengan model satu tingkat di atasnya.
 
+Advisory dependensi (`composer audit` / `npm audit`, berkas `composer.lock` / `package-lock.json`) tidak dikirim ke Claude. Qaify memakai "model" `qaify-deps`: step Claude dilewati, dan `qaify fix-deps` memperbarui paketnya di lockfile (`composer update <paket> --with-all-dependencies --no-install`, atau `npm update <paket> --package-lock-only` lalu `npm audit fix --package-lock-only`), mengecek ulang dengan audit, lalu membuka PR berisi lockfile. Tidak memakai kuota Claude. Bila versi perbaikannya di luar constraint `composer.json` / `package.json` (mis. perlu naik versi major), perbaikan ditandai gagal dengan alasan itu.
+
 Alur di workflow:
 
 ```bash
@@ -155,7 +168,9 @@ Alur di workflow:
 qaify fix-context --fix <id> --dir "$WORK"       # clone repo target di commit yang diaudit (token read-only, lalu dicabut)
 qaify fix-schema --out schema.json --instructions instructions.txt
 claude -p "$(cat .qaify/prompt.txt)" --model "$MODEL" …   # ubah kode + jalankan test, tanpa commit
-qaify fix-diff --dir "$WORK" --out "$WORK/out"   # changes.patch (lockfile & .env dibuang) → artefak
+# atau, untuk advisory dependensi (output mode=deps dari fix-context):
+qaify fix-deps --dir "$WORK"                     # update lockfile tanpa AI → .qaify/claude.json
+qaify fix-diff --dir "$WORK" --out "$WORK/out"   # changes.patch (.env & lockfile dibuang, kecuali lockfile mode deps) → artefak
 # job submit: VM bersih
 qaify fix-submit --fix <id> --results claude.json --patch changes.patch --dir "$RUNNER_TEMP/push"
 ```
@@ -163,7 +178,7 @@ qaify fix-submit --fix <id> --results claude.json --patch changes.patch --dir "$
 Keamanan:
 - Job Claude tidak pernah memegang token push maupun `QA_FACTORY_TOKEN`.
 - Job submit berjalan di VM baru. Job ini clone ulang dan menerapkan patch dengan `git apply`, sehingga hook dan `.git/config` dari job Claude tidak ikut terbawa. Token push (`contents:write`) hanya berlaku untuk satu repo, sekali pakai, dan dicabut setelah push.
-- Patch ditolak bila menyentuh `.github/` atau `.env`, atau melebihi 20 berkas / 600 baris.
+- Patch ditolak bila menyentuh `.github/` atau `.env`, atau melebihi 20 berkas / 600 baris (baris lockfile tidak dihitung).
 
 ## Uji lokal tanpa GitHub Actions
 

package/dist/audit-api.d.ts

@@ -0,0 +1,118 @@
+import type { AuditFinding } from './audit.js';
+import { type SourceLocation } from './audit-static.js';
+export interface Route {
+    methods: string[];
+    uri: string;
+    action: string | null;
+    middleware: string[];
+}
+export interface Account {
+    label: string | null;
+    email: string;
+    password: string;
+}
+export interface Session {
+    label: string | null;
+    headers: Record<string, string>;
+    cookies: Map<string, string>;
+}
+export interface ApiProbe {
+    base: string;
+    fetch: typeof fetch;
+    routes: Route[];
+    /** Root repo BE, untuk berkas controller / FormRequest. */
+    root: string;
+    /** Sesi akun pertama yang berhasil login; null = hanya route publik. */
+    session: Session | null;
+    sessions: Session[];
+    /** "<akun> <uri index>" → ID pertama, untuk mengisi {param}. */
+    ids: Map<string, string | number | null>;
+}
+export interface CheckResult {
+    findings: AuditFinding[];
+    notes: string[];
+}
+/** `route:list --json` → route; HEAD dibuang dari method. */
+export declare function parseRoutes(output: string): Route[];
+export declare const isProtected: (route: Route) => boolean;
+/** Role yang boleh mengakses route dari middleware role:admin|manager, CheckRole:admin, isAdmin; null = tanpa batas role. */
+export declare function allowedRoles(route: Route): string[] | null;
+/** Akun dari catatan aplikasi, mis. "admin: admin@pos.test / rahasia; kasir: kasir@pos.test / kasir123". */
+export declare function parseLogins(instructions: string): Account[];
+/** Token API di respons login (Sanctum / Passport / JWT), di kedalaman mana pun. */
+export declare function findToken(json: unknown, depth?: number): string | null;
+/** Login API: token Bearer dari respons, atau sesi cookie Sanctum SPA (csrf-cookie + X-XSRF-TOKEN). */
+export declare function apiLogin(probe: ApiProbe, account: Account): Promise<Session | null>;
+/** Login semua akun; akun pertama yang berhasil jadi sesi utama. */
+export declare function openApi(routes: Route[], accounts: Account[], opts: {
+    base: string;
+    fetch: typeof fetch;
+    root: string;
+}): Promise<{
+    probe: ApiProbe;
+    notes: string[];
+}>;
+/** ID pertama dari respons index: array, data[], data.data[], items[], results[]. */
+export declare function firstId(json: unknown): string | number | null;
+/** Route GET (publik, atau semua bila sudah login) → temuan untuk respons ≥500. */
+export declare function smokeApi(probe: ApiProbe): Promise<CheckResult & {
+    failed: {
+        finding: AuditFinding;
+        uri: string;
+    }[];
+}>;
+/** Aturan validasi dari isi rules() / $request->validate([...]): field → token aturan. Field bersarang dilewati. */
+export declare function parseRules(source: string): Map<string, string[]>;
+/** Satu nilai yang melanggar aturan per field; field tanpa aturan yang bisa dilanggar tidak diisi. */
+export declare function invalidPayload(rules: Map<string, string[]>): Record<string, unknown>;
+export type ValidationVerdict = 'server_error' | 'accepted' | 'unvalidated' | null;
+/**
+ * Hasil satu request uji validasi:
+ * - server_error: ≥500 untuk input yang salah;
+ * - accepted: 2xx untuk nilai yang melanggar aturan, atau body kosong padahal ada field required;
+ * - unvalidated: 2xx untuk body kosong di action yang membaca input tanpa aturan validasi sama sekali.
+ */
+export declare function classifyValidation(status: number, kind: 'empty' | 'invalid', info: {
+    hasRules: boolean;
+    hasRequired: boolean;
+    readsInput: boolean;
+}): ValidationVerdict;
+interface ActionRules {
+    rules: Map<string, string[]>;
+    readsInput: boolean;
+    /** Berkas aturan: FormRequest (baris rules()) atau method controller. */
+    location: SourceLocation | null;
+    controller: SourceLocation | null;
+}
+/** Aturan validasi action: FormRequest di parameter method, atau validate() / Validator::make di badan method. */
+export declare function actionRules(root: string, action: string): Promise<ActionRules>;
+/** POST/PUT/PATCH: body kosong dan body yang melanggar aturan; satu temuan per route (yang terparah). */
+export declare function checkValidation(probe: ApiProbe): Promise<CheckResult>;
+/**
+ * - Route API POST/PUT/PATCH/DELETE tanpa middleware auth (statis dari route list).
+ * - Route GET publik di resource yang route lainnya terlindungi, dan mengembalikan data tanpa login.
+ * - Route ber-middleware role dipanggil dengan akun berlabel role lain: harus 401/403.
+ */
+export declare function checkAuthorization(probe: ApiProbe, beRoot: string): Promise<CheckResult>;
+export interface ApiCall {
+    method: string;
+    path: string;
+    file: string;
+    line: number;
+    /** Form dengan _method (method spoofing Laravel): method tidak dibandingkan. */
+    spoofed: boolean;
+}
+/**
+ * URL pemanggilan di kode FE → path: base di depan (`${API_URL}/produk`) dibuang, `/${id}` → `/__p__`, query dibuang.
+ * null = URL absolut ke host lain, berkas statis, atau bukan path.
+ */
+export declare function normalizeCallPath(raw: string): string | null;
+/** axios-like `.get('/x')` / `.post(\`/x/${id}\`)` dan fetch('/x', { method }) di satu berkas sumber. */
+export declare function extractApiCalls(source: string, file: string): ApiCall[];
+/** Path FE cocok dengan URI route: {param} BE cocok segmen apa pun, __p__ FE cocok segmen apa pun. */
+export declare function routeMatches(uri: string, path: string): boolean;
+/** Path dasar API dari .env.example FE (VITE_*=http…/api) dan axios.create({ baseURL: '/api' }). */
+export declare function basePaths(envExample: string, sources: string[]): string[];
+/** Pemanggilan API di src/ FE yang path-nya tidak ada di BE, atau method-nya tidak diterima route BE. */
+export declare function checkContract(feRoot: string, beRoot: string, routes: Route[]): Promise<CheckResult>;
+export {};