qaify-playwright-reporter 0.9.7 → 0.10.0

package/templates/qa.yml

@@ -2,8 +2,9 @@
 # Butuh di repo ini (Settings → Secrets and variables → Actions):
 #   secret   QA_FACTORY_TOKEN         token reporter dari Pengaturan → Token Reporter
 #   variable QA_FACTORY_URL           URL API QA Factory
-#   secret   CLAUDE_CODE_OAUTH_TOKEN  opsional, analisis AI dengan langganan Claude Pro/Max Anda (`claude setup-token`)
-#   variable QA_FACTORY_AI_MODEL      opsional, default sonnet
+#   secret   CLAUDE_CODE_OAUTH_TOKEN  opsional, analisis AI dengan langganan Claude Pro/Max Anda (`claude setup-token`);
+#                                     atau pakai API key sendiri di Qaify → Setelan → Agen AI (Analis)
+#   variable QA_FACTORY_AI_MODEL      opsional, default sonnet (langganan tanpa model dari Qaify)
 # dan devDependency qaify-playwright-reporter (sudah terpasang bila Anda menjalankan `npx qaify init`).
 # Nama file harus tetap qa.yml.
 name: QA
@@ -61,28 +62,58 @@ jobs:
           npx qaify ai-queue --out "$RUNNER_TEMP/qaf/queue.json"
           npx qaify ai-schema --out "$RUNNER_TEMP/qaf/schema.json" --instructions "$RUNNER_TEMP/qaf/instructions.txt"
 
+      # mesin + model + API key agen Analis (Qaify → Setelan → Agen AI; admin repo memilih "pakai setelan Agen AI
+      # akun saya"). Reporter lama tanpa perintah ini → langganan Claude seperti biasa.
+      - name: Pilih agen AI
+        id: ai
+        if: steps.queue.outputs.count != '0'
+        continue-on-error: true
+        run: npx qaify ai-env --kind analyze --env-file "$RUNNER_TEMP/qaify-ai.env" --error-out "$RUNNER_TEMP/qaf/claude.json"
+
       # folder kosong: .claude/ dan .mcp.json milik repo tidak ikut termuat; semua tool dimatikan
-      - name: Analisis dengan Claude Code (Claude Pro/Max)
-        if: steps.queue.outputs.count != '0' && env.HAS_CLAUDE == 'true'
+      - name: Analisis dengan Claude Code
+        if: >-
+          steps.queue.outputs.count != '0' && (steps.ai.outputs.engine || 'claude_code') == 'claude_code'
+          && (env.HAS_CLAUDE == 'true' || steps.ai.outputs.has_key == 'true')
         continue-on-error: true
         timeout-minutes: 5
         working-directory: ${{ runner.temp }}/qaf
         env:
           CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
+          MODEL: ${{ steps.ai.outputs.model || vars.QA_FACTORY_AI_MODEL || 'sonnet' }}
         run: |
           npm install -g @anthropic-ai/claude-code
+          # API key Anthropic dari Qaify menggantikan langganan
+          if [ -f "$RUNNER_TEMP/qaify-ai.env" ]; then
+            set -a; . "$RUNNER_TEMP/qaify-ai.env"; set +a
+            rm -f "$RUNNER_TEMP/qaify-ai.env"; unset CLAUDE_CODE_OAUTH_TOKEN
+          fi
           claude -p "Analisis setiap kegagalan test pada input JSON." \
-            --model "${{ vars.QA_FACTORY_AI_MODEL || 'sonnet' }}" \
+            --model "$MODEL" \
             --tools "" --disallowedTools "mcp__*" --strict-mcp-config \
             --max-turns 3 --no-session-persistence \
             --append-system-prompt "$(cat instructions.txt)" \
             --output-format json --json-schema "$(cat schema.json)" \
             < queue.json > claude.json
 
+      # Qaify Agent (API key OpenRouter / OpenAI / Gemini / …): tanpa tool, key hanya di memori proses agen
+      - name: Analisis dengan Qaify Agent (API key)
+        if: steps.queue.outputs.count != '0' && steps.ai.outputs.engine == 'qaify_agent'
+        continue-on-error: true
+        timeout-minutes: 5
+        run: |
+          echo "Analisis setiap kegagalan test pada input JSON." > "$RUNNER_TEMP/qaf/prompt.txt"
+          npx qaify agent --env-file "$RUNNER_TEMP/qaify-ai.env" \
+            --prompt-file "$RUNNER_TEMP/qaf/prompt.txt" --input-file "$RUNNER_TEMP/qaf/queue.json" \
+            --instructions-file "$RUNNER_TEMP/qaf/instructions.txt" --schema-file "$RUNNER_TEMP/qaf/schema.json" \
+            --max-turns 3 --out "$RUNNER_TEMP/qaf/claude.json"
+
       # selalu jalan: hasil yang ada diterapkan, sisa antrean (gagal / kuota habis / tanpa secret) → belum jelas
       - name: Kirim hasil analisis
         if: always()
-        run: npx qaify ai-submit --results "$RUNNER_TEMP/qaf/claude.json" --finalize
+        run: |
+          rm -f "$RUNNER_TEMP/qaify-ai.env"
+          npx qaify ai-submit --results "$RUNNER_TEMP/qaf/claude.json" --finalize
 
 # Sharding: jadikan job `test` matrix, mis.
 #   strategy: { matrix: { shard: ["1/2", "2/2"] } }

package/templates/qaify-audit.yml

@@ -3,15 +3,18 @@
 # Butuh di repo runner ini (Settings → Secrets and variables → Actions):
 #   secret   QA_FACTORY_TOKEN         token reporter repo runner (Pengaturan → Token Reporter)
 #   variable QA_FACTORY_URL           URL API Qaify
-#   secret   CLAUDE_CODE_OAUTH_TOKEN  opsional: perbaikan temuan & audit mode claude (langganan Claude Pro/Max, `claude setup-token`)
+#   secret   CLAUDE_CODE_OAUTH_TOKEN  opsional: agen yang memakai langganan Claude Pro/Max (`claude setup-token`);
+#                                     tidak perlu bila semua agen memakai API key (Qaify → Setelan → Agen AI)
 #   variable QA_FACTORY_AUDIT_MODE    opsional, `static` / `claude`; hanya dipakai bila Qaify tidak mengirim mode
-#   variable QA_FACTORY_AI_MODEL      opsional, default sonnet
+#   variable QA_FACTORY_AI_MODEL      opsional, default sonnet (langganan tanpa model dari Qaify)
 #   variable QA_FACTORY_MCP_VERSION   opsional, versi @playwright/mcp (default latest)
 # GitHub App Qaify harus terpasang di repo ini dan di repo FE + BE. Nama file harus tetap qaify-audit.yml.
-# Mode audit dipilih di Qaify (setelan aplikasi, bisa diganti per audit); mode claude tanpa secret jatuh ke static.
+# Mode audit dipilih di Qaify (setelan aplikasi, bisa diganti per audit). Mode AI memakai agen "Auditor" dari
+# Setelan → Agen AI: Claude Code (langganan / API key Anthropic) atau Qaify Agent (API key OpenRouter, OpenAI,
+# Gemini, …). API key diambil dari Qaify tepat sebelum audit (`qaify ai-env`) dan disamarkan di log.
+# Mode AI tanpa langganan maupun API key jatuh ke static.
 # Mode static (tanpa AI): build, test, composer/npm audit, dan smoke test Playwright; cepat, tanpa kuota AI,
-# tetapi tanpa analisis logika bisnis / kontrak API dari kode. Temuannya tetap bisa diperbaiki Claude (qaify-fix.yml).
-# Mode claude: satu sesi Claude yang panjang; kuota langganan dipakai bersama pemakaian pribadi.
+# tetapi tanpa analisis logika bisnis / kontrak API dari kode. Temuannya tetap bisa diperbaiki agen AI (qaify-fix.yml).
 name: Qaify audit
 run-name: audit ${{ inputs.audit_id }}
 on:
@@ -44,7 +47,7 @@ jobs:
         ports: ['5432:5432']
         options: --health-cmd="pg_isready -U postgres" --health-interval=10s --health-timeout=5s --health-retries=10
     # context runner tidak tersedia di env level job; WORK diisi lewat GITHUB_ENV di step pertama,
-    # AUDIT_MODE di step "Tentukan mode audit" (mode baru diketahui dari konteks audit)
+    # AUDIT_MODE & AUDIT_ENGINE di step "Tentukan mode audit" (baru diketahui dari Qaify)
     steps:
       - name: Siapkan direktori kerja
         run: echo "WORK=$RUNNER_TEMP/qaify" >> "$GITHUB_ENV"
@@ -58,7 +61,7 @@ jobs:
           tools: composer
 
       - name: Pasang Qaify CLI
-        run: npm install -g qaify-playwright-reporter@0.9 playwright-core@1
+        run: npm install -g qaify-playwright-reporter@0.10 playwright-core@1
 
       # token clone sekali pakai (read-only, hanya repo FE + BE) dicabut sebelum auditor berjalan
       - name: Ambil konteks & clone repo FE + BE
@@ -68,24 +71,42 @@ jobs:
           QA_FACTORY_TOKEN: ${{ secrets.QA_FACTORY_TOKEN }}
         run: qaify audit-context --audit "${{ inputs.audit_id }}" --dir "$WORK"
 
-      # pilihan Qaify → variable QA_FACTORY_AUDIT_MODE → claude bila secret ada; claude tanpa secret → static
+      # mesin + model + API key agen Auditor; key ke berkas di luar folder kerja, disamarkan di log
+      - name: Pilih agen AI
+        id: ai
+        if: steps.ctx.outputs.ok == 'true' && steps.ctx.outputs.mode != 'static'
+        continue-on-error: true
+        env:
+          QA_FACTORY_URL: ${{ vars.QA_FACTORY_URL }}
+          QA_FACTORY_TOKEN: ${{ secrets.QA_FACTORY_TOKEN }}
+        run: |
+          qaify ai-env --kind audit --id "${{ inputs.audit_id }}" \
+            --env-file "$RUNNER_TEMP/qaify-ai.env" --error-out "$WORK/.qaify/claude.json"
+
+      # pilihan Qaify → variable QA_FACTORY_AUDIT_MODE → claude bila secret ada; AI tanpa langganan / API key → static
       - name: Tentukan mode audit
         if: steps.ctx.outputs.ok == 'true'
         env:
           REQUESTED: ${{ steps.ctx.outputs.mode || vars.QA_FACTORY_AUDIT_MODE }}
           HAS_CLAUDE: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN != '' }}
+          HAS_KEY: ${{ steps.ai.outputs.has_key }}
+          ENGINE: ${{ steps.ai.outputs.engine || 'claude_code' }}
         run: |
           mode="${REQUESTED:-$([ "$HAS_CLAUDE" = true ] && echo claude || echo static)}"
           if [ "$mode" != static ] && [ "$mode" != claude ]; then
             echo "::warning::Mode audit tidak dikenal ($mode); memakai static."
             mode=static
           fi
-          if [ "$mode" = claude ] && [ "$HAS_CLAUDE" != true ]; then
-            echo "::warning::Mode claude diminta tetapi secret CLAUDE_CODE_OAUTH_TOKEN kosong; audit dijalankan tanpa AI."
+          if [ "$mode" = claude ] && [ "$ENGINE" = none ]; then
+            # hasil gagal + penyebabnya sudah ditulis step "Pilih agen AI"
+            mode=failed
+          elif [ "$mode" = claude ] && [ "$HAS_CLAUDE" != true ] && [ "$HAS_KEY" != true ]; then
+            echo "::warning::Mode AI diminta tetapi secret CLAUDE_CODE_OAUTH_TOKEN kosong dan agen Auditor tidak memakai API key; audit dijalankan tanpa AI."
             mode=static
           fi
-          echo "qa-factory: mode audit $mode"
+          echo "qa-factory: mode audit $mode ($ENGINE)"
           echo "AUDIT_MODE=$mode" >> "$GITHUB_ENV"
+          echo "AUDIT_ENGINE=$ENGINE" >> "$GITHUB_ENV"
 
       # tanpa secret apa pun: kode aplikasi (composer/npm script) berjalan di step ini
       - name: Audit tanpa AI (Playwright)
@@ -97,25 +118,32 @@ jobs:
       - name: Siapkan instruksi & Playwright MCP
         if: steps.ctx.outputs.ok == 'true' && env.AUDIT_MODE == 'claude'
         run: |
-          npm install -g @anthropic-ai/claude-code
+          if [ "$AUDIT_ENGINE" = claude_code ]; then npm install -g @anthropic-ai/claude-code; fi
           mkdir -p "$WORK/.qaify"
           qaify audit-schema --out "$WORK/.qaify/schema.json" --instructions "$WORK/.qaify/instructions.txt"
+          qaify audit-schema --prompt > "$WORK/.qaify/prompt.txt"
           # Google Chrome sudah ada di runner ubuntu-latest
           cat > "$WORK/.qaify/mcp.json" <<JSON
           {"mcpServers":{"playwright":{"command":"npx","args":["-y","@playwright/mcp@${{ vars.QA_FACTORY_MCP_VERSION || 'latest' }}","--headless","--isolated","--browser","chrome","--output-dir","$WORK/evidence"]}}}
           JSON
 
-      # hanya CLAUDE_CODE_OAUTH_TOKEN yang tersedia di step ini; QA_FACTORY_TOKEN tidak
-      - name: Audit dengan Claude Code (Claude Pro/Max)
-        if: steps.ctx.outputs.ok == 'true' && env.AUDIT_MODE == 'claude'
+      # hanya kredensial AI (secret langganan / API key Anthropic dari Qaify) di step ini; QA_FACTORY_TOKEN tidak
+      - name: Audit dengan Claude Code
+        if: steps.ctx.outputs.ok == 'true' && env.AUDIT_MODE == 'claude' && env.AUDIT_ENGINE == 'claude_code'
         continue-on-error: true
         timeout-minutes: 45
         working-directory: ${{ runner.temp }}/qaify
         env:
           CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
+          MODEL: ${{ steps.ai.outputs.model || vars.QA_FACTORY_AI_MODEL || 'sonnet' }}
         run: |
-          claude -p "$(qaify audit-schema --prompt)" \
-            --model "${{ vars.QA_FACTORY_AI_MODEL || 'sonnet' }}" \
+          # API key Anthropic dari Qaify menggantikan langganan
+          if [ -f "$RUNNER_TEMP/qaify-ai.env" ]; then
+            set -a; . "$RUNNER_TEMP/qaify-ai.env"; set +a
+            rm -f "$RUNNER_TEMP/qaify-ai.env"; unset CLAUDE_CODE_OAUTH_TOKEN
+          fi
+          claude -p "$(cat .qaify/prompt.txt)" \
+            --model "$MODEL" \
             --allowedTools "Bash,Read,Grep,Glob,Write,Edit,mcp__playwright" \
             --disallowedTools "WebFetch,WebSearch" \
             --strict-mcp-config --mcp-config .qaify/mcp.json \
@@ -124,6 +152,18 @@ jobs:
             --output-format json --json-schema "$(cat .qaify/schema.json)" \
             > .qaify/claude.json
 
+      # Qaify Agent: key hanya di memori proses agen (berkas env dihapus saat dibaca), tidak diwarisi bash / MCP
+      - name: Audit dengan Qaify Agent (API key)
+        if: steps.ctx.outputs.ok == 'true' && env.AUDIT_MODE == 'claude' && env.AUDIT_ENGINE == 'qaify_agent'
+        continue-on-error: true
+        timeout-minutes: 45
+        working-directory: ${{ runner.temp }}/qaify
+        run: |
+          qaify agent --env-file "$RUNNER_TEMP/qaify-ai.env" \
+            --prompt-file .qaify/prompt.txt --instructions-file .qaify/instructions.txt --schema-file .qaify/schema.json \
+            --tools read,list,grep,write,edit,bash --mcp-config .qaify/mcp.json --max-turns 150 \
+            --out .qaify/claude.json
+
       # selalu jalan (juga saat konteks/clone gagal): tanpa hasil auditor, audit ditandai gagal beserta penyebabnya
       - name: Kirim hasil audit
         if: always()
@@ -131,5 +171,6 @@ jobs:
           QA_FACTORY_URL: ${{ vars.QA_FACTORY_URL }}
           QA_FACTORY_TOKEN: ${{ secrets.QA_FACTORY_TOKEN }}
         run: |
+          rm -f "$RUNNER_TEMP/qaify-ai.env"
           qaify audit-submit --audit "${{ inputs.audit_id }}" \
             --results "$WORK/.qaify/claude.json" --evidence "$WORK/evidence" --context "$WORK/context.json"

package/templates/qaify-fix.yml

@@ -1,14 +1,17 @@
-# Qaify — perbaikan temuan audit oleh Claude (1 temuan = 1 PR ke repo FE/BE). Dibuat oleh `npx qaify init-runner`.
-# Dipicu Qaify lewat workflow_dispatch (otomatis setelah audit, atau tombol "Perbaiki dengan Claude"); satu per satu per aplikasi.
+# Qaify — perbaikan temuan audit oleh agen AI (1 temuan = 1 PR ke repo FE/BE). Dibuat oleh `npx qaify init-runner`.
+# Dipicu Qaify lewat workflow_dispatch (otomatis setelah audit, atau tombol "Perbaiki"); satu per satu per aplikasi.
 # Butuh di repo runner ini (sama dengan qaify-audit.yml):
 #   secret   QA_FACTORY_TOKEN         token reporter repo runner
 #   variable QA_FACTORY_URL           URL API Qaify
-#   secret   CLAUDE_CODE_OAUTH_TOKEN  langganan Claude Pro/Max Anda (`claude setup-token`); wajib untuk perbaikan
+#   secret   CLAUDE_CODE_OAUTH_TOKEN  langganan Claude Pro/Max Anda (`claude setup-token`); hanya untuk engineer yang
+#                                     memakai langganan (tidak perlu bila semua engineer memakai API key di Qaify)
 # GitHub App Qaify butuh izin Contents: Read and write dan Pull requests: Read and write di repo FE/BE.
-# Model (haiku / sonnet / opus atau versi tertentu) dipilih Qaify per temuan menurut kompleksitas atau pilihan Anda.
-# Advisory dependensi (composer.lock / package-lock.json) diperbaiki tanpa Claude: `qaify fix-deps` memperbarui
+# Engineer (Nanda / Fajar / Pak Yoga) dipilih Qaify per temuan menurut kompleksitas atau pilihan Anda; mesin, model,
+# dan API key-nya dari Setelan → Agen AI (Claude Code dengan langganan / API key Anthropic, atau Qaify Agent dengan
+# API key OpenRouter, OpenAI, Gemini, …). API key diambil tepat sebelum perbaikan (`qaify ai-env`), disamarkan di log.
+# Advisory dependensi (composer.lock / package-lock.json) diperbaiki tanpa AI: `qaify fix-deps` memperbarui
 # paketnya di lockfile (mode deps), tanpa memakai kuota.
-# Job "fix" menjalankan Claude tanpa token push; job "submit" (VM bersih) meng-clone ulang, menerapkan patch, lalu push.
+# Job "fix" menjalankan agen tanpa token push; job "submit" (VM bersih) meng-clone ulang, menerapkan patch, lalu push.
 # Nama file harus tetap qaify-fix.yml.
 name: Qaify fix
 run-name: fix ${{ inputs.fix_id }}
@@ -55,10 +58,10 @@ jobs:
           extensions: mbstring, intl, bcmath, gd, zip, pdo_mysql, pdo_pgsql
           tools: composer
 
-      - name: Pasang Qaify CLI & Claude Code
-        run: npm install -g qaify-playwright-reporter@0.9 @anthropic-ai/claude-code
+      - name: Pasang Qaify CLI
+        run: npm install -g qaify-playwright-reporter@0.10
 
-      # token clone sekali pakai (read-only, hanya repo target) dicabut sebelum Claude berjalan
+      # token clone sekali pakai (read-only, hanya repo target) dicabut sebelum agen berjalan
       - name: Ambil temuan & clone repo target
         id: ctx
         env:
@@ -75,16 +78,34 @@ jobs:
         timeout-minutes: 15
         run: qaify fix-deps --dir "$WORK"
 
-      # hanya CLAUDE_CODE_OAUTH_TOKEN yang tersedia di step ini; tidak ada token Qaify maupun token push
-      - name: Perbaiki dengan Claude Code (Claude Pro/Max)
+      # mesin + model + API key engineer; key ke berkas di luar folder kerja, disamarkan di log
+      - name: Pilih agen AI
+        id: ai
         if: steps.ctx.outputs.ok == 'true' && steps.ctx.outputs.mode != 'deps'
         continue-on-error: true
+        env:
+          QA_FACTORY_URL: ${{ vars.QA_FACTORY_URL }}
+          QA_FACTORY_TOKEN: ${{ secrets.QA_FACTORY_TOKEN }}
+        run: |
+          qaify ai-env --kind audit_fix --id "${{ inputs.fix_id }}" \
+            --env-file "$RUNNER_TEMP/qaify-ai.env" --error-out "$WORK/.qaify/claude.json"
+
+      # hanya kredensial AI (secret langganan / API key Anthropic dari Qaify); tidak ada token Qaify maupun token push
+      - name: Perbaiki dengan Claude Code
+        if: steps.ctx.outputs.ok == 'true' && steps.ctx.outputs.mode != 'deps' && (steps.ai.outputs.engine || 'claude_code') == 'claude_code'
+        continue-on-error: true
         timeout-minutes: 45
         working-directory: ${{ runner.temp }}/qaify/repo
         env:
           CLAUDE_CODE_OAUTH_TOKEN: ${{ secrets.CLAUDE_CODE_OAUTH_TOKEN }}
-          MODEL: ${{ steps.ctx.outputs.model }}
+          MODEL: ${{ steps.ai.outputs.model || steps.ctx.outputs.model }}
         run: |
+          npm install -g @anthropic-ai/claude-code
+          # API key Anthropic dari Qaify menggantikan langganan
+          if [ -f "$RUNNER_TEMP/qaify-ai.env" ]; then
+            set -a; . "$RUNNER_TEMP/qaify-ai.env"; set +a
+            rm -f "$RUNNER_TEMP/qaify-ai.env"; unset CLAUDE_CODE_OAUTH_TOKEN
+          fi
           claude -p "$(cat ../.qaify/prompt.txt)" \
             --model "$MODEL" \
             --allowedTools "Bash,Read,Grep,Glob,Write,Edit" \
@@ -94,9 +115,22 @@ jobs:
             --output-format json --json-schema "$(cat ../.qaify/schema.json)" \
             > ../.qaify/claude.json
 
+      # Qaify Agent: key hanya di memori proses agen (berkas env dihapus saat dibaca), tidak diwarisi bash
+      - name: Perbaiki dengan Qaify Agent (API key)
+        if: steps.ctx.outputs.ok == 'true' && steps.ctx.outputs.mode != 'deps' && steps.ai.outputs.engine == 'qaify_agent'
+        continue-on-error: true
+        timeout-minutes: 45
+        working-directory: ${{ runner.temp }}/qaify/repo
+        run: |
+          qaify agent --env-file "$RUNNER_TEMP/qaify-ai.env" \
+            --prompt-file ../.qaify/prompt.txt --instructions-file ../.qaify/instructions.txt --schema-file ../.qaify/schema.json \
+            --tools read,list,grep,write,edit,bash --max-turns 80 \
+            --out ../.qaify/claude.json
+
       - name: Kumpulkan perubahan
         if: always() && steps.ctx.outputs.ok == 'true'
         run: |
+          rm -f "$RUNNER_TEMP/qaify-ai.env"
           qaify fix-diff --dir "$WORK" --out "$WORK/out"
           cp "$WORK/.qaify/claude.json" "$WORK/out/claude.json" 2>/dev/null || true
 
@@ -108,7 +142,7 @@ jobs:
           retention-days: 3
           if-no-files-found: ignore
 
-  # selalu jalan setelah konteks diambil: tanpa hasil Claude, perbaikan ditandai gagal beserta penyebab yang mungkin
+  # selalu jalan setelah konteks diambil: tanpa hasil agen, perbaikan ditandai gagal beserta penyebab yang mungkin
   submit:
     needs: fix
     if: always() && needs.fix.outputs.ok == 'true'
@@ -118,7 +152,7 @@ jobs:
       - uses: actions/setup-node@v4
         with: { node-version: 22 }
       - name: Pasang Qaify CLI
-        run: npm install -g qaify-playwright-reporter@0.9
+        run: npm install -g qaify-playwright-reporter@0.10
       - uses: actions/download-artifact@v4
         continue-on-error: true
         with: