@haus-tech/haus-workflow 7.1.0 → 7.2.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +27 -0
- package/dist/cli.js +9712 -9498
- package/package.json +1 -1
- package/packages/agents/qa-fixer.md +66 -0
- package/packages/agents/qa-inventory.md +36 -0
- package/packages/agents/qa-reviewer.md +32 -0
- package/packages/agents/qa-tester.md +85 -0
- package/packages/packages.yaml +8 -0
- package/packages/skills/fixing-weak-tests/SKILL.md +89 -0
- package/packages/skills/fixing-weak-tests/references/audit-brief.md +57 -0
- package/packages/skills/fixing-weak-tests/references/fix-brief.md +55 -0
- package/packages/skills/optimizing-test-suites/SKILL.md +157 -0
- package/packages/skills/optimizing-test-suites/references/affected-tests.md +46 -0
- package/packages/skills/optimizing-test-suites/references/levers.md +79 -0
- package/packages/skills/optimizing-test-suites/scripts/slowest.mjs +78 -0
- package/packages/skills/qa-genomklickning/SKILL.md +179 -0
- package/packages/skills/qa-genomklickning/drivers.md +159 -0
- package/packages/skills/qa-genomklickning/report.md +23 -0
- package/packages/skills/qa-genomklickning/scripts/android-setup.sh +26 -0
- package/packages/skills/qa-genomklickning/scripts/android.sh +62 -0
- package/packages/skills/qa-genomklickning/scripts/chrome-tab-guard.py +55 -0
- package/packages/skills/qa-genomklickning/scripts/env-check.sh +32 -0
- package/packages/skills/qa-genomklickning/scripts/ios-sim.sh +49 -0
- package/packages/skills/request/SKILL.md +3 -2
- package/packages/skills/request/scripts/compare-scores.mjs +23 -11
- package/packages/skills/testsammanfattning/SKILL.md +134 -0
- package/packages/skills/testsammanfattning/references/konfiguration.md +110 -0
- package/packages/skills/testsammanfattning/scripts/test-log.mjs +218 -0
- package/packages/skills/testsammanfattning/scripts/test-summary.mjs +495 -0
- package/packages/templates/agentic-workflow-standard.md +3 -3
|
@@ -0,0 +1,62 @@
|
|
|
1
|
+
#!/bin/bash
|
|
2
|
+
# Per-agent Android emulators for QA (AVDs qa1, qa2 from android-setup.sh).
|
|
3
|
+
# up <avd> <port> boot headless on an even port (5554, 5556), prints serial
|
|
4
|
+
# reverse <serial> <port> make the Mac's localhost:<port> reachable in the emulator
|
|
5
|
+
# open <serial> <url> open url in Chrome
|
|
6
|
+
# cdp <serial> <local port> forward Chrome DevTools, prints the CDP url
|
|
7
|
+
# shot <serial> <file.png> screenshot
|
|
8
|
+
# tap-text <serial> <text> tap the first element whose text or content-desc contains <text>
|
|
9
|
+
# texts <serial> list visible texts with their tap centers
|
|
10
|
+
# down <serial> stop the emulator
|
|
11
|
+
set -euo pipefail
|
|
12
|
+
AH="${ANDROID_HOME:-$(brew --prefix)/share/android-commandlinetools}"
|
|
13
|
+
export PATH="$AH/platform-tools:$AH/emulator:$PATH"
|
|
14
|
+
|
|
15
|
+
# Prints "x y<TAB>text" for every node with text or content-desc.
|
|
16
|
+
nodes() {
|
|
17
|
+
# The dump fails with "null root node" while the UI is still settling: retry.
|
|
18
|
+
for _ in 1 2 3 4 5 6; do
|
|
19
|
+
adb -s "$1" shell uiautomator dump /sdcard/qa-ui.xml 2>&1 | grep -q "dumped to" && break
|
|
20
|
+
sleep 2
|
|
21
|
+
done
|
|
22
|
+
adb -s "$1" exec-out cat /sdcard/qa-ui.xml | python3 -c '
|
|
23
|
+
import re, sys, xml.etree.ElementTree as ET
|
|
24
|
+
for n in ET.fromstring(sys.stdin.read()).iter("node"):
|
|
25
|
+
label = n.get("text") or n.get("content-desc") or ""
|
|
26
|
+
m = re.match(r"\[(\d+),(\d+)\]\[(\d+),(\d+)\]", n.get("bounds", ""))
|
|
27
|
+
if label and m:
|
|
28
|
+
x1, y1, x2, y2 = map(int, m.groups())
|
|
29
|
+
print(f"{(x1 + x2) // 2} {(y1 + y2) // 2}\t{label}")'
|
|
30
|
+
}
|
|
31
|
+
|
|
32
|
+
cmd="${1:-}"
|
|
33
|
+
case "$cmd" in
|
|
34
|
+
up)
|
|
35
|
+
avd="${2:?avd}"; port="${3:?even port}"; serial="emulator-$port"
|
|
36
|
+
nohup emulator -avd "$avd" -no-window -no-audio -no-boot-anim -port "$port" \
|
|
37
|
+
>"/tmp/qa-$avd.log" 2>&1 &
|
|
38
|
+
adb -s "$serial" wait-for-device
|
|
39
|
+
until [ "$(adb -s "$serial" shell getprop sys.boot_completed 2>/dev/null | tr -d '\r')" = "1" ]; do sleep 2; done
|
|
40
|
+
echo "$serial"
|
|
41
|
+
;;
|
|
42
|
+
reverse) adb -s "${2:?serial}" reverse "tcp:${3:?port}" "tcp:$3" >/dev/null ;;
|
|
43
|
+
open)
|
|
44
|
+
adb -s "${2:?serial}" shell am start -a android.intent.action.VIEW -d "${3:?url}" com.android.chrome >/dev/null
|
|
45
|
+
;;
|
|
46
|
+
cdp)
|
|
47
|
+
# Chrome's DevTools socket on the Mac's localhost:<port>, for
|
|
48
|
+
# playwright-cli attach --cdp=http://localhost:<port> --session=<name>
|
|
49
|
+
adb -s "${2:?serial}" forward "tcp:${3:?local port}" localabstract:chrome_devtools_remote >/dev/null
|
|
50
|
+
echo "http://localhost:$3"
|
|
51
|
+
;;
|
|
52
|
+
shot) adb -s "${2:?serial}" exec-out screencap -p > "${3:?file}"; echo "$3" ;;
|
|
53
|
+
texts) nodes "${2:?serial}" ;;
|
|
54
|
+
tap-text)
|
|
55
|
+
hit=$(nodes "${2:?serial}" | grep -F -m1 -- "${3:?text}" || true)
|
|
56
|
+
[ -n "$hit" ] || { echo "no element with text: $3" >&2; exit 1; }
|
|
57
|
+
adb -s "$2" shell input tap ${hit%%$'\t'*}
|
|
58
|
+
echo "tapped ${hit}"
|
|
59
|
+
;;
|
|
60
|
+
down) adb -s "${2:?serial}" emu kill >/dev/null ;;
|
|
61
|
+
*) sed -n '2,10p' "$0"; exit 1 ;;
|
|
62
|
+
esac
|
|
@@ -0,0 +1,55 @@
|
|
|
1
|
+
#!/usr/bin/env python3
|
|
2
|
+
"""PreToolUse hook for qa-tester: keep parallel agents in their own Chrome tab.
|
|
3
|
+
|
|
4
|
+
Blocks Claude in Chrome calls that act on a page without an explicit tabId
|
|
5
|
+
(they would drive the first tab of the shared group), and blocks resize_window
|
|
6
|
+
(it resizes the window every other agent is using). Exit 2 = block, stderr is
|
|
7
|
+
shown to the agent.
|
|
8
|
+
"""
|
|
9
|
+
import json
|
|
10
|
+
import sys
|
|
11
|
+
|
|
12
|
+
PREFIX = "mcp__claude-in-chrome__"
|
|
13
|
+
NEEDS_TAB = {
|
|
14
|
+
"navigate", "computer", "read_page", "find", "form_input", "get_page_text",
|
|
15
|
+
"javascript_tool", "read_console_messages", "read_network_requests",
|
|
16
|
+
"file_upload", "upload_image", "gif_creator", "tabs_close_mcp",
|
|
17
|
+
}
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
def missing_tab(name, tool_input):
|
|
21
|
+
return name in NEEDS_TAB and tool_input.get("tabId") in (None, "")
|
|
22
|
+
|
|
23
|
+
|
|
24
|
+
def main():
|
|
25
|
+
try:
|
|
26
|
+
event = json.load(sys.stdin)
|
|
27
|
+
except ValueError:
|
|
28
|
+
return 0
|
|
29
|
+
tool = event.get("tool_name", "")
|
|
30
|
+
if not tool.startswith(PREFIX):
|
|
31
|
+
return 0
|
|
32
|
+
name = tool[len(PREFIX):]
|
|
33
|
+
tool_input = event.get("tool_input") or {}
|
|
34
|
+
|
|
35
|
+
if name == "resize_window":
|
|
36
|
+
print("Blocked: resize_window resizes the Chrome window shared with other agents. "
|
|
37
|
+
"Use the headless lane: playwright-cli open --device \"iPhone 15\".", file=sys.stderr)
|
|
38
|
+
return 2
|
|
39
|
+
if missing_tab(name, tool_input):
|
|
40
|
+
print(f"Blocked: {name} without tabId would act on another agent's tab. "
|
|
41
|
+
"Create your own tab with tabs_create_mcp and pass its tabId on every call.", file=sys.stderr)
|
|
42
|
+
return 2
|
|
43
|
+
if name == "browser_batch":
|
|
44
|
+
for action in tool_input.get("actions") or []:
|
|
45
|
+
inner = action.get("name", "")
|
|
46
|
+
inner = inner[len(PREFIX):] if inner.startswith(PREFIX) else inner
|
|
47
|
+
if inner == "resize_window" or missing_tab(inner, action.get("input") or {}):
|
|
48
|
+
print(f"Blocked: browser_batch item {inner} needs your own tabId "
|
|
49
|
+
"(and resize_window is not allowed).", file=sys.stderr)
|
|
50
|
+
return 2
|
|
51
|
+
return 0
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
if __name__ == "__main__":
|
|
55
|
+
sys.exit(main())
|
|
@@ -0,0 +1,32 @@
|
|
|
1
|
+
#!/bin/bash
|
|
2
|
+
# Which QA driver lanes are available on this machine. Prints one line per lane.
|
|
3
|
+
ok() { printf '%-9s ok %s\n' "$1" "$2"; }
|
|
4
|
+
no() { printf '%-9s MISSING %s\n' "$1" "$2"; }
|
|
5
|
+
|
|
6
|
+
if command -v playwright-cli >/dev/null; then
|
|
7
|
+
ok headless "playwright-cli $(playwright-cli --version 2>/dev/null)"
|
|
8
|
+
else
|
|
9
|
+
no headless "npm i -g @playwright/cli@0.1.22"
|
|
10
|
+
fi
|
|
11
|
+
for b in webkit chromium; do
|
|
12
|
+
ls -d "$HOME/Library/Caches/ms-playwright/${b}-"* >/dev/null 2>&1 \
|
|
13
|
+
|| no "$b" "playwright-cli install-browser $b"
|
|
14
|
+
done
|
|
15
|
+
|
|
16
|
+
if xcrun simctl help >/dev/null 2>&1; then
|
|
17
|
+
n=$(xcrun simctl list devices available | grep -c "iPhone")
|
|
18
|
+
ok ios-sim "$n iPhone simulators available"
|
|
19
|
+
else
|
|
20
|
+
no ios-sim "Xcode command line tools / simulators not installed"
|
|
21
|
+
fi
|
|
22
|
+
|
|
23
|
+
AH="${ANDROID_HOME:-$(brew --prefix 2>/dev/null)/share/android-commandlinetools}"
|
|
24
|
+
export PATH="$AH/platform-tools:$AH/emulator:$PATH"
|
|
25
|
+
if command -v adb >/dev/null && command -v emulator >/dev/null; then
|
|
26
|
+
ok android "AVDs: $(emulator -list-avds 2>/dev/null | tr '\n' ' ')(PATH needs $AH/platform-tools and $AH/emulator)"
|
|
27
|
+
else
|
|
28
|
+
no android "bash .claude/skills/qa-genomklickning/scripts/android-setup.sh (about 8 GB)"
|
|
29
|
+
fi
|
|
30
|
+
|
|
31
|
+
echo "chrome check ToolSearch for mcp__claude-in-chrome__tabs_context_mcp, then call it"
|
|
32
|
+
printf 'machine %s GB RAM, %s cores\n' "$(( $(sysctl -n hw.memsize) / 1073741824 ))" "$(sysctl -n hw.ncpu)"
|
|
@@ -0,0 +1,49 @@
|
|
|
1
|
+
#!/bin/bash
|
|
2
|
+
# Per-agent iOS Simulator clones for QA. Clones are named qa-<name> so parallel
|
|
3
|
+
# agents never share a device, and so leftovers are easy to find and remove.
|
|
4
|
+
# up <name> [device type, default "iPhone 17"] -> prints UDID of a booted clone
|
|
5
|
+
# open <udid> <url> open url in Mobile Safari
|
|
6
|
+
# shot <udid> <file.png> screenshot
|
|
7
|
+
# down <udid> shutdown and delete the clone
|
|
8
|
+
# list qa- clones that exist
|
|
9
|
+
# clean shutdown and delete every qa- clone
|
|
10
|
+
set -euo pipefail
|
|
11
|
+
|
|
12
|
+
cmd="${1:-}"
|
|
13
|
+
case "$cmd" in
|
|
14
|
+
up)
|
|
15
|
+
name="qa-${2:?name required}"
|
|
16
|
+
base="${3:-iPhone 17}"
|
|
17
|
+
udid=$(xcrun simctl clone "$base" "$name")
|
|
18
|
+
xcrun simctl boot "$udid"
|
|
19
|
+
xcrun simctl bootstatus "$udid" -b >/dev/null
|
|
20
|
+
# Warm up Safari: its first launch after boot is slow and the first page
|
|
21
|
+
# otherwise shows blank in screenshots taken a few seconds after openurl.
|
|
22
|
+
xcrun simctl launch "$udid" com.apple.mobilesafari >/dev/null
|
|
23
|
+
sleep 8
|
|
24
|
+
echo "$udid"
|
|
25
|
+
;;
|
|
26
|
+
open)
|
|
27
|
+
xcrun simctl openurl "${2:?udid}" "${3:?url}"
|
|
28
|
+
;;
|
|
29
|
+
shot)
|
|
30
|
+
xcrun simctl io "${2:?udid}" screenshot "${3:?file}" >/dev/null 2>&1
|
|
31
|
+
echo "${3}"
|
|
32
|
+
;;
|
|
33
|
+
down)
|
|
34
|
+
xcrun simctl shutdown "${2:?udid}" 2>/dev/null || true
|
|
35
|
+
xcrun simctl delete "${2}"
|
|
36
|
+
;;
|
|
37
|
+
list)
|
|
38
|
+
xcrun simctl list devices | grep -E "^\s+qa-" || true
|
|
39
|
+
;;
|
|
40
|
+
clean)
|
|
41
|
+
xcrun simctl list devices | sed -nE 's/^ +qa-.*\(([0-9A-F-]{36})\).*/\1/p' | while read -r u; do
|
|
42
|
+
xcrun simctl shutdown "$u" 2>/dev/null || true
|
|
43
|
+
xcrun simctl delete "$u"
|
|
44
|
+
done
|
|
45
|
+
;;
|
|
46
|
+
*)
|
|
47
|
+
sed -n '2,10p' "$0"; exit 1
|
|
48
|
+
;;
|
|
49
|
+
esac
|
|
@@ -1922,8 +1922,9 @@ reference files whose rules it mirrors and WARNS when a catalog bump has changed
|
|
|
1922
1922
|
are exempt, they flip by construction when the bands are adjacent. The script requires
|
|
1923
1923
|
mode `pricing`; guard comparisons are a deliberate extension in the guard step.
|
|
1924
1924
|
Adjacency is decided by the scale's order (lib.mjs ANKARE, A17 between A12 and
|
|
1925
|
-
A13), and beyond score and anchors, `type` (a tolerance row),
|
|
1926
|
-
|
|
1925
|
+
A13), and beyond score and anchors, `type` (a tolerance row), `conditions`
|
|
1926
|
+
per normalised text (a condition in only one run is a tolerance row, ADR-0195)
|
|
1927
|
+
and `alternatives` per label (ADR-0115) are diffed.
|
|
1927
1928
|
- `scripts/archive.mjs <kommando> <katalog> [flaggor]`: the archive's mechanics
|
|
1928
1929
|
(full list in the script's header): `add-run`, `next-n`, `sparr`,
|
|
1929
1930
|
`utslag`, `set-status`, `kalibrering`, `ny-korning`, `proveniens`, plus
|
|
@@ -3,8 +3,8 @@
|
|
|
3
3
|
* MEDIUM+). Poängen har större driftyta än klassens enum och multipliceras
|
|
4
4
|
* direkt till pris — request-score:s eget acceptanstest är att två oberoende
|
|
5
5
|
* körningar ger samma poäng. Jämförelsefälten är outcome, score och
|
|
6
|
-
* inringningens golv- och takankare, samt type (toleransrad),
|
|
7
|
-
*
|
|
6
|
+
* inringningens golv- och takankare, samt type (toleransrad), conditions per
|
|
7
|
+
* normaliserad text (toleransrad, ADR-0195) och alternatives per label (#509). Prosa (why,
|
|
8
8
|
* drivers, rationale) jämförs ALDRIG. Confidence (enum, inte prosa) visas
|
|
9
9
|
* alltid i utskriften, men fäller
|
|
10
10
|
* bara ett par utanför toleransen, se nedan.
|
|
@@ -146,17 +146,29 @@ if (a.outcome === 'POANG' && b.outcome === 'POANG') {
|
|
|
146
146
|
diffs.push(`bracket.steps[${k}].relation: ${show(stegA.get(k))} ↔ ${show(stegB.get(k))}`)
|
|
147
147
|
// Kundnära fält utanför huvudpoängen (#509). type är en självrapporterad
|
|
148
148
|
// etikett som loggas för mätning: toleransrad, fäller aldrig ensam.
|
|
149
|
-
// conditions är kundens kontraktsvillkor
|
|
150
|
-
//
|
|
151
|
-
//
|
|
152
|
-
//
|
|
153
|
-
//
|
|
154
|
-
//
|
|
149
|
+
// conditions är kundens kontraktsvillkor och matchas per normaliserad text
|
|
150
|
+
// (ADR-0195, #514): ett villkor som bara finns i ena körningen är
|
|
151
|
+
// toleransrad, så granskaren ser både ett omformulerat eller delat villkor
|
|
152
|
+
// och ett verkligt olika villkor, utan att ett par som är ense om priset
|
|
153
|
+
// faller på formuleringen. Antalet jämfördes förut och fällde par som bara
|
|
154
|
+
// delade ett villkor i två, men släppte två olika villkor tyst.
|
|
155
|
+
// alternatives matchas per normaliserad label och diffas under samma
|
|
156
|
+
// toleransregel som huvudpoängen; ett alternativ som bara finns i ena
|
|
157
|
+
// körningen visas som toleransrad på samma sätt.
|
|
155
158
|
if ((a.type ?? null) !== (b.type ?? null))
|
|
156
159
|
tolerans.push(`type: ${show(a.type)} ↔ ${show(b.type)}`)
|
|
157
|
-
const
|
|
158
|
-
|
|
159
|
-
|
|
160
|
+
const villkor = (doc) =>
|
|
161
|
+
new Map(
|
|
162
|
+
(Array.isArray(doc.conditions) ? doc.conditions : [])
|
|
163
|
+
.map((c) => norm(typeof c === 'string' ? c : JSON.stringify(c)))
|
|
164
|
+
.map((text) => [text.toLowerCase(), text]),
|
|
165
|
+
)
|
|
166
|
+
const villA = villkor(a)
|
|
167
|
+
const villB = villkor(b)
|
|
168
|
+
for (const [key, text] of villA)
|
|
169
|
+
if (!villB.has(key)) tolerans.push(`conditions[${JSON.stringify(text)}]: bara i körning 1`)
|
|
170
|
+
for (const [key, text] of villB)
|
|
171
|
+
if (!villA.has(key)) tolerans.push(`conditions[${JSON.stringify(text)}]: bara i körning 2`)
|
|
160
172
|
const altNyckel = (x) => norm(x.label).toLowerCase()
|
|
161
173
|
const alternativ = (doc) =>
|
|
162
174
|
new Map(
|
|
@@ -0,0 +1,134 @@
|
|
|
1
|
+
---
|
|
2
|
+
name: testsammanfattning
|
|
3
|
+
description: Sätter upp och uppdaterar en testsammanfattning i ett repo, alltså ett genererat dokument där varje rad är ett testat beteende med utfallet från senaste körningen och en länk till exakt rad i testloggen. Använd när användaren säger "testsammanfattning", "sammanfatta testerna", "vad har testerna bekräftat", "skriv en sammanfattning av testerna", "sätt upp testloggar", "uppdatera testsammanfattningen", "kör test:log", eller när ett repo med tester ska få en läsbar redovisning av vad som är testat. Använd också efter en testkörning i ett repo som redan har `test-summary.config.json`.
|
|
4
|
+
---
|
|
5
|
+
|
|
6
|
+
# Testsammanfattning
|
|
7
|
+
|
|
8
|
+
En testsammanfattning är ett Markdown-dokument i repot som svarar på frågan ”vad har
|
|
9
|
+
testerna bekräftat?”. Varje rad är en situation och det beteende ett test bekräftar,
|
|
10
|
+
till exempel ”när status ändras i listan uppdateras detaljvyn direkt”. Raden visar
|
|
11
|
+
utfallet från senaste gången testet kördes och länkar till exakt rad i den testloggen,
|
|
12
|
+
så att den som läser kan öppna den råa loggen vid behov.
|
|
13
|
+
|
|
14
|
+
Dokumentet genereras alltid. Ingen skriver det för hand, och det skrivs om vid varje
|
|
15
|
+
loggad testkörning.
|
|
16
|
+
|
|
17
|
+
Upplägget kommer från Sofis prototypprojekt. Där ser sammanfattningen ut så här:
|
|
18
|
+
|
|
19
|
+
```
|
|
20
|
+
# Testsammanfattning
|
|
21
|
+
Vad prototypens tester har bekräftat. ...
|
|
22
|
+
*Läge:* 1254 tester. 1143 godkända och 0 underkända vid senaste körningen, 111 saknar logg.
|
|
23
|
+
Loggar som raderna pekar på:
|
|
24
|
+
- [2026-10-14-134403-test-log.txt](test-logs/...): unit, e2e, build, commit a04fec3 + uncommitted changes
|
|
25
|
+
## Frontend
|
|
26
|
+
### Kärnflöden
|
|
27
|
+
1. Mitt arbete visar allt arbete grupperat, med supportkön flaggad (J-04) · godkänd · [2026-10-14 13:44, rad 1157](test-logs/...#L1157)
|
|
28
|
+
```
|
|
29
|
+
|
|
30
|
+
## Delarna
|
|
31
|
+
|
|
32
|
+
Skillen har två skript i `scripts/` bredvid den här filen. Båda kopieras in i repot,
|
|
33
|
+
så att repot fungerar utan skillen.
|
|
34
|
+
|
|
35
|
+
1. `test-log.mjs` kör testsviterna, skriver en logg i loggmappen och genererar sedan
|
|
36
|
+
sammanfattningen. En svit är en grupp tester som körs med samma kommando, till
|
|
37
|
+
exempel enhetstester med Vitest eller e2e-tester med Playwright.
|
|
38
|
+
2. `test-summary.mjs` läser alla loggar och skriver sammanfattningen. För varje test
|
|
39
|
+
används den nyaste loggen där testet finns med. Tester som finns i koden men aldrig
|
|
40
|
+
har loggats visas som ”saknar logg”.
|
|
41
|
+
|
|
42
|
+
Repot styr skripten med `test-summary.config.json` i repots rot. Läs
|
|
43
|
+
`references/konfiguration.md` innan du skriver den filen.
|
|
44
|
+
|
|
45
|
+
Skripten kan köra Vitest, Jest, Playwright, vanliga kommandon (till exempel
|
|
46
|
+
`npm run build`, som blir en rad) och allt som skriver en JUnit-rapport (XML), till
|
|
47
|
+
exempel PHPUnit, Pest och pytest. Använd `junit` när repot redan kör testerna genom
|
|
48
|
+
`make` eller egna skript som skriver JUnit-rapporter: då körs repots eget kommando och
|
|
49
|
+
skriptet läser rapporten efteråt.
|
|
50
|
+
|
|
51
|
+
`node scripts/test-log.mjs --no-run` kör ingenting. Skriptet läser i stället de
|
|
52
|
+
JUnit-rapporter som redan ligger på disk, och loggen anger när varje rapport skrevs.
|
|
53
|
+
Använd det för att visa en sammanfattning utan att starta servrar.
|
|
54
|
+
|
|
55
|
+
## Repot har redan en testsammanfattning
|
|
56
|
+
|
|
57
|
+
Finns `test-summary.config.json` i repot: kör `npm run test:log` (eller
|
|
58
|
+
`node scripts/test-log.mjs`), läs den nya sammanfattningen och rapportera läget och
|
|
59
|
+
eventuella underkända tester. Ändra aldrig sammanfattningen för hand. Är något fel i
|
|
60
|
+
den, rätta skriptet eller testtiteln och kör igen.
|
|
61
|
+
|
|
62
|
+
## Sätta upp i ett nytt repo
|
|
63
|
+
|
|
64
|
+
1. **Läs repot.** `package.json` (scripts och testkörare), konfigurationsfiler för
|
|
65
|
+
Vitest, Jest och Playwright, vilka mappar testerna ligger i och vilket språk
|
|
66
|
+
repots dokumentation är skriven på. Leta efter en befintlig mapp för
|
|
67
|
+
projektdokument (`project-management/`, `docs/`).
|
|
68
|
+
2. **Välj plats.** Sammanfattningen läggs i mappen för projektdokument, annars i
|
|
69
|
+
`docs/testsammanfattning.md`. Loggmappen läggs bredvid, till exempel
|
|
70
|
+
`project-management/test-logs/`.
|
|
71
|
+
3. **Kopiera skripten.** Kopiera `test-log.mjs` och `test-summary.mjs` från skillens
|
|
72
|
+
`scripts/` till repots `scripts/`. Repot behöver Node 18 eller senare.
|
|
73
|
+
4. **Skriv konfigurationen.** En svit per testkörare, plus byggsteget som
|
|
74
|
+
`command`. Kör repot sina tester genom `make` eller egna skript: en `junit`-svit
|
|
75
|
+
per mål, med målets kommando och rapportens sökväg. Dela in testerna i lagren Frontend och Backend med `layer` per svit och
|
|
76
|
+
`groups` per sökväg. Skriv `intro` så att den förklarar vad Frontend och Backend
|
|
77
|
+
betyder i just det här repot. Sätt `language` till repots språk (`sv` eller `en`).
|
|
78
|
+
5. **Lägg till npm-skript.** `"test:log": "node scripts/test-log.mjs"` och
|
|
79
|
+
`"test:summary": "node scripts/test-summary.mjs"`. Har repot ett `check`-skript,
|
|
80
|
+
lägg `npm run test:log` sist i det. Ändra inte `test` eller `test:e2e`: de ska
|
|
81
|
+
fortfarande gå att köra utan att skriva loggar.
|
|
82
|
+
6. **Gör testtitlarna läsbara.** Raderna i sammanfattningen är testernas titlar, så
|
|
83
|
+
titeln ska beskriva situationen och beteendet: ”när X ändras på A uppdateras B
|
|
84
|
+
direkt”. Den yttersta `describe` blir rubrik (avsnitt) i sammanfattningen, så den
|
|
85
|
+
ska namnge ett flöde eller en del av systemet. Byt namn på titlar som inte säger
|
|
86
|
+
vad som bekräftas (”works”, ”test 1”, ”handles edge case”). Ändra bara titlar,
|
|
87
|
+
aldrig vad testet kontrollerar. Använder repot krav-id:n (J-04, R-17), skriv dem
|
|
88
|
+
sist i titeln. Är titlarna många, gör ändringen i en egen commit.
|
|
89
|
+
7. **Lägg ett avsnitt i README.** Mall, anpassa sökvägar och språk:
|
|
90
|
+
|
|
91
|
+
```
|
|
92
|
+
**Testsammanfattning.** [project-management/testsammanfattning.md](project-management/testsammanfattning.md)
|
|
93
|
+
listar alla tester under Frontend och Backend, med senaste utfallet och en länk
|
|
94
|
+
till raden i testloggen där testet senast kördes. Filen genereras och skrivs
|
|
95
|
+
aldrig för hand. Bara `npm run test:log` (och `npm run check`) skriver loggar;
|
|
96
|
+
vanliga `npm run test` och `npm run test:e2e` gör det inte.
|
|
97
|
+
```
|
|
98
|
+
|
|
99
|
+
8. **Kör och kontrollera.** Kör `npm run test:log`. Kontrollera tre saker innan
|
|
100
|
+
arbetet räknas som klart:
|
|
101
|
+
1. Antalet tester i sammanfattningen stämmer med testkörarnas egen räkning.
|
|
102
|
+
2. Två slumpvis valda länkar pekar på rätt rad: `sed -n '<rad>p' <logg>` ska visa
|
|
103
|
+
testets titel.
|
|
104
|
+
3. ”saknar logg” gäller bara tester som inte kördes, till exempel en svit du
|
|
105
|
+
hoppade över med `--suite`.
|
|
106
|
+
9. **Committa.** Loggarna committas tillsammans med sammanfattningen, annars fungerar
|
|
107
|
+
länkarna inte på GitHub. Följ den vanliga gången för commit och PR.
|
|
108
|
+
|
|
109
|
+
## Fallgropar
|
|
110
|
+
|
|
111
|
+
1. **Vitest listar inte överhoppade tester.** `vitest list` utelämnar `it.skip`. Ett
|
|
112
|
+
överhoppat test finns därför bara med om det har loggats, och det ligger kvar så
|
|
113
|
+
länge testfilen finns.
|
|
114
|
+
2. **Playwright med flera projekt.** Varje projekt (till exempel chromium och webkit)
|
|
115
|
+
blir en egen rad med projektnamnet sist, eftersom utfallet kan skilja sig mellan
|
|
116
|
+
webbläsarna.
|
|
117
|
+
3. **Listningen kräver att testkörarna startar.** `test-summary.mjs` kör
|
|
118
|
+
`vitest list` och `playwright test --list` för att hitta tester som saknar logg.
|
|
119
|
+
Misslyckas listningen skriver skriptet en varning och visar bara loggade tester
|
|
120
|
+
för den sviten. `--no-list` hoppar över listningen helt.
|
|
121
|
+
4. **Loggarna växer.** Skriptet behåller de `keepLogs` nyaste loggarna (30 som
|
|
122
|
+
standard) och alla loggar som någon rad pekar på. Äldre loggar tas bort.
|
|
123
|
+
5. **`playwright test --list` utan `--reporter` skriver över repots rapporter.**
|
|
124
|
+
Listningen använder reportrarna i `playwright.config.ts`, och en html- eller
|
|
125
|
+
junit-reporter där skriver då en rapport där alla tester är överhoppade. Skriptet
|
|
126
|
+
skickar alltid `--reporter=json`. Gör samma sak om du listar tester för hand.
|
|
127
|
+
6. **En svit som inte startar** loggas som ett enda underkänt test med körarens
|
|
128
|
+
utskrift som felmeddelande, så att felet syns i sammanfattningen.
|
|
129
|
+
|
|
130
|
+
## Slutrapport
|
|
131
|
+
|
|
132
|
+
En rad med läget (antal tester, godkända, underkända, saknar logg) och länk till
|
|
133
|
+
sammanfattningen. Vid uppsättning även: vilka sviter som ingår, var filerna ligger
|
|
134
|
+
och hur många testtitlar som döptes om.
|
|
@@ -0,0 +1,110 @@
|
|
|
1
|
+
# test-summary.config.json
|
|
2
|
+
|
|
3
|
+
Filen ligger i repots rot. Alla sökvägar är relativa till den.
|
|
4
|
+
|
|
5
|
+
```json
|
|
6
|
+
{
|
|
7
|
+
"language": "sv",
|
|
8
|
+
"output": "project-management/testsammanfattning.md",
|
|
9
|
+
"logDir": "project-management/test-logs",
|
|
10
|
+
"keepLogs": 30,
|
|
11
|
+
"intro": "Vad prototypens tester har bekräftat. Varje rad är en situation och det beteende testet bekräftar, med utfallet från senaste gången testet kördes och en länk till exakt rad i den testloggen.\n\n*Backend* är tjänstelagret och dess regler (`src/lib`). *Frontend* är flödena i webbläsaren, tillgänglighet och produktionsbygget.",
|
|
12
|
+
"layers": ["Frontend", "Backend"],
|
|
13
|
+
"groups": [
|
|
14
|
+
{ "match": "src/lib/**", "layer": "Backend" },
|
|
15
|
+
{ "match": "e2e/a11y/**", "layer": "Frontend", "section": "Tillgänglighet" }
|
|
16
|
+
],
|
|
17
|
+
"suites": [
|
|
18
|
+
{ "name": "unit", "runner": "vitest", "layer": "Backend" },
|
|
19
|
+
{ "name": "e2e", "runner": "playwright", "layer": "Frontend" },
|
|
20
|
+
{
|
|
21
|
+
"name": "build",
|
|
22
|
+
"runner": "command",
|
|
23
|
+
"command": "npm run build",
|
|
24
|
+
"title": "Produktionsbygget går igenom",
|
|
25
|
+
"layer": "Frontend"
|
|
26
|
+
}
|
|
27
|
+
]
|
|
28
|
+
}
|
|
29
|
+
```
|
|
30
|
+
|
|
31
|
+
## Fält
|
|
32
|
+
|
|
33
|
+
1. `root` (valfri): repots rot, där testfilernas sökvägar räknas från. Standard är
|
|
34
|
+
mappen där konfigurationen ligger. `output` och `logDir` räknas alltid från
|
|
35
|
+
konfigurationens mapp, så en konfiguration utanför repot kan skriva sin
|
|
36
|
+
sammanfattning någon annanstans.
|
|
37
|
+
2. `language`: `sv` eller `en`. Styr de genererade texterna. Välj repots språk.
|
|
38
|
+
3. `output`: var sammanfattningen skrivs. Standard `docs/testsammanfattning.md`.
|
|
39
|
+
4. `logDir`: var loggarna skrivs. Standard `test-logs`. Länkarna i sammanfattningen
|
|
40
|
+
räknas relativt sammanfattningens mapp.
|
|
41
|
+
5. `keepLogs`: hur många av de nyaste loggarna som behålls. Loggar som en rad pekar på
|
|
42
|
+
behålls alltid.
|
|
43
|
+
6. `intro`: Markdown som skrivs under rubriken. Förklara vad lagren betyder i repot.
|
|
44
|
+
7. `layers`: lagren i den ordning de visas. Varje lager blir en `##`-rubrik.
|
|
45
|
+
8. `groups`: regler som placerar tester efter testfilens sökväg. Första regeln som
|
|
46
|
+
matchar gäller. `match` är ett mönster där `**` matchar valfritt antal mappar och
|
|
47
|
+
`*` matchar inom en mapp. `layer` väljer lager. `section` (valfri) väljer
|
|
48
|
+
avsnittsrubrik, annars blir rubriken testets yttersta `describe`, och finns ingen
|
|
49
|
+
`describe` blir den filens namn. `suite` (valfri) begränsar regeln till en svit.
|
|
50
|
+
9. `suites`: testsviterna i den ordning de körs.
|
|
51
|
+
|
|
52
|
+
## Fält per svit
|
|
53
|
+
|
|
54
|
+
1. `name`: kort namn som står i loggen och i `--suite unit,e2e`.
|
|
55
|
+
2. `runner`: `vitest`, `jest`, `playwright`, `junit` eller `command`.
|
|
56
|
+
3. `layer`: lagret för sviten när ingen regel i `groups` matchar.
|
|
57
|
+
4. `args`: extra argument till testköraren, till exempel `["--project=unit"]`.
|
|
58
|
+
5. `cwd`: mapp att köra i, för monorepon. Testfilernas sökvägar räknas ändå från
|
|
59
|
+
repots rot.
|
|
60
|
+
6. `env`: extra miljövariabler.
|
|
61
|
+
7. `command`: för `command` det kommando som körs. För övriga körare ersätter det
|
|
62
|
+
standardkommandot och ska skriva JSON till `{out}`, till exempel
|
|
63
|
+
`"pnpm vitest run --reporter=json --outputFile={out}"`.
|
|
64
|
+
8. `title`: radens text för en `command`-svit.
|
|
65
|
+
9. `report`: för `junit` sökvägen till JUnit-rapporten som `command` skriver, räknat
|
|
66
|
+
från `root`. Skriptet tar bort en gammal rapport innan kommandot körs, så att en
|
|
67
|
+
rapport från en tidigare körning aldrig räknas som den nya.
|
|
68
|
+
10. `fileBase`: för `junit` mappen som rapportens relativa filnamn räknas från, när
|
|
69
|
+
testköraren skriver dem relativt sin egen konfiguration (Vitest gör det).
|
|
70
|
+
|
|
71
|
+
## Standardkommandon
|
|
72
|
+
|
|
73
|
+
1. Vitest: `npx vitest run --reporter=json --outputFile=<tmp>`. Listning:
|
|
74
|
+
`npx vitest list --json`.
|
|
75
|
+
2. Jest: `npx jest --json --outputFile=<tmp>`. Jest listas inte, så tester som aldrig
|
|
76
|
+
loggats syns inte.
|
|
77
|
+
3. Playwright: `npx playwright test --reporter=json` med
|
|
78
|
+
`PLAYWRIGHT_JSON_OUTPUT_NAME=<tmp>`. Listning: `npx playwright test --list --reporter=json`.
|
|
79
|
+
4. JUnit: `command` körs, sedan läses `report`. PHPUnit-metodnamn som
|
|
80
|
+
`test_a_wrong_password_is_flashed` visas som ”a wrong password is flashed”.
|
|
81
|
+
Med `--no-run` körs inget kommando och befintliga rapporter läses.
|
|
82
|
+
5. Command: kommandot körs, exitkod 0 är godkänd.
|
|
83
|
+
|
|
84
|
+
Exempel för ett repo som kör testerna med `make` och PHPUnit:
|
|
85
|
+
|
|
86
|
+
```json
|
|
87
|
+
{
|
|
88
|
+
"name": "app-unit",
|
|
89
|
+
"runner": "junit",
|
|
90
|
+
"command": "make test-unit",
|
|
91
|
+
"report": "test-results/app-unit.junit.xml",
|
|
92
|
+
"layer": "Backend"
|
|
93
|
+
}
|
|
94
|
+
```
|
|
95
|
+
|
|
96
|
+
## Loggformat
|
|
97
|
+
|
|
98
|
+
En logg heter `ÅÅÅÅ-MM-DD-HHMMSS-test-log.txt`. Rader som börjar med `#` är huvud
|
|
99
|
+
(svit, commit, resultat). En rad per test, tabbseparerad:
|
|
100
|
+
|
|
101
|
+
```
|
|
102
|
+
PASS unit src/lib/tasks.test.ts Uppgifter › skapar en uppgift åt en kollega (J-06) 1 ms
|
|
103
|
+
FAIL unit src/lib/tasks.test.ts Uppgifter › flaggar supportkön i Mitt arbete (J-04) 3 ms
|
|
104
|
+
AssertionError: expected 2 to be 3
|
|
105
|
+
at src/lib/tasks.test.ts:4:65
|
|
106
|
+
```
|
|
107
|
+
|
|
108
|
+
Indragna rader under `FAIL` är felmeddelandet, högst 40 rader, utan rader från
|
|
109
|
+
`node_modules`. Testets identitet är svit, fil och titlar tillsammans. Byter ett test
|
|
110
|
+
titel räknas det som ett nytt test som saknar logg tills nästa körning.
|