rocmate 0.1.0__tar.gz

rocmate-0.1.0/.claude/settings.local.json

@@ -0,0 +1,21 @@
+{
+  "permissions": {
+    "allow": [
+      "PowerShell(Get-ChildItem -Path \"C:\\\\Users\\\\tonde\\\\PycharmProjects\\\\RocMate\" -Recurse -Force | Select-Object -Property FullName, PSIsContainer | Sort-Object FullName | ForEach-Object { if \\($_.PSIsContainer\\) { Write-Host \"[DIR]  $\\($_.FullName\\)\" } else { Write-Host \"[FILE] $\\($_.FullName\\)\" } })",
+      "Bash(python -m pytest tests/ -v)",
+      "Bash(python -m pytest tests/ -v -p no:cacheprovider)",
+      "Bash(pip install *)",
+      "Bash(python -m build)",
+      "Bash(curl -s -o /dev/null -w \"%{http_code}\" https://pypi.org/pypi/rocmate/json)",
+      "Bash(python -m pytest tests/test_gpu.py -v)",
+      "Bash(python -m pytest tests/ -v --tb=no -q)",
+      "Bash(python -m pytest tests/ -q --tb=no)",
+      "Bash(python -m pytest tests/test_cli.py::TestDoctorToolFlag -v --tb=short)",
+      "Bash(python -m pytest tests/ -q --tb=short)",
+      "Bash(python -m pytest tests/test_configs.py -q --tb=no)",
+      "Bash(python -m pytest tests/test_doctor.py -q --tb=no)",
+      "Bash(python -m pytest tests/test_install.py -q --tb=short)",
+      "Bash(python -m pytest tests/test_cli.py::TestInstallCommand -q --tb=line)"
+    ]
+  }
+}

rocmate-0.1.0/.github/workflows/ci.yml

@@ -0,0 +1,29 @@
+name: CI
+
+on:
+  push:
+    branches: [main]
+  pull_request:
+    branches: [main]
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        python-version: ["3.11", "3.12"]
+    steps:
+      - uses: actions/checkout@v4
+      - uses: actions/setup-python@v5
+        with:
+          python-version: ${{ matrix.python-version }}
+      - name: Install
+        run: |
+          python -m pip install --upgrade pip
+          pip install -e ".[dev]"
+      - name: Lint
+        run: |
+          ruff check src tests
+      - name: Test
+        run: |
+          pytest

rocmate-0.1.0/.gitignore

@@ -0,0 +1,17 @@
+__pycache__/
+*.py[cod]
+*.egg-info/
+build/
+dist/
+.venv/
+venv/
+.pytest_cache/
+.coverage
+.coverage.*
+htmlcov/
+.mypy_cache/
+.ruff_cache/
+.idea/
+.vscode/
+*.swp
+.DS_Store

rocmate-0.1.0/CONTRIBUTING.md

@@ -0,0 +1,55 @@
+# Contributing to rocmate
+
+Thanks for your interest! `rocmate` lives or dies by community-contributed configs — every working setup on a new AMD chip helps someone else avoid a rabbit hole.
+
+## How to contribute
+
+### Adding a tool config (most valuable contribution)
+
+1. Copy `configs/tools/ollama.yaml` as a template.
+2. Fill in the tool name, description, and homepage.
+3. For each AMD chip you've personally tested, add an entry under `chips:` with:
+   - `status`: `tested`, `partial`, or `broken`
+   - `notes`: what you observed (ROCm version, model sizes, quirks)
+   - `env_vars`: any ENV vars needed
+   - `install_hints`: a short, copy-pasteable install sequence
+4. Add yourself to the contributors list in the README.
+5. Open a PR with `[config]` in the title.
+
+### Improving an existing config
+
+If you tested a chip that's marked `partial` and it actually works fine, please update the status with notes on what changed (ROCm version, kernel, driver).
+
+### Reporting a broken setup
+
+Open an issue with:
+- Your chip (`rocminfo | grep Name`)
+- ROCm version
+- The tool and its version
+- The exact error
+- What you tried
+
+### Code contributions
+
+For CLI or library changes, please open an issue first to discuss the approach. Tests required for new functionality.
+
+## Development setup
+
+```bash
+git clone https://github.com/yourhandle/rocmate
+cd rocmate
+python -m venv venv && source venv/bin/activate
+pip install -e ".[dev]"
+pytest
+ruff check src tests
+```
+
+## Code style
+
+- Python 3.11+, type hints everywhere
+- `ruff` for linting
+- Keep CLI output friendly and copy-pasteable
+
+## Code of Conduct
+
+Be kind. Be specific. Don't gatekeep AMD hardware.

rocmate-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 Ben
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

rocmate-0.1.0/PKG-INFO

@@ -0,0 +1,99 @@
+Metadata-Version: 2.4
+Name: rocmate
+Version: 0.1.0
+Summary: Curated AMD GPU compatibility index and CLI for AI workloads
+Project-URL: Homepage, https://github.com/tonde/rocmate
+Project-URL: Issues, https://github.com/tonde/rocmate/issues
+Author-email: Benjamin Faeuster <benjamin.faeuster@web.de>
+License: MIT
+License-File: LICENSE
+Keywords: ai,amd,gpu,llm,ollama,rocm
+Classifier: Development Status :: 3 - Alpha
+Classifier: Environment :: GPU
+Classifier: Intended Audience :: Developers
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Operating System :: POSIX :: Linux
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Topic :: System :: Hardware
+Requires-Python: >=3.11
+Requires-Dist: pydantic>=2.6
+Requires-Dist: pyyaml>=6.0
+Requires-Dist: rich>=13.7
+Requires-Dist: typer>=0.12
+Provides-Extra: dev
+Requires-Dist: mypy>=1.10; extra == 'dev'
+Requires-Dist: pytest-cov>=5.0; extra == 'dev'
+Requires-Dist: pytest>=8.0; extra == 'dev'
+Requires-Dist: ruff>=0.5; extra == 'dev'
+Description-Content-Type: text/markdown
+
+# rocmate
+
+> Get AMD GPUs running with AI tools — without the rabbit hole.
+
+`rocmate` is a curated compatibility index and CLI for running modern AI workloads on AMD GPUs via ROCm. It tells you what works on your specific card, what to set, and what to avoid — based on configurations that real users have tested.
+
+## Why?
+
+AMD GPUs offer great VRAM-per-dollar (especially the RX 7900 XTX with 24 GB), but getting Ollama, ComfyUI, faster-whisper, or axolotl to actually use the GPU still involves hunting through blog posts, GitHub issues, and Discord threads. Information is scattered, often outdated, and rarely specific to your chip generation (gfx1030 vs gfx1100 vs gfx1201).
+
+`rocmate` consolidates this knowledge into one place — version-controlled, testable, community-maintained.
+
+## Quickstart
+
+```bash
+# Install (Python 3.11+)
+pipx install rocmate
+
+# Check your system
+rocmate doctor
+
+# Show the tested config for a tool
+rocmate show ollama
+```
+
+Example output:
+
+```
+$ rocmate doctor
+✓ GPU detected: AMD Radeon RX 7900 XTX (gfx1100)
+✓ ROCm 6.3.1 installed
+✗ User not in 'render' group
+  → sudo usermod -aG render $USER && newgrp render
+⚠ HSA_OVERRIDE_GFX_VERSION not set
+  → export HSA_OVERRIDE_GFX_VERSION=11.0.0
+```
+
+## Supported tools (v0.1.0)
+
+| Tool | gfx1100 (RX 7900 XT/XTX) | gfx1030 (RX 6800/6900) | gfx1201 (RX 9070) |
+|------|:-:|:-:|:-:|
+| Ollama | ✅ | ✅ | 🟡 |
+| faster-whisper | ✅ | 🟡 | — |
+| ComfyUI | ✅ | 🟡 | — |
+
+✅ tested · 🟡 partial / workarounds needed · ❌ not working
+
+## Status
+
+Early-stage. Currently maintained by [@tonde](https://github.com/tonde) on an RX 7900 XTX. Contributions for other AMD chips are very welcome — see [CONTRIBUTING.md](CONTRIBUTING.md).
+
+## Roadmap
+
+- [x] `rocmate doctor` — system diagnostic
+- [x] `rocmate show <tool>` — display tested config
+- [ ] Windows / HIP SDK support (`doctor` + `show`)
+- [ ] `rocmate install <tool>` — automated installer with correct ENV
+- [ ] `rocmate doctor --fix` — auto-setup for ROCm/HIP, groups, and ENV vars
+- [ ] Web-facing compatibility matrix
+
+## Non-goals
+
+- Not a replacement for ROCm, Ollama, or any inference engine
+- Not a fork of upstream tools — only configs and glue
+- Not a benchmarking tool
+
+## License
+
+MIT — see [LICENSE](LICENSE).

rocmate-0.1.0/PLAN.md

@@ -0,0 +1,252 @@
+# rocmate — Projektplan
+
+> Persönliches Planungsdokument. Nicht für die Öffentlichkeit gedacht.
+> Das öffentliche README liegt in `README.md`.
+
+## TL;DR
+
+`rocmate` ist ein **kuratierter Kompatibilitäts-Index + CLI-Tool** für AMD-GPUs und AI-Workloads. Es löst das Problem, dass Informationen darüber, was auf welcher AMD-Karte mit welcher ROCm-Version läuft, über hunderte Blogposts, GitHub-Issues und Discord-Threads verstreut sind.
+
+**Zielnutzer:** Alle, die lokale AI auf AMD-Hardware laufen wollen — Indie-Devs, Homelabber, Datenschutz-bewusste Nutzer, Studenten, kleine Teams. Plattform: Linux primär, Windows ab v0.2.
+
+**Mein Vorteil:** Ich bin selbst der Zielnutzer. Jede Friktion, die ich erlebe, ist ein Feature für andere.
+
+---
+
+## Warum dieses Projekt?
+
+### Das Problem
+
+AMD-GPUs sind preislich attraktiv für AI:
+- RX 7900 XTX: 24 GB VRAM für deutlich weniger als eine RTX 4090
+- Wachsender Markt durch Ryzen AI APUs und neue RX 9000-Serie
+- Aber: 90 % der Nutzer bleiben am Setup hängen
+
+Bestehende Quellen:
+- **AMDs offizieller AI-Bundle** (Januar 2026): nur für RX 7700+ und Ryzen AI 300/400, nur paar Tools
+- **Ollama-Docs**: listen nur Ollama selbst, keine anderen Tools
+- **Blogposts**: veralten in 3 Monaten, oft nicht chip-spezifisch
+- **GitHub-Issues**: fragmentiert, schwer durchsuchbar
+
+→ Keine **konsolidierte, getestete, versionierte** Quelle, die sagt: "Hier ist die Config, die auf gfx1100 mit ROCm 6.3 für ComfyUI funktioniert."
+
+### Warum gerade jetzt
+
+- ROCm 6.x ist endlich brauchbar gereift
+- PyTorch ROCm-Wheels sind offiziell und stabil
+- AMD pusht massiv (Ryzen AI Max, RX 9070)
+- NVIDIA-Tax wird vielen zu viel
+- "Run local AI" wird Mainstream (privacy, kein Subscription)
+
+### Warum ich
+
+- Hab selbst RX 7900 XTX, hab den Schmerz durch
+- Indie-Dev-Mindset (von Kaleo-App bis PoE-Overlay): bau funktionierende Tools
+- Python-Stack passt zu meiner Komfortzone
+- Neuro-sama-Projekt zwingt mich sowieso, halb diese Configs zu kuratieren
+
+---
+
+## Vision
+
+### Was es ist
+
+- Versions-kontrollierte YAML-Configs pro Tool × pro Chip
+- CLI für Diagnostik (`doctor`) und Lookup (`show`)
+- Community-driven: jeder PR mit getesteter Config ist Gold
+- Klare Status-Labels: ✅ tested · 🟡 partial · ❌ broken
+
+### Was es **nicht** ist
+
+- Kein Fork von ROCm
+- Kein eigener Inferenz-Server
+- Kein Ersatz für Ollama/ComfyUI/etc.
+- Kein Windows-first Tool (Linux primär, Windows später)
+- Kein Benchmarking-Service (in v0.1 — vielleicht später als Submodul)
+
+---
+
+## Roadmap
+
+### v0.1.0 — MVP (Launch-fähig)
+
+**Status: Code steht, Configs für 3 Tools auf 4 Chips drin.**
+
+- [x] CLI mit `doctor`, `show`, `list`
+- [x] GPU-Detection via `rocminfo`
+- [x] Pydantic-Validierung der YAMLs
+- [x] Configs für Ollama, faster-whisper, ComfyUI
+- [x] Chip-Coverage: gfx1100, gfx1030, gfx1201, gfx1034
+- [x] Tests + GitHub Actions CI
+- [x] MIT License + Contributing Guide
+- [ ] **Auf eigenem RX 7900 XTX laufen lassen, Bugs fixen**
+- [ ] **Naming final entscheiden** (rocmate vs gfx-toolkit vs rocforge)
+- [ ] **PyPI-Name claimen + publishen**
+- [ ] **GitHub Repo public + README mit echtem Screenshot**
+
+**Geschätzter Aufwand:** 1 Wochenende für Finalisierung.
+
+### v0.2.0 — Breite Tool-Coverage + Windows CLI
+
+- [ ] Configs hinzufügen: vLLM, axolotl, Piper TTS, Coqui TTS, Stable Diffusion WebUI, llama.cpp, exllama
+- [ ] Konfigs für gfx1101, gfx1102 (RX 7700/7800) inkl. Windows-Install-Hints
+- [ ] Bessere `doctor`-Checks: Docker-GPU-Passthrough, Vulkan-Verfügbarkeit
+- [ ] `rocmate doctor --tool <name>` — tool-spezifische Checks
+- [ ] **Windows-Support für `doctor` und `show`**: GPU-Detection via `hipinfo` (primär) + WMI-Name→GFX-Lookup-Tabelle (Fallback), plattformbedingte Checks statt Linux-Gruppen
+
+**Geschätzter Aufwand:** 2-3 Wochenenden.
+
+### v0.3.0 — Auto-Install
+
+- [ ] `rocmate install <tool>` — installiert Tool mit korrekten ENV-Vars und Pip-Indexen
+- [ ] Dry-run-Modus (`--dry-run`)
+- [ ] Docker-Compose-Snippets als Output-Option
+- [ ] Rollback-Funktion (Snapshot von ENV vor Install)
+
+**Hier wird's heikel.** Auto-Installer machen viele Annahmen. Lieber lange `--dry-run` als Default, dann erst opt-in für echte Installation.
+
+### v0.4.0 — doctor --fix (System-Setup)
+
+Ziel: `rocmate doctor` diagnostiziert, `rocmate doctor --fix` repariert — plattformübergreifend, chip-aware.
+
+- [ ] `rocmate doctor --fix` — opt-in Setup-Modus, fragt vor jeder Aktion nach Bestätigung
+- [ ] Stufe 1 (sicher): ENV-Vars setzen, Shell-Profile patchen
+- [ ] Stufe 2 (braucht sudo/admin): Linux-Gruppen (`render`, `video`), Windows-HIP-Pfade
+- [ ] Stufe 3 (riskant, explizit opt-in): ROCm/HIP SDK installieren — nur wenn Datenbasis breit und korrekt genug ist
+- [ ] Plattformunabhängig: Linux (apt/pacman/dnf-Detection) + Windows (winget/manuell)
+- [ ] `--dry-run` als Default für Stufe 3, `--yes` zum Übersteuern
+
+**Voraussetzung:** Datenbasis aus v0.2/v0.3 muss solide sein, bevor hier automatisch installiert wird.
+
+### v0.5.0 — Web Matrix
+
+- [ ] Statische Website (Hugo/Astro) generiert aus YAMLs
+- [ ] Filterbare Tabelle: "Welcher Chip × welches Tool"
+- [ ] Pro-Chip-Seiten mit allen unterstützten Tools
+- [ ] Pro-Tool-Seiten mit allen Chips
+- [ ] Domain registrieren (.dev?)
+
+### v1.0.0 — Stable
+
+- [ ] Stabilisierte API
+- [ ] Migration-Guide für Config-Schema-Änderungen
+- [ ] Maintenance-Mode-Docs (was tun bei neuer ROCm-Version)
+
+### Möglicherweise nie / sehr später
+
+- Benchmarking-Submodul (siehe `rocm-bench`-Idee — eigenes Projekt wäre besser)
+- Ryzen AI / NPU-Unterstützung (XDNA-Tooling zu unreif)
+
+---
+
+## Scope-Disziplin
+
+**Das größte Risiko ist Feature-Creep.** Konkrete Versuchungen, denen ich widerstehen muss:
+
+| Verlockung | Warum es schlecht ist |
+|---|---|
+| Sofort `install`-Befehl bauen | Datenbasis muss zuerst breit/korrekt sein, sonst installiere ich Müll |
+| Eigenes Benchmark-System dranschrauben | Sprengt Scope, verdient eigenes Projekt |
+| Windows-Support in v0.1 anfassen | Datenbasis und Linux-Pfad müssen zuerst stabil sein — Windows kommt in v0.2 |
+| GUI bauen | Niemand braucht GUI für CLI-Tool, das man 2× pro Setup nutzt |
+| Mit AMD-Hardware-Sponsoring locken lassen | Ja zu Hardware-Samples, nein zu Abhängigkeit |
+| Eigene Inferenz-Engine bauen | Wir sind Klebemittel, nicht Konkurrent |
+
+**Goldene Regel:** Wenn ein Feature die Frage "Welche Config funktioniert auf meinem Chip?" nicht direkter beantwortet, gehört es nicht in v0.x.
+
+---
+
+## Launch-Strategie
+
+### Pre-Launch (vor v0.1.0 public)
+
+1. **Eigenes Setup damit dokumentieren** — Ollama, faster-whisper, ComfyUI auf der 7900 XTX neu aufsetzen mit `rocmate show` als Guide. Findet Bugs.
+2. **Screenshots** von `doctor` und `show ollama` für README
+3. **Naming + Domain prüfen**
+4. **PyPI-Name claimen**
+
+### Launch-Tag
+
+**Reihenfolge wichtig:** klein anfangen, dann größer.
+
+1. **r/ROCm** (kleinste, freundlichste Community) — als "feedback wanted"
+2. **r/Amd** (allgemein) — Fokus auf "billiger als NVIDIA für lokales AI"
+3. **r/LocalLLaMA** (größte Tech-Community) — Fokus auf "Ollama-Setup auf AMD endlich nicht mehr nervig"
+4. **HackerNews** — "Show HN: rocmate – Curated AMD GPU compatibility for AI tools"
+
+**Nicht alles am selben Tag.** Reddit-Posts auf 3-4 Tage verteilen, HN am Wochenende (mehr Traffic).
+
+### Posting-Stil
+
+**Nicht:** "Mein neues Projekt!" 
+**Sondern:** "Ich war frustriert, dass es keine konsolidierte Quelle für AMD-AI-Configs gibt, also habe ich angefangen, eine zu bauen. Hier ist v0.1.0 — ich brauche eure Configs für die Chips, die ich nicht habe."
+
+**Klar machen:**
+- Was funktioniert (3 Tools auf 4 Chips)
+- Was fehlt (alles andere)
+- Wie man beiträgt (PR-Template, 5-Min-Aufwand)
+- Was es **nicht** ist (kein Fork, kein Installer-Magic)
+
+### Erfolgs-Indikatoren
+
+**Realistisch nach 2 Wochen:**
+- 50-200 GitHub-Stars
+- 1-3 externe PRs mit Configs
+- 5-20 Issues mit "läuft nicht auf gfx10XX"
+- 100-500 PyPI-Downloads
+
+**Wenn nach 2 Wochen <20 Stars:** Naming/Positionierung überdenken, nicht aufgeben.
+
+**Wenn nach 2 Monaten <5 externe PRs:** Contribution-Hürde senken (template-driven Issue → auto-PR?).
+
+---
+
+## Tech-Entscheidungen
+
+| Entscheidung | Begründung |
+|---|---|
+| Python 3.11+ | Passt zu meinem Stack, einfache CLI-Sprache, alle Zielnutzer haben Python |
+| Typer (statt argparse/click) | Modern, Type-Hints, schöne Auto-Help |
+| Rich für Output | Tabellen + Farben kostenlos, professioneller Look |
+| Pydantic für YAML-Validierung | Fehler früh fangen, Config-Schema dokumentiert sich selbst |
+| YAML statt TOML/JSON für Configs | Multi-Line-Strings für Notes, Kommentare möglich, Community-freundlicher |
+| Hatchling als Build-Backend | Modern, schnell, sauber mit `force-include` für YAMLs |
+| MIT-Lizenz | Maximal permissive, keine Reibung für Contributors |
+| uv für Dev-Setup | Schnell, modern — aber pip-fallback dokumentieren |
+
+---
+
+## Risiken
+
+| Risiko | Wahrscheinlichkeit | Gegenmaßnahme |
+|---|---|---|
+| AMD baut selbst was Vergleichbares | Mittel | Wir bleiben das vendor-neutrale Open-Source-Tool, AMD bewirbt nur eigene Tools |
+| ROCm-Versionen brechen Configs alle 6 Monate | Hoch | Configs versionieren, alte ROCm-Versionen markieren |
+| Niemand contributed | Hoch | Beitragen muss trivial sein (5 Min, ein YAML-File), explizit nach gfx10XX-Chips fragen |
+| Ich verliere Interesse nach 3 Monaten | Mittel | Scope eng halten, keine versprochenen Features die zur Pflicht werden |
+| Naming-Konflikt mit existierender Library | Niedrig | PyPI prüfen vor Launch |
+| AMD Markenrechts-Stress | Niedrig | Neutraler Name (nicht "Radeon-X"), Disclaimer im README |
+
+---
+
+## Persönliche Erinnerungen
+
+- **Nicht alles selbst dokumentieren wollen.** Ein Issue-Template "Config für gfx10XX einreichen" ist mehr wert als 20 Stunden eigene Recherche zu Chips, die ich nicht besitze.
+- **Code-Qualität ist Marketing.** Sauberer Code + Tests + CI signalisiert "diese Maintainerin meint es ernst" — und das zieht Contributors.
+- **Antworte auf jedes Issue innerhalb 48h** in den ersten 4 Wochen. Danach kann's lockerer werden, aber der frühe Eindruck zählt.
+- **Kein Burn-out.** Wenn ein Wochenende keine Lust → kein Wochenende. Open Source ist Marathon.
+- **Spaß steht im Vordergrund.** Das Projekt sollte sich gut anfühlen, sonst überlebt es nicht.
+
+---
+
+## Offene Fragen (vor Launch klären)
+
+- [ ] Endgültiger Name: `rocmate` / `gfx-toolkit` / `rocforge` / `amdgpu-ai` / ?
+- [ ] Domain registrieren? (rocmate.dev / .io / kein Web in v0.1?)
+- [ ] Eigene GitHub-Org (`rocmate-project`) oder unter persönlichem Account?
+- [ ] Issue-Templates wie genau strukturieren?
+- [ ] Discord/Matrix für Community oder erstmal nur GitHub Discussions?
+
+---
+
+*Stand: Initial. Wird mit dem Projekt mitwachsen.*

rocmate-0.1.0/README.md

@@ -0,0 +1,69 @@
+# rocmate
+
+> Get AMD GPUs running with AI tools — without the rabbit hole.
+
+`rocmate` is a curated compatibility index and CLI for running modern AI workloads on AMD GPUs via ROCm. It tells you what works on your specific card, what to set, and what to avoid — based on configurations that real users have tested.
+
+## Why?
+
+AMD GPUs offer great VRAM-per-dollar (especially the RX 7900 XTX with 24 GB), but getting Ollama, ComfyUI, faster-whisper, or axolotl to actually use the GPU still involves hunting through blog posts, GitHub issues, and Discord threads. Information is scattered, often outdated, and rarely specific to your chip generation (gfx1030 vs gfx1100 vs gfx1201).
+
+`rocmate` consolidates this knowledge into one place — version-controlled, testable, community-maintained.
+
+## Quickstart
+
+```bash
+# Install (Python 3.11+)
+pipx install rocmate
+
+# Check your system
+rocmate doctor
+
+# Show the tested config for a tool
+rocmate show ollama
+```
+
+Example output:
+
+```
+$ rocmate doctor
+✓ GPU detected: AMD Radeon RX 7900 XTX (gfx1100)
+✓ ROCm 6.3.1 installed
+✗ User not in 'render' group
+  → sudo usermod -aG render $USER && newgrp render
+⚠ HSA_OVERRIDE_GFX_VERSION not set
+  → export HSA_OVERRIDE_GFX_VERSION=11.0.0
+```
+
+## Supported tools (v0.1.0)
+
+| Tool | gfx1100 (RX 7900 XT/XTX) | gfx1030 (RX 6800/6900) | gfx1201 (RX 9070) |
+|------|:-:|:-:|:-:|
+| Ollama | ✅ | ✅ | 🟡 |
+| faster-whisper | ✅ | 🟡 | — |
+| ComfyUI | ✅ | 🟡 | — |
+
+✅ tested · 🟡 partial / workarounds needed · ❌ not working
+
+## Status
+
+Early-stage. Currently maintained by [@tonde](https://github.com/tonde) on an RX 7900 XTX. Contributions for other AMD chips are very welcome — see [CONTRIBUTING.md](CONTRIBUTING.md).
+
+## Roadmap
+
+- [x] `rocmate doctor` — system diagnostic
+- [x] `rocmate show <tool>` — display tested config
+- [ ] Windows / HIP SDK support (`doctor` + `show`)
+- [ ] `rocmate install <tool>` — automated installer with correct ENV
+- [ ] `rocmate doctor --fix` — auto-setup for ROCm/HIP, groups, and ENV vars
+- [ ] Web-facing compatibility matrix
+
+## Non-goals
+
+- Not a replacement for ROCm, Ollama, or any inference engine
+- Not a fork of upstream tools — only configs and glue
+- Not a benchmarking tool
+
+## License
+
+MIT — see [LICENSE](LICENSE).

rocmate-0.1.0/configs/tools/axolotl.yaml

@@ -0,0 +1,55 @@
+name: Axolotl
+description: Fine-tuning framework for LLMs supporting LoRA, QLoRA, and full fine-tuning.
+homepage: https://github.com/axolotl-ai-cloud/axolotl
+
+chips:
+  gfx1100:
+    status: tested
+    tested_on_rocm: "6.2"
+    notes: >
+      RX 7900 XTX (24 GB) handles QLoRA fine-tuning of 7B–13B models comfortably.
+      Flash-attention 2 works via ROCm CK (install separately). bitsandbytes ROCm fork
+      required for quantized training.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "git clone https://github.com/axolotl-ai-cloud/axolotl && cd axolotl"
+      - "pip install torch --index-url https://download.pytorch.org/whl/rocm6.2"
+      - "pip install packaging ninja && pip install flash-attn --no-build-isolation"
+      - "pip install -e '.[deepspeed]'"
+      - "accelerate launch -m axolotl.cli.train examples/llama-3/qlora.yml"
+
+  gfx1101:
+    status: tested
+    tested_on_rocm: "6.2"
+    notes: RX 7800 XT / RX 7700 XT — QLoRA of 7B models fits in 16 GB. Same setup as gfx1100.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "Same install as gfx1100. Use gradient_checkpointing: true in your YAML for memory savings."
+
+  gfx1030:
+    status: partial
+    tested_on_rocm: "6.2"
+    notes: >
+      RX 6800/6900 — QLoRA of 7B works. Full fine-tuning requires gradient checkpointing.
+      Flash-attention fallback path is slower than RDNA3.
+    env_vars: {}
+    install_hints:
+      - "Same install as gfx1100."
+      - "Add gradient_checkpointing: true and micro_batch_size: 1 to your config."
+
+  gfx1102:
+    status: partial
+    tested_on_rocm: "6.2"
+    notes: >
+      RX 7600 (8 GB) — QLoRA of 7B is tight. Use per_device_train_batch_size: 1 and
+      gradient_checkpointing. Offload optimizer states to CPU if OOM.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "Same install as gfx1100."
+      - "Config: micro_batch_size: 1, gradient_checkpointing: true, optimizer: adamw_8bit"

rocmate-0.1.0/configs/tools/comfyui.yaml

@@ -0,0 +1,50 @@
+name: ComfyUI
+description: Node-based UI for Stable Diffusion and other image generation models.
+homepage: https://github.com/comfyanonymous/ComfyUI
+
+chips:
+  gfx1100:
+    status: tested
+    tested_on_rocm: "6.2"
+    notes: >
+      Works well on RX 7900 XTX with PyTorch ROCm 6.2+. SDXL runs comfortably in 24 GB VRAM.
+      Flux.1 also works but requires careful memory management.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "Linux: git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI"
+      - "python -m venv venv && source venv/bin/activate"
+      - "pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm6.2"
+      - "pip install -r requirements.txt && python main.py --listen"
+      - "Windows (HIP SDK): pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm6.2"
+
+  gfx1101:
+    status: tested
+    tested_on_rocm: "6.2"
+    notes: RX 7800 XT / RX 7700 XT — same setup as gfx1100. 16 GB VRAM limits Flux.1; SDXL and SD 1.5 run well.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "Same install as gfx1100."
+
+  gfx1102:
+    status: partial
+    tested_on_rocm: "6.2"
+    notes: RX 7600 — 8 GB VRAM is tight. SD 1.5 works; SDXL requires --lowvram flag and is slow.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "11.0.0"
+      PYTORCH_HIP_ALLOC_CONF: "expandable_segments:True"
+    install_hints:
+      - "Same install as gfx1100."
+      - "Launch with: python main.py --lowvram --listen"
+
+  gfx1030:
+    status: partial
+    tested_on_rocm: "6.2"
+    notes: SDXL is slow; SD 1.5 works fine. Memory pressure with larger models.
+    env_vars:
+      HSA_OVERRIDE_GFX_VERSION: "10.3.0"
+    install_hints:
+      - "Same as gfx1100 install; expect ~3-4x slower SDXL generation."