genmodelfit 0.3.0__tar.gz → 0.4.0__tar.gz

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/CHANGELOG.md

@@ -7,6 +7,84 @@ All notable changes to this project are documented here. The format is based on
 
 ## [Unreleased]
 
+## [0.4.0] - 2026-10-21
+
+### Added
+
+- `genmodelfit diff OLD NEW [--json]` and `gmf.diff_db(old, new)` (Issue #19): what changed between two lists —
+  added / removed models, license changes (changes toward the permissive side are marked), auto-recommendation
+  changes under one policy for both lists (HEAD age ignored), size / precision changes beyond a threshold, newly
+  uncensored models, failed HEAD checks, 401 repos and changed `sources` numbers. JSON: docs/schema.md "diff".
+  2 つの一覧の違いをまとめる `diff` を足した。
+- Weekly data refresh (Issue #19): `.github/workflows/weekly-data.yml` rebuilds the list every Monday with
+  `python -m genmodelfit.weekly` (caches kept between runs), checks it (auto count, the HEAD expiry must be more than
+  7 days away, ruff and pytest with the new list) and opens a pull request `automated/weekly-data` whose body is the
+  diff. It is never merged automatically; publishing stays in data.yml after the owner merges. A partial rebuild
+  fails unless run by hand with `allow_partial` and only HF repos failed transiently. docs/release.md.
+  毎週、作り直した一覧を PR にする(自動ではマージしない。配るのはマージした一覧だけ)。
+
+- Measurement submissions from users (Issue #34). `genmodelfit bench … --submission PATH` and
+  `genmodelfit contrib make --from <bench result>` write a submission file (`contrib_schema` 1:
+  `data/contrib/<gpu>/<date>-<sha8>.json`) with the GPU name / VRAM / generation / compute capability / driver, the ComfyUI
+  version, the OS family, RAM rounded to GiB and the results — never host / user names, paths, GPU UUID, PCI address,
+  IP, CPU name or exact times (the note is scrubbed). genmodelfit sends nothing; users open the pull request themselves.
+  `contrib show` prints exactly what will be shared with a privacy checklist; `contrib validate` checks schema, value
+  ranges, privacy patterns, GPU name / generation consistency, file name and duplicates (exit 0 / 1 / 2);
+  `.github/workflows/contrib.yml` runs it on pull requests touching `data/contrib/**` (read-only, the tool installed
+  from the base commit, results in the job summary). `contrib aggregate` groups submissions by model, settings and GPU
+  with median / MAD outlier removal into the new bundled `measurements_community.json` (empty for now), and
+  `--report` re-runs the calibration and flags errors above a threshold (default 25%, exit 3 with `--fail-on-breach`)
+  for the weekly job of #19.
+- `Estimate.basis_detail` (`measured` > `measured_community` > `calibrated` > `estimated`); `basis` stays
+  `measured` / `estimated`. Community measurements are used only when at least two consistent submissions agree (and
+  no OOM), rank after the maintainer's measurements at the same settings, and can only raise the needs (never lower
+  VRAM / RAM, never improve a level, never raise the score: `basis` points 0 like estimates). `validate` marks
+  implausible values (more than 40% from the formula, below the weights with `offload: none`), values that would raise
+  the estimate by more than 15% or change a level at common VRAM / RAM sizes, unknown models and unknown GPUs as
+  review-required; approval is per submission (`--allow-review <sha8>` or the maintainers' `data/contrib/REVIEWED`).
+  Unapproved community rows raise needs by at most 15% and are ignored where they would change the level.
+  `aggregate --report` lists the level changes caused by community data.
+- `torch_reserved` measurements (bench; without the CUDA context) are now lower bounds: below the formula they no
+  longer lower the estimate (the bundled RTX 3070 rows for BiRefNet and MoGe now use the formula value).
+  `Measurement.origin` / `n_submissions` / `consistent` (optional fields).
+- `python -m genmodelfit.calibrate` also writes the check rows (measurements in another `vram_metric`, such as the
+  RTX 3070 runs) to `calibration.json` (`check`) and the accuracy table; LOO rows carry `gpu_name` and `origin`.
+  Coefficients are unchanged.
+  利用者の実測の提出(作る・見る・検査・まとめ・毎週の精度の点検)と、根拠の段階 `basis_detail` を足した。
+
+### Changed
+
+- Hugging Face selection (Issue #19): the 1,000 all-time floor for models found only by the trending / likes30d
+  searches now needs a trendingScore of at least 0.5 and at least 100 downloads in the last 30 days (otherwise
+  10,000 applies); repo names containing `merge` / `mergekit` are skipped like the tag; quantized / format copies
+  are recognized by name (`-GGUF`, `-Q8_0`, `_K_M`, `-fp8`, `-nf4`, `-int8`, `_diffusers`, `-Quantized`, …) and
+  only the most downloaded is kept; uncensored models also need 100 downloads in the last 30 days.
+  HF の選び方を締めた(伸びている条件・名前の merge・量子化の写し・無検閲は直近 30 日も使われているもの)。
+- The bundled list was rebuilt with these rules (326 entries: HF 48, uncensored 26; auto 99 unchanged).
+  Added: 6 uncensored HF models that meet the rules and the new official template `video_fasth3_ominiref_r2v`;
+  removed: `hf:0xSojalSec/Qwen-Image-2.1-Uncensored-GGUF` (a quantized copy of
+  `hf:abenzerps/Qwen-Image-2.1-Uncensored-Quantized`) and `hf:TheImposterImposters/lustifySDXLNSFW_v20-inpainting`
+  (the same weights, by sha256, as the more downloaded `hf:andro-flock/LUSTIFY-SDXL-NSFW-checkpoint-v2-0-INPAINTING`).
+  同梱の一覧を新しい規則で作り直した。
+- Weekly PR body: every upstream string is HTML-escaped and Markdown-neutralized (`weekly.md`), mentions are
+  broken, truncation keeps `<details>` balanced; a scheduled run fails when more than 5 entries become uncensored
+  or when HF / template / uncensored / auto counts fall below half.
+
+### Fixed
+
+- Exclusion (safety): uncensored models whose ID, name, tags or card mention a dataset known to include a category
+  of sexual content involving minors (`DATASET_TERMS`: e621) are excluded, even when that is not their purpose
+  (owner decision, 2026-10-21; `hf:hearmeneigh/sd21-e621-rising-v2` and `hf:Laxhar/noobai-XL-1.1` — its card says it was trained on the full Danbooru and e621 datasets — removed from the bundled list).
+  学習データに未成年の性的表現の分類を含む画像の集まり(e621)を使う無検閲のモデルは外す(安全側)。
+
+- When a Hugging Face repo was renamed, `update` applied the license-source table with the new name from the API
+  while re-applying it uses the name in the file URL, so the two disagreed (`license_path`). Both now use the URL's
+  name. Found by the first weekly rebuild (Comfy-Org/flux2-klein-9B → vae-text-encorder-for-flux-klein-9b).
+  リポジトリの名前が変わったとき、出どころの表をファイルの URL の名前で当てるようにした。
+- Tests no longer pin numbers of the bundled list (uncensored count, HEAD check date) so that the weekly rebuild
+  can pass them.
+
+
 ## [0.3.0] - 2026-10-21
 
 ### Added

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/CONTRIBUTING.md

@@ -3,13 +3,15 @@
 genmodelfit の見積もりは、実際の PC で測った値(実測)があるとそれを優先します。いろいろな GPU の実測が
 集まるほど、見積もりが正確になります。`genmodelfit bench` で測った結果を Pull Request で送ってください。
 
-**English summary:** Run `genmodelfit bench <template> --url http://127.0.0.1:<port>` against your own ComfyUI,
-check the JSON it writes, then open a pull request that adds the record to
-`src/genmodelfit/data/measurements.json`. Required fields: `model_id`, `gpu_name`, `gpu_vram_gb`, `peak_vram_gb`,
-`settings`, `seconds`, `driver`, `comfyui_version`, `offload`, `outcome`, `standard`, `source`, `date`. Do not include
-paths, user names, host names or prompts. One model per PR is easiest to review. Out-of-memory runs are welcome too,
-but they must keep `outcome: "oom"` (bench prints them and does not save them unless you pass `--save-failed` or
-`--output`).
+**English summary:** Run `genmodelfit bench <template> --url http://127.0.0.1:<port> --submission data/contrib/`
+against your own ComfyUI (in a clone of your fork). It writes a submission file
+`data/contrib/<gpu>/<date>-<sha8>.json` (`contrib_schema` 1: GPU name / VRAM / generation / driver, ComfyUI version,
+OS family, RAM rounded to GiB, the model, settings and results). Check exactly what will be shared with
+`genmodelfit contrib show <file>` (it also runs a privacy checklist), then open a pull request that adds only that file.
+**genmodelfit itself never sends anything**; sharing happens only through the pull request you open. The file never
+contains your host name, user name, paths, GPU UUID, PCI address, IP, CPU name or exact time. CI runs
+`genmodelfit contrib validate` on the pull request. Out-of-memory runs are welcome too (`outcome: "oom"`).
+Already have a saved bench result? `genmodelfit contrib make --from <file>` converts it.
 
 **License of contributions:** genmodelfit (code and bundled data) is under MPL-2.0. By opening a pull request you
 agree that your contribution (code, measurements or other data) is licensed under MPL-2.0 like the rest of the
@@ -77,44 +79,79 @@ genmodelfit bench 3d_hunyuan3d_image_to_model --url http://127.0.0.1:8188 --step
 `--output パス` を付けます。「標準でない」結果も同じで、`--save-nonstandard` か `--output` で保存できます。
 見積もりは `outcome` が `ok` で `standard` が `true` の実測だけを使います。
 
-## 2. 確かめる
+## 2. 提出用の JSON を作る
 
-bench は、最後まで動いた標準の結果を `<キャッシュ>/measurements/<モデル>_<GPU>_<日時>.json` に保存し、
-保存先を表示します(`--output` で場所を変えられます)。キャッシュに置いた実測は、その PC の `genmodelfit` の見積もりにすぐ使われます。
+自分のフォーク(GitHub の Fork)を手元に clone し、そのフォルダで bench に `--submission` を付けて測ります。
 
-ファイルを開いて、次を確かめてください。
+```powershell
+git clone https://github.com/<あなたの名前>/genmodelfit
+cd genmodelfit
+genmodelfit bench image_sdxl_simple --url http://127.0.0.1:8188 --resolution 832x832 --submission data/contrib/
+```
+
+- `--submission` にフォルダを渡すと、`data/contrib/<GPU>/<日付>-<sha8>.json` という名前で書きます
+  (例 `data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json`。`sha8` は中身の sha256 の先頭 8 桁)。ファイル名を渡せばその名前で書きます
+- 前に測って保存した結果(`<キャッシュ>/measurements/….json` や `--output` のファイル)からも作れます:
+  `genmodelfit contrib make --from <bench の結果> --output data/contrib/`
+  (ComfyUI が別の PC だったときは `--no-pc-info` を付けると、この PC の OS・メモリ・GPU の世代を入れません)
+- 失敗(OOM)の結果も、そのまま出してください。標準でない条件の結果は記録として受け付けますが、まとめには使いません
+
+### 入るもの・入らないもの
+
+| 入るもの | 例 |
+|---|---|
+| GPU の名前・VRAM の総量・世代・compute capability・ドライバの版 | `NVIDIA GeForce RTX 3070`, `8.0`, `ampere`, `8.6`, `566.03` |
+| ComfyUI の版、OS の種類(版・ビルドは入れない)、メインメモリ(GiB の整数に丸める) | `0.40.0`, `windows`, `32` |
+| モデル ID・設定・結果・最大 VRAM / メモリ・時間・載せ方・測り方 | `image_sdxl_simple`, `832x832`, `ok`, `6.9` … |
+| 日付(UTC の日付だけ) | `2026-10-21` |
+| メモ(note。bench が書いた測り方の説明) | パス・URL・PC 名・ユーザ名・メール・UUID・IP・時刻らしい文字を含む文は、文ごと消す |
+
+**入らないもの**: PC の名前、ユーザー名、フォルダのパス、GPU の UUID、PCI の差し場所、シリアル番号、IP / MAC アドレス、
+CPU の名前、時刻、bench の `--source` に書いた文、プロンプト。決まった項目以外は CI の検査で断ります。
+ただし自動の点検は文字の形を見るだけで、note に普通の言葉で書いた名前(「山田太郎の PC で測った」など)や、base64 などで
+書き換えたパスは見分けられません(下の 3 で自分で読んでください)。
+
+## 3. 中身を確かめる(送る前に必ず)
+
+```powershell
+genmodelfit contrib show data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json
+```
+
+ファイルの中身をすべて読める形で出し、個人の情報の点検(パス・PC 名・ユーザ名・UUID・PCI・IP・URL・メール・時刻・
+知らない項目が無いか。この PC の名前・ユーザ名が入っていないかも見ます)の結果を `[ok]` / `[NG]` で出します。
+
+- `[NG]` があれば、直してから出してください(手で書き換えたら、名前の `sha8` が変わるので `contrib validate` が
+  正しい名前を教えます)
+- **note(メモ)は自分で読んでください**。自動の点検は文の意味までは分かりません。気になる文は消して構いません
+- `genmodelfit contrib validate data/contrib` で、CI と同じ検査を手元で動かせます
+- 「要確認」(review)は、式の見積もりから 40% より外れた値・全部 GPU に載せたのに重みより小さい値・見積もりを 15% より
+  上げる値・よくある VRAM で段階を変える値・一覧に無いモデル・知らない GPU です。誤りではありませんが、PR を見る人が
+  確かめるまで受け付けません(測り直すか、PR の説明に事情を書いてください)。確かめた提出は、作者が
+  `data/contrib/REVIEWED` に sha8 と理由を書きます(提出の PR ではこのファイルを変えないでください。CI が失敗にします)
+
+## 4. 送る(Pull Request)
 
-- **個人の情報が入っていないこと**: フォルダのパス、ユーザー名、PC の名前、プロンプトの文を入れないでください。
-  bench はこれらを書きませんが、`--source` や `--note` に自分で書いたものは確かめてください
-- `gpu_name` と `driver` が自分の PC と合っていること
-- `settings` が測りたかった設定になっていること
+1. 足すのは `data/contrib/<GPU>/<日付>-<sha8>.json` のファイルだけにします(ほかのファイルは変えない。コードの変更は別の PR に)
+2. コミットして自分のフォークに push し、Pull Request を作ります。説明に、ComfyUI の起動オプション
+   (`--lowvram` など、変えたものだけ)を書いてもらえると助かります。個人名やメールアドレスは不要です
+3. CI(`Contrib` のワークフロー)が `genmodelfit contrib validate` で形・値の範囲・個人の情報・重複・ファイル名を検査し、
+   結果をジョブのまとめ(Summary)に出します。検査は、PR の向き先(main)の genmodelfit で動きます
 
-## 3. 送る
+**genmodelfit は何も送りません**。共有されるのは、あなたが自分の GitHub で出した Pull Request の中身だけです
+(自動で PR を作る機能はありません)。マージされると、提出は MPL-2.0 で公開されます(下の「ライセンス」)。
 
-1. このリポジトリをフォークして、ブランチを作ります
-2. 保存された JSON の `measurements` の中身を、`src/genmodelfit/data/measurements.json` の `measurements` の
-   最後に足します(書き方は既存の行にそろえてください)
-3. `source` に、測った環境が分かる短い説明を書きます(例: `"genmodelfit bench, RTX 4060 8GB, ComfyUI portable"`)。
-   個人名やメールアドレスは不要です
-4. `pytest -q` が通ることを確かめて、Pull Request を作ります。説明に、PC の構成(GPU・メモリ・OS)と、
-   ComfyUI の起動オプション(`--lowvram` など、変えたものだけ)を書いてください
+### 受け付けたあと
 
-### 必要な項目
+- 作者が `genmodelfit contrib aggregate --output src/genmodelfit/data/measurements_community.json` で、同じモデル・設定・GPU の
+  提出をまとめます(中央値と MAD で外れ値を除く)。同じ構成の提出が **2 件以上そろい、OOM が無いと**、その構成の見積もりの
+  根拠が `measured_community`(ほかの利用者の実測)になります。1 件だけの提出は、もう 1 件そろうまで見積もりには使いません。
+  ほかの利用者の実測は、必要量を**上げる向きにだけ**使います(見積もりより小さい値では、段階も点数も変わりません)
+- 毎週の点検(`contrib aggregate --report`)が、校正の誤差の表を作り直します(docs/accuracy.md)
 
-| 項目 | 必須 | 例 |
-|---|---|---|
-| `model_id` | ○ | `image_z_image_turbo_int8`(一覧の ID) |
-| `gpu_name`, `gpu_vram_gb` | ○ | `NVIDIA GeForce RTX 3070`, `8.0` |
-| `peak_vram_gb` | ○ | `5.43` |
-| `settings` | ○ | `{"width": 768, "height": 768, "steps": 6}` |
-| `seconds` | ○ | `41.2` |
-| `driver`, `comfyui_version` | ○ | `566.03`, `0.40.0` |
-| `offload` | ○ | `dynamic` |
-| `outcome`, `standard` | ○ | `ok`, `true`(OOM なら `oom` のまま送る) |
-| `source`, `date` | ○ | 上の例、`2026-10-20` |
-| `peak_ram_gb`, `note` | | bench が書いたものをそのまま |
+### 作者の実測(measurements.json)
 
-形の正本は `src/genmodelfit/models.py` の `Measurement` で、説明は [docs/schema.md](docs/schema.md) にあります。
+同梱の `src/genmodelfit/data/measurements.json` は作者が測った実測です。項目は docs/schema.md の「Measurement」、
+提出の形は「contrib」にあります。利用者の実測は data/contrib に出してください(measurements.json は直接変えない)。
 
 ## そのほかの変更
 

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: genmodelfit
-Version: 0.3.0
+Version: 0.4.0
 Summary: Right-size image / video / audio / 3D generation models to your PC (inspired by llmfit).
 Project-URL: Homepage, https://github.com/laxshmate/genmodelfit
 Project-URL: Issues, https://github.com/laxshmate/genmodelfit/issues
@@ -395,7 +395,8 @@ Measured values win. Models whose download size is unknown are not judged (shown
 
 ## Data sources / データ源
 
-The bundled list has 323 entries (image 161, video 114, TTS 20, music 15, 3D 10, SFX 3) that make 204 models.
+The bundled list has 326 entries (image 163, video 115, TTS 20, music 15, 3D 10, SFX 3) that make 207 models
+(2026-10-21; refreshed weekly, see "Maintenance").
 Like llmfit, Hugging Face models are included only with at least 10,000 all-time downloads (1,000 for trending
 ones), and merges and test stubs are skipped ([docs/sources.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/sources.md)).
 llmfit と同じく、Hugging Face のモデルは全期間のダウンロード数が 10,000 以上のもの(伸びているものは 1,000 以上)だけを入れます。
@@ -435,12 +436,55 @@ upstream, not the uploader's label) is on a commercial-use allowlist (apache-2.0
 replaceable), nothing is gated, an official ComfyUI workflow without custom nodes, the ComfyUI version is
 supported, every download URL answered an anonymous HEAD within the last 30 days, sha256 is known, the size is
 known, and the content is `sfw`. Otherwise it is held with machine-readable reasons (`held_reasons` in JSON, e.g. `license`; the table's Auto column shows the first one).
-In the bundled list 83 of 323 entries are auto. When a license cannot be verified it is treated as unknown
+In the bundled list 99 of 326 entries are auto (2026-10-21). When a license cannot be verified it is treated as unknown
 and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/gate.md).
 
 すべての条件を満たすものだけを自動でおすすめに出し、残りは理由付きで保留にします。ライセンスが確かめられない
 ものは「不明」として保留にします。アプリは使う ComfyUI の版を `--comfyui-version` で渡してください。
 
+## Maintenance / 一覧の保守
+
+Like llmfit, the list is rebuilt every week and published only after a person has reviewed it:
+
+1. Every Monday (03:00 UTC) `.github/workflows/weekly-data.yml` rebuilds the list from upstream
+   (`python -m genmodelfit.weekly`: templates, Hugging Face, HEAD checks, file headers; caches are kept between
+   runs), checks it (schema, auto count, the 30-day HEAD expiry must be more than 7 days away), runs ruff and
+   pytest with the new list, and opens or updates the pull request `automated/weekly-data` (labels `automated`,
+   `data-update`). The body is made by `genmodelfit diff` (added / removed models, license changes — the
+   ones toward the permissive side are marked —, auto-recommendation changes, failed HEAD checks).
+   It is never merged automatically.
+2. The owner reviews and merges it.
+3. On merge, `.github/workflows/data.yml` signs main's `db.json` and replaces the `data-latest` release.
+4. Apps take it with `genmodelfit update --from-release` (signature checked).
+
+```powershell
+genmodelfit diff old_db.json new_db.json            # what changed between two lists (--json for tools)
+python -m genmodelfit.weekly --dry-run --out weekly-out   # the same pipeline locally (writes only weekly-out)
+```
+
+毎週、上流から作り直した一覧を自動で PR にし(自動ではマージしない)、作者が見てマージしたものだけを
+署名して配ります。PR で確かめることは [docs/release.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/release.md)
+「毎週の一覧の更新」。
+
+## Contributing measurements / 実測を送る
+
+Measured runs on more GPUs make the estimates better. In a clone of your fork:
+
+```powershell
+genmodelfit bench image_sdxl_simple --url http://127.0.0.1:8188 --resolution 832x832 --submission data/contrib/
+genmodelfit contrib show data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json   # exactly what will be shared + privacy checklist
+```
+
+Then open a pull request that adds only that file. **genmodelfit sends nothing**; the file holds the GPU name / VRAM /
+generation / driver, ComfyUI version, OS family, RAM rounded to GiB and the results — never host or user names, paths,
+GPU UUID, PCI address, IP or exact times (the checks are pattern based, so read the note yourself). CI checks it with
+`genmodelfit contrib validate`. Once two or more consistent submissions exist for the same model, settings and GPU,
+estimates for that setup become `basis_detail: "measured_community"`; community values can only raise the estimated
+needs, never lower them. Steps: [CONTRIBUTING.md](https://github.com/laxshmate/genmodelfit/blob/main/CONTRIBUTING.md).
+
+自分のフォークで `bench --submission data/contrib/` を付けて測り、`contrib show` で中身を確かめてから、そのファイルだけを
+Pull Request で出してください。genmodelfit は何も送りません(PC の名前・ユーザー名・パス・GPU の UUID などは入りません)。
+
 ## Privacy / 送るもの・送らないもの
 
 - `recommend`, `fit`, `search`, `info`, `system`, `types`, `gate` and the Python API (`gmf.recommend()`,
@@ -457,7 +501,8 @@ and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/
 - Hardware information (GPU name, VRAM, RAM, CPU, disk) is read locally with `nvidia-smi` and psutil and is
   **never sent**. Measurements from `bench` are saved only on your PC; they are shared only if you open a pull
   request yourself ([CONTRIBUTING.md](https://github.com/laxshmate/genmodelfit/blob/main/CONTRIBUTING.md)).
-  Saved measurements hold no host name, user name, paths or GPU UUID.
+  Saved measurements hold no host name, user name, paths or GPU UUID. Submission files (`bench --submission`,
+  `contrib make`) are written locally only; `genmodelfit contrib` never touches the network.
 - No telemetry. No hardware information, measurements, prompts or other user content is ever sent anywhere.
   Tests replace the PC's details with marker strings and check that no request URL, header or body of `update`,
   `update --from-release`, `bench` or `download` contains them.
@@ -474,7 +519,8 @@ and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/
   `--list` と `gmf.plan_download()` は通信しません。
 - PC の情報(GPU の名前・VRAM・メモリ・CPU・空き)は `nvidia-smi` と psutil で手元で読むだけで、**送りません**。
   `bench` の実測は手元に保存するだけで、利用者が自分で Pull Request を出したときだけ共有されます
-  (保存する実測に PC の名前・ユーザー名・パス・GPU の UUID は入りません)。
+  (保存する実測に PC の名前・ユーザー名・パス・GPU の UUID は入りません)。提出用の JSON(`bench --submission`・`contrib make`)も
+  手元に書くだけで、`genmodelfit contrib` は通信しません。
 - 利用状況の送信(テレメトリ)はありません。PC の情報・実測・プロンプトなどを送ることはありません。User-Agent は
   `genmodelfit/<版>` で、`~/.netrc` の資格情報は付けません(プロキシ・証明書の設定は使います)。
 

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/README.md

@@ -355,7 +355,8 @@ Measured values win. Models whose download size is unknown are not judged (shown
 
 ## Data sources / データ源
 
-The bundled list has 323 entries (image 161, video 114, TTS 20, music 15, 3D 10, SFX 3) that make 204 models.
+The bundled list has 326 entries (image 163, video 115, TTS 20, music 15, 3D 10, SFX 3) that make 207 models
+(2026-10-21; refreshed weekly, see "Maintenance").
 Like llmfit, Hugging Face models are included only with at least 10,000 all-time downloads (1,000 for trending
 ones), and merges and test stubs are skipped ([docs/sources.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/sources.md)).
 llmfit と同じく、Hugging Face のモデルは全期間のダウンロード数が 10,000 以上のもの(伸びているものは 1,000 以上)だけを入れます。
@@ -395,12 +396,55 @@ upstream, not the uploader's label) is on a commercial-use allowlist (apache-2.0
 replaceable), nothing is gated, an official ComfyUI workflow without custom nodes, the ComfyUI version is
 supported, every download URL answered an anonymous HEAD within the last 30 days, sha256 is known, the size is
 known, and the content is `sfw`. Otherwise it is held with machine-readable reasons (`held_reasons` in JSON, e.g. `license`; the table's Auto column shows the first one).
-In the bundled list 83 of 323 entries are auto. When a license cannot be verified it is treated as unknown
+In the bundled list 99 of 326 entries are auto (2026-10-21). When a license cannot be verified it is treated as unknown
 and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/gate.md).
 
 すべての条件を満たすものだけを自動でおすすめに出し、残りは理由付きで保留にします。ライセンスが確かめられない
 ものは「不明」として保留にします。アプリは使う ComfyUI の版を `--comfyui-version` で渡してください。
 
+## Maintenance / 一覧の保守
+
+Like llmfit, the list is rebuilt every week and published only after a person has reviewed it:
+
+1. Every Monday (03:00 UTC) `.github/workflows/weekly-data.yml` rebuilds the list from upstream
+   (`python -m genmodelfit.weekly`: templates, Hugging Face, HEAD checks, file headers; caches are kept between
+   runs), checks it (schema, auto count, the 30-day HEAD expiry must be more than 7 days away), runs ruff and
+   pytest with the new list, and opens or updates the pull request `automated/weekly-data` (labels `automated`,
+   `data-update`). The body is made by `genmodelfit diff` (added / removed models, license changes — the
+   ones toward the permissive side are marked —, auto-recommendation changes, failed HEAD checks).
+   It is never merged automatically.
+2. The owner reviews and merges it.
+3. On merge, `.github/workflows/data.yml` signs main's `db.json` and replaces the `data-latest` release.
+4. Apps take it with `genmodelfit update --from-release` (signature checked).
+
+```powershell
+genmodelfit diff old_db.json new_db.json            # what changed between two lists (--json for tools)
+python -m genmodelfit.weekly --dry-run --out weekly-out   # the same pipeline locally (writes only weekly-out)
+```
+
+毎週、上流から作り直した一覧を自動で PR にし(自動ではマージしない)、作者が見てマージしたものだけを
+署名して配ります。PR で確かめることは [docs/release.md](https://github.com/laxshmate/genmodelfit/blob/main/docs/release.md)
+「毎週の一覧の更新」。
+
+## Contributing measurements / 実測を送る
+
+Measured runs on more GPUs make the estimates better. In a clone of your fork:
+
+```powershell
+genmodelfit bench image_sdxl_simple --url http://127.0.0.1:8188 --resolution 832x832 --submission data/contrib/
+genmodelfit contrib show data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json   # exactly what will be shared + privacy checklist
+```
+
+Then open a pull request that adds only that file. **genmodelfit sends nothing**; the file holds the GPU name / VRAM /
+generation / driver, ComfyUI version, OS family, RAM rounded to GiB and the results — never host or user names, paths,
+GPU UUID, PCI address, IP or exact times (the checks are pattern based, so read the note yourself). CI checks it with
+`genmodelfit contrib validate`. Once two or more consistent submissions exist for the same model, settings and GPU,
+estimates for that setup become `basis_detail: "measured_community"`; community values can only raise the estimated
+needs, never lower them. Steps: [CONTRIBUTING.md](https://github.com/laxshmate/genmodelfit/blob/main/CONTRIBUTING.md).
+
+自分のフォークで `bench --submission data/contrib/` を付けて測り、`contrib show` で中身を確かめてから、そのファイルだけを
+Pull Request で出してください。genmodelfit は何も送りません(PC の名前・ユーザー名・パス・GPU の UUID などは入りません)。
+
 ## Privacy / 送るもの・送らないもの
 
 - `recommend`, `fit`, `search`, `info`, `system`, `types`, `gate` and the Python API (`gmf.recommend()`,
@@ -417,7 +461,8 @@ and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/
 - Hardware information (GPU name, VRAM, RAM, CPU, disk) is read locally with `nvidia-smi` and psutil and is
   **never sent**. Measurements from `bench` are saved only on your PC; they are shared only if you open a pull
   request yourself ([CONTRIBUTING.md](https://github.com/laxshmate/genmodelfit/blob/main/CONTRIBUTING.md)).
-  Saved measurements hold no host name, user name, paths or GPU UUID.
+  Saved measurements hold no host name, user name, paths or GPU UUID. Submission files (`bench --submission`,
+  `contrib make`) are written locally only; `genmodelfit contrib` never touches the network.
 - No telemetry. No hardware information, measurements, prompts or other user content is ever sent anywhere.
   Tests replace the PC's details with marker strings and check that no request URL, header or body of `update`,
   `update --from-release`, `bench` or `download` contains them.
@@ -434,7 +479,8 @@ and held. See [docs/gate.md](https://github.com/laxshmate/genmodelfit/blob/main/
   `--list` と `gmf.plan_download()` は通信しません。
 - PC の情報(GPU の名前・VRAM・メモリ・CPU・空き)は `nvidia-smi` と psutil で手元で読むだけで、**送りません**。
   `bench` の実測は手元に保存するだけで、利用者が自分で Pull Request を出したときだけ共有されます
-  (保存する実測に PC の名前・ユーザー名・パス・GPU の UUID は入りません)。
+  (保存する実測に PC の名前・ユーザー名・パス・GPU の UUID は入りません)。提出用の JSON(`bench --submission`・`contrib make`)も
+  手元に書くだけで、`genmodelfit contrib` は通信しません。
 - 利用状況の送信(テレメトリ)はありません。PC の情報・実測・プロンプトなどを送ることはありません。User-Agent は
   `genmodelfit/<版>` で、`~/.netrc` の資格情報は付けません(プロキシ・証明書の設定は使います)。
 

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/docs/accuracy.md

@@ -1,6 +1,6 @@
 # 見積もりの精度 / Accuracy
 
-2026-10-20 時点。係数は `src/genmodelfit/data/calibration.json`、作り直しは `python -m genmodelfit.calibrate`
+2026-10-20 時点(ほかの利用者の実測の扱いは 2026-10-21)。係数は `src/genmodelfit/data/calibration.json`、作り直しは `python -m genmodelfit.calibrate`
 (`--dry-run` で書き出さずに表だけ出す)。下の表はそのコマンドの出力をそのまま貼ったもの。
 **単位はすべて GiB(2^30 バイト)**。表や CLI の「GB」も GiB を指す。
 
@@ -180,6 +180,13 @@ RTX 5080 の実測は ComfyUI の動的 VRAM で測ったもので、**空きが
 music・video は張り付いていない実測が 1 件以下のため評価できない(target_met は null)。
 張り付いた 3 件のうち 3 件は重みだけで実測を超え、情報を持たない。 参考: 張り付いていない全 6 件の LOO 平均絶対誤差 6.5%、最大 17.2%(重みだけなら平均 22.8%)
 
+照合(測り方が違うので係数の合わせには使わない。全件で合わせた係数で当てた値):
+
+| モデル | GPU | 出どころ | 設定 | 実測 GiB | 推定 GiB(全部載せ) | 誤差 |
+|---|---|---|---|---:|---:|---:|
+| utility_birefnet_remove_background | NVIDIA GeForce RTX 3070 | 作者 | - | 1.25 | 2.13 | +70% |
+| 3d_moge_perspective_to_mesh | NVIDIA GeForce RTX 3070 | 作者 | - | 0.72 | 2.87 | +299% |
+
 読み方:
 
 - 「知らないモデルを当てる力」を測れているのは、画像の 2 件と 3D の 2 件だけ。それぞれ同じ種類のもう 1 件だけで
@@ -213,11 +220,61 @@ music・video は張り付いていない実測が 1 件以下のため評価で
 - **役割の推定**: 置き場所もフォルダも無いファイルは、知っている名前の一覧で役割を決める。一覧に無いテキストエンコーダは
   本体として数える(全部載せの値は変わらないが、順に載せ替え・逃がすの値は大きめに出る)
 
+## ほかの利用者の実測(#34、2026-10-21)
+
+利用者が `genmodelfit bench --submission` で作った提出用の JSON を、Pull Request で `data/contrib/<GPU>/<日付>-<sha8>.json`
+に足してもらう(手順は CONTRIBUTING.md、形は docs/schema.md「contrib」)。**2026-10-21 時点で受け付けた提出は 0 件**で、
+同梱の `src/genmodelfit/data/measurements_community.json` は空。下の決まりは、提出が来たときの扱い。
+
+- **まとめ方**(`genmodelfit contrib aggregate`): 同じモデル・GPU 名・測り方(`vram_metric`)・設定(解像度・コマ数・長さ・
+  ステップ数・精度・枚数)ごとにまとめる。標準でない提出(`standard: false`)は使わない。最後まで動いた(ok)ものの最大 VRAM で、
+  3 件以上あれば |x − 中央値| / (1.4826 × MAD) > 3.5 を外れ値として除き(MAD の下限は中央値の 2%。そろいすぎた値で
+  小さな差を外れ値にしない)、残りの中央値を値にする。2 件以下では外れ値を見分けない。OOM だけの組は `outcome: oom` の 1 行
+- **使う条件**: 使った件数が 2 件以上で、残りの幅(最大 − 最小)が中央値の 15% 以内で、OOM が 1 件も無いとき
+  `consistent: true`。人が確かめる項目(式から 40% より外れた値・重み + 固定分より小さい全部載せの値・一覧に無いモデル・
+  知らない GPU)のある提出は、`--allow-review` で確かめたと言わない限りまとめに使わない。
+  **1 件だけ・ばらつきの大きい組は、見積もりにも校正にも使わない**(測り違い・書き換えを 1 件では見分けられないため。
+  表には出す)。llmfit の measured_community に当たる
+- **根拠の段階**(`Estimate.basis_detail`。`basis` は後方互換のため measured / estimated の 2 値のまま):
+
+  | 段階 | basis | 意味 |
+  |---|---|---|
+  | `measured` | measured | 同梱の作者の実測か、この PC で bench が保存した実測で、設定が同じ |
+  | `measured_community` | measured(下の「必要量を下げない」で使わなかったときは estimated) | そろったほかの利用者の実測で、設定が同じ。点数の basis は推定と同じ 0 |
+  | `calibrated` | estimated | 設定の違う実測(作者・ほかの利用者)でずらした推定 |
+  | `estimated` | estimated | 式だけの推定(実測が無い・精度を変えた・GPU が無い) |
+
+- **必要量を下げない**(2026-10-21、オーナーの方針。レビューで、書き換えた 2 件の提出で 282 モデルの必要量が最大 76% 下がり、
+  段階が 180 か所上がる攻撃が見つかったため): ほかの利用者の実測は、それが無いときの見積もりより**必要量を上げる向きにだけ**使う
+  (VRAM・メモリを下げない・段階を上げない・点数を上げない)。判定する既定の設定も決めない。`torch_reserved` の実測
+  (CUDA の文脈を含まない)も「これ以上」としてだけ使い、式より小さければ式の値にする(作者の RTX 3070 の 2 件もこれで
+  式の値になった。以前は実測で 0.9〜2 GiB 下げていた)。tests/test_contrib.py が全モデル × 8 / 12 / 16 / 24 GB で確かめる
+- **上げすぎない**(2026-10-21、オーナーの方針。検査の閾値 40% の内側の +39% の提出 2 件で、314 モデル × 4 つの VRAM で
+  段階が 639 か所下がる攻撃が見つかったため): 人が確かめていないほかの利用者の実測は、それが無いときの見積もりの
+  **+15% まで**しか必要量を上げず、その PC で段階・動かし方が変わるなら使わない。validate は、+15% を超えて上げる提出と、
+  よくある VRAM(4〜48 GB)× メモリ(16 / 32 / 64 GB)で段階を変える提出を「要確認」にする。確かめた提出は sha8 ごとに
+  data/contrib/REVIEWED(作者だけが書く)に理由と一緒に書き、そのときだけ +15% を超えられる。
+  `contrib aggregate --report` は、ほかの利用者の実測で変わる段階の一覧を出す
+  実測の選び方(`estimate.pick_measurement`)は、設定が同じもの → 作者・この PC の実測(ほかの利用者より先)→
+  張り付いていないもの → 大きい GPU → 大きい値。同じ設定のほかの利用者の実測は、設定の違う作者の実測より先に使う。
+  「この PC の実測」(キャッシュの bench の結果)は v0 では作者の実測と同じ段階に数える(分けていない)
+- **校正への取り込み**(`python -m genmodelfit.calibrate`): そろったほかの利用者の実測も、測り方が係数の合わせと同じ
+  (`calibrate.CALIBRATION_METRIC`。今は記録の無い RTX 5080 の 9 件の測り方)なら、係数の合わせと leave-one-out に入る。
+  bench の提出は `torch_reserved` なので、今は**照合**(上の表。全件で合わせた係数で当てた誤差)にだけ入る。
+  `torch_reserved` の実測が種類ごとに数件そろったら、測り方ごとに固定分を分けて合わせ直す(それまで混ぜない)
+- **毎週の点検**(`genmodelfit contrib aggregate --report`。#19 の毎週の自動 PR が呼ぶ): その時点の data/contrib をまとめ直し、
+  校正をやり直して種類ごとの LOO 誤差と照合の誤差を表にする。閾値(既定 25%、`--threshold`)を超えたら警告を出す
+  (`--fail-on-breach` で終了コード 3)。判定に入れるのは、評価できる種類(張り付いていない実測が 2 件以上)の LOO 誤差と、
+  ほかの利用者の実測の照合の誤差。作者の照合の行(下の RTX 3070 の 2 件)は既知の外れなので、表には出すが判定には入れない
+- 同じ人が同じ構成で何度も出すと、件数が水増しされる(提出に個人を見分ける情報を入れないので見分けられない)。
+  同じ内容(hash)は重複として断るが、測り直した別の値は断れない。PR を見る人が、同じ PR に同じ構成が並んでいないかを見る
+
 ## RTX 3070 8GB の実測との照合(bench、2026-10-19 UTC、係数の合わせには使っていない)
 
 `genmodelfit bench` で、この PC(RTX 3070 8GB、AI生成キットのエンジン ComfyUI 0.40.0)で 2 件を測りました。
 測り方が RTX 5080 の 9 件と違う(`vram_metric: torch_reserved` = ComfyUI のプロセスの torch の確保量の最大で、CUDA の文脈などは含まない。
 RTX 5080 の 9 件は何を記録したかが残っていない)ので、係数の合わせには使わず、照合だけに使います(`calibrate.CALIBRATION_METRIC`)。
+この照合は `python -m genmodelfit.calibrate` が上の「結果」の表の下に作る(calibration.json の `check`。#34 から)。
 
 | モデル | GPU | 実測 GiB(torch_reserved) | 推定 GiB(全部載せ) | 誤差 | 推定での段階(8 GiB) |
 |---|---|---:|---:|---:|---|

{genmodelfit-0.3.0 → genmodelfit-0.4.0}/docs/license_requests.md

@@ -200,6 +200,6 @@
   Civitai は v0.1 では読まない(docs/sources.md「Civitai」)ので、一覧の側で決められない。依頼の前に扱いを決める
 - **無検閲のモデルだけに効くもの**(既定の sfw では出ないので後回し): ChrisColeTech/LTX-2.3-uncensored-v1.4-FP8・
   LTX-2.5-uncensored-v1.1-FP8・qwen-image-edit-uncensored-GGUF、Heartsync/NSFW-Uncensored、Meina/MeinaHentai、
-  SulphurAI/Sulphur-2-base、TenStrip/LTX2.3-10Eros、TheImposterImposters/lustifySDXLNSFW_v20-inpainting、
+  SulphurAI/Sulphur-2-base、TenStrip/LTX2.3-10Eros、andro-flock/LUSTIFY-SDXL-NSFW-checkpoint-v2-0-INPAINTING(2026-10-21 から同じ重みの写しのこちらを載せる)、
   kkkkk26/lustify_v9、sinkinai/hassaku-hentai(記載が無い)、AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF・
   kpsss34/FHDR_Uncensored(元の規約より寛容)。出すなら A・B の文を使える