genmodelfit 0.9.0__tar.gz → 0.9.2__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/.gitignore +3 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/CHANGELOG.md +45 -1
- genmodelfit-0.9.2/CONTRIBUTING.ja.md +199 -0
- genmodelfit-0.9.2/CONTRIBUTING.md +199 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/PKG-INFO +77 -33
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/README.ja.md +78 -38
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/README.md +75 -31
- genmodelfit-0.9.2/docs/README.ja.md +33 -0
- genmodelfit-0.9.2/docs/README.md +33 -0
- genmodelfit-0.9.2/docs/accuracy.ja.md +569 -0
- genmodelfit-0.9.2/docs/accuracy.md +570 -0
- genmodelfit-0.9.2/docs/download.ja.md +78 -0
- genmodelfit-0.9.2/docs/download.md +78 -0
- genmodelfit-0.9.2/docs/gate.ja.md +275 -0
- genmodelfit-0.9.2/docs/gate.md +275 -0
- genmodelfit-0.9.2/docs/hardware.ja.md +570 -0
- genmodelfit-0.9.2/docs/hardware.md +570 -0
- genmodelfit-0.9.0/docs/license_requests.md → genmodelfit-0.9.2/docs/license_requests.ja.md +55 -20
- genmodelfit-0.9.2/docs/license_requests.md +241 -0
- genmodelfit-0.9.2/docs/release.ja.md +442 -0
- genmodelfit-0.9.2/docs/release.md +444 -0
- genmodelfit-0.9.2/docs/schema.ja.md +1369 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/docs/schema.md +316 -139
- genmodelfit-0.9.0/docs/sources.md → genmodelfit-0.9.2/docs/sources.ja.md +129 -53
- genmodelfit-0.9.2/docs/sources.md +899 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/pyproject.toml +3 -3
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/_version.py +1 -1
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/cli.py +12 -4
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/contrib.py +9 -2
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/db.py +58 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/estimate.py +55 -8
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/models.py +11 -2
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/update.py +4 -2
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_contrib.py +70 -7
- genmodelfit-0.9.2/tests/test_docs.py +147 -0
- genmodelfit-0.9.2/tests/test_load_types.py +223 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_release.py +64 -0
- genmodelfit-0.9.0/CONTRIBUTING.md +0 -184
- genmodelfit-0.9.0/docs/accuracy.md +0 -350
- genmodelfit-0.9.0/docs/download.md +0 -95
- genmodelfit-0.9.0/docs/gate.md +0 -232
- genmodelfit-0.9.0/docs/hardware.md +0 -469
- genmodelfit-0.9.0/docs/release.md +0 -371
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/LICENSE +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/THIRD_PARTY_NOTICES +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/__init__.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/__main__.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/appapi.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/appinfo.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/bench.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/calibrate.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/__init__.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/calibration.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/db.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/manual.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/measurements.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/measurements_community.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/overrides.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/review_rejected.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/data/signing_keys/2026-10.pub +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/diff.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/downloader.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/families.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/fetch.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/gate.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/gpustat.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/groups.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/hardware.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/headers.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/hf.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/license_sources.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/py.typed +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/recommend.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/remote.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/repo_precision.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/review.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/safety.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/signing.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/status.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/table.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/tasks.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/weekly.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/src/genmodelfit/workflow.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/clihelp.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/conftest.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/3d_hunyuan3d_image_to_model.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/audio_ace_step_1_5_checkpoint.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/contrib/rtx-3070/2026-10-20-5bedb2da.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/contrib/rtx-3070/2026-10-20-78740c83.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/contrib/rtx-3070/2026-10-20-ccef2c3e.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/contrib/rtx-4060/2026-10-21-e361ba52.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.1.0-0.7.1/new.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.1.0-0.7.1/old.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.3.0-0.4.0/new.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.3.0-0.4.0/old.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.4.0-0.7.0/new.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.4.0-0.7.0/old.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.5.0-0.7.0/new.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.5.0-0.7.0/old.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.6.0-0.7.0/new.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/diff/0.6.0-0.7.0/old.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/lspci_amd_nvidia.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/lspci_rx7900xtx.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_garbage.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_multi.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_na.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_no_devices.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_no_driver.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_old_error.txt +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_old_kepler.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_old_maxwell.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/nvsmi_rtx3070_win.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/registry_amd_stale.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/registry_arc_a770.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/registry_rx6600.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/registry_ryzen_ai_max_395.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/registry_this_pc.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/system_profiler_m2pro.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/typeperf_rtx5080.csv +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_amd_single.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_arc_a770.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_basic_nvidia.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_core_ultra_155h.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_intel_nvidia.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_rx6600.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_ryzen_ai_max_395.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_this_pc.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/hardware/wmi_uhd770.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/image_sdxl_simple.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/image_z_image_turbo_int8.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/object_info_subset.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/text_to_video_wan.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/ACE-Step__Ace-Step1.5.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/AtomicChat__Qwen-Image-2.1-Turbo-Uncensored-GGUF.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Comfy-Org__Wan_2.1_ComfyUI_repackaged.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Comfy-Org__ace_step_1.5_ComfyUI_files.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Comfy-Org__hunyuan3D_2.0_repackaged.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Comfy-Org__stable-audio-open-1.0_repackaged.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Comfy-Org__z_image_turbo.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/ComfyUI-Wiki__t5-base.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/MeiGen-AI__InfiniteTalk.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Noctaluna__Noct-Q-Uncensored-Qwen-Image-2.1.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Qwen__Qwen-Image-2.1.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Qwen__Qwen3-VL-8B-Instruct.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Tongyi-MAI__Z-Image-Turbo.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-FLF2V-14B-720P.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-I2V-14B-480P.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-I2V-14B-720P.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-T2V-1.3B.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-T2V-14B.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-VACE-1.3B.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/Wan-AI__Wan2.1-VACE-14B.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/alibaba-pai__Wan2.1-Fun-V1.1-1.3B-Control-Camera.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/alibaba-pai__Wan2.1-Fun-V1.1-1.3B-Control.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/alibaba-pai__Wan2.1-Fun-V1.1-1.3B-InP.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/alibaba-pai__Wan2.1-Fun-V1.1-14B-Control-Camera.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/example-org__plain-nsfw-xl.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/hexgrad__Kokoro-82M.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/htdong__Wan-Alpha.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/stabilityai__stable-audio-open-1.0.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/tencent__Hunyuan3D-2.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/tencent__Hunyuan3D-2mv.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf/yl4579__StyleTTS2-LJSpeech.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_readme/AtomicChat__Qwen-Image-2.1-Turbo-Uncensored-GGUF.md +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_readme/Noctaluna__Noct-Q-Uncensored-Qwen-Image-2.1.md +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_readme/example-org__plain-nsfw-xl.md +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_readme/hexgrad__Kokoro-82M.md +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_search/direction_-1_filter_not-for-all-audiences_limit_100_pipeline_tag_text-to-image_sort_downloads.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_search/direction_-1_limit_100_pipeline_tag_text-to-image_search_uncensored_sort_downloads.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_search/direction_-1_limit_100_pipeline_tag_text-to-speech_sort_downloads.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/hf_search/direction_-1_limit_100_pipeline_tag_text-to-speech_sort_trendingScore.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/3d_hunyuan3d_image_to_model.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/audio_ace_step_1_5_checkpoint.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/audio_stable_audio_example.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/image_z_image_turbo.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/image_z_image_turbo_int8.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/index.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/update/templates/templates-wan2_1_infinitetalk_music.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/fixtures/video_wan2_2_14B_i2v.json +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_appinfo.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_bench.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_bench_rtx3070.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_bench_vendors.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_cli_casual.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_cli_json.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_core.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_diff.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_diff_ux.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_download.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_embedding.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_estimate.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_families.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_gate.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_gate_real.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_gpustat.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_groups.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_hardware.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_invariants.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_issue_28.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_issue_30.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_judge_model.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_license_sources.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_licenses.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_privacy.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_privacy_pc.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_readme_version.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_remote_hooks.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_review_14.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_review_42.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_review_fixes.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_safety_dataset.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_status.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_table.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_update.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_vendors.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_weekly.py +0 -0
- {genmodelfit-0.9.0 → genmodelfit-0.9.2}/tests/test_workflows.py +0 -0
|
@@ -7,6 +7,48 @@ All notable changes to this project are documented here. The format is based on
|
|
|
7
7
|
|
|
8
8
|
## [Unreleased]
|
|
9
9
|
|
|
10
|
+
## [0.9.2] - 2026-10-24
|
|
11
|
+
|
|
12
|
+
### Fixed
|
|
13
|
+
|
|
14
|
+
- The `--help` of `system` / `recommend` / `fit` / `search` / `info` no longer says the GPU is detected only through nvidia-smi
|
|
15
|
+
(AMD / Intel / Apple are detected since 0.7.0).
|
|
16
|
+
- The reason shown when another user's measurement is above the GPU's total now gives the real cap
|
|
17
|
+
(total × 1.02 + 0.25 GB) instead of "the total".
|
|
18
|
+
|
|
19
|
+
### Documentation
|
|
20
|
+
|
|
21
|
+
- README, CONTRIBUTING and docs/ brought up to date with 0.9.0 / 0.9.1: other users' measurements apply only to
|
|
22
|
+
the same GPU with VRAM within 3% (so adding VRAM can drop a measured value; noted as the exception to "more VRAM
|
|
23
|
+
never lowers the score"); `gmf.download` is the other Python call that uses the network; PCI model IDs are kept
|
|
24
|
+
in the output; submission checks and fields; `files_changed`; strict type checks; local CI (`tools/ci_local.py`)
|
|
25
|
+
and the weekly update on the maintainer's PC. Counts and dates that change every week now say where to read them.
|
|
26
|
+
- README: a screenshot of `genmodelfit recommend` (8 GiB VRAM, 32 GiB RAM; model list as of 2026-10-22), and a
|
|
27
|
+
quick start that shows `uvx genmodelfit recommend` (try it without installing) before the install step.
|
|
28
|
+
- Every page in docs/ and CONTRIBUTING now has an English version (`X.md`) and a Japanese version (`X.ja.md`) with
|
|
29
|
+
the same content, instead of pages that were Japanese only or mixed both languages. Each page starts with what it
|
|
30
|
+
covers and who it is for; the longer pages have a table of contents. New index: docs/README.md.
|
|
31
|
+
`tests/test_docs.py` checks that both versions exist, that links and anchors resolve, and that sections cited from
|
|
32
|
+
the code exist.
|
|
33
|
+
- The project's "Documentation" link on PyPI now points to the docs index.
|
|
34
|
+
|
|
35
|
+
## [0.9.1] - 2026-10-22
|
|
36
|
+
|
|
37
|
+
### Fixed
|
|
38
|
+
|
|
39
|
+
- **A list with a wrongly typed field is refused when it is read** (#63). `repo_id`, `license_from`, `license_path`,
|
|
40
|
+
`sampler_stages`, `comfy_family` and the other optional fields of an entry, a file and a template (`source`,
|
|
41
|
+
`license_url`, `base_model`, `content_evidence`, `discovered_from`, `updated`, `homepage`, `likes`, `license_evidence`,
|
|
42
|
+
`comfy_vae`, `workflow_precision`, `precision_source`; file: `license_url`, `repo_license`, `license_evidence`,
|
|
43
|
+
`head_status`, `head_checked_at`, `header_precision`, `header_params`, `repo_precision`, `repo_precision_source`;
|
|
44
|
+
template: all fields) are type-checked like `license_name` was in 0.8.0. All 27 distinct versions of the bundled list in the git history (`git log --all -- src/genmodelfit/data/db.json`; the 41 commits that touched `data/` include unchanged copies) still load. Top-level `generated_at` / `sources` are checked too.
|
|
45
|
+
- **Other users' measurements are used only for a GPU with a close VRAM.** The same name (or PCI ID) can be a different card:
|
|
46
|
+
RTX 4060 Ti 8 / 16 GB, RTX 3060 8 / 12 GB, RX 7900 XT / XTX / GRE (all `744c`; the 0.9.0 review's N2). A measurement now
|
|
47
|
+
matches only when `min/max` of its VRAM and the PC's total is at least 0.97 (`estimate.same_vram`; not applied to shared /
|
|
48
|
+
unified memory). The fit_change check also tries the nominal VRAMs of NVIDIA GPUs with several sizes
|
|
49
|
+
(`estimate.NVIDIA_VRAM_VARIANTS`, from NVIDIA's product pages). The bundled `measurements_community.json` is empty, so
|
|
50
|
+
bundled judgements do not change. `--vram` that differs from the measured card's VRAM no longer uses that measurement.
|
|
51
|
+
|
|
10
52
|
## [0.9.0] - 2026-10-22
|
|
11
53
|
|
|
12
54
|
### Changed — judgements that change
|
|
@@ -633,7 +675,9 @@ First public release. / 最初の公開版。
|
|
|
633
675
|
- License: MPL-2.0 for the code and the bundled data (was MIT before the first release).
|
|
634
676
|
Attribution for the upstream data is in `THIRD_PARTY_NOTICES`.
|
|
635
677
|
|
|
636
|
-
[Unreleased]: https://github.com/laxshmate/genmodelfit/compare/v0.9.
|
|
678
|
+
[Unreleased]: https://github.com/laxshmate/genmodelfit/compare/v0.9.2...HEAD
|
|
679
|
+
[0.9.2]: https://github.com/laxshmate/genmodelfit/releases/tag/v0.9.2
|
|
680
|
+
[0.9.1]: https://github.com/laxshmate/genmodelfit/releases/tag/v0.9.1
|
|
637
681
|
[0.9.0]: https://github.com/laxshmate/genmodelfit/releases/tag/v0.9.0
|
|
638
682
|
[0.8.0]: https://github.com/laxshmate/genmodelfit/releases/tag/v0.8.0
|
|
639
683
|
[0.7.1]: https://github.com/laxshmate/genmodelfit/releases/tag/v0.7.1
|
|
@@ -0,0 +1,199 @@
|
|
|
1
|
+
# 実測を送る
|
|
2
|
+
|
|
3
|
+
[English](CONTRIBUTING.md) · **日本語**
|
|
4
|
+
|
|
5
|
+
genmodelfit の見積もりは、実際の PC で測った値(実測)があるとそれを優先します。いろいろな GPU の実測が集まるほど、見積もりが正確になります。
|
|
6
|
+
このページは、`genmodelfit bench` で測った結果を Pull Request で送りたい人向けです。そのほかの変更の決まりも載せています。
|
|
7
|
+
用語は [README.ja.md](README.ja.md) に合わせています。
|
|
8
|
+
|
|
9
|
+
## 目次
|
|
10
|
+
|
|
11
|
+
- [1. 測る](#1-測る)
|
|
12
|
+
- [2. 提出用の JSON を作る](#2-提出用の-json-を作る)
|
|
13
|
+
- [3. 中身を確かめる](#3-中身を確かめる)
|
|
14
|
+
- [4. Pull Request で送る](#4-pull-request-で送る)
|
|
15
|
+
- [そのほかの変更](#そのほかの変更)
|
|
16
|
+
- [ライセンス](#ライセンス)
|
|
17
|
+
|
|
18
|
+
流れの要約: `genmodelfit>=0.9.1` を入れ(または clone したフォルダで `pip install -e .`。手元の検査が CI と同じになります)、フォークの clone の中で自分の ComfyUI に対して `genmodelfit bench` を実行し、`genmodelfit contrib show` で中身を確かめ、そのファイルだけを足した Pull Request を出します。
|
|
19
|
+
**genmodelfit 自身は何も送りません**。共有は、あなたが出す Pull Request を通してだけ行われます。
|
|
20
|
+
|
|
21
|
+
## 1. 測る
|
|
22
|
+
|
|
23
|
+
1. ComfyUI を起動します(ふだん使っているもので構いません)。**ほかの生成が動いていないとき**に測ってください。
|
|
24
|
+
- bench はキューに仕事があると測りません(開始前と、送る直前の 2 回見ます)。
|
|
25
|
+
- GPU の使用率(約 2 秒の平均)が 30% 以上のときも止まります。
|
|
26
|
+
- 使用率は、NVIDIA なら `nvidia-smi`、AMD なら `amd-smi` か `rocm-smi`(Linux)、Intel なら `xpu-smi`(Linux)、Windows の AMD・Intel は Windows の性能カウンタ、Apple は `ioreg` で読みます。
|
|
27
|
+
- GPU の空きを確かめられないときは、黙って進まずに止まります(`--force` で測れます)。例: NVIDIA で `nvidia-smi` が無い、同じ名前の GPU が複数あってどれか分からない、ComfyUI が別の PC。
|
|
28
|
+
- NVIDIA 以外で使用率を読む道具が無いときは、止まらずに測ります。そのときは ComfyUI のキューが空なことと、ComfyUI 以外のアプリが GPU のメモリを半分より多く使っていないことだけを確かめ、注意と `note` に残します。ほかのアプリ(ゲーム・動画の書き出しなど)は閉じてから測ってください。
|
|
29
|
+
- **AMD・Intel・Apple の GPU の実測は特に歓迎します**。まだ実測が無いので、見積もりの段階を Good までに控えています。同じ構成の実測が集まると詰められます。
|
|
30
|
+
2. テンプレートが使うモデルのファイルを ComfyUI の `models` フォルダに置きます。
|
|
31
|
+
- 足りないときは、bench がどのファイルが無いかを表示します。
|
|
32
|
+
- `genmodelfit download <テンプレート名> --comfyui-dir <ComfyUI のフォルダ>` で、一覧のファイルを ComfyUI の models に落とせます(sha256 で確かめます)。ライセンスが分からないファイルと gated のファイルは落としません。
|
|
33
|
+
3. 測ります:
|
|
34
|
+
|
|
35
|
+
```powershell
|
|
36
|
+
pip install -U "genmodelfit>=0.9.1"
|
|
37
|
+
genmodelfit bench image_z_image_turbo_int8 --url http://127.0.0.1:8188 --resolution 768x768 --steps 6
|
|
38
|
+
genmodelfit bench text_to_video_wan --url http://127.0.0.1:8188 --resolution 512x512 --frames 49 --steps 20
|
|
39
|
+
genmodelfit bench audio_ace_step_1_5_checkpoint --url http://127.0.0.1:8188 --length 20 --steps 8
|
|
40
|
+
genmodelfit bench 3d_hunyuan3d_image_to_model --url http://127.0.0.1:8188 --steps 15
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
`--url` は必ず指定します(既定の URL は持ちません。間違えてほかの ComfyUI に送らないため)。
|
|
44
|
+
|
|
45
|
+
テンプレートと設定:
|
|
46
|
+
|
|
47
|
+
- `<template>` は ComfyUI 公式テンプレートの名前です(`genmodelfit info <名前>` で一覧の ID を確かめられます)。
|
|
48
|
+
- ワークフローは ComfyUI が持つテンプレート、無ければ GitHub の公式テンプレートから作ります。
|
|
49
|
+
- 自分のワークフローで測るときは、ComfyUI の「API 形式で書き出し」で保存した JSON を `--workflow` で渡します。
|
|
50
|
+
- 設定は `--resolution 幅x高さ`(または `--width` `--height`)、`--frames`、`--length 秒`(音声)、`--steps` で変えます。
|
|
51
|
+
- ほかの入力は `--set 入力の名前=値` で変えられます(同じ名前の入力すべてが変わります)。
|
|
52
|
+
- 次の 2 つの場合、結果は「標準でない」(`standard: false`)として記録され、見積もりには使われません: `--set` で大きさ・長さ・ステップ数・seed 以外を変えたとき、`--workflow` を使ったとき。
|
|
53
|
+
- `--set` の値は、数値だけを `note` に残します(文字列はプロンプトのことがあるので、名前だけを残します)。
|
|
54
|
+
- 既存の実測(`src/genmodelfit/data/measurements.json`)と同じ設定で測ると比べやすくなります。
|
|
55
|
+
|
|
56
|
+
モデルの読み込みとキャッシュ:
|
|
57
|
+
|
|
58
|
+
- 既定では `/free` を送りません(ほかの人が読み込んだモデルを外さないため)。
|
|
59
|
+
- 読み込み済みのモデルがあると、その分が結果に混ざることがあります。そのときは bench が注意を出し、`note` に開始前の量を残します。
|
|
60
|
+
- **自分だけが使う ComfyUI なら `--free` を付けてください**。モデルを外し、前の結果のキャッシュも消してから、読み込みから測ります。
|
|
61
|
+
- `--free` を付けずに前回と同じ内容を送ると、ComfyUI が前の結果を返して何も実行しないので、bench は測れなかったと表示します。
|
|
62
|
+
- 一部のノードだけが前の結果を使ったときは、その分のメモリを測れていないので「標準でない」になります。
|
|
63
|
+
- 測っている間に ComfyUI でほかの仕事が動いた、送ってから実行が始まるまで 10 秒以上かかった、というときも「標準でない」になります。
|
|
64
|
+
|
|
65
|
+
時間切れとファイル:
|
|
66
|
+
|
|
67
|
+
- 時間切れ(`--timeout 秒`、既定 1800)や Ctrl+C のときは、自分のプロンプトだけを取り消します。実行中なら prompt_id を付けて中断し、待っている間ならキューから消します。ほかの人の仕事は止めません。
|
|
68
|
+
- 入力の画像が要るテンプレート(画像から 3D など)は、公式テンプレートの画像を ComfyUI にアップロードします。上書きはしません。同じ名前の別の画像があれば ComfyUI が別の名前を付けます。
|
|
69
|
+
- 保存ノードの出力は ComfyUI の output フォルダの `genmodelfit_bench/` に入ります。要らなければ消してください。
|
|
70
|
+
|
|
71
|
+
### 何を測っているか
|
|
72
|
+
|
|
73
|
+
| 項目 | 測り方 |
|
|
74
|
+
|---|---|
|
|
75
|
+
| `peak_vram_gb` | 生成中に `/system_stats` を 0.2 秒ごとに読み、torch が確保した量(`torch_vram_total`)の最大値。ComfyUI のプロセスの分で、CUDA の文脈(約 0.3〜0.5 GB)は含みません。`torch_vram_total` が取れないときは GPU 全体の増分で代え、警告を残します |
|
|
76
|
+
| `note` の「GPU 全体の増分」 | GPU 全体の使用量(`nvidia-smi`。NVIDIA 以外は上の道具、約 1 秒ごと)の最大値から開始前の値を引いたもの。ほかのアプリの増減も入ります。道具が無ければ書きません |
|
|
77
|
+
| `peak_ram_gb` | ポートで待ち受けている ComfyUI のプロセス(と子プロセス)の常駐メモリの最大値。コマンドラインに `main.py` か `comfy` を含むプロセスだけを数えます。ComfyUI が別の PC のとき・プロセスを特定できないときは空です |
|
|
78
|
+
| `seconds` | ワークフローを送ってから終わるまで(モデルの読み込みを含む)。ComfyUI が数えた実行時間は `note` に入ります |
|
|
79
|
+
| `offload` | ComfyUI のログから読みます: `dynamic`(動的 VRAM)/ `partial`(一部だけ GPU に載せた)/ `lowvram`(`--lowvram` などの起動オプション)/ `none`(全部載った)/ `oom`(メモリ不足で失敗)。分からなければ空 |
|
|
80
|
+
| `gpu_vram_gb` | `/system_stats` の VRAM の総量を GiB で、小数 2 桁まで丸めた値(公称 8 GB の GPU なら 8.0 前後)。同梱の古い行は公称の値(`16` など)です |
|
|
81
|
+
| `outcome` | `ok`(最後まで動いた)/ `oom`(メモリ不足で失敗)/ `error`(ほかの理由で失敗) |
|
|
82
|
+
| `standard` | 公式テンプレートのまま(大きさ・長さ・ステップ数・seed だけを変えた)で、ほかの仕事が混ざらず、全部のノードを実行したか |
|
|
83
|
+
|
|
84
|
+
メモリ不足(OOM)のデータも歓迎します(「この GPU では動かない」という大事なデータです)。ただし必ず `outcome: "oom"` のまま送ってください。
|
|
85
|
+
|
|
86
|
+
- bench は失敗した結果を表示するだけで、キャッシュには保存しません(キャッシュの実測は、その PC の見積もりにすぐ使われるため)。
|
|
87
|
+
- 保存するときは `--save-failed`(キャッシュへ)か `--output パス` を付けます。
|
|
88
|
+
- 「標準でない」結果も同じで、`--save-nonstandard` か `--output` で保存できます。
|
|
89
|
+
- 見積もりは `outcome` が `ok` で `standard` が `true` の実測だけを使います。
|
|
90
|
+
|
|
91
|
+
## 2. 提出用の JSON を作る
|
|
92
|
+
|
|
93
|
+
自分のフォーク(GitHub の Fork)を手元に clone し、そのフォルダで bench に `--submission` を付けて測ります。clone したフォルダで `pip install -e .` すると、CI と同じ main の版で `contrib validate` を流せます。
|
|
94
|
+
|
|
95
|
+
```powershell
|
|
96
|
+
git clone https://github.com/<あなたの名前>/genmodelfit
|
|
97
|
+
cd genmodelfit
|
|
98
|
+
pip install -e .
|
|
99
|
+
genmodelfit bench image_sdxl_simple --url http://127.0.0.1:8188 --resolution 832x832 --submission data/contrib/
|
|
100
|
+
```
|
|
101
|
+
|
|
102
|
+
- 書くのは提出ファイル(`contrib_schema` 1)です。`--submission` にフォルダを渡すと、`data/contrib/<GPU>/<日付>-<sha8>.json` という名前で書きます。例: `data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json`(`sha8` は中身の sha256 の先頭 8 桁(16 進))。ファイル名を渡せばその名前で書きます。
|
|
103
|
+
- フォルダは末尾に `/` を付けて渡してください(`data/contrib/`)。最初の提出ではまだフォルダが無く、`/` が無いと `data/contrib` という名前のファイルになります。
|
|
104
|
+
- 前に測って保存した結果(`<キャッシュ>/measurements/….json` や `--output` のファイル)からも作れます: `genmodelfit contrib make --from <bench の結果> --output data/contrib/`
|
|
105
|
+
- ComfyUI が別の PC だったときは `--no-pc-info` を付けると、この PC の OS・メモリ・GPU の世代を入れません。
|
|
106
|
+
- 失敗(OOM)の結果も、そのまま出してください。標準でない条件の結果は記録として受け付けますが、まとめには使いません。
|
|
107
|
+
|
|
108
|
+
### 入るもの・入らないもの
|
|
109
|
+
|
|
110
|
+
| 入るもの | 例 |
|
|
111
|
+
|---|---|
|
|
112
|
+
| GPU の名前・VRAM の総量・世代・compute capability・ドライバの版(世代と compute capability は NVIDIA だけ) | `NVIDIA GeForce RTX 3070`, `8.0`, `ampere`, `8.6`, `566.03` |
|
|
113
|
+
| GPU の会社と PyTorch の backend(0.9.0 の bench から) | `amd` と `rocm`、`intel` と `xpu`、`apple` と `mps`、`nvidia` と `cuda` |
|
|
114
|
+
| GPU の PCI の型番 ID(0.9.0。AMD・Intel で ComfyUI が同じ PC のときだけ。機種の番号で、個体・差し場所は表さない) | `1002:744c`(Radeon RX 7900 XTX。同じ機種ならどの PC でも同じ) |
|
|
115
|
+
| Apple の GPU はチップ名(0.9.0。system_profiler の名前の形に合うものだけ) | `Apple M2 Pro` |
|
|
116
|
+
| ComfyUI の版、OS の種類(版・ビルドは入れない)、メインメモリ(GiB の整数に丸める) | `0.40.0`, `windows`, `32` |
|
|
117
|
+
| モデル ID・設定・結果・最大 VRAM / メモリ・時間・載せ方・測り方 | `image_sdxl_simple`, `832x832`, `ok`, `6.9` … |
|
|
118
|
+
| 日付(UTC の日付だけ) | `2026-10-21` |
|
|
119
|
+
| メモ(`note`。bench が書いた測り方の説明) | パス・URL・PC 名・ユーザ名・メール・UUID・IP・時刻らしい文字を含む文は、文ごと消す |
|
|
120
|
+
|
|
121
|
+
**入らないもの**: PC の名前、ユーザー名、フォルダのパス、GPU の UUID、PCI の差し場所(バス番号。型番 ID とは別物)、シリアル番号、IP / MAC アドレス、CPU の名前、時刻、bench の `--source` に書いた文、プロンプト。
|
|
122
|
+
決まった項目以外は CI の検査で断ります。
|
|
123
|
+
ただし自動の点検は文字の形を見るだけで、`note` に普通の言葉で書いた名前(「山田太郎の PC で測った」など)や、base64 などで書き換えたパスは見分けられません。手順 3 で自分で読んでください。
|
|
124
|
+
|
|
125
|
+
## 3. 中身を確かめる
|
|
126
|
+
|
|
127
|
+
送る前に必ず行ってください。
|
|
128
|
+
|
|
129
|
+
```powershell
|
|
130
|
+
genmodelfit contrib show data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json
|
|
131
|
+
```
|
|
132
|
+
|
|
133
|
+
ファイルの中身をすべて読める形で出し、個人の情報の点検の結果を `[ok]` / `[NG]` で出します。点検では、パス・PC 名・ユーザ名・UUID・PCI・IP・URL・メール・時刻・知らない項目が無いかを見て、この PC の名前・ユーザ名が入っていないかも見ます。
|
|
134
|
+
|
|
135
|
+
- `[NG]` があれば、直してから出してください。手で書き換えたら名前の `sha8` が変わるので、`contrib validate` が正しい名前を教えます。
|
|
136
|
+
- **`note`(メモ)は自分で読んでください**。自動の点検は文の意味までは分かりません。気になる文は消して構いません。
|
|
137
|
+
- `genmodelfit contrib validate data/contrib` で、CI と同じ検査を手元で動かせます。
|
|
138
|
+
- 失敗(誤り)にするのは、機械的な検査(形・値の範囲・個人の情報・重複・ファイル名)だけです(llmfit と同じ考え方。2026-10-22)。
|
|
139
|
+
- 「確認」(notices)は失敗にはせず、表示するだけです。対象は次のとおりです: 式の見積もりから 40% より外れた値、全部 GPU に載せた(`offload: none`)のに下限(重み + 固定分)より小さい値、同じ GPU の PC(VRAM は提出の値と、同じ名前で VRAM の違う版の値。それぞれメモリ 16 / 32 / 64 GB)で段階を変える値、一覧に無いモデル、知らない GPU。
|
|
140
|
+
- 「確認」はジョブのまとめの上に出し、PR をマージする人が見ます。事情があれば PR の説明に書いてください(測り直しをお願いすることがあります)。
|
|
141
|
+
|
|
142
|
+
## 4. Pull Request で送る
|
|
143
|
+
|
|
144
|
+
1. 足すのは `data/contrib/<GPU>/<日付>-<sha8>.json` のファイルだけにします。
|
|
145
|
+
- ほかのファイルは変えません(コードの変更は別の PR に)。
|
|
146
|
+
- data/contrib の外のファイルを変えた PR は、`Contrib` のワークフローが失敗にします。
|
|
147
|
+
2. ブランチを作ってコミットし、自分のフォークに push します:
|
|
148
|
+
|
|
149
|
+
```powershell
|
|
150
|
+
git switch -c contrib/<GPU>-<モデル>
|
|
151
|
+
git add data/contrib/<GPU>/<日付>-<sha8>.json
|
|
152
|
+
git commit -m "contrib: <GPU> <モデル>"
|
|
153
|
+
git push -u origin HEAD
|
|
154
|
+
```
|
|
155
|
+
|
|
156
|
+
GitHub で laxshmate/genmodelfit の main に向けて Pull Request を作ります。
|
|
157
|
+
- 説明に、ComfyUI の起動オプション(`--lowvram` など、変えたものだけ)を書いてもらえると助かります。
|
|
158
|
+
- 個人名やメールアドレスは不要です。
|
|
159
|
+
- 初めての人の PR は、メンテナがワークフローの実行を許すまで CI が動かないことがあります。
|
|
160
|
+
3. CI(`Contrib` のワークフロー)が `genmodelfit contrib validate` で形・値の範囲・個人の情報・重複・ファイル名を検査し、結果をジョブのまとめ(Summary)に出します。
|
|
161
|
+
- `contrib aggregate --report` の結果もまとめに出します。
|
|
162
|
+
- 検査は、PR の向き先(main)の genmodelfit で動きます。
|
|
163
|
+
- マージがメンテナの確認になります(人が提出ごとに承認する別の仕組みはありません)。
|
|
164
|
+
|
|
165
|
+
**genmodelfit は実測を送りません**。共有されるのは、あなたが自分の GitHub で出した Pull Request の中身だけです(自動で PR を作る機能はありません)。マージされると、提出は MPL-2.0 で公開されます(下の「[ライセンス](#ライセンス)」)。
|
|
166
|
+
|
|
167
|
+
### 受け付けたあと
|
|
168
|
+
|
|
169
|
+
- メンテナが `genmodelfit contrib aggregate --output src/genmodelfit/data/measurements_community.json` で、同じモデル・設定・GPU の提出をまとめます(中央値と MAD で外れ値を除く)。
|
|
170
|
+
- 使うのは**測った GPU と同じ GPU の PC だけ**です。ほかの GPU の PC の判定は変わりません(0.9.1。llmfit と同じ考え方)。「同じ GPU」とは次のとおりです:
|
|
171
|
+
- PCI の型番 ID が同じ(両方にあるとき)。無ければ、そろえた名前が同じ(汎用の名前は一致としない)。
|
|
172
|
+
- かつ、VRAM の総量の比が 0.97 以上。RTX 4060 Ti の 8 GB と 16 GB は別の GPU として扱います。
|
|
173
|
+
- その PC では **1 件から**、その構成の見積もりの根拠が `measured_community`(ほかの利用者の実測)になり、件数(`sample_count`)も出ます。
|
|
174
|
+
- 値は必要量を下げる向きにも上げる向きにも使います。全部載せの値は重み + 固定分より下げず、GPU の総量より上げません。
|
|
175
|
+
- 同じ GPU の同じ設定の実測は、段階を決める根拠にもなります。NVIDIA 以外の GPU も、その GPU の実測があれば Good の上限が外れます。詳しくは [docs/accuracy.ja.md](docs/accuracy.ja.md) を見てください。
|
|
176
|
+
- 提出の PR では、`Contrib` のワークフローが `contrib aggregate --report` の結果をまとめに出します。校正の表(calibration.json・[docs/accuracy.ja.md](docs/accuracy.ja.md))は、メンテナが実測を取り込むときに `python -m genmodelfit.calibrate` で作り直します。
|
|
177
|
+
|
|
178
|
+
### 作者の実測(measurements.json)
|
|
179
|
+
|
|
180
|
+
同梱の `src/genmodelfit/data/measurements.json` はメンテナが測った実測です。項目は docs/schema.ja.md の「[Measurement](docs/schema.ja.md#measurement--実測)」の節、提出の形は「[contrib](docs/schema.ja.md#contrib)」の節にあります。利用者の実測は data/contrib に出してください(measurements.json は直接変えない)。
|
|
181
|
+
|
|
182
|
+
## そのほかの変更
|
|
183
|
+
|
|
184
|
+
コードの変更も歓迎します。
|
|
185
|
+
|
|
186
|
+
- 依存を足すときは MIT / Apache-2.0 / BSD のものだけにしてください(このツールを組み込むアプリがソースを公開せずに配布するため)。
|
|
187
|
+
- ComfyUI のコード(GPL-3.0)は import せず、HTTP だけで話します。
|
|
188
|
+
- 新しい `.py` ファイルの先頭には、ほかのファイルと同じ MPL-2.0 の表示(3 行)を入れてください。
|
|
189
|
+
- 送る前に `python tools/ci_local.py` で、CI と同じ検査(Python 3.10〜3.13 の試験・ruff・配布物)を手元で通してください。要るのは [uv](https://docs.astral.sh/uv/) だけです。Windows からは `--linux` で WSL の中でも流せます。
|
|
190
|
+
- フォークからの PR では GitHub の CI も動きます。
|
|
191
|
+
|
|
192
|
+
## ライセンス
|
|
193
|
+
|
|
194
|
+
genmodelfit のコードと同梱のデータ(db.json・実測・係数)は [MPL-2.0](https://github.com/laxshmate/genmodelfit/blob/main/LICENSE) です。
|
|
195
|
+
|
|
196
|
+
- 送っていただく修正・実測・データも、**MPL-2.0 で出していただいたものとして受け入れます**(プロジェクトのほかの部分と同じ。inbound = outbound)。
|
|
197
|
+
- Pull Request を出すことで、これに同意したことになります。
|
|
198
|
+
- CLA(著作権の譲渡や追加の許諾の書類)はありません。
|
|
199
|
+
- 自分で書いたもの、または MPL-2.0 で出してよいものだけを送ってください。
|
|
@@ -0,0 +1,199 @@
|
|
|
1
|
+
# Contributing measurements
|
|
2
|
+
|
|
3
|
+
**English** · [日本語](CONTRIBUTING.ja.md)
|
|
4
|
+
|
|
5
|
+
genmodelfit prefers a value measured on a real PC (a measurement) over its estimate. The more GPUs are measured, the more accurate the estimates get.
|
|
6
|
+
This page is for anyone who wants to send the result of `genmodelfit bench` as a pull request. It also lists the rules for other changes.
|
|
7
|
+
For terms, see [README.md](README.md).
|
|
8
|
+
|
|
9
|
+
## Contents
|
|
10
|
+
|
|
11
|
+
- [1. Measure](#1-measure)
|
|
12
|
+
- [2. Create the submission JSON](#2-create-the-submission-json)
|
|
13
|
+
- [3. Check the contents](#3-check-the-contents)
|
|
14
|
+
- [4. Send a pull request](#4-send-a-pull-request)
|
|
15
|
+
- [Other changes](#other-changes)
|
|
16
|
+
- [License](#license)
|
|
17
|
+
|
|
18
|
+
In short: install `genmodelfit>=0.9.1` (or `pip install -e .` in your clone, so that local checks match CI), run `genmodelfit bench` against your own ComfyUI in a clone of your fork, check the file with `genmodelfit contrib show`, and open a pull request that adds only that file.
|
|
19
|
+
**genmodelfit itself never sends anything**; sharing happens only through the pull request you open.
|
|
20
|
+
|
|
21
|
+
## 1. Measure
|
|
22
|
+
|
|
23
|
+
1. Start ComfyUI (the one you normally use is fine). Measure **when no other generation is running**.
|
|
24
|
+
- bench does not measure while the queue has jobs (it checks twice: before starting and just before sending).
|
|
25
|
+
- It also stops when GPU utilization (averaged over about 2 seconds) is 30% or more.
|
|
26
|
+
- Utilization is read with `nvidia-smi` on NVIDIA, `amd-smi` or `rocm-smi` (Linux) on AMD, `xpu-smi` (Linux) on Intel, Windows performance counters for AMD and Intel on Windows, and `ioreg` on Apple.
|
|
27
|
+
- If the GPU's free state cannot be checked, bench stops instead of continuing silently (`--force` lets you measure anyway). Examples: no `nvidia-smi` on NVIDIA, several GPUs with the same name so it is unclear which one, or ComfyUI on another PC.
|
|
28
|
+
- If a non-NVIDIA PC has no tool to read utilization, bench does not stop. It only checks that the ComfyUI queue is empty and that no app other than ComfyUI uses more than half of the GPU memory, and leaves a warning and a `note`. Close other apps (games, video export, and so on) before measuring.
|
|
29
|
+
- **Measurements on AMD, Intel and Apple GPUs are especially welcome.** They have no measurements yet, so their levels are capped at Good. Measurements of the same configuration let us tighten the estimates.
|
|
30
|
+
2. Put the model files the template uses into ComfyUI's `models` folder.
|
|
31
|
+
- If files are missing, bench shows which ones.
|
|
32
|
+
- `genmodelfit download <template name> --comfyui-dir <ComfyUI folder>` downloads the files in the list into ComfyUI's models folder (checked with sha256). It does not download files whose license is unknown, or gated files.
|
|
33
|
+
3. Measure:
|
|
34
|
+
|
|
35
|
+
```powershell
|
|
36
|
+
pip install -U "genmodelfit>=0.9.1"
|
|
37
|
+
genmodelfit bench image_z_image_turbo_int8 --url http://127.0.0.1:8188 --resolution 768x768 --steps 6
|
|
38
|
+
genmodelfit bench text_to_video_wan --url http://127.0.0.1:8188 --resolution 512x512 --frames 49 --steps 20
|
|
39
|
+
genmodelfit bench audio_ace_step_1_5_checkpoint --url http://127.0.0.1:8188 --length 20 --steps 8
|
|
40
|
+
genmodelfit bench 3d_hunyuan3d_image_to_model --url http://127.0.0.1:8188 --steps 15
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
Always pass `--url` (there is no default URL, so you cannot send to another ComfyUI by mistake).
|
|
44
|
+
|
|
45
|
+
Template and settings:
|
|
46
|
+
|
|
47
|
+
- `<template>` is the name of an official ComfyUI template (`genmodelfit info <name>` shows the ID in the list).
|
|
48
|
+
- The workflow is built from the template ComfyUI has, or else from the official template on GitHub.
|
|
49
|
+
- To measure your own workflow, save it with "Export (API)" in ComfyUI and pass the JSON with `--workflow`.
|
|
50
|
+
- Change settings with `--resolution WIDTHxHEIGHT` (or `--width` and `--height`), `--frames`, `--length SECONDS` (audio) and `--steps`.
|
|
51
|
+
- Change other inputs with `--set INPUT_NAME=VALUE` (every input with that name changes).
|
|
52
|
+
- A result is recorded as "non-standard" (`standard: false`) and is not used for estimates in two cases: you changed anything other than size, length, steps and seed with `--set`, or you used `--workflow`.
|
|
53
|
+
- For `--set`, only numeric values are kept in `note`. For strings only the name is kept, since a string may be a prompt.
|
|
54
|
+
- Measuring with the same settings as an existing measurement (`src/genmodelfit/data/measurements.json`) makes comparison easier.
|
|
55
|
+
|
|
56
|
+
Model loading and caching:
|
|
57
|
+
|
|
58
|
+
- By default bench does not send `/free`, so it does not unload models other people loaded.
|
|
59
|
+
- If models are already loaded, their share can end up in the result. bench then shows a warning and leaves the amount before the start in `note`.
|
|
60
|
+
- **If the ComfyUI is only yours, add `--free`.** It unloads models and clears the cache of earlier results, then measures from loading.
|
|
61
|
+
- If you send the same content again without `--free`, ComfyUI returns the earlier result and runs nothing, so bench reports that it could not measure.
|
|
62
|
+
- If only some nodes reused earlier results, the memory for those nodes was not measured, so the result is "non-standard".
|
|
63
|
+
- The result is also "non-standard" if other jobs ran in ComfyUI during the measurement, or if the run took 10 seconds or more to start after sending.
|
|
64
|
+
|
|
65
|
+
Timeout and files:
|
|
66
|
+
|
|
67
|
+
- On timeout (`--timeout SECONDS`, default 1800) or Ctrl+C, bench cancels only its own prompt. It interrupts it with the prompt_id if running, or removes it from the queue if waiting. It does not stop other people's jobs.
|
|
68
|
+
- For templates that need an input image (such as image to 3D), bench uploads the official template's image to ComfyUI. It never overwrites: if a different image has the same name, ComfyUI gives a new name.
|
|
69
|
+
- Output of save nodes goes to `genmodelfit_bench/` in ComfyUI's output folder. Delete it if you do not need it.
|
|
70
|
+
|
|
71
|
+
### What is measured
|
|
72
|
+
|
|
73
|
+
| Field | How it is measured |
|
|
74
|
+
|---|---|
|
|
75
|
+
| `peak_vram_gb` | Reads `/system_stats` every 0.2 seconds during generation and takes the maximum of the amount torch allocated (`torch_vram_total`). This is the ComfyUI process's share and does not include the CUDA context (about 0.3 to 0.5 GB). If `torch_vram_total` is unavailable, the increase over the whole GPU is used instead and a warning is left. |
|
|
76
|
+
| "GPU-wide increase" in `note` | The maximum total GPU usage (`nvidia-smi`; the tool above for non-NVIDIA, about every 1 second) minus the value before the start. Changes by other apps are included. Not written if there is no tool. |
|
|
77
|
+
| `peak_ram_gb` | Maximum resident memory of the ComfyUI process (and its child processes) listening on the port. Only processes whose command line contains `main.py` or `comfy` are counted. Empty if ComfyUI is on another PC or the process cannot be identified. |
|
|
78
|
+
| `seconds` | From sending the workflow to its end (including model loading). The run time ComfyUI counted goes into `note`. |
|
|
79
|
+
| `offload` | Read from the ComfyUI log: `dynamic` (dynamic VRAM) / `partial` (only part was put on the GPU) / `lowvram` (a startup option such as `--lowvram`) / `none` (everything fit) / `oom` (failed from out of memory). Empty if unknown. |
|
|
80
|
+
| `gpu_vram_gb` | Total VRAM from `/system_stats` in GiB, rounded to 2 decimals (about 8.0 for a nominal 8 GB GPU). Old bundled rows hold the nominal value (such as `16`). |
|
|
81
|
+
| `outcome` | `ok` (ran to the end) / `oom` (failed from out of memory) / `error` (failed for another reason) |
|
|
82
|
+
| `standard` | Whether the official template was kept as is (only size, length, steps and seed changed), no other job got mixed in, and all nodes were executed. |
|
|
83
|
+
|
|
84
|
+
Out-of-memory (OOM) data is welcome too: it is important data saying "this GPU cannot run it". Always send it with `outcome: "oom"` unchanged.
|
|
85
|
+
|
|
86
|
+
- bench only shows a failed result and does not save it to the cache (cached measurements are used for estimates on that PC right away).
|
|
87
|
+
- To save it, add `--save-failed` (to the cache) or `--output PATH`.
|
|
88
|
+
- "Non-standard" results are the same: save them with `--save-nonstandard` or `--output`.
|
|
89
|
+
- Estimates use only measurements with `outcome` `ok` and `standard` `true`.
|
|
90
|
+
|
|
91
|
+
## 2. Create the submission JSON
|
|
92
|
+
|
|
93
|
+
Clone your fork (GitHub Fork) and run bench with `--submission` in that folder. Running `pip install -e .` in the clone lets you run `contrib validate` with the same main version as CI.
|
|
94
|
+
|
|
95
|
+
```powershell
|
|
96
|
+
git clone https://github.com/<your-name>/genmodelfit
|
|
97
|
+
cd genmodelfit
|
|
98
|
+
pip install -e .
|
|
99
|
+
genmodelfit bench image_sdxl_simple --url http://127.0.0.1:8188 --resolution 832x832 --submission data/contrib/
|
|
100
|
+
```
|
|
101
|
+
|
|
102
|
+
- The file is a submission file (`contrib_schema` 1). If you pass a folder to `--submission`, the file is written as `data/contrib/<GPU>/<date>-<sha8>.json`. Example: `data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json`, where `sha8` is the first 8 hex digits of the content's sha256. If you pass a file name, it is written under that name.
|
|
103
|
+
- Pass the folder with a trailing `/` (`data/contrib/`). On a first submission the folder does not exist yet, and without the `/` a file named `data/contrib` is created.
|
|
104
|
+
- You can also create it from a result you measured and saved earlier (`<cache>/measurements/....json` or a file from `--output`): `genmodelfit contrib make --from <bench result> --output data/contrib/`
|
|
105
|
+
- If ComfyUI was on another PC, add `--no-pc-info` to leave out this PC's OS, memory and GPU generation.
|
|
106
|
+
- Submit failed (OOM) results as they are. Results under non-standard conditions are accepted as records but not used in aggregation.
|
|
107
|
+
|
|
108
|
+
### What goes in and what does not
|
|
109
|
+
|
|
110
|
+
| Goes in | Example |
|
|
111
|
+
|---|---|
|
|
112
|
+
| GPU name, total VRAM, generation, compute capability, driver version (generation and compute capability only on NVIDIA) | `NVIDIA GeForce RTX 3070`, `8.0`, `ampere`, `8.6`, `566.03` |
|
|
113
|
+
| GPU vendor and PyTorch backend (from the 0.9.0 bench) | `amd` and `rocm`, `intel` and `xpu`, `apple` and `mps`, `nvidia` and `cuda` |
|
|
114
|
+
| GPU PCI model ID (0.9.0; only for AMD and Intel with ComfyUI on the same PC; a model number that does not identify the unit or the slot) | `1002:744c` (Radeon RX 7900 XTX; the same on any PC with that model) |
|
|
115
|
+
| Apple GPU chip name (0.9.0; only names matching the system_profiler form) | `Apple M2 Pro` |
|
|
116
|
+
| ComfyUI version, OS family (no version or build), main memory (rounded to an integer GiB) | `0.40.0`, `windows`, `32` |
|
|
117
|
+
| Model ID, settings, result, peak VRAM / memory, time, how it was loaded, how it was measured | `image_sdxl_simple`, `832x832`, `ok`, `6.9` ... |
|
|
118
|
+
| Date (UTC date only) | `2026-10-21` |
|
|
119
|
+
| Note (`note`: bench's description of how it measured) | A sentence containing something that looks like a path, URL, PC name, user name, email, UUID, IP or time is removed as a whole |
|
|
120
|
+
|
|
121
|
+
**What does not go in**: PC name, user name, folder paths, GPU UUID, PCI slot address (bus number; different from the model ID), serial numbers, IP / MAC addresses, CPU name, time, the text given to bench's `--source`, and prompts.
|
|
122
|
+
Fields other than the defined ones are rejected by the CI check.
|
|
123
|
+
However, the automatic check looks only at the shape of the text. It cannot spot a name written in ordinary words in `note` (such as "measured on Taro Yamada's PC") or a path rewritten with base64 and the like. Read the file yourself in step 3.
|
|
124
|
+
|
|
125
|
+
## 3. Check the contents
|
|
126
|
+
|
|
127
|
+
Always do this before sending.
|
|
128
|
+
|
|
129
|
+
```powershell
|
|
130
|
+
genmodelfit contrib show data/contrib/rtx-3070/2026-10-21-1a2b3c4d.json
|
|
131
|
+
```
|
|
132
|
+
|
|
133
|
+
This prints everything in the file in readable form, and prints the result of a privacy checklist as `[ok]` / `[NG]`. The checklist looks for paths, PC name, user name, UUID, PCI, IP, URL, email, time and unknown fields, and also checks that this PC's name and user name are not in the file.
|
|
134
|
+
|
|
135
|
+
- If there is an `[NG]`, fix it before sending. If you edit the file by hand, the `sha8` in its name changes, and `contrib validate` tells you the correct name.
|
|
136
|
+
- **Read the `note` yourself.** The automatic check does not understand what a sentence means. You may delete any sentence you are unsure about.
|
|
137
|
+
- `genmodelfit contrib validate data/contrib` runs the same check as CI on your PC.
|
|
138
|
+
- Only mechanical checks (shape, value range, personal information, duplicates, file name) make a submission fail (the same approach as llmfit; 2026-10-22).
|
|
139
|
+
- Notices are shown but do not fail. They are: a value more than 40% off the estimate by the formula; a value smaller than the lower bound (weights + fixed part) although everything was put on the GPU (`offload: none`); a value that changes the level on a PC with the same GPU (checked with the submission's VRAM and with variants of the same name that have different VRAM, each with 16 / 32 / 64 GB of memory); a model not in the list; and an unknown GPU.
|
|
140
|
+
- Notices are shown above the job summary, and the person who merges the PR reads them. If there is a reason, write it in the PR description (you may be asked to measure again).
|
|
141
|
+
|
|
142
|
+
## 4. Send a pull request
|
|
143
|
+
|
|
144
|
+
1. Add only `data/contrib/<GPU>/<date>-<sha8>.json`.
|
|
145
|
+
- Do not change other files (put code changes in a separate PR).
|
|
146
|
+
- The `Contrib` workflow fails a PR that changes files outside data/contrib.
|
|
147
|
+
2. Create a branch, commit, and push to your fork:
|
|
148
|
+
|
|
149
|
+
```powershell
|
|
150
|
+
git switch -c contrib/<GPU>-<model>
|
|
151
|
+
git add data/contrib/<GPU>/<date>-<sha8>.json
|
|
152
|
+
git commit -m "contrib: <GPU> <model>"
|
|
153
|
+
git push -u origin HEAD
|
|
154
|
+
```
|
|
155
|
+
|
|
156
|
+
Then create a pull request on GitHub against main of laxshmate/genmodelfit.
|
|
157
|
+
- It helps if the description lists the ComfyUI startup options (such as `--lowvram`; only those you changed).
|
|
158
|
+
- A personal name or email address is not needed.
|
|
159
|
+
- For a first-time contributor, CI may not run until a maintainer allows the workflow.
|
|
160
|
+
3. CI (the `Contrib` workflow) runs `genmodelfit contrib validate` to check shape, value range, personal information, duplicates and file name, and writes the result to the job summary (Summary).
|
|
161
|
+
- It also writes the result of `contrib aggregate --report` to the summary.
|
|
162
|
+
- The check runs with genmodelfit from the PR's target (main).
|
|
163
|
+
- The merge is the maintainer's review (there is no separate mechanism where a person approves each submission).
|
|
164
|
+
|
|
165
|
+
**genmodelfit does not send measurements.** The only thing shared is the content of the pull request you open on your own GitHub (there is no feature that creates a PR automatically). Once merged, the submission is published under MPL-2.0 (see [License](#license) below).
|
|
166
|
+
|
|
167
|
+
### After it is accepted
|
|
168
|
+
|
|
169
|
+
- The maintainer groups submissions with the same model, settings and GPU using `genmodelfit contrib aggregate --output src/genmodelfit/data/measurements_community.json` (outliers are removed with the median and MAD).
|
|
170
|
+
- Only **PCs with the same GPU as the measured one** use the result. Judgments for PCs with other GPUs do not change (0.9.1; the same approach as llmfit). "Same GPU" means:
|
|
171
|
+
- the PCI model ID is the same (when both have it), otherwise the normalized name is the same (a generic name is not counted as a match), and
|
|
172
|
+
- the ratio of total VRAM is 0.97 or more. An 8 GB and a 16 GB RTX 4060 Ti are treated as different GPUs.
|
|
173
|
+
- On such a PC, **from 1 submission** the basis of the estimate for that configuration becomes `measured_community` (other users' measurements), and the count (`sample_count`) is shown.
|
|
174
|
+
- The value is used in both directions, lowering or raising the required amount. A value for everything on the GPU is never lowered below weights + fixed part, and never raised above the GPU's total.
|
|
175
|
+
- A measurement of the same GPU and the same settings also becomes grounds for deciding the level. For GPUs other than NVIDIA, the Good cap is lifted if that GPU has a measurement. See [docs/accuracy.md](docs/accuracy.md) for details.
|
|
176
|
+
- For a submission PR, the `Contrib` workflow shows the result of `contrib aggregate --report` in the summary. The calibration table (calibration.json, [docs/accuracy.md](docs/accuracy.md)) is rebuilt by a maintainer with `python -m genmodelfit.calibrate` when importing measurements.
|
|
177
|
+
|
|
178
|
+
### Maintainer measurements (measurements.json)
|
|
179
|
+
|
|
180
|
+
The bundled `src/genmodelfit/data/measurements.json` holds the measurements the maintainer made. Its fields are in the [Measurement](docs/schema.md#measurement) section of docs/schema.md, and the submission format is in the [contrib](docs/schema.md#contrib) section. Send users' measurements to data/contrib (do not edit measurements.json directly).
|
|
181
|
+
|
|
182
|
+
## Other changes
|
|
183
|
+
|
|
184
|
+
Code changes are welcome too.
|
|
185
|
+
|
|
186
|
+
- When adding a dependency, use only MIT / Apache-2.0 / BSD ones (apps that embed this tool distribute without publishing their source).
|
|
187
|
+
- Do not import ComfyUI code (GPL-3.0); talk to it over HTTP only.
|
|
188
|
+
- Put the same 3-line MPL-2.0 notice as in other files at the top of every new `.py` file.
|
|
189
|
+
- Before sending, run `python tools/ci_local.py` to pass the same checks as CI on your PC (tests on Python 3.10 to 3.13, ruff, and the package). You only need [uv](https://docs.astral.sh/uv/). On Windows, `--linux` also runs it inside WSL.
|
|
190
|
+
- For PRs from forks, GitHub's CI runs as well.
|
|
191
|
+
|
|
192
|
+
## License
|
|
193
|
+
|
|
194
|
+
The code of genmodelfit and the bundled data (db.json, measurements, coefficients) are under [MPL-2.0](https://github.com/laxshmate/genmodelfit/blob/main/LICENSE).
|
|
195
|
+
|
|
196
|
+
- Fixes, measurements and other data you send are accepted **as released under MPL-2.0**, like the rest of the project (inbound = outbound).
|
|
197
|
+
- By opening a pull request you agree to this.
|
|
198
|
+
- There is no CLA (a document assigning copyright or granting extra permission).
|
|
199
|
+
- Only submit work you wrote yourself or are allowed to release under MPL-2.0.
|