dsh-multimodal-node 0.0.0-stage → 0.3.1

package/lib/models.js

@@ -0,0 +1,322 @@
+/**
+ * 模型清单：从**本地磁盘**读，不问实例。
+ *
+ * 这条判据是 03 号插件用一整轮踩出来的，这里直接继承：
+ *
+ *   - 实例的 `/models` 只列 `folder_paths` 注册过的目录。`grounding-dino`、`insightface`、
+ *     `reactor`、`yolo` 明明在盘上却永远不出现，于是「按 API 列表做下拉」天生缺项。
+ *   - 实例按各自答一遍，两张卡共用一个 models 目录时每个文件出现两次。
+ *   - 设备睡着时实例什么都不答——而那正是有人在整理模型的时候。
+ *
+ * 一次 `readdir` 在本地答得同样完整，且不依赖服务活着。
+ *
+ * 扫描根有三个来源，优先级从高到低：
+ *
+ *   1. 实例自己的 `modelsRoot`（面板上「模型文件夹地址」填的那个）
+ *   2. 从实例的启动脚本推断（`<bat 所在目录>/ComfyUI/models`）
+ *   3. 全局附加扫描目录 `modelsScan.roots`（一份 ComfyUI 之外散落的模型也能纳入）
+ *
+ * 三者合并去重。**按实例查**时只用该实例的前两个来源——两个实例的 models 目录不一样时，
+ * 「GPU1 的模型列表」里出现 GPU0 独有文件会让人做错判断。
+ */
+import { readdirSync, statSync } from 'node:fs';
+import { basename, dirname, isAbsolute, join, resolve } from 'node:path';
+
+/** ComfyUI 认的权重扩展名。`.py` / `.json` / `.yaml` 是权重旁边的代码与配置，不是模型。 */
+const MODEL_FILE_EXT = /\.(safetensors|ckpt|pt|pth|bin|gguf|onnx|sft|pkl)$/i;
+
+/** 认得出来的 ComfyUI 模型目录名：用来判断「这个地址到底像不像一个 models 根」。 */
+const MODELS_FOLDER_NAMES = new Set([
+    'checkpoints', 'loras', 'vae', 'controlnet', 'clip', 'clip_vision', 'unet', 'diffusion_models',
+    'text_encoders', 'upscale_models', 'embeddings', 'hypernetworks', 'style_models', 'gligen',
+    'photomaker', 'ipadapter', 'instantid', 'insightface', 'reactor', 'yolo', 'grounding-dino',
+    'sam', 'sams', 'ultralytics', 'vae_approx', 'model_patches',
+]);
+
+/** 磁盘上什么都没有时的兜底清单：至少让下拉有一个正确的目录名可选。 */
+const FALLBACK_FOLDERS = [
+    ['checkpoints', '大模型 / Checkpoint'],
+    ['loras', 'LoRA'],
+    ['vae', 'VAE'],
+    ['controlnet', 'ControlNet'],
+    ['clip', 'CLIP'],
+    ['clip_vision', 'CLIP Vision'],
+    ['unet', 'UNet / Diffusion'],
+    ['diffusion_models', 'Diffusion Models'],
+    ['text_encoders', 'Text Encoders'],
+    ['upscale_models', '放大模型'],
+    ['embeddings', 'Embedding'],
+    ['hypernetworks', 'Hypernetwork'],
+    ['style_models', 'Style Models'],
+    ['gligen', 'GLIGEN'],
+    ['photomaker', 'PhotoMaker'],
+    ['ipadapter', 'IPAdapter'],
+    ['instantid', 'InstantID'],
+    ['insightface', 'InsightFace'],
+    ['reactor', 'ReActor'],
+    ['yolo', 'YOLO'],
+    ['grounding-dino', 'GroundingDINO'],
+    ['sam', 'SAM'],
+    ['sams', 'SAM'],
+    ['ultralytics', 'Ultralytics'],
+    ['vae_approx', 'VAE Approx'],
+    ['model_patches', 'Model Patches'],
+    ['configs', 'Configs'],
+    ['custom_nodes', 'Custom Nodes'],
+];
+
+/** 一个扫描根：路径 + 它是怎么来的（面板要能解释「这个目录为什么会出现」）。 */
+export function rootEntry(path, source, instanceId, label) {
+    return { path, source, instanceId: instanceId ?? null, label: label ?? null };
+}
+
+/**
+ * 一个实例自己声称的 models 根（不含全局附加目录）。
+ *
+ * 从**设置**读而不是从运行时读：`sync()` 会在设置变更时重建运行时对象，
+ * 而一个只改设置没 sync 的调用方（面板之外的编辑器、脚本）会继续拿到旧的 modelsRoot，
+ * 表现为「改了路径但列表没变」。
+ */
+export function instanceModelRoots(settingsValue, instanceId) {
+    const roots = [];
+    const rows = Array.isArray(settingsValue?.instances) ? settingsValue.instances : [];
+    for (const instance of rows) {
+        if (instance === null || typeof instance !== 'object') continue;
+        if (instance.enabled === false) continue;
+        if (instanceId !== undefined && instanceId !== null && instanceId !== '' && instance.id !== instanceId) continue;
+        const explicit = String(instance.modelsRoot ?? '').trim();
+        if (explicit !== '' && isAbsolute(explicit)) {
+            if (!roots.some((row) => row.path === explicit)) {
+                roots.push(rootEntry(explicit, 'instance', instance.id, instance.label ?? instance.id));
+            }
+            continue;
+        }
+        const bat = String(instance.control?.batPath ?? '').trim();
+        if (bat === '') continue;
+        // 便携版 ComfyUI 的固定布局：启动脚本坐在根目录，models 在它下面。
+        const inferred = join(dirname(bat), 'ComfyUI', 'models');
+        if (!roots.some((row) => row.path === inferred)) {
+            roots.push(rootEntry(inferred, 'launcher', instance.id, instance.label ?? instance.id));
+        }
+    }
+    return roots;
+}
+
+/** 全局附加扫描目录（与任何实例无关，纯手工指定的文件夹）。 */
+export function extraModelRoots(settingsValue) {
+    const rows = Array.isArray(settingsValue?.modelsScan?.roots) ? settingsValue.modelsScan.roots : [];
+    const roots = [];
+    for (const raw of rows) {
+        const text = String(raw ?? '').trim();
+        if (text === '' || !isAbsolute(text)) continue;
+        if (roots.some((row) => row.path === text)) continue;
+        roots.push(rootEntry(text, 'extra', null, basename(text)));
+    }
+    return roots;
+}
+
+/**
+ * 所有可解析的扫描根，去重，按来源顺序。
+ *
+ * 传 `instanceId` 时就只算那个实例的根 + 全局附加目录：一个实例的清单里
+ * 混进另一个实例独有目录的内容，会让「哪张卡有哪个模型」这个判断失效。
+ */
+export function localModelRoots(settingsValue, instanceId) {
+    const roots = instanceModelRoots(settingsValue, instanceId);
+    for (const row of extraModelRoots(settingsValue)) {
+        if (!roots.some((entry) => entry.path === row.path)) roots.push(row);
+    }
+    return roots.map((row) => row.path);
+}
+
+/** 同上，但带来源信息（面板要显示每个根是从哪来的）。 */
+export function localModelRootEntries(settingsValue, instanceId) {
+    const rows = instanceModelRoots(settingsValue, instanceId);
+    for (const row of extraModelRoots(settingsValue)) {
+        if (!rows.some((entry) => entry.path === row.path)) rows.push(row);
+    }
+    return rows;
+}
+
+/** 这个目录本身能不能当一个 models 根：存在、是目录、至少能列出一次。 */
+export function inspectModelDir(raw) {
+    const text = String(raw ?? '').trim();
+    if (text === '') return { ok: false, error: '没有填目录', path: '' };
+    if (!isAbsolute(text)) return { ok: false, error: '需要绝对路径', path: text };
+    const path = resolve(text);
+    let entries;
+    try {
+        entries = readdirSync(path, { withFileTypes: true });
+    } catch (error) {
+        const code = error?.code ?? '';
+        if (code === 'ENOENT') return { ok: false, error: '目录不存在', path };
+        if (code === 'EACCES' || code === 'EPERM') return { ok: false, error: '没有读取权限', path };
+        return { ok: false, error: String(error?.message ?? error), path };
+    }
+    /**
+     * 列子目录时**不过滤 models**。
+     *
+     * 上一版把 configs/datasets 与 models 一起当成「不是模型目录」跳过，
+     * 于是「用户填了 ComfyUI 根而不是 models 目录」这个最常见的错误反而检测不到——
+     * 本该出现的「下面还有一层 models」永远不触发。
+     * 过滤只该作用于「模型清单」，不该作用于「探测这个地址对不对」。
+     */
+    const dirs = [];
+    const files = [];
+    for (const entry of entries) {
+        if (entry.isDirectory()) {
+            dirs.push(entry.name);
+            continue;
+        }
+        if (entry.isFile() && MODEL_FILE_EXT.test(entry.name)) files.push(entry.name);
+    }
+    const looksLikeModels = dirs.some((name) => MODELS_FOLDER_NAMES.has(name)) || files.length > 0;
+    return {
+        ok: true,
+        path,
+        /** 看起来像不像一个 models 根：有一批已知的子目录，或直接躺着权重文件。 */
+        looksLikeModels,
+        /** 模型清单用的目录列表：这里才排除 configs/datasets（它们不装模型）。 */
+        folders: dirs.filter((name) => name !== 'configs' && name !== 'datasets').sort(),
+        allDirs: dirs.sort(),
+        looseFiles: files.sort().slice(0, 40),
+        /**
+         * 填高了时的提示。两种常见形态都要认：
+         *   .../ComfyUI            ← 下面直接是 models
+         *   .../ComfyUI-aki-v3.2   ← 下面是 ComfyUI，再下面才是 models
+         * 只认第一种会让「便携版根目录」这个最常见的填法得不到任何提示。
+         */
+        hint: dirs.includes('models')
+            ? '这个目录下面还有一层 models，可能应该填那一层'
+            : dirs.includes('ComfyUI')
+                ? '这个目录下面有 ComfyUI，再往里一层才是 models（…/ComfyUI/models）'
+                : null,
+    };
+}
+
+/** 每个根下的子目录名；一个都读不到时回落到内置清单。 */
+export function modelFolders(settingsValue, instanceId) {
+    const seen = new Set();
+    const rows = [];
+    for (const root of localModelRoots(settingsValue, instanceId)) {
+        let entries;
+        try {
+            entries = readdirSync(root, { withFileTypes: true });
+        } catch {
+            continue;
+        }
+        for (const entry of entries) {
+            if (!entry.isDirectory()) continue;
+            const name = entry.name;
+            if (seen.has(name)) continue;
+            // ComfyUI 把 configs / datasets 放在权重旁边，它们不装模型。
+            if (name === 'configs' || name === 'datasets') continue;
+            seen.add(name);
+            rows.push([name, name]);
+        }
+    }
+    if (rows.length === 0) return FALLBACK_FOLDERS.map(([id, label]) => [id, label]);
+    return rows.sort((left, right) => left[0].localeCompare(right[0]));
+}
+
+/**
+ * 一个目录里的文件，递归，返回 `子目录/文件名`。
+ *
+ * 只列权重：早期的「全部扩展名」规则让 `grounding-dino/` 里冒出 `GroundingDINO_SwinB.cfg.py`、
+ * `bert-base-uncased/` 里冒出 `vocab.txt`，选中就加载失败。白名单是诚实的规则。
+ */
+export function modelsInFolder(settingsValue, folder, instanceId) {
+    const name = String(folder ?? '').trim();
+    // 目录名是一个路径段：任何能跳出根的东西一律拒绝。
+    if (name === '' || name === '.' || name === '..' || /[\\/]/.test(name)) return [];
+    const found = new Set();
+    for (const root of localModelRoots(settingsValue, instanceId)) {
+        const dir = join(root, name);
+        const walk = (current, prefix, depth) => {
+            // 模型树很浅；这个上限防的是符号链接环把请求挂死。
+            if (depth > 6) return;
+            let entries;
+            try {
+                entries = readdirSync(current, { withFileTypes: true });
+            } catch {
+                return;
+            }
+            for (const entry of entries) {
+                if (entry.isDirectory()) {
+                    if (/^(\.git|__pycache__)$/i.test(entry.name)) continue;
+                    walk(join(current, entry.name), `${prefix}${entry.name}/`, depth + 1);
+                    continue;
+                }
+                if (!entry.isFile()) continue;
+                // 每个模型目录都带一个零字节的 `put_xxx_here` 说明文件，那不是模型。
+                if (/^put_.*_here$/i.test(entry.name)) continue;
+                if (!MODEL_FILE_EXT.test(entry.name)) continue;
+                found.add(`${prefix}${entry.name}`);
+            }
+        };
+        walk(dir, '', 0);
+    }
+    return [...found].sort();
+}
+
+/** 完整清单：目录 → 文件，带每个文件的大小。 */
+export function modelInventory(settingsValue, options = {}) {
+    const instanceId = options.instanceId;
+    const roots = localModelRoots(settingsValue, instanceId);
+    const entries = localModelRootEntries(settingsValue, instanceId);
+    const enabledIds = (Array.isArray(settingsValue?.instances) ? settingsValue.instances : [])
+        .filter((row) => row !== null && typeof row === 'object' && row.enabled !== false)
+        .map((row) => String(row.id ?? ''))
+        .filter((id) => id !== '');
+    const scoped = instanceId !== undefined && instanceId !== null && instanceId !== '';
+    const where = scoped ? `实例 ${instanceId} 没有可读的模型目录（在模型文件夹地址里填一个绝对路径）` : '没有可读的本地模型目录（在实例里填模型文件夹地址，或加一个扫描目录）';
+    if (roots.length === 0) {
+        return {
+            ok: false,
+            error: where,
+            roots,
+            rootEntries: entries,
+            folders: [],
+            total: 0,
+            instanceId: scoped ? instanceId : null,
+            instances: enabledIds.map((id) => ({ id, label: id })),
+        };
+    }
+    const withSize = options.withSize === true;
+    const folders = [];
+    for (const [name, label] of modelFolders(settingsValue, instanceId)) {
+        const items = modelsInFolder(settingsValue, name, instanceId);
+        // 空目录是纯噪声：点不出任何东西。
+        if (items.length === 0) continue;
+        folders.push({
+            name,
+            label,
+            items: withSize ? items.map((item) => ({ name: item, size: sizeOf(roots, name, item) })) : items,
+            instances: scoped ? [instanceId] : enabledIds,
+        });
+    }
+    folders.sort((left, right) => right.items.length - left.items.length);
+    return {
+        ok: true,
+        source: 'disk',
+        roots,
+        rootEntries: entries,
+        instanceId: scoped ? instanceId : null,
+        instances: enabledIds.map((id) => ({ id, label: id })),
+        folders,
+        total: folders.reduce((sum, folder) => sum + folder.items.length, 0),
+    };
+}
+
+function sizeOf(roots, folder, relative) {
+    for (const root of roots) {
+        try {
+            return statSync(join(root, folder, relative)).size;
+        } catch {
+            continue;
+        }
+    }
+    return null;
+}
+
+export { MODEL_FILE_EXT, MODELS_FOLDER_NAMES, FALLBACK_FOLDERS };