iobroker.zigbee2mqtt 3.2.6 → 3.2.7

package/README.md

@@ -30,6 +30,10 @@ check you VM Settings
 [Adapter Documentation](https://github.com/arteck/ioBroker.zigbee2mqtt/blob/main/docs/wiki.md)
 
 ## Changelog
+### 3.2.7 (2026-09-19)
+* (arteck) fix available status direct after new device is paired
+* (arteck) fix internal mqtt handling
+
 ### 3.2.6 (2026-08-20)
 * (arteck) add wait time for internal mqtt server into settings
 
@@ -45,9 +49,6 @@ check you VM Settings
 * (arteck) fix internal mqtt
 * (arteck) fix languages
 
-### 3.2.2 (2026-05-26)
-* (arteck) Dependencies have been updated
-
 ## License
 
 MIT License

package/io-package.json

@@ -1,8 +1,21 @@
 {
   "common": {
     "name": "zigbee2mqtt",
-    "version": "3.2.6",
+    "version": "3.2.7",
     "news": {
+      "3.2.7": {
+        "en": "fix available status direct after new device is paired\nfix internal mqtt handling",
+        "de": "Verfügbarkeit direkt nach Kopplung korrigieren\nFix internes MQTT-Handling",
+        "ru": "исправить доступный статус сразу после сопряжения нового устройства\nисправить внутреннюю обработку mqtt",
+        "pt": "corrige o status disponível logo após o emparelhamento\nfixe o uso interno de matt",
+        "nl": "de beschikbare status herstellen direct nadat een nieuw apparaat is gekoppeld\ninterne mqtt-afhandeling repareren",
+        "fr": "corriger le statut disponible dès le jumelage d'un nouvel appareil\ngestion interne des tapis",
+        "it": "aggiusta subito dopo l'abbinamento del nuovo dispositivo\nfix gestione interna mqtt",
+        "es": "arreglar el estado disponible justo después de emparejar el nuevo\narreglar el manejo interno de MQTT",
+        "pl": "napraw dostępny status bezpośrednio po sparowaniu nowego urządzenia\nnaprawić wewnętrzną obsługę mqtt",
+        "uk": "виправлення доступного стану безпосередньо після створення пари нового пристрою\nвиправлено внутрішню обробку mqtt",
+        "zh-cn": "新设备配对后直接修复可用状态\n修复内部 mqtt 处理"
+      },
       "3.2.6": {
         "en": "add wait time for internal mqtt server into settings",
         "de": "Füge in den Einstellungen eine Wartezeit für den internen MQTT-Server hinzu.",
@@ -80,19 +93,6 @@
         "pl": "Adapter wymaga node.js > = 22\nmenedżer urządzenia upd\nfix aedes- trwałość\npodświetlenie",
         "uk": "Адаптер вимагає node.js >= 22 тепер\nдиспетчер пристроїв\nфіксувати адисистентність\nфіксувати ілюмінанс",
         "zh-cn": "适配器需要节点.js 现在22\n上调设备管理器\n固定死因-持久性\n修补灯光"
-      },
-      "3.2.0": {
-        "en": "del deprectated setStateAsync",
-        "de": "del deprected setStateAsync",
-        "ru": "обсуждение StateAsync",
-        "pt": "del deprectated setStateAsync",
-        "nl": "del deprectated setStateAsync",
-        "fr": "set dépréciéStateAsync",
-        "it": "del set deprettatoStateAsync",
-        "es": "del deprectated setStateAsync",
-        "pl": "del deprectated setStateAsync",
-        "uk": "deprectated setStateAsync",
-        "zh-cn": "已贬值的设置"
       }
     },
     "messages": [

package/lib/imageController.js

@@ -13,6 +13,13 @@ class ImageController {
      */
     constructor(adapter) {
         this.adapter = adapter;
+        // PERFORMANCE/MEMORY: In-Memory-Cache für bereits erzeugte Base64-Icons.
+        // Ohne diesen Cache würde bei JEDEM WS-Reconnect (Z2M sendet dann erneut
+        // das komplette bridge/devices-Payload) für JEDES Gerät erneut
+        // sharp(...).metadata()/.resize() aufgerufen – native libvips-Allokationen,
+        // die bei häufigen Reconnects zu spürbarem RAM-Zuwachs des Adapterprozesses
+        // führen können, da der native Speicher nicht sofort ans OS zurückgegeben wird.
+        this._iconCache = new Map();
     }
 
     /**
@@ -112,6 +119,14 @@ class ImageController {
         const z2mIconFileNamePNG = `${this.sanitizeZ2MDeviceName(z2mModel)}.png`;
         const slsIconFileName = `${this.sanitizeModelIDForImageUrl(device.model_id || z2mModel)}.png`;
 
+        // MEMORY-FIX: Bereits erzeugtes Icon (Base64) aus dem In-Memory-Cache verwenden.
+        // Der Cache-Key basiert auf Modellname + Zielgröße, da beides das Ergebnis beeinflusst.
+        const cacheKey = `${z2mModel}::${imageSize}`;
+        const cached = this._iconCache.get(cacheKey);
+        if (cached !== undefined) {
+            return cached;
+        }
+
         let iconFileName = await this.getExistingIconFileName(z2mIconFileNameJPG, z2mIconFileNamePNG, slsIconFileName);
         let iconFound = true;
 
@@ -137,6 +152,8 @@ class ImageController {
 
         if (!iconFound || !iconFileName) {
             this.adapter.log.warn(`Failed to download image for device model: ${device.definition.model} - ${device.definition.description}`);
+            // Fehlgeschlagene Downloads NICHT dauerhaft cachen – evtl. ist die Quelle beim
+            // nächsten Reconnect wieder erreichbar.
             return '';
         }
 
@@ -164,7 +181,11 @@ class ImageController {
             await this.adapter.writeFileAsync(this.adapter.namespace, iconFileName, icon.file);
         }
 
-        return `data:image/png;base64,${icon.file.toString('base64')}`;
+        const dataUrl = `data:image/png;base64,${icon.file.toString('base64')}`;
+        // MEMORY-FIX: Ergebnis für dieses Modell/diese Größe cachen, damit bei künftigen
+        // WS-Reconnects (erneutes bridge/devices) kein weiterer sharp()-Aufruf nötig ist.
+        this._iconCache.set(cacheKey, dataUrl);
+        return dataUrl;
     }
 
     /**

package/lib/statesController.js

@@ -23,6 +23,13 @@ class StatesController {
         this.logCustomizations = logCustomizations;
         this.createCache = createCache;
         this.incStatsQueue = [];
+        // Max. Verweildauer einer Nachricht in der incStatsQueue, bevor sie verworfen wird.
+        // Zeit- statt zählerbasiert, da neu angelernte Geräte während des Interviews mehrere
+        // bridge/devices-Zyklen (und damit processQueue()-Aufrufe) benötigen können, bis das
+        // Geräteobjekt/die States angelegt sind. Ein reiner Aufruf-Zähler hätte z.B. das
+        // "available: true" der Retained-".../availability"-Nachricht vorzeitig verworfen,
+        // wodurch der available-State neu angelernter Geräte dauerhaft auf "false" hängen blieb.
+        this.QUEUE_MAX_AGE_MS = 5 * 60 * 1000; // 5 Minuten
         this.timeOutCache = {};
         // Einmalig berechnen – wird nur bei Konfigurationsänderung ungültig
         this._debugDeviceList = logCustomizations.debugDevices
@@ -127,18 +134,28 @@ class StatesController {
             // Wenn das Gerät (noch) nicht bekannt ist: Message in Queue stellen.
             // Existiert für dieses Topic bereits ein Eintrag, wird er mit den aktuellen
             // Payload-Daten überschrieben, damit wir stets den neuesten Stand verarbeiten.
+            //
+            // Wichtig: Die Verwerf-Zeit basiert auf einem ZEITSTEMPEL (_queuedAt), nicht auf
+            // einem Aufruf-Zähler. Grund: Bei neu angelernten Geräten kann bridge/devices
+            // während des Interviews mehrfach gesendet werden (und processQueue() wird auch
+            // durch bridge/devices-Events ANDERER Geräte ausgelöst). Ein reiner Zähler
+            // würde die z.B. per Retained-MQTT-Topic ".../availability" bereits eingetroffene
+            // "available: true"-Nachricht des neuen Geräts vorzeitig verwerfen, bevor das
+            // Interview abgeschlossen und das Geräteobjekt angelegt ist – Folge: das
+            // "available"-State bleibt dauerhaft auf dem Default-Wert "false" stehen.
             const existingIdx = this.incStatsQueue.findIndex((x) => x && x.topic === messageObj.topic);
             if (existingIdx !== -1) {
-                const ttl = (this.incStatsQueue[existingIdx]._ttl || 0) + 1;
-                if (ttl > 10) {
-                    this.adapter.log.warn(`incStatsQueue: dropping message for unknown device ${messageObj.topic} after ${ttl} retries`);
+                const queuedAt = this.incStatsQueue[existingIdx]._queuedAt || Date.now();
+                const age = Date.now() - queuedAt;
+                if (age > this.QUEUE_MAX_AGE_MS) {
+                    this.adapter.log.warn(`incStatsQueue: dropping message for unknown device ${messageObj.topic} after ${Math.round(age / 1000)}s`);
                     this.incStatsQueue.splice(existingIdx, 1);
                     return;
                 }
-                this.incStatsQueue[existingIdx] = { ...messageObj, _ttl: ttl };
+                this.incStatsQueue[existingIdx] = { ...messageObj, _queuedAt: queuedAt };
             } else {
                 if (this.incStatsQueue.length < 500) {
-                    this.incStatsQueue.push({ ...messageObj, _ttl: 1 });
+                    this.incStatsQueue.push({ ...messageObj, _queuedAt: Date.now() });
                 } else {
                     this.adapter.log.warn(`incStatsQueue is full (500), dropping message for ${messageObj.topic}`);
                 }
@@ -168,15 +185,16 @@ class StatesController {
             if (queuedThisRound) {return;}
             const existingIdx = this.incStatsQueue.findIndex((x) => x && x.topic === msg.topic);
             if (existingIdx !== -1) {
-                const ttl = (this.incStatsQueue[existingIdx]._ttl || 0) + 1;
-                if (ttl > 10) {
-                    this.adapter.log.warn(`incStatsQueue: dropping message for ${msg.topic} after ${ttl} retries (state not yet created)`);
+                const queuedAt = this.incStatsQueue[existingIdx]._queuedAt || Date.now();
+                const age = Date.now() - queuedAt;
+                if (age > this.QUEUE_MAX_AGE_MS) {
+                    this.adapter.log.warn(`incStatsQueue: dropping message for ${msg.topic} after ${Math.round(age / 1000)}s (state not yet created)`);
                     this.incStatsQueue.splice(existingIdx, 1);
                     return;
                 }
-                this.incStatsQueue[existingIdx] = { ...msg, _ttl: ttl };
+                this.incStatsQueue[existingIdx] = { ...msg, _queuedAt: queuedAt };
             } else if (this.incStatsQueue.length < 500) {
-                this.incStatsQueue.push({ ...msg, _ttl: 1 });
+                this.incStatsQueue.push({ ...msg, _queuedAt: Date.now() });
             } else {
                 this.adapter.log.warn(`incStatsQueue is full, dropping message for ${msg.topic}`);
             }
@@ -213,9 +231,25 @@ class StatesController {
 
         // COLLECTION: Alle non-action state write-Promises sammeln und dann parallel ausführen
         const stateWrites = [];
-        // Flag für available-Update (wenn last_seen vorhanden und config aktiv)
+        // Flag für available-Update (wenn last_seen vorhanden und config aktiv, oder generell
+        // wenn echte Nutzdaten empfangen wurden – siehe Begründung weiter unten)
         let needSetAvailableTrue = false;
 
+        // Bugfix: Wenn eine Nachricht ausschließlich das "available"-Property enthält
+        // (z.B. aus dem ".../availability"-Topic oder bridge/event device_leave), soll
+        // dessen Wert unverändert übernommen werden. Enthält die Nachricht jedoch
+        // zusätzliche/echte Nutzdaten (state, brightness, temperature, ...), beweist das
+        // bereits, dass das Gerät aktiv kommuniziert hat – unabhängig davon, ob Zigbee2MQTT
+        // das (per Default deaktivierte) "availability"-Feature nutzt oder last_seen sendet
+        // (advanced.last_seen ist bei Z2M ebenfalls per Default "disable"). Ohne diesen Fix
+        // bleibt der "available"-State nach einem MQTT-/Adapter-Neustart dauerhaft auf
+        // "false", obwohl die Geräte normal erreichbar und schaltbar sind.
+        const payloadKeys = Object.keys(messageObj.payload);
+        const hasOnlyAvailableKey = payloadKeys.length > 0 && payloadKeys.every((k) => k === 'available');
+        if (!hasOnlyAvailableKey && payloadKeys.length > 0 && !device.ieee_address.includes('group')) {
+            needSetAvailableTrue = true;
+        }
+
         for (let [key, value] of Object.entries(messageObj.payload)) {
             if (value === undefined || value === null) {
                 continue;

package/main.js

@@ -4,6 +4,7 @@
 // you need to create an adapter
 const core = require('@iobroker/adapter-core');
 const mqtt = require('mqtt');
+const axios = require('axios');
 const utils = require('./lib/utils');
 const schedule = require('node-schedule');
 const checkConfig = require('./lib/check').checkConfig;
@@ -41,6 +42,14 @@ class Zigbee2mqtt extends core.Adapter {
         this.mqttServerController = null;
         this.messageParseMutex = Promise.resolve();
         this.mqttReconnectAttempts = 0;
+        // Fallback: Wenn nach dem Verbindungsaufbau kein bridge/devices eintrifft
+        // (z.B. weil bei "intmqtt" der interne Broker samt Retained-Nachrichten neu
+        // erzeugt wurde und Zigbee2MQTT diese nicht von sich aus erneut published),
+        // wird EINMALIG versucht, die Geräteliste über die Z2M-WebUI-REST-API
+        // nachzuladen. Es wird NIE erneut onReady()/mqtt.connect() aufgerufen, um
+        // doppelte Clients/Listener bzw. Port-Konflikte (EADDRINUSE bei intmqtt) zu
+        // vermeiden.
+        this.deviceReloadTimer = null;
 
         this.on('ready', () => {
             this.onReady().catch((e) => this.log.error(`onReady error: ${e}`));
@@ -159,6 +168,10 @@ class Zigbee2mqtt extends core.Adapter {
                         this.log.error(`MQTT subscribe error: ${err && err.message ? err.message : String(err)}`);
                     }
                 });
+                // Einmaliger Fallback-Check: kommt innerhalb von 5s kein bridge/devices
+                // (z.B. verlorene Retained-Messages bei intmqtt-Neustart), versuche die
+                // Geräteliste über die Z2M-WebUI-REST-API nachzuladen.
+                this.scheduleDeviceReloadFallback();
             });
 
             this.mqttClient.on('reconnect', () => {
@@ -259,6 +272,69 @@ class Zigbee2mqtt extends core.Adapter {
         this.websocketController.initWsClient();
     }
 
+    /**
+     * Plant einen einmaligen Fallback-Timer: Kommt innerhalb von 5 Sekunden kein
+     * bridge/devices von Zigbee2MQTT an (deviceCache bleibt leer), wird versucht,
+     * die Geräteliste über die Z2M-WebUI-REST-API (`/api/devices`) nachzuladen.
+     * Wird KEIN neuer MQTT-Client / Broker erzeugt – nur ein einmaliger HTTP-Call.
+     */
+    scheduleDeviceReloadFallback() {
+        if (this.deviceReloadTimer) {
+            clearTimeout(this.deviceReloadTimer);
+        }
+        this.deviceReloadTimer = setTimeout(() => {
+            this.deviceReloadTimer = null;
+            this.tryFallbackDeviceReload().catch((e) => this.log.error(`tryFallbackDeviceReload error: ${e}`));
+        }, 5000);
+    }
+
+    /**
+     * Lädt die Geräteliste einmalig über die Z2M-WebUI-REST-API nach, falls nach
+     * dem MQTT-Connect innerhalb von 5s kein bridge/devices empfangen wurde.
+     * Wird u.a. benötigt, wenn bei "intmqtt" der interne Broker (In-Memory-Persistenz)
+     * neu erzeugt wurde und Zigbee2MQTT die Retained-Nachrichten nicht von sich aus
+     * erneut published (Z2M selbst läuft weiter, ohne eigenen Neustart).
+     */
+    async tryFallbackDeviceReload() {
+        if (this.deviceCache.length > 0) {
+            // bridge/devices ist zwischenzeitlich normal eingetroffen – nichts zu tun
+            return;
+        }
+        if (!this.config.webUIServer || !this.config.webUIPort) {
+            this.log.debug('Fallback device reload skipped – WebUI address/port not configured.');
+            return;
+        }
+        this.log.warn(
+            'No bridge/devices received from Zigbee2MQTT within 5s – trying fallback via WebUI REST API. ' +
+            'This can happen if the internal MQTT broker was recreated (adapter restart) while Zigbee2MQTT itself keeps running.'
+        );
+        try {
+            const scheme = this.config.webUIScheme || 'http';
+            const url = `${scheme}://${this.config.webUIServer}:${this.config.webUIPort}/api/devices`;
+            const response = await axios.get(url, { timeout: 5000 });
+            const devices = response && response.data;
+            if (!Array.isArray(devices) || devices.length === 0) {
+                this.log.warn('Fallback device reload: WebUI API returned no devices.');
+                return;
+            }
+            if (!this.deviceController || !this.statesController) {
+                this.log.debug('Fallback device reload: controllers not yet initialized, aborting.');
+                return;
+            }
+            await this.deviceController.createDeviceDefinitions(devices);
+            await this.deviceController.createOrUpdateDevices();
+            await this.statesController.subscribeWritableStates();
+            await this.statesController.processQueue();
+            this.log.info(`Fallback device reload completed – ${devices.length} device(s) imported via WebUI API.`);
+        } catch (e) {
+            this.log.error(
+                `Fallback device reload via WebUI API failed: ${e && e.message ? e.message : String(e)}. ` +
+                'Please verify that the Zigbee2MQTT frontend is enabled and reachable, or restart Zigbee2MQTT once ' +
+                'to force it to re-publish bridge/devices.'
+            );
+        }
+    }
+
     /**
      * Parst eine eingehende MQTT- oder WebSocket-Nachricht von Zigbee2MQTT
      * und leitet sie an den zuständigen Controller weiter.
@@ -319,6 +395,10 @@ class Zigbee2mqtt extends core.Adapter {
                     break;
                 }
                 case 'bridge/devices':
+                    if (this.deviceReloadTimer) {
+                        clearTimeout(this.deviceReloadTimer);
+                        this.deviceReloadTimer = null;
+                    }
                     await this.deviceController.createDeviceDefinitions(messageObj.payload);
                     await this.deviceController.createOrUpdateDevices();
                     await this.deviceController.checkAndProgressDeviceRemove();
@@ -546,6 +626,10 @@ class Zigbee2mqtt extends core.Adapter {
      */
     async onUnload(callback) {
         try {
+            if (this.deviceReloadTimer) {
+                clearTimeout(this.deviceReloadTimer);
+                this.deviceReloadTimer = null;
+            }
             if (['exmqtt', 'intmqtt'].includes(this.config.connectionType)) {
                 if (this.mqttClient && this.mqttClient.connected) {
                     try {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "iobroker.zigbee2mqtt",
-  "version": "3.2.6",
+  "version": "3.2.7",
   "description": "Zigbee2MQTT adapter for ioBroker",
   "author": {
     "name": "Dennis Rathjen and Arthur Rupp",
@@ -25,13 +25,13 @@
   },
   "dependencies": {
     "@iobroker/adapter-core": "^3.4.3",
-    "@iobroker/dm-utils": "^3.1.3",
+    "@iobroker/dm-utils": "^3.2.0",
     "aedes": "^0.51.3",
     "aedes-persistence": "^9.1.2",
-    "axios": "^1.18.1",
+    "axios": "^1.20.0",
     "mqtt": "^5.15.2",
     "node-schedule": "^2.1.1",
-    "sharp": "^0.34.5",
+    "sharp": "^0.35.4",
     "ws": "^8.21.3"
   },
   "devDependencies": {
@@ -41,9 +41,9 @@
     "@alcalzone/release-script-plugin-manual-review": "^5.2.0",
     "@iobroker/adapter-dev": "^1.5.0",
     "@iobroker/eslint-config": "^2.3.4",
-    "@iobroker/testing": "^5.3.0",
-    "@tsconfig/node22": "^22.0.5",
-    "@types/node": "^25.9.5",
+    "@iobroker/testing": "^6.2.1",
+    "@tsconfig/node22": "^22.0.6",
+    "@types/node": "^25.9.6",
     "@types/node-schedule": "^2.1.8",
     "typescript": "~6.0.3"
   },