n8n-nodes-chat2crm 0.1.18 → 0.1.20

package/README.md

@@ -1,34 +1,34 @@
-# Структура проекта
-
-## Основные директории
-
-- **nodes/**
-  - `Chat2CrmSend/` — Нода для отправки сообщений
-    - `Chat2CrmSend.node.ts` — Основной файл ноды
-    - `chat2crm.svg` — Иконка ноды
-  - `Chat2CrmTrigger/` — Триггерная нода для прослушивания стримов
-    - `Chat2CrmTrigger.node.ts` — Основной файл ноды
-    - `chat2crm.svg` — Иконка ноды
-    - `Infra/` — Инфраструктурные модули
-      - `RedisConnection.ts` — Подключение к Redis
-      - `StreamConfig.ts` — Конфигурация потоков Redis
-
-- **credentials/**
-  - `Chat2CrmRedisApi.credentials.ts` — Credentials для Redis API
-
-
-## Конфигурационные файлы
-
-- `index.js` — Точка входа модуля (экспорт узлов и credentials)
-- `package.json` 
-- `package-lock.json` 
-- `tsconfig.json`
-- `gulpfile.js`
-- `.eslintrc.js` 
-- `.gitignore` 
-- `.n8nignore`
-
-## Документация
-
-- `README.md` — Документация проекта
+# Структура проекта
+
+## Основные директории
+
+- **nodes/**
+  - `Chat2CrmSend/` — Нода для отправки сообщений
+    - `Chat2CrmSend.node.ts` — Основной файл ноды
+    - `chat2crm.svg` — Иконка ноды
+  - `Chat2CrmTrigger/` — Триггерная нода для прослушивания стримов
+    - `Chat2CrmTrigger.node.ts` — Основной файл ноды
+    - `chat2crm.svg` — Иконка ноды
+    - `Infra/` — Инфраструктурные модули
+      - `RedisConnection.ts` — Подключение к Redis
+      - `StreamConfig.ts` — Конфигурация потоков Redis
+
+- **credentials/**
+  - `Chat2CrmRedisApi.credentials.ts` — Credentials для Redis API
+
+
+## Конфигурационные файлы
+
+- `index.js` — Точка входа модуля (экспорт узлов и credentials)
+- `package.json` 
+- `package-lock.json` 
+- `tsconfig.json`
+- `gulpfile.js`
+- `.eslintrc.js` 
+- `.gitignore` 
+- `.n8nignore`
+
+## Документация
+
+- `README.md` — Документация проекта
 - `QUICKSTART.md` — Руководство по быстрому старту

package/dist/nodes/Chat2CrmTrigger/Chat2CrmTrigger.node.js

@@ -73,6 +73,7 @@ class Chat2CrmTrigger {
         const block = this.getNodeParameter('block', 1000);
         const count = this.getNodeParameter('count', 10);
         const pollIntervalSeconds = this.getNodeParameter('pollInterval', 0.5);
+        const isDebug = String(process.env.CHAT2CRM_TRIGGER_DEBUG ?? '').toLowerCase() === 'true';
         // Валидация входных данных
         if (!selectedStreams || selectedStreams.length === 0) {
             throw new n8n_workflow_1.ApplicationError('Please select at least one stream to monitor', { level: 'warning' });
@@ -100,95 +101,18 @@ class Chat2CrmTrigger {
             // ВАЖНО: Каждое соединение уже настроено на свою базу данных через параметр db
             const redis = await RedisConnection_1.createRedisConnection.call(this, credentials, db);
             redisConnections.set(db, redis);
-            // ДИАГНОСТИКА: Сразу после создания соединения проверяем stream'ы
-            try {
-                const testKeys = await redis.keys('*');
-                console.log(`[Chat2Crm Trigger] Keys in DB ${db} immediately after connection:`, testKeys);
-                // Проверяем конкретно N8N_INCOMING_MESSAGE
-                if (streamsByDb.get(db)?.includes('N8N_INCOMING_MESSAGE')) {
-                    try {
-                        const testInfo = await redis.xinfo('STREAM', 'N8N_INCOMING_MESSAGE');
-                        console.log(`[Chat2Crm Trigger] N8N_INCOMING_MESSAGE found immediately after connection!`, testInfo);
-                    }
-                    catch (e) {
-                        console.error(`[Chat2Crm Trigger] N8N_INCOMING_MESSAGE NOT found immediately after connection:`, e.message);
-                    }
-                }
-            }
-            catch (error) {
-                console.error(`[Chat2Crm Trigger] Error checking keys in DB ${db}:`, error.message);
-            }
         }
         // Храним последние прочитанные ID для каждого stream
         const lastReadIds = new Map();
-        // ИСПРАВЛЕНИЕ: Добавляем флаг для предотвращения параллельных вызовов
-        let isReading = false;
-        // ИСПРАВЛЕНИЕ: Добавляем Set для отслеживания уже обработанных messageId
-        const processedMessageIds = new Set();
         // Собираем информацию о найденных streams для вывода
         const foundStreams = [];
         // Инициализируем lastReadIds для каждого stream и собираем информацию
         for (const [db, dbStreams] of streamsByDb.entries()) {
             const redis = redisConnections.get(db);
-            // ИСПРАВЛЕНИЕ: Явно выбираем базу данных перед проверкой stream'ов
-            try {
-                const selectResult = await redis.select(db);
-                console.log(`[Chat2Crm Trigger] SELECT ${db} result:`, selectResult);
-                // ДИАГНОСТИКА: Проверяем текущую базу данных через CLIENT INFO или другой способ
-                // Попробуем напрямую проверить stream после SELECT
-                for (const stream of dbStreams) {
-                    try {
-                        console.log(`[Chat2Crm Trigger] Direct XINFO check for "${stream}" immediately after SELECT ${db}`);
-                        const directInfo = await redis.xinfo('STREAM', stream);
-                        console.log(`[Chat2Crm Trigger] Direct XINFO SUCCESS for "${stream}":`, directInfo);
-                    }
-                    catch (directError) {
-                        console.error(`[Chat2Crm Trigger] Direct XINFO FAILED for "${stream}":`, directError.message);
-                    }
-                }
-                // ДИАГНОСТИКА: Проверяем все stream'ы через SCAN
-                const streamKeys = [];
-                let cursor = '0';
-                do {
-                    const [nextCursor, keys] = await redis.scan(cursor, 'MATCH', '*', 'COUNT', 100);
-                    cursor = nextCursor;
-                    for (const key of keys) {
-                        const keyType = await redis.type(key);
-                        if (keyType === 'stream') {
-                            streamKeys.push(key);
-                        }
-                    }
-                } while (cursor !== '0');
-                console.log(`[Chat2Crm Trigger] Found ${streamKeys.length} streams in DB ${db}:`, streamKeys);
-                console.log(`[Chat2Crm Trigger] Looking for:`, dbStreams);
-                // ДИАГНОСТИКА: Проверяем конкретно N8N_INCOMING_MESSAGE через разные методы
-                if (dbStreams.includes('N8N_INCOMING_MESSAGE')) {
-                    console.log(`[Chat2Crm Trigger] Special check for N8N_INCOMING_MESSAGE in DB ${db}`);
-                    try {
-                        const exists = await redis.exists('N8N_INCOMING_MESSAGE');
-                        console.log(`[Chat2Crm Trigger] EXISTS check for N8N_INCOMING_MESSAGE:`, exists);
-                    }
-                    catch (e) {
-                        console.error(`[Chat2Crm Trigger] EXISTS check failed:`, e.message);
-                    }
-                    try {
-                        const type = await redis.type('N8N_INCOMING_MESSAGE');
-                        console.log(`[Chat2Crm Trigger] TYPE check for N8N_INCOMING_MESSAGE:`, type);
-                    }
-                    catch (e) {
-                        console.error(`[Chat2Crm Trigger] TYPE check failed:`, e.message);
-                    }
-                }
-            }
-            catch (error) {
-                console.error(`[Chat2Crm Trigger] Failed to select DB ${db}:`, error.message);
-            }
             for (const stream of dbStreams) {
                 try {
-                    console.log(`[Chat2Crm Trigger] Checking stream "${stream}" in DB ${db}`);
                     // Пытаемся получить информацию о stream
                     const streamInfo = await redis.xinfo('STREAM', stream);
-                    console.log(`[Chat2Crm Trigger] Stream "${stream}" found! Info:`, streamInfo);
                     if (streamInfo && Array.isArray(streamInfo)) {
                         // Ищем 'last-entry' в информации о stream
                         const lastEntryIndex = streamInfo.indexOf('last-entry');
@@ -200,28 +124,30 @@ class Chat2CrmTrigger {
                                 foundStreams.push({ db, stream, exists: true, lastId });
                             }
                             else {
-                                lastReadIds.set(stream, '$');
+                                // Stream exists but empty -> start from 0-0; XREAD returns entries with id > lastId
+                                lastReadIds.set(stream, '0-0');
                                 foundStreams.push({ db, stream, exists: true });
                             }
                         }
                         else {
-                            lastReadIds.set(stream, '$');
+                            lastReadIds.set(stream, '0-0');
                             foundStreams.push({ db, stream, exists: true });
                         }
                     }
                     else {
-                        lastReadIds.set(stream, '$');
+                        lastReadIds.set(stream, '0-0');
                         foundStreams.push({ db, stream, exists: true });
                     }
                 }
                 catch (error) {
-                    // Если stream не существует или ошибка, используем '$' для новых сообщений
+                    // Если stream не существует, считаем что он пустой и будем читать новые записи с момента появления
+                    // Важно: используем '0-0' (а не '$'), чтобы не было "проскальзываний" между poll-итерациями
                     if (error.message?.includes('no such key') || error.message?.includes('not found')) {
-                        lastReadIds.set(stream, '$');
+                        lastReadIds.set(stream, '0-0');
                         foundStreams.push({ db, stream, exists: false });
                     }
                     else {
-                        lastReadIds.set(stream, '$');
+                        lastReadIds.set(stream, '0-0');
                         foundStreams.push({ db, stream, exists: false });
                     }
                 }
@@ -246,121 +172,125 @@ class Chat2CrmTrigger {
         let isClosing = false;
         // Функция для чтения сообщений
         const readMessages = async () => {
-            // ИСПРАВЛЕНИЕ: Предотвращаем параллельные вызовы
-            if (isReading || isClosing) {
+            // Проверяем, не закрывается ли триггер
+            if (isClosing) {
                 return;
             }
-            isReading = true;
-            try {
-                for (const [db, dbStreams] of streamsByDb.entries()) {
+            for (const [db, dbStreams] of streamsByDb.entries()) {
+                // Проверяем снова перед каждой итерацией
+                if (isClosing) {
+                    break;
+                }
+                const redis = redisConnections.get(db);
+                // Читаем каждый stream отдельно через XREAD
+                // XREAD читает напрямую из stream, независимо от consumer groups
+                for (const stream of dbStreams) {
                     if (isClosing) {
                         break;
                     }
-                    const redis = redisConnections.get(db);
-                    for (const stream of dbStreams) {
+                    try {
+                        const lastId = lastReadIds.get(stream) || '0-0';
+                        // Используем более короткий block time для возможности быстрого закрытия
+                        const blockTime = isClosing ? 0 : Math.min(block, MAX_BLOCK_TIME_FOR_RESPONSIVENESS_MS);
+                        // Используем XREAD чтобы читать все сообщения напрямую из stream
+                        // Это позволяет читать сообщения даже если они уже обработаны другими consumer'ами
+                        if (isDebug) {
+                            console.log(`[Chat2Crm Trigger] XREAD stream="${stream}" db=${db} lastId="${lastId}" block=${blockTime} count=${count}`);
+                        }
+                        const messages = await redis.xread('COUNT', count, 'BLOCK', blockTime, 'STREAMS', stream, lastId);
+                        // Проверяем снова после блокирующей операции
                         if (isClosing) {
-                            break;
+                            return;
                         }
-                        try {
-                            const lastId = lastReadIds.get(stream) || '$';
-                            const blockTime = isClosing ? 0 : Math.min(block, MAX_BLOCK_TIME_FOR_RESPONSIVENESS_MS);
-                            const messages = await redis.xread('COUNT', count, 'BLOCK', blockTime, 'STREAMS', stream, lastId);
-                            if (isClosing) {
-                                return;
-                            }
-                            if (messages && Array.isArray(messages) && messages.length > 0) {
-                                const streamData = messages[0];
-                                const [streamName, streamMessages] = streamData;
-                                if (Array.isArray(streamMessages) && streamMessages.length > 0) {
-                                    // ИСПРАВЛЕНИЕ: Фильтруем уже обработанные сообщения
-                                    const newMessages = streamMessages.filter(([messageId]) => {
-                                        const messageKey = `${streamName}:${messageId}`;
-                                        if (processedMessageIds.has(messageKey)) {
-                                            return false; // Пропускаем уже обработанное сообщение
-                                        }
-                                        processedMessageIds.add(messageKey);
-                                        return true;
-                                    });
-                                    // ИСПРАВЛЕНИЕ: Обновляем lastReadId сразу после чтения, ДО обработки
-                                    const lastMessageId = streamMessages[streamMessages.length - 1][0];
-                                    lastReadIds.set(streamName, lastMessageId);
-                                    // ИСПРАВЛЕНИЕ: Обрабатываем только новые сообщения
-                                    for (const [messageId, fields] of newMessages) {
-                                        if (isClosing) {
-                                            break;
-                                        }
-                                        const messageData = {};
-                                        for (let j = 0; j < fields.length; j += 2) {
-                                            messageData[fields[j]] = fields[j + 1];
+                        if (messages && Array.isArray(messages) && messages.length > 0) {
+                            // XREAD возвращает массив с одним элементом [streamName, messages]
+                            const streamData = messages[0];
+                            const [streamName, streamMessages] = streamData;
+                            if (Array.isArray(streamMessages) && streamMessages.length > 0) {
+                                // Обновляем lastReadId на последний прочитанный ID
+                                const lastMessageId = streamMessages[streamMessages.length - 1][0];
+                                lastReadIds.set(streamName, lastMessageId);
+                                for (const [messageId, fields] of streamMessages) {
+                                    if (isClosing) {
+                                        break;
+                                    }
+                                    const messageData = {};
+                                    // Parse fields
+                                    for (let j = 0; j < fields.length; j += 2) {
+                                        messageData[fields[j]] = fields[j + 1];
+                                    }
+                                    // Parse commands if it's a string
+                                    if (messageData.commands && typeof messageData.commands === 'string') {
+                                        try {
+                                            messageData.commands = JSON.parse(messageData.commands);
                                         }
-                                        if (messageData.commands && typeof messageData.commands === 'string') {
-                                            try {
-                                                messageData.commands = JSON.parse(messageData.commands);
-                                            }
-                                            catch (e) {
-                                                // Ignore parse errors
-                                            }
+                                        catch (e) {
+                                            // Ignore parse errors
                                         }
-                                        const executionData = {
-                                            json: {
-                                                messageId,
-                                                stream: streamName,
-                                                data: messageData,
-                                                commandList: messageData,
-                                            },
-                                        };
-                                        this.emit([[executionData]]);
-                                    }
-                                    // ИСПРАВЛЕНИЕ: Очищаем старые записи из Set для предотвращения утечки памяти
-                                    // Оставляем только последние 1000 обработанных ID
-                                    if (processedMessageIds.size > 1000) {
-                                        const entries = Array.from(processedMessageIds);
-                                        const toRemove = entries.slice(0, entries.length - 1000);
-                                        toRemove.forEach(id => processedMessageIds.delete(id));
                                     }
+                                    // Триггерим workflow с данными сообщения
+                                    const executionData = {
+                                        json: {
+                                            messageId,
+                                            stream: streamName,
+                                            data: messageData,
+                                            commandList: messageData,
+                                        },
+                                    };
+                                    this.emit([[executionData]]);
                                 }
                             }
                         }
-                        catch (error) {
-                            if (isClosing && (error.message?.includes('Connection is closed') || error.message?.includes('disconnect'))) {
-                                return;
-                            }
-                            if (error.message?.includes('Invalid stream ID') || error.message?.includes('no such key')) {
-                                continue;
-                            }
-                            console.error(`[Chat2Crm Trigger] Error reading stream ${stream} from Redis DB ${db}:`, error);
+                    }
+                    catch (error) {
+                        // Игнорируем ошибки при закрытии
+                        if (isClosing && (error.message?.includes('Connection is closed') || error.message?.includes('disconnect'))) {
+                            return;
+                        }
+                        // Игнорируем ошибки для несуществующих streams
+                        if (error.message?.includes('Invalid stream ID') || error.message?.includes('no such key')) {
+                            continue;
                         }
+                        // Логируем только критические ошибки
+                        console.error(`[Chat2Crm Trigger] Error reading stream ${stream} from Redis DB ${db}:`, error);
                     }
                 }
             }
-            finally {
-                // ИСПРАВЛЕНИЕ: Всегда сбрасываем флаг, даже при ошибке
-                isReading = false;
-            }
         };
-        // Начинаем polling с более коротким интервалом
-        let interval = null;
-        const startPolling = () => {
-            interval = setInterval(async () => {
-                if (!isClosing) {
+        // Запускаем один последовательный polling loop (без setInterval), чтобы не было наложения вызовов
+        let pollingPromise = null;
+        const sleep = (ms) => new Promise(resolve => setTimeout(resolve, ms));
+        const runPollingLoop = async () => {
+            try {
+                while (!isClosing) {
                     await readMessages();
+                    // Если block=0, добавляем небольшой интервал чтобы не прожигать CPU
+                    if (!isClosing) {
+                        await sleep(pollInterval);
+                    }
+                }
+            }
+            catch (error) {
+                // Важно: не даём polling loop'у "повесить" деактивацию воркфлоу
+                if (!isClosing) {
+                    console.error('[Chat2Crm Trigger] Polling loop crashed:', error);
                 }
-            }, pollInterval);
+            }
+        };
+        pollingPromise = runPollingLoop();
+        const withTimeout = async (promise, timeoutMs) => {
+            return await Promise.race([
+                promise,
+                new Promise((_, reject) => setTimeout(() => reject(new Error('close timeout')), timeoutMs)),
+            ]);
         };
-        startPolling();
-        // Первый запуск сразу
-        await readMessages();
         // Возвращаем объект с функцией closeFunction для cleanup
         return {
             closeFunction: async () => {
                 console.log(`[Chat2Crm Trigger] Closing trigger, cleaning up resources...`);
                 isClosing = true; // Устанавливаем флаг закрытия
                 try {
-                    if (interval) {
-                        clearInterval(interval);
-                        interval = null;
-                    }
-                    // Используем disconnect() вместо quit() для более быстрого закрытия
+                    // ВАЖНО: СНАЧАЛА рвём соединения, чтобы прервать возможный зависший XREAD (особенно через SSH)
                     for (const [db, redis] of redisConnections.entries()) {
                         try {
                             redis.disconnect();
@@ -370,6 +300,15 @@ class Chat2CrmTrigger {
                         }
                     }
                     redisConnections.clear();
+                    // Не даём unpublish/deactivate висеть бесконечно: ждём loop ограниченное время
+                    if (pollingPromise) {
+                        try {
+                            await withTimeout(pollingPromise.catch(() => undefined), 1000);
+                        }
+                        catch {
+                            // Игнорируем таймаут, главное — быстро закрыть триггер
+                        }
+                    }
                     console.log(`[Chat2Crm Trigger] Cleanup completed`);
                 }
                 catch (error) {

package/dist/nodes/Chat2CrmTrigger/Infra/StreamConfig.js

@@ -80,12 +80,6 @@ exports.STREAM_DEFINITIONS = [
         description: 'Outgoing messages from N8N (DB 1)',
         db: 1,
     },
-    {
-        name: 'N8N Chat Control',
-        value: 'N8N_CHAT_CONTROL',
-        description: 'Chat control messages for N8N (DB 1)',
-        db: 1,
-    },
 ];
 /**
  * Маппинг stream names к номерам баз данных
@@ -98,7 +92,6 @@ exports.STREAM_DB_MAP = {
     crm_outgoing_status: 1,
     N8N_INCOMING_MESSAGE: 1,
     N8N_OUTGOING_MESSAGE: 1,
-    N8N_CHAT_CONTROL: 1,
     // Поддержка старого формата (строчными) для обратной совместимости
     n8n_incoming_message: 1,
     n8n_outgoing_message: 1,

package/index.js

@@ -1,69 +1,3 @@
-// ========================================
-// PROXY CONFIGURATION - ЛОГИРОВАНИЕ ПРОКСИ
-// ========================================
-const proxyVars = {
-  'all_proxy': process.env.all_proxy,
-  'ALL_PROXY': process.env.ALL_PROXY,
-  'http_proxy': process.env.http_proxy,
-  'HTTP_PROXY': process.env.HTTP_PROXY,
-  'https_proxy': process.env.https_proxy,
-  'HTTPS_PROXY': process.env.HTTPS_PROXY,
-  'no_proxy': process.env.no_proxy,
-  'NO_PROXY': process.env.NO_PROXY,
-};
-
-// Находим активный прокси (lowercase имеет приоритет)
-const activeProxy = process.env.all_proxy || process.env.ALL_PROXY || 
-                    process.env.http_proxy || process.env.HTTP_PROXY || 
-                    process.env.https_proxy || process.env.HTTPS_PROXY;
-
-// Выводим информацию о прокси БОЛЬШИМИ БУКВАМИ, чтобы было видно
-console.log('\n');
-console.log('╔════════════════════════════════════════════════════════════════╗');
-console.log('║                    PROXY CONFIGURATION                         ║');
-console.log('╚════════════════════════════════════════════════════════════════╝');
-console.log('');
-
-if (activeProxy) {
-  // Маскируем пароль в логах
-  const maskedProxy = activeProxy.replace(/:\/\/[^:]+:[^@]+@/, '://***:***@');
-  
-  console.log('✅ PROXY IS CONFIGURED AND ACTIVE');
-  console.log('');
-  console.log('Active Proxy URL:', maskedProxy);
-  console.log('NO_PROXY:', process.env.no_proxy || process.env.NO_PROXY || 'not set');
-  console.log('');
-  console.log('All proxy environment variables:');
-  Object.entries(proxyVars).forEach(([key, value]) => {
-    if (value) {
-      const masked = key.toLowerCase().includes('proxy') && !key.toLowerCase().includes('no') 
-        ? value.replace(/:\/\/[^:]+:[^@]+@/, '://***:***@')
-        : value;
-      console.log(`  ${key.padEnd(15)} = ${masked}`);
-    }
-  });
-  console.log('');
-  console.log('⚠️  All HTTP/HTTPS requests from n8n nodes will use this proxy');
-  console.log('⚠️  Redis connections (TCP) do NOT use HTTP proxy');
-} else {
-  console.log('❌ NO PROXY CONFIGURED');
-  console.log('');
-  console.log('Available proxy environment variables (all empty):');
-  Object.keys(proxyVars).forEach(key => {
-    console.log(`  ${key.padEnd(15)} = ${proxyVars[key] || '(not set)'}`);
-  });
-  console.log('');
-  console.log('To enable proxy, set in .env file:');
-  console.log('  ALL_PROXY=http://user:pass@host:port');
-  console.log('  all_proxy=http://user:pass@host:port');
-}
-
-console.log('');
-console.log('╔════════════════════════════════════════════════════════════════╗');
-console.log('║              END OF PROXY CONFIGURATION                        ║');
-console.log('╚════════════════════════════════════════════════════════════════╝');
-console.log('\n');
-
 module.exports = {
   nodes: [
     require('./dist/nodes/Chat2CrmTrigger/Chat2CrmTrigger.node.js'),

package/package.json

@@ -1,6 +1,6 @@
 {
     "name": "n8n-nodes-chat2crm",
-    "version": "0.1.18",
+    "version": "0.1.20",
     "description": "n8n node for Chat2Crm Redis integration",
     "keywords": [
         "n8n-community-node-package",
@@ -11,7 +11,7 @@
     "main": "index.js",
     "scripts": {
         "build": "rm -rf dist && tsc && gulp build:icons",
-        "dev": "npm run build && node -r dotenv/config -r ./proxy-logger.js node_modules/.bin/n8n",
+        "dev": "npm run build && N8N_LOG_LEVEL=debug npx n8n",
         "dev:watch": "tsc --watch",
         "format": "prettier nodes credentials --write",
         "lint": "eslint \"nodes/**/*.ts\" \"credentials/**/*.ts\" \"package.json\"",