@aitickets123654/common-kafka 1.0.20 → 1.0.21

package/build/events/base-listener.js

@@ -13,26 +13,63 @@ class Listener {
         });
         console.log(`Listener connected to Kafka (topic: ${this.topic})`);
         await this.consumer.run({
-            autoCommit: false,
-            eachMessage: async (payload) => {
+            eachBatchAutoResolve: false, // Отключаем автокоммиты — всё контролируем вручную
+            eachBatch: async ({ batch, resolveOffset, heartbeat, commitOffsetsIfNecessary, uncommittedOffsets, }) => {
                 var _a;
-                const { message } = payload;
-                const value = (_a = message.value) === null || _a === void 0 ? void 0 : _a.toString();
-                if (!value)
-                    return;
+                const { topic, partition } = batch;
+                let lastProcessedOffset = null; // запоминаем, до какого оффсета дошли
                 try {
-                    const data = JSON.parse(value);
-                    await this.onMessage(data, payload);
-                    await this.consumer.commitOffsets([
-                        {
-                            topic: payload.topic,
-                            partition: payload.partition,
-                            offset: (Number(message.offset) + 1).toString(),
-                        },
-                    ]);
+                    for (const message of batch.messages) {
+                        const offset = message.offset;
+                        const value = (_a = message.value) === null || _a === void 0 ? void 0 : _a.toString();
+                        // Пустое сообщение — пропускаем и фиксируем
+                        if (!value) {
+                            resolveOffset(offset);
+                            lastProcessedOffset = offset;
+                            continue;
+                        }
+                        let data;
+                        try {
+                            data = JSON.parse(value);
+                        }
+                        catch (err) {
+                            console.error(`Невалидный JSON ${topic}/${partition}@${offset}`, err);
+                            resolveOffset(offset); // не мешает прогрессу
+                            lastProcessedOffset = offset;
+                            continue;
+                        }
+                        try {
+                            await this.onMessage(data, { topic, partition, message });
+                            // Помечаем оффсет как обработанный
+                            resolveOffset(offset);
+                            lastProcessedOffset = offset;
+                            // Даём знать брокеру, что живы
+                            await heartbeat();
+                        }
+                        catch (err) {
+                            console.warn(`Ошибка при обработке ${topic}/${partition}@${offset}:`, err);
+                            // Откатываемся на оффсет с ошибкой
+                            // Kafka при следующем цикле снова отдаст это сообщение
+                            this.consumer.seek({ topic, partition, offset });
+                            // даём кластерам немного времени (редко, но помогает при гонках)
+                            await new Promise((r) => setTimeout(r, 50));
+                            // Выходим из цикла, чтобы не трогать следующие сообщения в батче
+                            // Отсюда управление перейдет в finally и для успешно обработанных
+                            // оффсетов выполнится commit
+                            break;
+                        }
+                    }
                 }
-                catch (err) {
-                    console.error(`Error in ${this.topic}:`, err);
+                finally {
+                    // Коммитим все успешно обработанные оффсеты (если были)
+                    try {
+                        if (lastProcessedOffset !== null) {
+                            await commitOffsetsIfNecessary();
+                        }
+                    }
+                    catch (commitErr) {
+                        console.error(`commitOffsetsIfNecessary не сработал (${topic}/${partition})`, commitErr);
+                    }
                 }
             },
         });

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@aitickets123654/common-kafka",
-  "version": "1.0.20",
+  "version": "1.0.21",
   "description": "",
   "main": "./build/index.js",
   "types": "./build/index.d.ts",