freegate 0.6.22 → 0.6.24

package/config.example.json

@@ -40,6 +40,10 @@
     "enabled": false,
     "intervalHours": 12
   },
+  "diagMonitor": {
+    "enabled": true,
+    "intervalMs": 1800000
+  },
   "providers": {
     "or-nemotron-550b": {
       "endpoint": "https://openrouter.ai/api/v1/chat/completions",

package/lib/cache.js

@@ -22,7 +22,7 @@ class LRUCache {
     if (!skipLoad) this.load();
   }
 
-  _key(model, messages, temperature) {
+  _key(model, messages, temperature, tools) {
     let raw;
     if (this.useNormalize) {
       const norm = normalizeMessages(messages);
@@ -34,6 +34,9 @@ class LRUCache {
     } else {
       raw = `${model}|${JSON.stringify(messages)}|${temperature || 0}`;
     }
+    // Инструменты (tools/tool_choice) влияют на ответ (tool_calls vs текст) —
+    // без этого tool-запрос попадал на текстовый кэш и агент «останавливался».
+    if (tools) raw += `|tools=${JSON.stringify(tools)}`;
     return crypto.createHash('sha256').update(raw).digest('hex').slice(0, 16);
   }
 
@@ -77,8 +80,8 @@ if (now - e.created > this.ttl) continue;
     } catch {}
   }
 
-  get(model, messages, temperature) {
-    const key = this._key(model, messages, temperature);
+  get(model, messages, temperature, tools) {
+    const key = this._key(model, messages, temperature, tools);
     const entry = this.cache.get(key);
 
     if (!entry) {
@@ -141,8 +144,8 @@ if (now - e.created > this.ttl) continue;
     return { value: entry.value, similarity: Math.round(bestSim * 1000) / 1000 };
   }
 
-  set(model, messages, temperature, value, providerKey) {
-    const key = this._key(model, messages, temperature);
+  set(model, messages, temperature, value, providerKey, tools) {
+    const key = this._key(model, messages, temperature, tools);
 
     // Delete if exists (to update order)
     if (this.cache.has(key)) this.cache.delete(key);

package/lib/clean.js

@@ -62,6 +62,7 @@ function hasContent(data) {
   if (!msg) return false;
   const content = typeof msg.content === 'string' ? msg.content.trim() : '';
   const reasoning = typeof msg.reasoning === 'string' ? msg.reasoning.trim() : '';
+  if (Array.isArray(msg.tool_calls) && msg.tool_calls.length > 0) return true;
   return content.length > 0 || reasoning.length > 0;
 }
 
@@ -75,6 +76,10 @@ function isTooShort(data, askedText) {
   const msg = data.choices[0]?.message;
   const content = typeof msg?.content === 'string' ? msg.content.trim() : '';
   const reasoning = typeof msg?.reasoning === 'string' ? msg.reasoning.trim() : '';
+  // Ответ через tool-вызов (агент вызвал инструмент) НЕ пустой — это осмысленный
+  // ход, а не «мусор». Без этой проверки прокси считал tool_calls-ответ пустым,
+  // отбрасывал его и агент «останавливался», не получив инструмента.
+  if (Array.isArray(msg?.tool_calls) && msg.tool_calls.length > 0) return false;
   const ask = typeof askedText === 'string' ? askedText.trim().length : 0;
   const threshold = ask > 0 && ask < 40 ? Math.max(1, Math.min(MIN_ANSWER_LEN, Math.ceil(ask / 8))) : MIN_ANSWER_LEN;
   return (content + reasoning).length < threshold;

package/lib/compactor.js

@@ -17,14 +17,24 @@ const KEEP_RECENT_TOKENS = 30000; // tokens — recent messages kept untouched (
 const MAX_COMPACT_THRESHOLD = 100000; // est tokens — cap for window-aware thresholds (≈200k real,
                                       // sits safely inside even 512k/1M windows without compacting too early)
 const SUMMARY_MAX_TOKENS = 2000;  // tokens — summary length cap (detailed enough to not lose the work)
-const CHARS_PER_TOKEN = 1.5;      // heuristic chars→tokens, DOUBLY conservative: real sessions
-                                  // (with tool outputs, files, big system prompts) average ~0.75
-                                  // chars/token, not ~4. Using 1.5 keeps us from compacting too late.
-
-// Reliability-ordered long-context summarizers (OpenRouter + HF).
+const CHARS_PER_TOKEN = 3.0;      // heuristic chars→tokens. БОЛЬШЕ делитель = МЕНЬШЕ оценка.
+                                  // Реальная плотность смешанного кода/текста ~4-6 chars на
+                                  // токен (не 1.5-2). chars/3.0 приближает оценку к реальным
+                                  // токенам, поэтому порог 60000 достигается только на реально
+                                  // больших диалогах (10+ компактированных страниц), а не на
+                                  // каждом рабочем чате с агентами.
+                                  // Раньше (1.5) оценка завышалась в ~4-6 раз → компакции шли
+                                  // на 86% запросов. Каждая компакция — отдельный LLM-вызов
+                                  // перед ответом = агент «замирает» / виснет на середине.
+                                  // window-aware routing всё равно исключает малые окна (or-lfm
+                                  // 65k) для больших запросов, так что запас к окнам сохранён.
+
+// Reliability-ordered long-context summarizers. Порядок важен: getSummary идёт
+// по списку и ждёт ПЕРВЫЙ отвечающий (до 30с). Медленные/непроверенные в начале
+// = «думает и замирает» (компакция тормозит каждый вызов). Бытрые и надёжные вперёд.
 const SUMMARIZERS = [
-  'or-nemotron-35', 'or-dots-3', 'or-minimax-m2-7-free',
-  'or-lfm', 'deepseek',
+  'or-dots-3', 'deepseek', 'or-minimax-m2-7-free',
+  'or-lfm', 'or-nemotron-35',
 ];
 
 // Summary cache: hash of compacted messages → summary string.
@@ -205,7 +215,7 @@ async function summarizeViaChain(messages) {
           { role: 'user', content: 'Сожми следующий диалог:\n\n' + textToSummarize },
         ],
         max_tokens: SUMMARY_MAX_TOKENS,
-      }, 30000, 1);
+      }, 15000, 1); // 15с на summarizer — быстрое переползание, без «замирания»
       const summary = result.data?.choices?.[0]?.message?.content;
       if (summary && summary.trim().length >= 10) {
         return summary.trim();

package/lib/dashboard.js

@@ -1112,7 +1112,7 @@ const HTML = `<!DOCTYPE html>
         var st = health[k] || {};
         return '<tr><td class="mono">' + esc(k) + '</td><td>' + errors[k] + '</td><td>' + esc(st.status || '?') + '</td><td>' + esc(st.reason || st.latency_ms || '') + '</td></tr>';
       }).sort(function (a, b) {
-        var ma = a.match(/<td>(\d+)<\/td>/), mb = b.match(/<td>(\d+)<\/td>/);
+        var ma = a.match(/<td>(\\d+)<\\/td>/), mb = b.match(/<td>(\\d+)<\\/td>/);
         return (mb ? parseInt(mb[1], 10) : 0) - (ma ? parseInt(ma[1], 10) : 0);
       });
       document.getElementById('diagErrorsTable').innerHTML = rows.length

package/lib/diagmonitor.js

@@ -0,0 +1,92 @@
+// Снятие периодических срезов метрик для сравнения «до/после».
+// Каждые INTERVAL_MS пишет точку {ts, successRate, requests, errors, compactCount,
+// poolActive, poolTotal, errorsByClass, version} в diag_history.json. Данные
+// переживают перезапуск (пишутся на диск) — можно строить тренд по времени.
+const fs = require('fs');
+const path = require('path');
+const { getStats, getHealth, getContextStats } = require('./health');
+
+const HISTORY_PATH = process.env.DIAG_HISTORY_PATH || path.join(__dirname, '..', 'diag_history.json');
+const INTERVAL_MS = 30 * 60 * 1000; // 30 мин
+const MAX_POINTS = 2000;
+
+function classifyErrors(errors) {
+  // Грубая классификация по статусу провайдера в health (без сетевых вызовов):
+  // 429 → limit; 401/402/403 → auth; прочее/нет данных → invalid.
+  const health = getHealth();
+  const out = { limit: 0, auth: 0, invalid: 0, timeout: 0 };
+  for (const [key, cnt] of Object.entries(errors || {})) {
+    const h = health[key] || {};
+    if (h.statusCode === 429) out.limit += cnt;
+    else if ([401, 402, 403].includes(h.statusCode)) out.auth += cnt;
+    else if (h.statusCode === 0) out.timeout += cnt;
+    else out.invalid += cnt;
+  }
+  return out;
+}
+
+function snapshot() {
+  const stats = getStats() || {};
+  const ctx = getContextStats() || {};
+  const health = getHealth() || {};
+  const errors = stats.errors || {};
+  const today = todayStat(stats);
+  const active = Object.values(health).filter((h) => h.status === 'up' || h.status === 'ratelimited').length;
+  return {
+    ts: Date.now(),
+    version: process.env.FREEGATE_VERSION || currentVersion(),
+    requests: today.requests,
+    success: today.success,
+    failed: today.failed,
+    successRate: today.successRate,
+    compactCount: ctx.compactCount || 0,
+    upgradedCount: ctx.upgradedCount || 0,
+    poolActive: active,
+    poolTotal: Object.keys(health).length,
+    errorsByClass: classifyErrors(errors),
+  };
+}
+
+function todayStat(stats) {
+  // Дневные счётчики из stats.today (вычисляется сервером) с fallback на общие.
+  const day = stats.today || {};
+  const total = day.requests || 0;
+  return {
+    requests: total,
+    success: day.success || 0,
+    failed: day.failed || 0,
+    successRate: total > 0 ? Math.round(((day.success || 0) / total) * 100) : null,
+  };
+}
+
+function currentVersion() {
+  try { return require('../package.json').version; } catch { return 'dev'; }
+}
+
+function loadHistory() {
+  try { return JSON.parse(fs.readFileSync(HISTORY_PATH, 'utf8')); }
+  catch { return []; }
+}
+
+function recordSnapshot() {
+  const hist = loadHistory();
+  hist.push(snapshot());
+  while (hist.length > MAX_POINTS) hist.shift();
+  try {
+    fs.writeFileSync(HISTORY_PATH, JSON.stringify(hist, null, 2));
+  } catch {}
+  return hist.length;
+}
+
+let _timer = null;
+function startMonitor(intervalMs = INTERVAL_MS) {
+  stopMonitor();
+  recordSnapshot(); // сразу фиксируем стартовую точку
+  _timer = setInterval(recordSnapshot, intervalMs);
+}
+
+function stopMonitor() {
+  if (_timer) { clearInterval(_timer); _timer = null; }
+}
+
+module.exports = { snapshot, recordSnapshot, loadHistory, startMonitor, stopMonitor, INTERVAL_MS };

package/lib/providers.js

@@ -132,7 +132,7 @@ const MODEL_MAP = {
   'gemini-3.6-flash': 'gemini-flash',
   'codestral-latest': 'mistral-codestral', 'mistral-small-latest': 'mistral-small',
   'mistral-medium-latest': 'mistral-small', 'mistral-large-latest': 'mistral-small',
-  'tier-splus': 'or-minimax-m3-free', 'tier-s': 'mistral-codestral',
+  'tier-splus': 'or-dots-3', 'tier-s': 'mistral-codestral',
   'tier-a': 'mistral-small', 'tier-b': 'groq-qwen',
   'tier-xl': 'or-dots-3', 'tier-l': 'or-minimax-m3-free',
   'openrouter-hermes': 'openrouter-hermes',

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.22",
+  "version": "0.6.24",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to many free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek and more). Never pay for LLMs.",
   "license": "MIT",
   "bin": {
@@ -8,7 +8,9 @@
   },
   "scripts": {
     "start": "node server.js",
-    "test": "node --test --test-concurrency=1 test/proxy.test.js test/clean.test.js"
+    "test": "node --test --test-concurrency=1 test/proxy.test.js test/clean.test.js",
+    "set-model-version": "node scripts/set-model-version.js",
+    "release": "npm test && npm run set-model-version && npm publish"
   },
   "engines": {
     "node": ">=18"

package/providers.json

@@ -646,7 +646,7 @@
   "gemini-gemma-4-26b-a4b-it": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemma-4-26b-a4b-it",
-    "priority": 5,
+    "priority": 7,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -666,7 +666,7 @@
   "gemini-gemini-flash-lite-latest": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-flash-lite-latest",
-    "priority": 2,
+    "priority": 3,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -676,7 +676,7 @@
   "gemini-gemini-3-1-flash-lite-preview": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.1-flash-lite-preview",
-    "priority": 6,
+    "priority": 2,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -686,7 +686,7 @@
   "gemini-gemini-3-5-flash": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.5-flash",
-    "priority": 3,
+    "priority": 6,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -706,7 +706,7 @@
   "gemini-gemini-3-1-flash-lite": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.1-flash-lite",
-    "priority": 7,
+    "priority": 5,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",

package/server.js

@@ -162,6 +162,8 @@ const MODEL_MANAGER_CONFIG = Object.assign(
 );
 const autoUpdate = require('./lib/autoupdate');
 const AUTO_UPDATE = (config.autoUpdate && typeof config.autoUpdate === 'object') ? config.autoUpdate : {};
+const diagMonitor = require('./lib/diagmonitor');
+const DIAG_MONITOR = (config.diagMonitor && typeof config.diagMonitor === 'object') ? config.diagMonitor : { enabled: true, intervalMs: 30 * 60 * 1000 };
 const modelManager = new ModelManager({
   dbPath: path.join(__dirname, 'models-db.json'),
   catalogPath: path.join(__dirname, 'providers.json'),
@@ -557,8 +559,11 @@ async function handleChatCompletion(req, res, body) {
     }
   }
 
-  // Check cache (works for both streaming and non-streaming)
-  const cached = cache.get(effectiveModel, body.messages, body.temperature);
+  // Tool-запросы (агент вызывает инструмент) НЕ кэшируем: ответ зависит от tool_calls,
+  // а кэш по messages может отдать текстовый ответ вместо инструмента — агент
+  // «останавливается», не получив tool. Идём всегда к провайдеру.
+  const hasTools = !!(body.tools || body.tool_choice);
+  const cached = hasTools ? null : cache.get(effectiveModel, body.messages, body.temperature, body.tools || body.tool_choice);
   if (cached) {
     logger.request({ model: requestedModel, provider: 'cache', status: 200, cached: true });
     recordRecent({ model: requestedModel, provider: 'cache', status: 200, latency: 0, cached: true });
@@ -569,7 +574,7 @@ async function handleChatCompletion(req, res, body) {
   }
 
   // Semantic cache: same intent, rephrased wording → replay without a new LLM call.
-  if (SEMCACHE_CONFIG.enabled) {
+  if (SEMCACHE_CONFIG.enabled && !hasTools) {
     const semantic = cache.getSemantic(effectiveModel, body.messages, body.temperature, SEMCACHE_CONFIG.minSimilarity);
     if (semantic) {
       logger.request({ model: requestedModel, provider: 'semcache', status: 200, cached: true });
@@ -595,6 +600,17 @@ async function handleChatCompletion(req, res, body) {
     .filter(([_, p]) => p.enabled && !isCircuitOpen(p.key) && p.vision !== true &&
       (getHealth()[p.key]?.status === 'up' || getHealth()[p.key]?.status === 'ratelimited'));
 
+  // Анти-«замирание»: провайдер, накопивший много ошибок сегодня (status остаётся
+  // 'up' — это не 429/401, а флап/долгие таймауты), по-прежнему попадает в цепочку
+  // и тормозит ответ. Исключаем его из активного пула до конца дня. Если так пул
+  // пустеет (все «ошибочные») — вернём их как крайний резерв, чтобы не отдать 503.
+  const todayErrors = getStats().errors || {};
+  const ERROR_POOL_THRESHOLD = 15;
+  const lowErrorProviders = healthyProviders.filter(
+    ([k]) => (todayErrors[k] || 0) < ERROR_POOL_THRESHOLD
+  );
+  const healthy2 = lowErrorProviders.length > 0 ? lowErrorProviders : healthyProviders;
+
   // Window-aware routing: estimate the request size and only consider providers
   // whose context window can actually hold it. This stops large requests from
   // burning time falling through lfm (65k) / groq (131k) providers that reject
@@ -603,10 +619,10 @@ async function handleChatCompletion(req, res, body) {
   // requests keep the full fast pool.
   const requestTokens = estimateTokens(body.messages);
   const MIN_WINDOW = 50000; // below this we don't filter (typical requests)
-  let windowPool = healthyProviders;
+  let windowPool = healthy2;
   let upgradeNoCapable = false; // апгрейд, но ни один здоровый провайдер не держит запрос
   if (requestTokens > MIN_WINDOW || windowUpgraded) {
-    const capable = healthyProviders.filter(([_, p]) => {
+    const capable = healthy2.filter(([_, p]) => {
       const win = p.context_window || 0;
       // Unknown/0 window providers are kept (heuristic) — better to try than drop.
       return win === 0 || win >= requestTokens;
@@ -894,7 +910,7 @@ async function handleChatCompletion(req, res, body) {
                 model: provider.model,
                 choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
                 usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-              }, key);
+              }, key, body.tools || body.tool_choice);
             }
             commit(200);
             res.end();
@@ -1004,7 +1020,7 @@ async function handleChatCompletion(req, res, body) {
               model: provider.model,
               choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
               usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-            }, key);
+            }, key, body.tools || body.tool_choice);
           }
           commit(200);
           res.end();
@@ -1053,7 +1069,7 @@ async function handleChatCompletion(req, res, body) {
           }
         }
         commit(200);
-        cache.set(effectiveModel, body.messages, body.temperature, result.data, key);
+        cache.set(effectiveModel, body.messages, body.temperature, result.data, key, body.tools || body.tool_choice);
         recordTokens(key, result.usage);
         res.writeHead(200, { 'Content-Type': 'application/json' });
         res.end(JSON.stringify(result.data));
@@ -1150,7 +1166,7 @@ if (isTooShort(result.data, lastUserText(body.messages))) {
           measure.real = (result.data.usage && result.data.usage.prompt_tokens) ? result.data.usage.prompt_tokens : measure.sentTokens || 0;
           measure.win = PROVIDERS[key]?.context_window || 0;
           commit(200);
-          cache.set(effectiveModel, body.messages, body.temperature, result.data, key);
+          cache.set(effectiveModel, body.messages, body.temperature, result.data, key, body.tools || body.tool_choice);
           recordTokens(key, result.usage);
           res.writeHead(200, { 'Content-Type': 'application/json' });
           res.end(JSON.stringify(result.data));
@@ -1208,7 +1224,7 @@ if (isTooShort(result.data, lastUserText(body.messages))) {
                 model: provider.model,
                 choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
                 usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-              }, key);
+              }, key, body.tools || body.tool_choice);
             }
             commit(200);
             res.end();
@@ -1745,10 +1761,16 @@ server.listen(PORT, process.env.HOST || '127.0.0.1', () => {
     autoUpdate.startAutoUpdate({ root: __dirname, log: (m) => logger.info(m) });
     logger.info('AutoUpdate enabled', { intervalMs: AUTO_UPDATE.intervalMs });
   }
+  // Мониторинг метрик: снапшот каждые 30 мин → можно сравнить «до/после» фиксов.
+  if (DIAG_MONITOR.enabled) {
+    diagMonitor.startMonitor(DIAG_MONITOR.intervalMs);
+    logger.info('DiagMonitor started', { intervalMs: DIAG_MONITOR.intervalMs });
+  }
 });
 
 const _shutdown = () => {
   if (memStore) { memStore.stopTimer(); memStore.save(); }
+  diagMonitor.stopMonitor();
   require('./lib/health').saveState();
   cache.persist();
   try { modelManager.stop(); } catch {}