freegate 0.6.17 → 0.6.20

package/server.js

@@ -4,11 +4,12 @@ const fs = require('fs');
 const path = require('path');
 const { LRUCache } = require('./lib/cache');
 const { PROVIDERS, MODEL_MAP, callProvider, reloadProviders } = require('./lib/providers');
-const { loadState, initHealth, isCircuitOpen, recordSuccess, recordFailure, recordRequest, recordTokens, getHealth, getStats, getReliability, recordRecent, recordRpm, getRecent, getRpm, recordSelection, getLastSelection, getBandit, recordBandit, warmBanditPriors, getContextStats } = require('./lib/health');
+const { loadState, initHealth, isCircuitOpen, recordSuccess, recordFailure, recordRequest, recordTokens, getHealth, getStats, getReliability, recordRecent, recordRpm, getRecent, getRpm, recordSelection, getLastSelection, getBandit, recordBandit, warmBanditPriors, getContextStats, getHourly } = require('./lib/health');
 const { checkRateLimit } = require('./lib/rateLimit');
 const { handleDashboard } = require('./lib/dashboard');
 const { acquire, stats: poolStats } = require('./lib/pool');
 const { aggregateSavings } = require('./lib/economics');
+const websearch = require('./lib/websearch');
 const { stripThink, cleanDelta, cleanMessage, fixReasoningMessage, isTooShort, MIN_ANSWER_LEN } = require('./lib/clean');
 const { classifyComplexity, maybeUpgradeTier, classifyVisionComplexity, needsWindowUpgrade } = require('./lib/routing');
 const { bucket, pick: banditPick, isTransientLimit } = require('./lib/bandit');
@@ -42,7 +43,10 @@ const warmed = warmBanditPriors(
 );
 if (warmed > 0) logger.info('Warmed bandit priors', { warmed });
 
-const cache = new LRUCache(500, 3600000, false, true); // 4th arg: semantic normalize ON
+// Диск-кэш: повторы промптов не жгут free-лимиты. TTL 24ч (чаты/агенты часто
+// переотправляют одинаковые запросы — ретраи, повторные вопросы; дневной кэш
+// снимает лишнюю нагрузку). Семантический normalize ON (4-й арг).
+const cache = new LRUCache(500, 24 * 3600 * 1000, false, true);
 require('./lib/cache')._activeCache = cache;
 
 // Load config (with fallback so a corrupt config never crashes the server)
@@ -95,6 +99,39 @@ const METHODOLOGY_CONFIG = Object.assign(
   (config.methodology && typeof config.methodology === 'object') ? config.methodology : {}
 );
 
+// --- Самопроверка ответа второй моделью (vetting) ---
+// Опционально: после не-stream ответа отправляем краткий чек другой модели.
+// Выключено по умолчанию (жжёт 2-й free-лимит). Включается config.vetting.enabled.
+const { shouldVet, vetAnswer, VETTING_DEFAULTS } = require('./lib/vetting');
+const VETTING_CONFIG = Object.assign(
+  { ...VETTING_DEFAULTS },
+  (config.vetting && typeof config.vetting === 'object') ? config.vetting : {}
+);
+
+// --- Стратегия роутинга ---
+// Опциональные модификаторы равномерности (round-robin / least-used).
+// По умолчанию 'weighted' — поведение без изменений.
+const { makeWeightModifier } = require('./lib/strategy');
+const ROUTING_STRATEGY = (config.routing && config.routing.strategy) || 'weighted';
+
+// --- Сжатие промпта (Caveman-стиль) ---
+// Опционально убирает вежливость/заполнители из последнего user-сообщения,
+// экономя токены. config.compress.enabled=true включает.
+const { compressMessages } = require('./lib/compress');
+const COMPRESS_CONFIG = Object.assign(
+  { enabled: false, minLen: 60 },
+  (config.compress && typeof config.compress === 'object') ? config.compress : {}
+);
+
+// --- Веб-поиск для search-задач ---
+// Бесплатный поиск фактов (DuckDuckGo, без ключа) для запросов-поиска, чтобы
+// модель не галлюцинировала («что такое минимакс дизайн» → реальная инфа про
+// MiniMax, а не «минимализм»). Только для search-задач. Сбои не ломают запрос.
+const WEBSEARCH_CONFIG = Object.assign(
+  { enabled: true, limit: 5, timeout: 8000, queryMinChars: 6 },
+  (config.websearch && typeof config.websearch === 'object') ? config.websearch : {}
+);
+
 // --- Самообновляющаяся база моделей (Model Discovery Engine) ---
 // Планировщик живёт внутри сервера: работает «всегда» у всех пользователей
 // пакета без cron/launchd. config.modelManager.enabled=false отключает.
@@ -446,6 +483,15 @@ async function handleChatCompletion(req, res, body) {
   if (METHODOLOGY_CONFIG.enabled && Array.isArray(body.messages)) {
     try {
       taskCategory = classifyTask(body.messages);
+      // Сжатие промпта: убираем вежливость/заполнители ДО методолога (методолог
+      // не должен суммировать сжатый текст). Опционально (config.compress).
+      if (COMPRESS_CONFIG.enabled) {
+        const compressed = compressMessages(body.messages, COMPRESS_CONFIG);
+        if (compressed !== body.messages && Array.isArray(compressed)) {
+          body.messages = compressed;
+          measure.compressed = 1;
+        }
+      }
       const injected = injectMethodology(body.messages, taskCategory, METHODOLOGY_CONFIG);
       if (injected !== body.messages) {
         body.messages = injected;
@@ -456,6 +502,35 @@ async function handleChatCompletion(req, res, body) {
     }
   }
 
+  // --- Веб-поиск для search-задач ---
+  // Нашли факты из интернета (DuckDuckGo, без ключа) и подмешали как контекст,
+  // чтобы модель отвечала по существу, а не галлюцинировала. Только search.
+  // Любой сбой (нет сети/таймаут/пусто) = просто пропускаем, запрос идёт как есть.
+  let searchContext = '';
+  if (WEBSEARCH_CONFIG.enabled && (taskCategory === 'search' || taskCategory === 'chat')) {
+    try {
+      const userTexts = (body.messages || [])
+        .filter(m => m && m.role === 'user' && typeof m.content === 'string')
+        .map(m => m.content.trim());
+      const query = userTexts[userTexts.length - 1] || '';
+      if (query.length >= WEBSEARCH_CONFIG.queryMinChars) {
+        const results = await websearch.search(query, {
+          fetchImpl: (url, opts) => fetch(url, opts),
+          limit: WEBSEARCH_CONFIG.limit,
+          timeout: WEBSEARCH_CONFIG.timeout,
+        });
+        if (results.length > 0) {
+          searchContext = websearch.toContext(results, query);
+          measure.websearch = true;
+          body.messages.push({ role: 'system', content: searchContext });
+          logger.info('Websearch', { query: query.slice(0, 80), results: results.length });
+        }
+      }
+    } catch (err) {
+      logger.error('Websearch error', { message: err.message });
+    }
+  }
+
   // Replays a previously cached completion (exact or semantic hit), preserving
   // the stream/non-stream shape the client asked for.
   function serveCached(res, cached, isStreaming) {
@@ -566,6 +641,9 @@ async function handleChatCompletion(req, res, body) {
         .sort((a, b) => (b.provider.context_window || 0) - (a.provider.context_window || 0))
         .slice(0, 1);
     } else {
+      const usedTodayList = {};
+      for (const [k] of pool) usedTodayList[k] = usedTodayFor(k);
+      const strategyModifier = makeWeightModifier(ROUTING_STRATEGY, { keys: pool.map(([k]) => k), usedTodayList });
       const scored = pool.map(([key, provider]) => {
         const h = getHealth()[key];
         let score = h.score || 50;
@@ -578,12 +656,19 @@ async function handleChatCompletion(req, res, body) {
         // не исключая fallback. coding→coding, reasoning→reasoning, chat/search→general.
         const cat = provider.category || 'general';
         if (taskCategory === 'coding' && cat === 'coding') weight *= 1.5;
+        else if (taskCategory === 'design' && cat === 'coding') weight *= 1.6;
         else if (taskCategory === 'reasoning' && cat === 'reasoning') weight *= 1.5;
         else if ((taskCategory === 'chat' || taskCategory === 'search') && cat === 'general') weight *= 1.2;
+        // Дизайн — это UI-код: визуальные рекомендации идут от coding-моделей.
+        else if (taskCategory === 'design' && cat === 'reasoning') weight *= 0.4;
         // Простой факт/поиск не должен «думать вслух» на reasoning-модели:
         // это дорого по лимитам и даёт размышления вместо краткого ответа.
         if ((taskCategory === 'chat' || taskCategory === 'search') && cat === 'reasoning') weight *= 0.15;
         else if ((taskCategory === 'chat' || taskCategory === 'search') && cat === 'vision') weight *= 0.3;
+        // Поиск фактов — не кодинг-задача: codestral (coding) на вопросе
+        // «что такое минимакс дизайн» выдаёт рассуждение про «минимализм».
+        // Отдаём search на general-модели (minimax/small), а не на кодеров.
+        if (taskCategory === 'search' && cat === 'coding') weight *= 0.3;
         const dailyLimit = provider.dailyLimit || 0;
         // Провайдер, исчерпавший дневной лимит (попал в пул лишь как крайний
         // резерв, когда живы все выгорели), — сильно штрафуем, чтобы выбрать
@@ -591,6 +676,9 @@ async function handleChatCompletion(req, res, body) {
         const usedToday = usedTodayFor(key);
         if (dailyLimit > 0 && usedToday >= dailyLimit) weight *= 0.03;
         else if (dailyLimit > 0 && usedToday >= dailyLimit * 0.9) weight *= 0.4;
+        // Стратегия роутинга: равномерность (round-robin / least-used) как
+        // лёгкий модификатор к базовому weight — не ломает основной скоринг.
+        weight *= strategyModifier(key);
         return { key, provider, weight };
       });
 
@@ -634,13 +722,19 @@ async function handleChatCompletion(req, res, body) {
     const tLimit = (getStats().dailyUsage?.[targetProviderKey]?.[today]) || 0;
     const tCap = PROVIDERS[targetProviderKey].dailyLimit || 0;
     const targetBurned = tHealth?.status === 'ratelimited' || (tCap > 0 && tLimit >= tCap * 0.9);
-    if (!targetBurned) {
+    // Кодинг-target (codestral) не подходит для поиска фактов: на вопросе
+    // «что такое минимакс дизайн» он отвечает «минимализм», а не про нейросеть.
+    // Для search/chat-задач НЕ ставим кодинг-модель первой — пусть выберётся
+    // general-модель (minimax/small), которая отвечает по существу.
+    const targetIsCoding = (PROVIDERS[targetProviderKey].category || '') === 'coding';
+    const targetMismatch = (taskCategory === 'search' || taskCategory === 'chat') && targetIsCoding;
+    if (!targetBurned && !targetMismatch) {
       enabledProviders = [
         [targetProviderKey, PROVIDERS[targetProviderKey]],
         ...enabledProviders.filter(([k]) => k !== targetProviderKey),
       ];
     } else {
-      logger.info('Target-first skip', { key: targetProviderKey, status: tHealth?.status, used: tLimit, cap: tCap });
+      logger.info('Target-first skip', { key: targetProviderKey, status: tHealth?.status, used: tLimit, cap: tCap, mismatch: targetMismatch });
     }
   }
 
@@ -781,7 +875,7 @@ async function handleChatCompletion(req, res, body) {
                 model: provider.model,
                 choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
                 usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-              });
+              }, key);
             }
             commit(200);
             res.end();
@@ -891,7 +985,7 @@ async function handleChatCompletion(req, res, body) {
               model: provider.model,
               choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
               usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-            });
+            }, key);
           }
           commit(200);
           res.end();
@@ -916,8 +1010,31 @@ async function handleChatCompletion(req, res, body) {
         measure.provider = key;
         measure.real = (result.data.usage && result.data.usage.prompt_tokens) ? result.data.usage.prompt_tokens : measure.sentTokens || 0;
         measure.win = PROVIDERS[key]?.context_window || 0;
+        // Самопроверка второй моделью (опционально): только не-stream, только по конфигу.
+        if (VETTING_CONFIG.enabled && !isStreaming) {
+          const answer = result.data?.choices?.[0]?.message?.content || '';
+          if (shouldVet({ config: VETTING_CONFIG, complexity, category: taskCategory, answerLen: answer.length })) {
+            const picks = Object.entries(PROVIDERS)
+              .filter(([pk, p]) => p.enabled && pk !== key && !isCircuitOpen(pk) &&
+                getHealth()[pk]?.status === 'up' && p.vision !== true)
+              .map(([_, p]) => p);
+            try {
+              const verdict = await vetAnswer({ answer, callProvider, picks, config: VETTING_CONFIG });
+              if (verdict.checked && !verdict.ok && verdict.note) {
+                const msg = result.data.choices[0].message;
+                msg.content = (msg.content || '') + '\n\n> ⚠️ Проверка второй моделью: ' + verdict.note;
+                measure.vetted = 1;
+                measure.vetNote = verdict.note;
+              } else {
+                measure.vetted = 0;
+              }
+            } catch (vetErr) {
+              measure.vetted = 0;
+            }
+          }
+        }
         commit(200);
-        cache.set(effectiveModel, body.messages, body.temperature, result.data);
+        cache.set(effectiveModel, body.messages, body.temperature, result.data, key);
         recordTokens(key, result.usage);
         res.writeHead(200, { 'Content-Type': 'application/json' });
         res.end(JSON.stringify(result.data));
@@ -1004,7 +1121,7 @@ if (isTooShort(result.data, lastUserText(body.messages))) {
           measure.real = (result.data.usage && result.data.usage.prompt_tokens) ? result.data.usage.prompt_tokens : measure.sentTokens || 0;
           measure.win = PROVIDERS[key]?.context_window || 0;
           commit(200);
-          cache.set(effectiveModel, body.messages, body.temperature, result.data);
+          cache.set(effectiveModel, body.messages, body.temperature, result.data, key);
           recordTokens(key, result.usage);
           res.writeHead(200, { 'Content-Type': 'application/json' });
           res.end(JSON.stringify(result.data));
@@ -1062,7 +1179,7 @@ if (isTooShort(result.data, lastUserText(body.messages))) {
                 model: provider.model,
                 choices: [{ index: 0, message: { role: 'assistant', content: full }, finish_reason: 'stop' }],
                 usage: { prompt_tokens: 0, completion_tokens: 0, total_tokens: 0 },
-              });
+              }, key);
             }
             commit(200);
             res.end();
@@ -1291,6 +1408,7 @@ const server = http.createServer(async (req, res) => {
         return [k, { status: v.status, score: v.score, latency_ms: v.latency, reason, reliability }];
       })),
       cache: cache.stats(),
+      hourly: (() => { try { return getHourly(); } catch { return []; } })(),
       limits,
       pool: poolStats(),
       last_selection: getLastSelection(),