freegate 0.6.17 → 0.6.20

package/lib/vetting.js

@@ -0,0 +1,91 @@
+// lib/vetting.js — самопроверка ответа второй моделью.
+// После получения ответа от free-модели (не-stream) отправляем краткий чек
+// другой модели: выявить фактические/логические ошибки. Экономит free-лимиты:
+// включается только по конфигу и только когда ответ достаточно содержательный.
+const logger = require('./logger');
+
+const VETTING_DEFAULTS = {
+  enabled: false,        // выкл по умолчанию — жжёт 2-й лимит на каждый запрос
+  minAnswerLen: 120,     // мельче — нечего проверять
+  maxChecksPerMin: 4,    // троттлинг: не больше N проверок в минуту
+  complexityOnly: true,  // только сложные/кодинг-задачи
+};
+
+const SYSTEM = 'Ты — строгий проверяльщик. Перечитай ответ, который дал другой ИИ, и найди ФАКТИЧЕСКИЕ или ЛОГИЧЕСКИЕ ошибки. Отвечай ТОЛЬКО одним из: "OK" (если ошибок нет) или "Замечание: <кратко, 1 фраза>" (если есть реальная ошибка). Не выдумывай — проверяй только то, что очевидно неверно. Не хвали и не повторяй ответ.';
+
+// Проверить, стоит ли вообще запускать проверку.
+function shouldVet({ config = {}, complexity = 0, answerLen = 0, category = '' } = {}) {
+  const cfg = Object.assign({}, VETTING_DEFAULTS, config);
+  if (!cfg.enabled) return false;
+  if (answerLen < cfg.minAnswerLen) return false;
+  // complexityOnly: vetting только для coding/design/reasoning (сложных задач);
+  // поиск/чат не тратим лишний лимит.
+  if (cfg.complexityOnly) {
+    const complexCats = new Set(['coding', 'design', 'reasoning']);
+    if (complexCats.has(category)) return true;
+    if (complexity >= 0.5) return true;
+    return false;
+  }
+  return true;
+}
+
+// Разобрать ответ проверяльщика → { ok:boolean, note:string }
+function parseVerdict(text) {
+  const s = String(text || '').trim();
+  if (!s) return { ok: true, note: '' };
+  if (/^\s*ok\b/i.test(s)) return { ok: true, note: '' };
+  const m = s.match(/замечание\s*[:\-]?\s*(.*)/i);
+  if (m && m[1] && m[1].trim()) return { ok: false, note: m[1].trim().slice(0, 200) };
+  // Иначе считаем OK (неопределённый ответ не блокируем).
+  return { ok: true, note: '' };
+}
+
+// Троттлинг: кольцевой буфер времени последних проверок.
+let lastChecks = [];
+
+function allowCheck(now = Date.now(), maxPerMin = VETTING_DEFAULTS.maxChecksPerMin) {
+  if (!Array.isArray(lastChecks)) lastChecks = [];
+  const cutoff = now - 60000;
+  lastChecks = lastChecks.filter((t) => t > cutoff);
+  if (lastChecks.length >= maxPerMin) return false;
+  lastChecks.push(now);
+  return true;
+}
+
+function resetThrottle() { lastChecks = []; }
+
+// Запустить проверку: body = второй вызов к провайдеру (callProvider).
+// Вернёт { checked:boolean, ok:boolean, note:string }.
+async function vetAnswer({ answer, callProvider, picks = [], config = {}, now = Date.now() }) {
+  const cfg = Object.assign({}, VETTING_DEFAULTS, config);
+  if (!answer || typeof answer !== 'string') return { checked: false, ok: true, note: '' };
+  if (!picks || picks.length === 0) return { checked: false, ok: true, note: '' };
+  if (!allowCheck(now, cfg.maxChecksPerMin)) return { checked: false, ok: true, note: '' };
+
+  // Пробуем других провайдеров (не тот, что дал ответ), пока один не проверит.
+  for (const provider of picks) {
+    try {
+      const result = await callProvider(provider, {
+        model: provider.model,
+        messages: [
+          { role: 'system', content: SYSTEM },
+          { role: 'user', content: 'Проверь этот ответ на ошибки. Ответ:\n\n' + answer.slice(0, 4000) },
+        ],
+        temperature: 0,
+        max_tokens: 120,
+      }, 20000, 1);
+      const text = result && result.data && result.data.choices && result.data.choices[0] &&
+        result.data.choices[0].message && result.data.choices[0].message.content;
+      if (text && text.trim()) {
+        const verdict = parseVerdict(text);
+        return { checked: true, ok: verdict.ok, note: verdict.note, by: provider.key || provider.model };
+      }
+    } catch (err) {
+      // пробуем следующего
+      logger.debug('vetting failed', { provider: provider.key, error: err.message });
+    }
+  }
+  return { checked: false, ok: true, note: '' };
+}
+
+module.exports = { shouldVet, parseVerdict, vetAnswer, allowCheck, resetThrottle, VETTING_DEFAULTS, SYSTEM };

package/lib/websearch.js

@@ -0,0 +1,75 @@
+// lib/websearch.js — веб-поиск для search-задач (бесплатно, без ключа).
+// Используется, чтобы Freegate находил факты вместо галлюцинаций («что такое
+// минимакс дизайн» → реальные данные о MiniMax, а не «минимализм»).
+// Источник: DuckDuckGo HTML (без API-ключа). Вся сеть через injectable fetchImpl.
+// parseDdg() — парсер HTML; search() — обёртка с таймаутом и защитой от сбоев.
+
+const DDG_URL = 'https://html.duckduckgo.com/html/';
+
+const isObject = (v) => v && typeof v === 'object';
+
+// Декодирует URL, обфусцированный DDG (//duckduckgo.com/l/?uddg=<enc>&rut=..).
+function decodeUrl(raw) {
+  if (!raw) return '';
+  if (!raw.includes('uddg=')) return raw;
+  try {
+    const m = raw.match(/[?&]uddg=([^&]+)/);
+    if (!m) return raw;
+    return decodeURIComponent(m[1]);
+  } catch {
+    return raw;
+  }
+}
+
+// Извлекает блоки результатов: title, url, snippet.
+function parseDdg(html) {
+  const out = [];
+  if (!html || typeof html !== 'string') return out;
+  // Каждый результат — блок с result__a (заголовок+ссылка) и опц. result__snippet.
+  const blocks = html.split('class="result results_links').slice(1);
+  for (const b of blocks) {
+    const titleM = b.match(/class="result__a"[^>]*>([^<]+)</);
+    const hrefM = b.match(/class="result__a"[^>]*href="([^"]+)"/);
+    const snipM = b.match(/class="result__snippet"[^>]*>([\s\S]*?)<\/a>/);
+    if (!titleM) continue;
+    const title = titleM[1].replace(/&amp;/g, '&').replace(/&lt;/g, '<').replace(/&gt;/g, '>').trim();
+    const url = decodeUrl(hrefM ? hrefM[1] : '');
+    const snippet = snipM
+      ? snipM[1].replace(/<[^>]+>/g, '').replace(/&amp;/g, '&').replace(/\.\.\./g, '').trim()
+      : '';
+    if (title && url) out.push({ title, url, snippet: snippet.slice(0, 300) });
+  }
+  return out;
+}
+
+// Поиск. Возвращает [{title,url,snippet}]; при любой ошибке — [] (не бросает).
+async function search(query, { fetchImpl, limit = 5, timeout = 8000 } = {}) {
+  if (!fetchImpl || !query) return [];
+  // DDG предпочитает '+' для пробелов (encodeURIComponent даёт %20 → может вернуть
+  // anti-bot 202 без результатов). Кодируем, затем пробелы → '+'.
+  const p = encodeURIComponent(query).replace(/%20/g, '+');
+  const url = DDG_URL + '?q=' + p;
+  try {
+    const controller = typeof AbortController !== 'undefined' ? new AbortController() : null;
+    const timer = controller ? setTimeout(() => controller.abort(), timeout) : null;
+    const res = await fetchImpl(url, {
+      headers: { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120 Safari/537.36' },
+      signal: controller ? controller.signal : undefined,
+    });
+    if (timer) clearTimeout(timer);
+    if (!res || !res.ok) return [];
+    const html = await res.text();
+    return parseDdg(html).slice(0, limit);
+  } catch {
+    return [];
+  }
+}
+
+// Собирает контекст для промпта: заголовки + ссылки + сниппеты.
+function toContext(results, query) {
+  if (!Array.isArray(results) || results.length === 0) return '';
+  const lines = results.map((r, i) => `${i + 1}. ${r.title} — ${r.url}${r.snippet ? ' | ' + r.snippet : ''}`);
+  return 'Актуальные данные из веб-поиска («' + query + '»):\n' + lines.join('\n');
+}
+
+module.exports = { DDG_URL, decodeUrl, parseDdg, search, toContext, isObject };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.17",
+  "version": "0.6.20",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to 25 free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek). Never pay for LLMs.",
   "license": "MIT",
   "bin": {

package/providers.json

@@ -370,5 +370,269 @@
     "envVar": "PROVIDER_MISTRAL_APIKEY",
     "free": true,
     "category": "coding"
+  },
+  "sambanova-gpt-oss-120b": {
+    "endpoint": "https://api.sambanova.ai/v1/chat/completions",
+    "model": "gpt-oss-120b",
+    "priority": 12,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.sambanova.ai → API Keys",
+    "envVar": "PROVIDER_SAMBANOVA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "sambanova-minimax-m2": {
+    "endpoint": "https://api.sambanova.ai/v1/chat/completions",
+    "model": "MiniMax-M2.7",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.sambanova.ai → API Keys",
+    "envVar": "PROVIDER_SAMBANOVA_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "sambanova-deepseek-v3": {
+    "endpoint": "https://api.sambanova.ai/v1/chat/completions",
+    "model": "DeepSeek-V3.2",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.sambanova.ai → API Keys",
+    "envVar": "PROVIDER_SAMBANOVA_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "sambanova-llama4-maverick": {
+    "endpoint": "https://api.sambanova.ai/v1/chat/completions",
+    "model": "Llama-4-Maverick-17B-128E-Instruct",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.sambanova.ai → API Keys",
+    "envVar": "PROVIDER_SAMBANOVA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 1000000
+  },
+  "sambanova-llama3.3-70b": {
+    "endpoint": "https://api.sambanova.ai/v1/chat/completions",
+    "model": "Meta-Llama-3.3-70B-Instruct",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.sambanova.ai → API Keys",
+    "envVar": "PROVIDER_SAMBANOVA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "siliconflow-deepseek-r1": {
+    "endpoint": "https://api.siliconflow.com/v1/chat/completions",
+    "model": "deepseek-ai/DeepSeek-R1",
+    "priority": 12,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.siliconflow.com → API Keys",
+    "envVar": "PROVIDER_SILICONFLOW_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "siliconflow-qwen3-coder": {
+    "endpoint": "https://api.siliconflow.com/v1/chat/completions",
+    "model": "Qwen/Qwen3-Coder-480B-A35B-Instruct",
+    "priority": 12,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.siliconflow.com → API Keys",
+    "envVar": "PROVIDER_SILICONFLOW_APIKEY",
+    "free": true,
+    "category": "coding",
+    "context_window": 131072
+  },
+  "siliconflow-qwen3-235b": {
+    "endpoint": "https://api.siliconflow.com/v1/chat/completions",
+    "model": "Qwen/Qwen3-235B-A22B-Instruct-2507",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.siliconflow.com → API Keys",
+    "envVar": "PROVIDER_SILICONFLOW_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "siliconflow-kimi-k2": {
+    "endpoint": "https://api.siliconflow.com/v1/chat/completions",
+    "model": "moonshotai/Kimi-K2.5",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.siliconflow.com → API Keys",
+    "envVar": "PROVIDER_SILICONFLOW_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "siliconflow-glm": {
+    "endpoint": "https://api.siliconflow.com/v1/chat/completions",
+    "model": "zai-org/GLM-4.7",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "cloud.siliconflow.com → API Keys",
+    "envVar": "PROVIDER_SILICONFLOW_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "deepinfra-gpt-oss-120b": {
+    "endpoint": "https://api.deepinfra.com/v1/openai/chat/completions",
+    "model": "openai/gpt-oss-120b",
+    "priority": 12,
+    "dailyLimit": 100000,
+    "keyHint": "deepinfra.com → API Keys",
+    "envVar": "PROVIDER_DEEPINFRA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "deepinfra-gpt-oss-20b": {
+    "endpoint": "https://api.deepinfra.com/v1/openai/chat/completions",
+    "model": "openai/gpt-oss-20b",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "deepinfra.com → API Keys",
+    "envVar": "PROVIDER_DEEPINFRA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "deepinfra-nemotron-super-120b": {
+    "endpoint": "https://api.deepinfra.com/v1/openai/chat/completions",
+    "model": "nvidia/NVIDIA-Nemotron-3-Super-120B-A12B",
+    "priority": 12,
+    "dailyLimit": 100000,
+    "keyHint": "deepinfra.com → API Keys",
+    "envVar": "PROVIDER_DEEPINFRA_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "deepinfra-llama-4-maverick": {
+    "endpoint": "https://api.deepinfra.com/v1/openai/chat/completions",
+    "model": "meta-llama/Llama-4-Maverick-17B-128E-Instruct",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "deepinfra.com → API Keys",
+    "envVar": "PROVIDER_DEEPINFRA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 1000000
+  },
+  "hyperbolic-deepseek-v3": {
+    "endpoint": "https://api.hyperbolic.xyz/v1/chat/completions",
+    "model": "deepseek-ai/DeepSeek-V3",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "app.hyperbolic.xyz → API Keys",
+    "envVar": "PROVIDER_HYPERBOLIC_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "hyperbolic-qwen3-coder": {
+    "endpoint": "https://api.hyperbolic.xyz/v1/chat/completions",
+    "model": "Qwen/Qwen2.5-Coder-32B-Instruct",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "app.hyperbolic.xyz → API Keys",
+    "envVar": "PROVIDER_HYPERBOLIC_APIKEY",
+    "free": true,
+    "category": "coding",
+    "context_window": 131072
+  },
+  "hyperbolic-llama-70b": {
+    "endpoint": "https://api.hyperbolic.xyz/v1/chat/completions",
+    "model": "meta-llama/Llama-3.3-70B-Instruct",
+    "priority": 15,
+    "dailyLimit": 100000,
+    "keyHint": "app.hyperbolic.xyz → API Keys",
+    "envVar": "PROVIDER_HYPERBOLIC_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "cohere-command-a": {
+    "endpoint": "https://api.cohere.com/compatibility/v1/chat/completions",
+    "model": "command-a-03-2025",
+    "priority": 15,
+    "dailyLimit": 100000,
+    "keyHint": "dashboard.cohere.com → API Keys",
+    "envVar": "PROVIDER_COHERE_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "cohere-command-r-plus": {
+    "endpoint": "https://api.cohere.com/compatibility/v1/chat/completions",
+    "model": "command-r-plus-08-2024",
+    "priority": 16,
+    "dailyLimit": 100000,
+    "keyHint": "dashboard.cohere.com → API Keys",
+    "envVar": "PROVIDER_COHERE_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "llm7-gpt4o-mini": {
+    "endpoint": "https://api.llm7.io/v1/chat/completions",
+    "model": "gpt-4o-mini-2024-07-18",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "llm7.io (бесплатный ключ при регистрации)",
+    "envVar": "PROVIDER_LLM7_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 131072
+  },
+  "llm7-deepseek-r1": {
+    "endpoint": "https://api.llm7.io/v1/chat/completions",
+    "model": "deepseek-r1-0528",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "llm7.io (бесплатный ключ при регистрации)",
+    "envVar": "PROVIDER_LLM7_APIKEY",
+    "free": true,
+    "category": "reasoning",
+    "context_window": 131072
+  },
+  "nara-mistral-large": {
+    "endpoint": "https://router.bynara.id/v1/chat/completions",
+    "model": "mistral-large",
+    "priority": 13,
+    "dailyLimit": 100000,
+    "keyHint": "nara — бесплатный ключ через Telegram-канал",
+    "envVar": "PROVIDER_NARA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 252000
+  },
+  "nara-mistral-medium": {
+    "endpoint": "https://router.bynara.id/v1/chat/completions",
+    "model": "mistral-medium-3-5",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "nara — бесплатный ключ через Telegram-канал",
+    "envVar": "PROVIDER_NARA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 256000
+  },
+  "nara-tencent-hy3": {
+    "endpoint": "https://router.bynara.id/v1/chat/completions",
+    "model": "tencent-hy3",
+    "priority": 14,
+    "dailyLimit": 100000,
+    "keyHint": "nara — бесплатный ключ через Telegram-канал",
+    "envVar": "PROVIDER_NARA_APIKEY",
+    "free": true,
+    "category": "general",
+    "context_window": 1000000
   }
 }