freegate 0.6.24 → 0.6.26

package/lib/compactor.js

@@ -13,21 +13,23 @@ const COMPACT_THRESHOLD = 60000;  // tokens — compact above 60k. estimateToken
                                   // Empirically opencode reads ~2x our estimate on real sessions,
                                   // so 60k est ≈ 120-160k real — safely below free-model windows
                                   // while keeping context summaries fresh.
-const KEEP_RECENT_TOKENS = 30000; // tokens — recent messages kept untouched (preserve session context)
+const KEEP_RECENT_TOKENS = 12000; // tokens — recent messages kept untouched (preserve session context)
+                                  // Оригинально было 10000 — компактный живой хвост. Я поднял
+                                  // до 30000, и модель получала большой НЕсжатый последний
+                                  // блок → на длинной сессии тонула и переставала вызывать
+                                  // инструменты («замирала»). 12000 — стабильный баланс, как
+                                  // в рабочем «раньше», но с небольшим запасом.
 const MAX_COMPACT_THRESHOLD = 100000; // est tokens — cap for window-aware thresholds (≈200k real,
                                       // sits safely inside even 512k/1M windows without compacting too early)
 const SUMMARY_MAX_TOKENS = 2000;  // tokens — summary length cap (detailed enough to not lose the work)
-const CHARS_PER_TOKEN = 3.0;      // heuristic chars→tokens. БОЛЬШЕ делитель = МЕНЬШЕ оценка.
-                                  // Реальная плотность смешанного кода/текста ~4-6 chars на
-                                  // токен (не 1.5-2). chars/3.0 приближает оценку к реальным
-                                  // токенам, поэтому порог 60000 достигается только на реально
-                                  // больших диалогах (10+ компактированных страниц), а не на
-                                  // каждом рабочем чате с агентами.
-                                  // Раньше (1.5) оценка завышалась в ~4-6 раз → компакции шли
-                                  // на 86% запросов. Каждая компакция — отдельный LLM-вызов
-                                  // перед ответом = агент «замирает» / виснет на середине.
-                                  // window-aware routing всё равно исключает малые окна (or-lfm
-                                  // 65k) для больших запросов, так что запас к окнам сохранён.
+const CHARS_PER_TOKEN = 2.0;      // heuristic chars→tokens. 3.0 СЛИШКОМ занижал оценку:
+                                  // window-aware фильтр не отсеивал groq (окно 131k) при
+                                  // реальном контексте 140k+ → groq принимал слишком большой
+                                  // запрос и МОЛЧАЛ («no first token») → каскад → зависание
+                                  // на минуты. 2.0: диалог 300k+ символов оценивается >131k
+                                  // (groq отсеивается) и компактится (>60k), но обычный
+                                  // рабочий диалог агента компактится реже, чем при 1.5.
+                                  // Баланс: не занижаем для окна, не завышаем для компакций.
 
 // Reliability-ordered long-context summarizers. Порядок важен: getSummary идёт
 // по списку и ждёт ПЕРВЫЙ отвечающий (до 30с). Медленные/непроверенные в начале

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.24",
+  "version": "0.6.26",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to many free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek and more). Never pay for LLMs.",
   "license": "MIT",
   "bin": {

package/providers.json

@@ -646,7 +646,7 @@
   "gemini-gemma-4-26b-a4b-it": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemma-4-26b-a4b-it",
-    "priority": 7,
+    "priority": 6,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -666,7 +666,7 @@
   "gemini-gemini-flash-lite-latest": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-flash-lite-latest",
-    "priority": 3,
+    "priority": 4,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -676,7 +676,7 @@
   "gemini-gemini-3-1-flash-lite-preview": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.1-flash-lite-preview",
-    "priority": 2,
+    "priority": 3,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -686,7 +686,7 @@
   "gemini-gemini-3-5-flash": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.5-flash",
-    "priority": 6,
+    "priority": 7,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -696,7 +696,7 @@
   "gemini-gemini-3-5-flash-lite": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.5-flash-lite",
-    "priority": 4,
+    "priority": 2,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -712,5 +712,15 @@
     "envVar": "PROVIDER_GEMINI_APIKEY",
     "free": true,
     "category": "general"
+  },
+  "hf-Qwen3-Coder-Next": {
+    "endpoint": "https://router.huggingface.co/v1/chat/completions",
+    "model": "Qwen/Qwen3-Coder-Next",
+    "priority": 1,
+    "dailyLimit": 200,
+    "keyHint": "huggingface → Keys (автодобавлено, coding)",
+    "envVar": "PROVIDER_HF_APIKEY",
+    "free": true,
+    "category": "coding"
   }
 }

package/server.js

@@ -619,13 +619,17 @@ async function handleChatCompletion(req, res, body) {
   // requests keep the full fast pool.
   const requestTokens = estimateTokens(body.messages);
   const MIN_WINDOW = 50000; // below this we don't filter (typical requests)
+  // Запас 1.3×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
+  // размер (opencode показывает ~140k, а прокси оценивает меньше). Без запаса малые
+  // окна (groq 131k, or-lfm 65k) берут большие запросы → 400/молчание → «замирание».
+  const WINDOW_SAFETY = 1.3;
   let windowPool = healthy2;
   let upgradeNoCapable = false; // апгрейд, но ни один здоровый провайдер не держит запрос
   if (requestTokens > MIN_WINDOW || windowUpgraded) {
     const capable = healthy2.filter(([_, p]) => {
       const win = p.context_window || 0;
       // Unknown/0 window providers are kept (heuristic) — better to try than drop.
-      return win === 0 || win >= requestTokens;
+      return win === 0 || win >= requestTokens * WINDOW_SAFETY;
     });
     if (capable.length > 0) {
       windowPool = capable;