freegate 0.6.26 → 0.6.28

package/lib/compactor.js

@@ -19,17 +19,19 @@ const KEEP_RECENT_TOKENS = 12000; // tokens — recent messages kept untouched (
                                   // блок → на длинной сессии тонула и переставала вызывать
                                   // инструменты («замирала»). 12000 — стабильный баланс, как
                                   // в рабочем «раньше», но с небольшим запасом.
-const MAX_COMPACT_THRESHOLD = 100000; // est tokens — cap for window-aware thresholds (≈200k real,
-                                      // sits safely inside even 512k/1M windows without compacting too early)
+const MAX_COMPACT_THRESHOLD = 200000; // est tokens — cap для window-aware порогов. Большие окна
+                                      // (dots-3 512k, minimax 1M) держат ~100-200k живого диалога
+                                      // без компакции — не сжимаем раньше, чем реально нужно.
+                                      // Раньше cap 100k жал 150k-контексты, хотя модель годится.
 const SUMMARY_MAX_TOKENS = 2000;  // tokens — summary length cap (detailed enough to not lose the work)
-const CHARS_PER_TOKEN = 2.0;      // heuristic chars→tokens. 3.0 СЛИШКОМ занижал оценку:
-                                  // window-aware фильтр не отсеивал groq (окно 131k) при
-                                  // реальном контексте 140k+ → groq принимал слишком большой
-                                  // запрос и МОЛЧАЛ («no first token») → каскад → зависание
-                                  // на минуты. 2.0: диалог 300k+ символов оценивается >131k
-                                  // (groq отсеивается) и компактится (>60k), но обычный
-                                  // рабочий диалог агента компактится реже, чем при 1.5.
-                                  // Баланс: не занижаем для окна, не завышаем для компакций.
+const CHARS_PER_TOKEN = 3.5;      // heuristic chars→tokens. Реальная плотность ~3.5-4 chars
+                                  // на токен для кода/текста (был 3.6 изначально и работало).
+                                  // Ошибки: 2.0 ЗАВЫШАЛИ оценку вдвое → компакция сжимала
+                                  // уже на 36k контексте (хотя модель держит 100-150k+).
+                                  // 3.5 даёт точную оценку: 36k токенов ≈ 36k→ не компактится,
+                                  // работаем до реальных ~60k+ живого диалога.
+                                  // WINDOW_SAFETY (1.3×) в server.js компенсирует для отсева
+                                  // малых окон (groq 131k) при больших запросах.
 
 // Reliability-ordered long-context summarizers. Порядок важен: getSummary идёт
 // по списку и ждёт ПЕРВЫЙ отвечающий (до 30с). Медленные/непроверенные в начале

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.26",
+  "version": "0.6.28",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to many free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek and more). Never pay for LLMs.",
   "license": "MIT",
   "bin": {

package/providers.json

@@ -666,7 +666,7 @@
   "gemini-gemini-flash-lite-latest": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-flash-lite-latest",
-    "priority": 4,
+    "priority": 2,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -676,7 +676,7 @@
   "gemini-gemini-3-1-flash-lite-preview": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.1-flash-lite-preview",
-    "priority": 3,
+    "priority": 4,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -696,7 +696,7 @@
   "gemini-gemini-3-5-flash-lite": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.5-flash-lite",
-    "priority": 2,
+    "priority": 3,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -712,15 +712,5 @@
     "envVar": "PROVIDER_GEMINI_APIKEY",
     "free": true,
     "category": "general"
-  },
-  "hf-Qwen3-Coder-Next": {
-    "endpoint": "https://router.huggingface.co/v1/chat/completions",
-    "model": "Qwen/Qwen3-Coder-Next",
-    "priority": 1,
-    "dailyLimit": 200,
-    "keyHint": "huggingface → Keys (автодобавлено, coding)",
-    "envVar": "PROVIDER_HF_APIKEY",
-    "free": true,
-    "category": "coding"
   }
 }

package/server.js

@@ -619,10 +619,10 @@ async function handleChatCompletion(req, res, body) {
   // requests keep the full fast pool.
   const requestTokens = estimateTokens(body.messages);
   const MIN_WINDOW = 50000; // below this we don't filter (typical requests)
-  // Запас 1.3×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
-  // размер (opencode показывает ~140k, а прокси оценивает меньше). Без запаса малые
-  // окна (groq 131k, or-lfm 65k) берут большие запросы → 400/молчание → «замирание».
-  const WINDOW_SAFETY = 1.3;
+  // Запас 2.0×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
+  // размер (~в 2-3 раза). Запас отсекает малые окна (groq 131k, or-lfm 65k) от больших
+  // запросов, но не убивает пул (большие окна: dots-3 512k, minimax 1M остаются).
+  const WINDOW_SAFETY = 2.0;
   let windowPool = healthy2;
   let upgradeNoCapable = false; // апгрейд, но ни один здоровый провайдер не держит запрос
   if (requestTokens > MIN_WINDOW || windowUpgraded) {