freegate 0.6.25 → 0.6.27

package/lib/compactor.js

@@ -13,18 +13,23 @@ const COMPACT_THRESHOLD = 60000;  // tokens — compact above 60k. estimateToken
                                   // Empirically opencode reads ~2x our estimate on real sessions,
                                   // so 60k est ≈ 120-160k real — safely below free-model windows
                                   // while keeping context summaries fresh.
-const KEEP_RECENT_TOKENS = 30000; // tokens — recent messages kept untouched (preserve session context)
+const KEEP_RECENT_TOKENS = 12000; // tokens — recent messages kept untouched (preserve session context)
+                                  // Оригинально было 10000 — компактный живой хвост. Я поднял
+                                  // до 30000, и модель получала большой НЕсжатый последний
+                                  // блок → на длинной сессии тонула и переставала вызывать
+                                  // инструменты («замирала»). 12000 — стабильный баланс, как
+                                  // в рабочем «раньше», но с небольшим запасом.
 const MAX_COMPACT_THRESHOLD = 100000; // est tokens — cap for window-aware thresholds (≈200k real,
                                       // sits safely inside even 512k/1M windows without compacting too early)
 const SUMMARY_MAX_TOKENS = 2000;  // tokens — summary length cap (detailed enough to not lose the work)
-const CHARS_PER_TOKEN = 2.0;      // heuristic chars→tokens. 3.0 СЛИШКОМ занижал оценку:
-                                  // window-aware фильтр не отсеивал groq (окно 131k) при
-                                  // реальном контексте 140k+ → groq принимал слишком большой
-                                  // запрос и МОЛЧАЛ («no first token») → каскад → зависание
-                                  // на минуты. 2.0: диалог 300k+ символов оценивается >131k
-                                  // (groq отсеивается) и компактится (>60k), но обычный
-                                  // рабочий диалог агента компактится реже, чем при 1.5.
-                                  // Баланс: не занижаем для окна, не завышаем для компакций.
+const CHARS_PER_TOKEN = 3.5;      // heuristic chars→tokens. Реальная плотность ~3.5-4 chars
+                                  // на токен для кода/текста (был 3.6 изначально и работало).
+                                  // Ошибки: 2.0 ЗАВЫШАЛИ оценку вдвое → компакция сжимала
+                                  // уже на 36k контексте (хотя модель держит 100-150k+).
+                                  // 3.5 даёт точную оценку: 36k токенов ≈ 36k→ не компактится,
+                                  // работаем до реальных ~60k+ живого диалога.
+                                  // WINDOW_SAFETY (1.3×) в server.js компенсирует для отсева
+                                  // малых окон (groq 131k) при больших запросах.
 
 // Reliability-ordered long-context summarizers. Порядок важен: getSummary идёт
 // по списку и ждёт ПЕРВЫЙ отвечающий (до 30с). Медленные/непроверенные в начале

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.25",
+  "version": "0.6.27",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to many free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek and more). Never pay for LLMs.",
   "license": "MIT",
   "bin": {

package/providers.json

@@ -666,7 +666,7 @@
   "gemini-gemini-flash-lite-latest": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-flash-lite-latest",
-    "priority": 2,
+    "priority": 4,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -696,7 +696,7 @@
   "gemini-gemini-3-5-flash-lite": {
     "endpoint": "https://generativelanguage.googleapis.com/v1beta/openai/chat/completions",
     "model": "gemini-3.5-flash-lite",
-    "priority": 4,
+    "priority": 2,
     "dailyLimit": 1500,
     "keyHint": "gemini → Keys (автодобавлено, general)",
     "envVar": "PROVIDER_GEMINI_APIKEY",
@@ -712,5 +712,15 @@
     "envVar": "PROVIDER_GEMINI_APIKEY",
     "free": true,
     "category": "general"
+  },
+  "hf-Qwen3-Coder-Next": {
+    "endpoint": "https://router.huggingface.co/v1/chat/completions",
+    "model": "Qwen/Qwen3-Coder-Next",
+    "priority": 1,
+    "dailyLimit": 200,
+    "keyHint": "huggingface → Keys (автодобавлено, coding)",
+    "envVar": "PROVIDER_HF_APIKEY",
+    "free": true,
+    "category": "coding"
   }
 }

package/server.js

@@ -619,13 +619,17 @@ async function handleChatCompletion(req, res, body) {
   // requests keep the full fast pool.
   const requestTokens = estimateTokens(body.messages);
   const MIN_WINDOW = 50000; // below this we don't filter (typical requests)
+  // Запас 2.0×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
+  // размер (~в 2-3 раза). Запас отсекает малые окна (groq 131k, or-lfm 65k) от больших
+  // запросов, но не убивает пул (большие окна: dots-3 512k, minimax 1M остаются).
+  const WINDOW_SAFETY = 2.0;
   let windowPool = healthy2;
   let upgradeNoCapable = false; // апгрейд, но ни один здоровый провайдер не держит запрос
   if (requestTokens > MIN_WINDOW || windowUpgraded) {
     const capable = healthy2.filter(([_, p]) => {
       const win = p.context_window || 0;
       // Unknown/0 window providers are kept (heuristic) — better to try than drop.
-      return win === 0 || win >= requestTokens;
+      return win === 0 || win >= requestTokens * WINDOW_SAFETY;
     });
     if (capable.length > 0) {
       windowPool = capable;