deel-local-cli 1.0.2 → 1.1.0

package/src/backend/learn.js

@@ -47,14 +47,16 @@ export function 배울것(message) {
   // ── 1) 컨텍스트 한계 ──────────────────────────────────────────────────
   // OpenAI·vLLM·LiteLLM·대부분의 게이트웨이가 이 모양으로 말한다.
   const ctx표 = [
+    // OpenAI·대부분의 게이트웨이
     // "maximum context length is 8192 tokens, however you requested 41003"
     // "…is 4096 tokens. However, you requested 5000 tokens."  ← 마침표가 중간에 낀다.
     // 그래서 [^.] 로 막으면 안 된다. 대신 사이를 80자로만 묶어 엉뚱한 숫자를 안 집게 한다.
     /maximum context length is\s+(\d+)\s*tokens?(?:[\s\S]{0,80}?requested\s+(\d+))?/i,
     /context length[^.\d]{0,40}(\d{3,})[\s\S]{0,80}?requested\s+(\d+)/i,
-    // llama.cpp: "the request exceeds the available context size. try increasing the context size or enable context shift"
-    // 숫자를 안 주는 경우다. n_ctx = 8192 처럼 따로 적어 주기도 한다.
-    /n_ctx\s*[:=]?\s*(\d{3,})/i,
+    // vLLM: "Requested tokens (41003) exceed context window of 8192"
+    /context window of\s+(\d{3,})/i,
+    // llama.cpp: "n_ctx = 8192" · "greater than n_ctx (8192)"  ← 괄호가 붙는다
+    /n_ctx\s*[:=]?\s*\(?\s*(\d{3,})/i,
     // 한국어로 옮겨 놓은 사내 게이트웨이
     /(?:최대\s*)?컨텍스트[^\d]{0,20}(\d{3,})/,
   ];
@@ -83,6 +85,41 @@ export function 배울것(message) {
     return { kind: 'out', limit, asked: null, text: 짧게(s) };
   }
 
+  /*
+   * ── 모르는 서버를 위한 마지막 수 ──────────────────────────────────────
+   *
+   * 위의 표들은 '이미 본 문장' 만 읽는다. 그런데 이 파일이 존재하는 이유는
+   * **처음 보는 서버에서도 통하게** 하려는 것이다. 표를 늘리는 방식으로는
+   * 영영 못 따라간다 — 서버는 계속 새로 나오고, 문장은 저마다 다르다.
+   *
+   *   TGI        "input length 41003 exceeds maximum 8192"
+   *   llama.cpp  "context the overflows: 41003 > 8192"
+   *   KoboldCpp  "Prompt is too long: 41003 > 8192"
+   *
+   * 문장은 다 다른데 **모양은 하나**다 — 숫자가 둘 나오고, 우리가 보낸 큰
+   * 값과 서버가 받는 작은 값이다. 그러면 규칙은 간단하다: 길이가 문제라고
+   * 말하는 문장에서 숫자를 다 뽑아, **작은 쪽이 한계**다.
+   *
+   * 틀려도 안전한 쪽으로 틀린다 — 한계를 실제보다 작게 잡으면 조금 손해 보고
+   * 돌아갈 뿐이지만, 크게 잡으면 조용히 잘린다. 그리고 다음 요청에서 서버가
+   * 또 알려 주므로 스스로 고쳐진다.
+   *
+   * **표를 먼저 다 본 뒤에** 온다. 순서가 중요하다 — 앞에 두면
+   * `max_tokens is too large: 200000 … at most 16384` 같은 **출력** 한계가
+   * 컨텍스트 한계로 잘못 배워진다. 그러면 창을 16,384 로 줄여 버린다.
+   */
+  if (길이문제인가(s)) {
+    const 숫자들 = [...s.matchAll(/\d[\d,]*/g)]
+      .map((m) => 성한수(m[0].replace(/,/g, '')))
+      .filter(Boolean);
+    if (숫자들.length >= 2) {
+      const 작은것 = Math.min(...숫자들);
+      const 큰것 = Math.max(...숫자들);
+      // 둘이 같으면 뭘 뽑은 건지 알 수 없다. 그때는 배웠다고 하지 않는다.
+      if (작은것 < 큰것) return { kind: 'ctx', limit: 작은것, asked: 큰것, text: 짧게(s), 짐작: true };
+    }
+  }
+
   return null;
 }
 
@@ -94,7 +131,12 @@ export function 배울것(message) {
  */
 export function 길이문제인가(message) {
   const s = String(message ?? '');
-  return /context (?:length|size|window)|too (?:long|large|many tokens)|exceeds?[^.]{0,30}(?:context|limit|token)|max_tokens|token limit|컨텍스트|너무 (?:깁|많|큽)/i.test(s);
+  return /context (?:length|size|window)|too (?:long|large|many tokens)|exceeds?[^.]{0,30}(?:context|limit|token)|max_tokens|token limit|컨텍스트|너무 (?:깁|많|큽)/i.test(s)
+    // 아래는 서버마다 말이 달라 위 표에 안 잡히던 것들이다. 전부 실제 문장이다.
+    //   TGI        "input length 41003 exceeds maximum 8192"
+    //   llama.cpp  "context the overflows: 41003 > 8192"
+    //   여러 곳     "prompt is too long" · "n_ctx" · "n_predict"
+    || /overflow|input length|prompt (?:is )?too|exceeds?\s+maximum|n_ctx|n_predict|입력이 (?:너무|깁)/i.test(s);
 }
 
 function 짧게(s) {

package/src/commands.js

@@ -29,6 +29,7 @@ export const COMMANDS = {
   context: { desc: '컨텍스트 사용량 보기' },
   ctx:     { desc: '컨텍스트 길이 — 모델에 맞춰 다시 재거나 직접 지정', arg: '[auto|숫자|640k]' },
   out:     { desc: '한 번에 받을 답 길이 상한 — 큰 파일이 잘리면 여기를 올린다', arg: '[숫자|32k|auto]' },
+  grade:   { desc: '모델 급 — 얼마나 알아서 하나. 창 크기와는 다른 축', arg: '[작음|보통|큼|auto]' },
   compact: { desc: '오래된 대화 줄이기' },
   model:   { desc: '연결·모델 바꾸기 (이름 일부 · list · models)', arg: '[이름|list|models]' },
   think:   { desc: '추론 강도 (off/low/medium/high/max)', arg: '<수준>' },
@@ -106,6 +107,10 @@ export async function handle(line, session, ctx) {
 
     case 'ctx': return await ctxLength(session, arg), { handled: true };
 
+    // 모델 급. /ctx 와 헷갈리기 쉬워 설명에서 못을 박는다 —
+    // /ctx 는 '얼마나 담나', /grade 는 '얼마나 알아서 하나' 다.
+    case 'grade': case '급': return 모델급(session, arg), { handled: true };
+
     // 한 번에 받을 답 길이. 컨텍스트(/ctx)와는 다른 축이라 명령을 따로 둔다 —
     // /ctx out 안에 숨겨 두니 아무도 못 찾았고, 정작 큰 파일이 안 만들어지는 원인이었다.
     case 'out': case '출력': return await 출력상한(session, arg), { handled: true };
@@ -1042,6 +1047,74 @@ async function 출력상한(session, arg = '') {
   say('');
 }
 
+/**
+ * /grade — 모델 급.
+ *
+ * `/ctx` 와는 **다른 축**이다. 헷갈리기 쉬워서 화면에서도 나란히 보여 준다.
+ *   /ctx    얼마나 담나        (창 크기)
+ *   /grade  얼마나 알아서 하나 (능력)
+ *
+ * 창이 128k 인 3B 모델이 있고, 창이 32k 인 아주 좋은 모델도 있다. 둘을 같은
+ * 값으로 다루면 하나는 붙들려 있고 하나는 놓쳐진다.
+ *
+ * 평소에는 안 건드려도 된다 — 이름으로 짐작하고, 대화가 돌수록 실제로 본 것
+ * (인자 잘림·빈 답·편집 실패·되풀이)으로 고쳐 잡는다. 여기서 정하면 그것이
+ * 이기고, `auto` 로 되돌리면 다시 스스로 잡는다.
+ */
+function 모델급(session, arg = '') {
+  const 값 = String(arg ?? '').trim().toLowerCase();
+  const 별명 = {
+    '작음': '작음', 'small': '작음', 's': '작음', '작': '작음',
+    '보통': '보통', 'medium': '보통', 'm': '보통', '중': '보통',
+    '큼': '큼', 'large': '큼', 'l': '큼', 'big': '큼', '대': '큼',
+  };
+
+  if (값 === 'auto' || 값 === '자동') {
+    session.급정한것 = null;
+    const g = session.급();
+    say('');
+    say(`  ${c.cyan('◈')} 모델 급을 다시 ${c.bold('스스로 잡게')} 했습니다 — 지금은 ${c.white(g.급)}`);
+    say(`     ${c.gray(g.왜)}`);
+    return;
+  }
+
+  if (값 && 별명[값]) {
+    session.급정한것 = 별명[값];
+    const v = session.급값();
+    say('');
+    say(`  ${c.cyan('◈')} 모델 급을 ${c.bold(별명[값])} 으로 정했습니다.`);
+    say(`     ${c.gray(`한 번에 만들 파일 ${v.한번에쓸파일}개 · ${v.나눠쓰기줄}줄 넘으면 나눠 쓰기`)}`);
+    say(`     ${c.gray('/grade auto 로 되돌리면 다시 스스로 잡습니다.')}`);
+    return;
+  }
+
+  // 인자가 없으면 지금 상태를 보여 준다.
+  const g = session.급();
+  const v = session.급값();
+  const 본 = session.본것;
+  say('');
+  say(`  ${c.bold('모델 급')}  ${c.hcyan(g.급)}${g.짐작 ? c.gray('  (짐작)') : ''}`);
+  say(`     ${c.gray(g.왜)}`);
+  say('');
+  say(`  ${c.gray('이 급에서 쓰는 값')}`);
+  say(`     ${c.gray('한 번에 만들 파일')}   ${c.white(String(v.한번에쓸파일))}개`);
+  say(`     ${c.gray('나눠 쓰기 기준')}     ${c.white(String(v.나눠쓰기줄))}줄`);
+  say(`     ${c.gray('절차를 못 박나')}     ${v.절차를못박나 ? c.white('예') : c.gray('아니오 — 목표만 준다')}`);
+  say(`     ${c.gray('하위 작업 권함')}     ${v.하위작업권함 ? c.white('예') : c.gray('아니오')}`);
+  if (본 && 본.걸음) {
+    say('');
+    say(`  ${c.gray('이번 대화에서 실제로 본 것')} ${c.gray(`(${본.걸음}걸음)`)}`);
+    const 줄 = [
+      ['인자 잘림', 본.잘린인자], ['빈 답', 본.빈답],
+      ['편집 실패', 본.편집실패], ['되풀이', 본.되풀이], ['도구 성공', 본.도구성공],
+    ];
+    say('     ' + 줄.map(([이름, n]) => `${c.gray(이름)} ${n ? c.white(String(n)) : c.gray('0')}`).join(c.gray('  ·  ')));
+  }
+  say('');
+  say(`  ${c.gray('/ctx 와는 다른 축입니다 — /ctx 는 얼마나 담나, /grade 는 얼마나 알아서 하나.')}`);
+  say(`  ${c.gray('직접 정하려면 /grade 작음|보통|큼 · 되돌리려면 /grade auto')}`);
+}
+
 /**
  * 컨텍스트 길이를 보고·다시 재고·직접 지정한다.
  *