deel-local-cli 1.13.0 → 1.14.0

package/src/backend/tokens.js

@@ -1,59 +1,59 @@
-/*
- * 토큰을 대략 센다.
- *
- * ── 왜 여기 있나 ────────────────────────────────────────────────────────
- *
- * 이 함수는 agent/session.js 안에 있었다. 그런데 재는 자가 필요한 자리가
- * 거기 하나가 아니다 — backend/cachemark.js 도 「이 대화가 캐시에 잡힐 만한
- * 크기인가」 를 재야 하는데, cachemark 는 아무것도 안 들여오는 잎 모듈이라
- * session.js 를 부르면 순환이 된다(session 이 cachemark 의 조각표를 쓴다).
- *
- * 그래서 cachemark 는 제 나름대로 **글자 수를 토큰의 두 배로** 쳤다. 영어와
- * 코드에서만 맞는 셈이라, 실제로는 2,300토큰인 대화를 4,096토큰 문턱을 넘었다고
- * 답했다. 안 잡힐 표식을 붙여 놓고 화면에는 「캐시 표식」 이라고 적혔다.
- *
- * 재는 자가 둘이면 언젠가 둘이 어긋난다. 그래서 자를 **잎으로 내려서** 한
- * 벌만 둔다. session.js 는 이것을 그대로 다시 내보내므로 부르던 자리는 그대로다.
- *
- * ── 얼마나 맞나 ────────────────────────────────────────────────────────
- *
- * 정확한 토크나이저는 안 쓴다 — 의존성 0개가 이 프로그램의 약속이고, 창구마다
- * 토크나이저가 다르므로 하나를 골라 박아도 다른 창구에서는 또 틀린다.
- * 대신 서버가 실제 값을 알려 주면 그 값으로 배수를 배운다(session.js 의 배운다).
- * 여기는 **배우기 전의 첫 짐작**이다.
- *
- *   한글(자모 포함)·일본어·한자   글자당 1토큰
- *   그 밖(영문·코드)              3.6글자당 1토큰
- */
-/*
- * ── 한글은 완성형만 한글이 아니다 ───────────────────────────────────────
- *
- * 여기가 완성형 음절(가–힣)만 셌다. 그래서 아래 것들이 **영문 취급**을 받아
- * 3.6분의 1로 세어졌다:
- *
- *   ㅋㅋㅋ ㅎㅎ ㅠㅠ ㅡㅡ      호환 자모 (U+3130–318F) — 대화에 제일 흔하다
- *   ᄀ ᅡ ᆨ                     첫가끝 자모 (U+1100–11FF) — 맥에서 만든 파일
- *                              이름과 그 파일 내용이 이 꼴(NFD)로 온다
- *
- * 덜 센 값은 화면 숫자로 안 끝난다. 남은 자리를 넉넉히 보고 → 접기를 늦게
- * 켜고 → 실제로는 넘친 채로 요청을 보낸다. 한국어를 쓰는 사람이 가장 자주
- * 치는 글자가 하필 이 칸이었다.
- */
-const 자모인가 = (cp) => (
-  (cp >= 0x1100 && cp <= 0x11ff)      // 첫가끝 (NFD)
-  || (cp >= 0x3130 && cp <= 0x318f)   // 호환 자모 (ㅋ ㅎ ㅠ …)
-  || (cp >= 0xa960 && cp <= 0xa97f)   // 확장 A
-  || (cp >= 0xd7b0 && cp <= 0xd7ff)   // 확장 B
-);
-
-export function estimateTokens(text) {
-  const s = String(text ?? '');
-  let cjk = 0;
-  for (const ch of s) {
-    const cp = ch.codePointAt(0);
-    if ((cp >= 0xac00 && cp <= 0xd7a3) || (cp >= 0x3040 && cp <= 0x30ff) || (cp >= 0x4e00 && cp <= 0x9fff)
-      || 자모인가(cp)) cjk++;
-  }
-  const rest = s.length - cjk;
-  return Math.ceil(cjk + rest / 3.6);
-}
+/*
+ * 토큰을 대략 센다.
+ *
+ * ── 왜 여기 있나 ────────────────────────────────────────────────────────
+ *
+ * 이 함수는 agent/session.js 안에 있었다. 그런데 재는 자가 필요한 자리가
+ * 거기 하나가 아니다 — backend/cachemark.js 도 「이 대화가 캐시에 잡힐 만한
+ * 크기인가」 를 재야 하는데, cachemark 는 아무것도 안 들여오는 잎 모듈이라
+ * session.js 를 부르면 순환이 된다(session 이 cachemark 의 조각표를 쓴다).
+ *
+ * 그래서 cachemark 는 제 나름대로 **글자 수를 토큰의 두 배로** 쳤다. 영어와
+ * 코드에서만 맞는 셈이라, 실제로는 2,300토큰인 대화를 4,096토큰 문턱을 넘었다고
+ * 답했다. 안 잡힐 표식을 붙여 놓고 화면에는 「캐시 표식」 이라고 적혔다.
+ *
+ * 재는 자가 둘이면 언젠가 둘이 어긋난다. 그래서 자를 **잎으로 내려서** 한
+ * 벌만 둔다. session.js 는 이것을 그대로 다시 내보내므로 부르던 자리는 그대로다.
+ *
+ * ── 얼마나 맞나 ────────────────────────────────────────────────────────
+ *
+ * 정확한 토크나이저는 안 쓴다 — 의존성 0개가 이 프로그램의 약속이고, 창구마다
+ * 토크나이저가 다르므로 하나를 골라 박아도 다른 창구에서는 또 틀린다.
+ * 대신 서버가 실제 값을 알려 주면 그 값으로 배수를 배운다(session.js 의 배운다).
+ * 여기는 **배우기 전의 첫 짐작**이다.
+ *
+ *   한글(자모 포함)·일본어·한자   글자당 1토큰
+ *   그 밖(영문·코드)              3.6글자당 1토큰
+ */
+/*
+ * ── 한글은 완성형만 한글이 아니다 ───────────────────────────────────────
+ *
+ * 여기가 완성형 음절(가–힣)만 셌다. 그래서 아래 것들이 **영문 취급**을 받아
+ * 3.6분의 1로 세어졌다:
+ *
+ *   ㅋㅋㅋ ㅎㅎ ㅠㅠ ㅡㅡ      호환 자모 (U+3130–318F) — 대화에 제일 흔하다
+ *   ᄀ ᅡ ᆨ                     첫가끝 자모 (U+1100–11FF) — 맥에서 만든 파일
+ *                              이름과 그 파일 내용이 이 꼴(NFD)로 온다
+ *
+ * 덜 센 값은 화면 숫자로 안 끝난다. 남은 자리를 넉넉히 보고 → 접기를 늦게
+ * 켜고 → 실제로는 넘친 채로 요청을 보낸다. 한국어를 쓰는 사람이 가장 자주
+ * 치는 글자가 하필 이 칸이었다.
+ */
+const 자모인가 = (cp) => (
+  (cp >= 0x1100 && cp <= 0x11ff)      // 첫가끝 (NFD)
+  || (cp >= 0x3130 && cp <= 0x318f)   // 호환 자모 (ㅋ ㅎ ㅠ …)
+  || (cp >= 0xa960 && cp <= 0xa97f)   // 확장 A
+  || (cp >= 0xd7b0 && cp <= 0xd7ff)   // 확장 B
+);
+
+export function estimateTokens(text) {
+  const s = String(text ?? '');
+  let cjk = 0;
+  for (const ch of s) {
+    const cp = ch.codePointAt(0);
+    if ((cp >= 0xac00 && cp <= 0xd7a3) || (cp >= 0x3040 && cp <= 0x30ff) || (cp >= 0x4e00 && cp <= 0x9fff)
+      || 자모인가(cp)) cjk++;
+  }
+  const rest = s.length - cjk;
+  return Math.ceil(cjk + rest / 3.6);
+}