create-entity-app-server 0.0.3

package/src/app/plugins/llm/config.example.json

@@ -0,0 +1,260 @@
+{
+    "enabled": false,
+    "default": "main",
+    "usage_tracking": true,
+    "providers": {
+        "_comment_cloud": "────────────── 클라우드 프로바이더 ──────────────────────────────────",
+
+        "main": {
+            "description": "기본 제공자 (GPT-4o-mini, 범용)",
+            "driver": "openai",
+            "api_key": "${LLM_OPENAI_API_KEY}",
+            "model": "gpt-4o-mini",
+            "embed_model": "text-embedding-3-small",
+            "max_tokens": 2048,
+            "temperature": 0.1,
+            "timeout_sec": 30,
+            "rate_limit_rpm": 60,
+            "json_mode": true
+        },
+        "chatbot": {
+            "description": "챗봇 대화용 (Anthropic Claude — 한국어 우수)",
+            "driver": "anthropic",
+            "api_key": "${LLM_ANTHROPIC_API_KEY}",
+            "model": "claude-sonnet-4-20250514",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 30
+        },
+        "summary": {
+            "description": "문서 요약용 (Gemini — 최저가 대량처리)",
+            "driver": "gemini",
+            "api_key": "${LLM_GEMINI_API_KEY}",
+            "model": "gemini-2.0-flash",
+            "max_tokens": 2048,
+            "temperature": 0.3,
+            "timeout_sec": 30,
+            "rate_limit_rpm": 120
+        },
+        "fast": {
+            "description": "초고속 추론 (Groq — 로컬 수준 레이턴시)",
+            "driver": "groq",
+            "api_key": "${LLM_GROQ_API_KEY}",
+            "base_url": "https://api.groq.com/openai/v1",
+            "model": "llama-3.3-70b-versatile",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 30,
+            "rate_limit_rpm": 30
+        },
+        "deepseek": {
+            "description": "DeepSeek — 고성능 저비용",
+            "driver": "deepseek",
+            "api_key": "${LLM_DEEPSEEK_API_KEY}",
+            "base_url": "https://api.deepseek.com/v1",
+            "model": "deepseek-chat",
+            "max_tokens": 4096,
+            "temperature": 0.3,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 60
+        },
+        "mistral": {
+            "description": "Mistral AI",
+            "driver": "mistral",
+            "api_key": "${LLM_MISTRAL_API_KEY}",
+            "base_url": "https://api.mistral.ai/v1",
+            "model": "mistral-large-latest",
+            "max_tokens": 4096,
+            "temperature": 0.3,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 30
+        },
+        "together": {
+            "description": "Together.ai — 다양한 오픈소스 모델 호스팅",
+            "driver": "together",
+            "api_key": "${LLM_TOGETHER_API_KEY}",
+            "base_url": "https://api.together.xyz/v1",
+            "model": "meta-llama/Llama-3-70b-chat-hf",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 60
+        },
+        "perplexity": {
+            "description": "Perplexity AI — 실시간 웹 검색 연동",
+            "driver": "perplexity",
+            "api_key": "${LLM_PERPLEXITY_API_KEY}",
+            "base_url": "https://api.perplexity.ai",
+            "model": "sonar-pro",
+            "max_tokens": 2048,
+            "temperature": 0.3,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 30
+        },
+        "azure": {
+            "description": "Azure OpenAI — base_url: https://<resource>.openai.azure.com, model: deployment명",
+            "driver": "azure_openai",
+            "api_key": "${LLM_AZURE_API_KEY}",
+            "base_url": "https://${LLM_AZURE_RESOURCE}.openai.azure.com",
+            "model": "${LLM_AZURE_CHAT_DEPLOYMENT}",
+            "embed_model": "${LLM_AZURE_EMBED_DEPLOYMENT}",
+            "api_version": "2024-12-01-preview",
+            "max_tokens": 4096,
+            "temperature": 0.1,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 60,
+            "json_mode": true
+        },
+
+        "_comment_local": "────────────── 로컬 설치형 프로바이더 ───────────────────────────────",
+
+        "ollama": {
+            "description": "Ollama — 가장 널리 쓰이는 로컬 LLM 런타임 (독자 API)",
+            "driver": "ollama",
+            "base_url": "http://localhost:11434",
+            "model": "llama3.2:3b",
+            "embed_model": "nomic-embed-text",
+            "max_tokens": 2048,
+            "temperature": 0.5,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "vllm": {
+            "description": "vLLM — 고성능 배치 추론 서버 (OpenAI 호환, 기본 포트 8000)",
+            "driver": "vllm",
+            "base_url": "http://localhost:8000",
+            "model": "meta-llama/Llama-3.1-8B-Instruct",
+            "embed_model": "BAAI/bge-m3",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 20
+        },
+        "lmstudio": {
+            "description": "LM Studio — GUI 기반 로컬 LLM, 내장 서버 (OpenAI 호환, 기본 포트 1234)",
+            "driver": "lmstudio",
+            "base_url": "http://localhost:1234",
+            "model": "local-model",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "llamacpp": {
+            "description": "llama.cpp — 경량 CPU/GPU GGUF 서버 (OpenAI 호환, 기본 포트 8080)",
+            "driver": "llamacpp",
+            "base_url": "http://localhost:8080",
+            "model": "local",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 5
+        },
+        "koboldcpp": {
+            "description": "KoboldCpp — 경량 GGUF 런타임, 창작/RP 특화 (OpenAI 호환, 기본 포트 5001)",
+            "driver": "koboldcpp",
+            "base_url": "http://localhost:5001",
+            "model": "local",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 5
+        },
+        "tgw": {
+            "description": "Text Generation WebUI (oobabooga) — 다양한 백엔드 지원 (OpenAI 호환, 기본 포트 5000)",
+            "driver": "text_generation_webui",
+            "base_url": "http://localhost:5000",
+            "model": "local",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 5
+        },
+        "localai": {
+            "description": "LocalAI — 다양한 포맷(GGUF/ONNX/whisper 등) 지원 (OpenAI 호환, 기본 포트 8080)",
+            "driver": "localai",
+            "base_url": "http://localhost:8080",
+            "model": "gpt-3.5-turbo",
+            "embed_model": "text-embedding-ada-002",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "tabbyapi": {
+            "description": "TabbyAPI — ExLlamaV2 기반 고성능 GGUF/EXL2 서버 (OpenAI 호환, 기본 포트 5000)",
+            "driver": "tabbyapi",
+            "base_url": "http://localhost:5000",
+            "api_key": "${TABBYAPI_ADMIN_KEY}",
+            "model": "local",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "jan": {
+            "description": "Jan Desktop — 크로스플랫폼 로컬 LLM 앱 (OpenAI 호환, 기본 포트 1337)",
+            "driver": "jan",
+            "base_url": "http://localhost:1337",
+            "model": "llama3.2-3b-instruct",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "xinference": {
+            "description": "Xinference — 다중 모델 타입(LLM/임베딩/이미지 등) 로컬 서버 (OpenAI 호환, 기본 포트 9997)",
+            "driver": "xinference",
+            "base_url": "http://localhost:9997",
+            "model": "qwen2.5-instruct",
+            "embed_model": "bge-m3",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        },
+        "openwebui": {
+            "description": "Open WebUI — Ollama/OpenAI 통합 프록시 (OpenAI 호환, 기본 포트 3000)",
+            "driver": "openwebui",
+            "base_url": "http://localhost:3000",
+            "api_key": "${OPENWEBUI_TOKEN}",
+            "model": "llama3.2:3b",
+            "max_tokens": 2048,
+            "temperature": 0.7,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        }
+    },
+    "cache": {
+        "enabled": true,
+        "ttl_seconds": 3600,
+        "max_entries": 10000,
+        "exclude_providers": [
+            "ollama",
+            "vllm",
+            "lmstudio",
+            "llamacpp",
+            "koboldcpp",
+            "tgw",
+            "localai",
+            "tabbyapi",
+            "jan",
+            "xinference",
+            "openwebui"
+        ]
+    },
+    "rag": {
+        "enabled": true,
+        "embed_provider": "main",
+        "default_chunk_size": 500,
+        "default_chunk_overlap": 50,
+        "default_top_k": 5,
+        "default_min_score": 0.7
+    },
+    "quota": {
+        "daily_token_limit": 1000000,
+        "monthly_token_limit": 20000000,
+        "notify": ["log", "smtp"]
+    }
+}

package/src/app/plugins/llm/config.json

@@ -0,0 +1,71 @@
+{
+    "_comment": "LLM(대형 언어 모델) 플러그인 — OpenAI·Anthropic·Gemini·Ollama 멀티 프로바이더, RAG·임베딩·챗봇·요약 지원",
+    "enabled": false,
+    "default": "main",
+    "usage_tracking": true,
+    "providers": {
+        "main": {
+            "description": "기본 제공자 (GPT-4o-mini, 범용)",
+            "driver": "openai",
+            "api_key": "${LLM_OPENAI_API_KEY}",
+            "model": "gpt-4o-mini",
+            "embed_model": "text-embedding-3-small",
+            "max_tokens": 2048,
+            "temperature": 0.1,
+            "timeout_sec": 30,
+            "rate_limit_rpm": 60,
+            "json_mode": true
+        },
+        "chatbot": {
+            "description": "챗봇 대화용 (한국어 우수)",
+            "driver": "anthropic",
+            "api_key": "${LLM_ANTHROPIC_API_KEY}",
+            "model": "claude-sonnet-4-20250514",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "timeout_sec": 60,
+            "rate_limit_rpm": 30
+        },
+        "summary": {
+            "description": "문서 요약용 (최저가 대량처리)",
+            "driver": "gemini",
+            "api_key": "${LLM_GEMINI_API_KEY}",
+            "model": "gemini-2.0-flash",
+            "max_tokens": 2048,
+            "temperature": 0.3,
+            "timeout_sec": 30,
+            "rate_limit_rpm": 120
+        },
+        "local": {
+            "description": "로컬 LLM (민감 데이터용)",
+            "driver": "ollama",
+            "base_url": "http://localhost:11434",
+            "model": "llama3:8b",
+            "embed_model": "nomic-embed-text",
+            "max_tokens": 2048,
+            "temperature": 0.5,
+            "timeout_sec": 120,
+            "rate_limit_rpm": 10
+        }
+    },
+    "cache": {
+        "enabled": true,
+        "ttl_seconds": 3600,
+        "exclude_providers": ["local"]
+    },
+    "rag": {
+        "enabled": true,
+        "embed_provider": "main",
+        "default_chunk_size": 500,
+        "default_chunk_overlap": 50,
+        "default_top_k": 5,
+        "default_min_score": 0.7
+    },
+    "quota": {
+        "daily_token_limit": 1000000,
+        "monthly_token_limit": 20000000,
+        "notify": ["log", "smtp"]
+    },
+    "deploy": true,
+    "minify": false
+}

package/src/app/plugins/llm/config.ts

@@ -0,0 +1,99 @@
+/**
+ * LLM 플러그인 — 설정 로더
+ *
+ * 플러그인 디렉토리의 config.json 을 읽고 환경변수 치환 + 검증
+ */
+
+import { readFileSync, existsSync } from "fs";
+import path from "path";
+import { fileURLToPath } from "url";
+import { logger } from "@gateway/api";
+import type { LlmConfig } from "./types/index.ts";
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url));
+const CONFIG_PATH = path.join(__dirname, "config.json");
+
+/**
+ * 환경변수 치환: "${VAR_NAME}" → process.env.VAR_NAME
+ */
+function substituteEnvVars(obj: unknown): unknown {
+    if (typeof obj === "string") {
+        return obj.replace(/\$\{(\w+)\}/g, (_, key) => process.env[key] ?? "");
+    }
+    if (Array.isArray(obj)) {
+        return obj.map(substituteEnvVars);
+    }
+    if (obj !== null && typeof obj === "object") {
+        const result: Record<string, unknown> = {};
+        for (const [key, val] of Object.entries(
+            obj as Record<string, unknown>,
+        )) {
+            result[key] = substituteEnvVars(val);
+        }
+        return result;
+    }
+    return obj;
+}
+
+/**
+ * LLM 설정 파일을 로드하고 환경변수를 치환합니다.
+ * 설정 파일이 없거나 enabled=false 이면 null 반환
+ */
+export function loadLlmConfig(): LlmConfig | null {
+    if (!existsSync(CONFIG_PATH)) {
+        logger.info(
+            "LLM config not found at %s — LLM plugin disabled",
+            CONFIG_PATH,
+        );
+        return null;
+    }
+
+    try {
+        const raw = readFileSync(CONFIG_PATH, "utf-8");
+        const parsed = JSON.parse(raw);
+        const config = substituteEnvVars(parsed) as LlmConfig;
+
+        if (config.enabled === false) {
+            logger.info("LLM plugin disabled in config");
+            return null;
+        }
+
+        // 기본값 보정
+        if (!config.default) {
+            const firstProvider = Object.keys(config.providers ?? {})[0];
+            if (firstProvider) config.default = firstProvider;
+        }
+
+        if (!config.providers || Object.keys(config.providers).length === 0) {
+            logger.warn("LLM config has no providers — LLM plugin disabled");
+            return null;
+        }
+
+        // cache 기본값
+        if (config.cache) {
+            config.cache.ttl_seconds ??= 3600;
+            config.cache.max_entries ??= 10000;
+        }
+
+        // rag 기본값
+        if (config.rag) {
+            config.rag.default_chunk_size ??= 500;
+            config.rag.default_chunk_overlap ??= 50;
+            config.rag.default_top_k ??= 5;
+            config.rag.default_min_score ??= 0.7;
+        }
+
+        logger.info(
+            "LLM config loaded: %d providers, default=%s, cache=%s, rag=%s",
+            Object.keys(config.providers).length,
+            config.default,
+            config.cache?.enabled ? "on" : "off",
+            config.rag?.enabled ? "on" : "off",
+        );
+
+        return config;
+    } catch (err) {
+        logger.error({ err }, "Failed to load LLM config");
+        return null;
+    }
+}

package/src/app/plugins/llm/conversation-store.ts

@@ -0,0 +1,140 @@
+/**
+ * 대화 세션 저장소 — Entity Server 어댑터
+ *
+ * entity-server-client를 통해 llm_conversation 엔티티 CRUD
+ */
+
+import { entityServer } from "@gateway/api";
+import { logger } from "@gateway/api";
+import type {
+    ConversationStore,
+    ConversationCreateInput,
+    Conversation,
+    ConversationSummary,
+    ConversationFilter,
+    Message,
+    TokenUsage,
+} from "./types/index.ts";
+
+export class ConversationEntityAdapter implements ConversationStore {
+    /** 새 대화 세션을 생성한다 */
+    async createConversation(input: ConversationCreateInput): Promise<number> {
+        const data: Record<string, unknown> = {
+            provider_name: input.providerName,
+            title: input.title,
+            messages: JSON.stringify([]),
+            message_count: 0,
+            total_tokens: 0,
+            status: "active",
+        };
+        if (input.userSeq) data.user_seq = input.userSeq;
+        if (input.systemMsg) data.system_msg = input.systemMsg;
+
+        const resp = await entityServer.submit("llm_conversation", data);
+        return resp.seq ?? 0;
+    }
+
+    /** 대화 세션을 조회한다 */
+    async getConversation(conversationSeq: number): Promise<Conversation> {
+        const resp = await entityServer.get<Record<string, unknown>>(
+            "llm_conversation",
+            conversationSeq,
+        );
+        const row = resp.data as Record<string, unknown>;
+        if (!row)
+            throw new Error(`Conversation seq=${conversationSeq} not found`);
+
+        let messages: Message[] = [];
+        try {
+            const raw =
+                typeof row.messages === "string"
+                    ? row.messages
+                    : JSON.stringify(row.messages ?? []);
+            messages = JSON.parse(raw);
+        } catch {
+            /* empty */
+        }
+
+        return {
+            seq: conversationSeq,
+            providerName: String(row.provider_name ?? ""),
+            title: String(row.title ?? ""),
+            systemMsg: String(row.system_msg ?? ""),
+            messages,
+            totalTokens: Number(row.total_tokens ?? 0),
+            userSeq: Number(row.user_seq ?? 0) || undefined,
+            createdAt: String(row.created_time ?? ""),
+            updatedAt: String(row.updated_time ?? ""),
+        };
+    }
+
+    /** 대화에 메시지를 추가한다 */
+    async appendMessages(
+        conversationSeq: number,
+        messages: Message[],
+        usage?: TokenUsage,
+    ): Promise<void> {
+        const conv = await this.getConversation(conversationSeq);
+        const all = [...conv.messages, ...messages];
+        const lastMsg =
+            all.length > 0 ? truncate(all[all.length - 1].content, 200) : "";
+        const newTokens = usage?.totalTokens ?? 0;
+
+        await entityServer.submit("llm_conversation", {
+            seq: conversationSeq,
+            messages: JSON.stringify(all),
+            message_count: all.length,
+            total_tokens: conv.totalTokens + newTokens,
+            last_message: lastMsg,
+        });
+    }
+
+    /** 대화 목록을 조회한다 */
+    async listConversations(
+        filter: ConversationFilter,
+    ): Promise<ConversationSummary[]> {
+        const opts: Record<string, unknown> = {
+            status: "active",
+            page: Math.floor(filter.offset / Math.max(filter.limit, 1)) + 1,
+            limit: filter.limit || 20,
+            order: "-updated_time",
+        };
+        if (filter.userSeq) opts.user_seq = filter.userSeq;
+        if (filter.providerName) opts.provider_name = filter.providerName;
+
+        const resp = await entityServer.list("llm_conversation", opts as any);
+        const rows = (resp.data as any)?.items ?? [];
+
+        return rows.map((row: Record<string, unknown>) => ({
+            seq: Number(row.seq ?? 0),
+            title: String(row.title ?? ""),
+            providerName: String(row.provider_name ?? ""),
+            messageCount: Number(row.message_count ?? 0),
+            totalTokens: Number(row.total_tokens ?? 0),
+            lastMessage: String(row.last_message ?? ""),
+            updatedAt: String(row.updated_time ?? ""),
+        }));
+    }
+
+    /** 대화를 삭제(아카이브)한다 */
+    async deleteConversation(conversationSeq: number): Promise<void> {
+        await entityServer.submit("llm_conversation", {
+            seq: conversationSeq,
+            status: "archived",
+        });
+    }
+
+    /** 대화 제목을 수정한다 */
+    async updateTitle(conversationSeq: number, title: string): Promise<void> {
+        await entityServer.submit("llm_conversation", {
+            seq: conversationSeq,
+            title,
+        });
+    }
+}
+
+/** 문자열을 최대 길이로 자른다 */
+function truncate(s: string, maxLen: number): string {
+    const arr = [...s];
+    return arr.length <= maxLen ? s : arr.slice(0, maxLen).join("");
+}

package/src/app/plugins/llm/docs/README.md

@@ -0,0 +1,120 @@
+# LLM 플러그인
+
+OpenAI, Anthropic, Google Gemini, Ollama를 통합 지원하는 AI 채팅 및 RAG(Retrieval-Augmented Generation) 플러그인입니다.
+
+---
+
+## 목차
+
+- [개요](#개요)
+- [설정](#설정)
+- [환경변수](#환경변수)
+- [API 요약](#api-요약)
+- [API 상세](api.md)
+- [운영 팁](#운영-팁)
+
+---
+
+## 개요
+
+| 항목            | 내용                                                                |
+| --------------- | ------------------------------------------------------------------- |
+| 지원 프로바이더 | OpenAI, Anthropic (Claude), Google Gemini, Ollama (로컬)            |
+| 주요 기능       | 채팅, 스트리밍 채팅, 임베딩, RAG, 챗봇 관리, 사용량 추적, 응답 캐싱 |
+| 레이트 리밋     | 토큰 버킷 방식 (RPM 기반)                                           |
+| 응답 캐싱       | 동일 입력 해시 기반 메모리 캐시                                     |
+
+> 기본 비활성화(`enabled: false`)입니다. 최소 1개 프로바이더 API 키 설정 후 활성화하세요.
+
+---
+
+## 설정
+
+`config.json` 핵심 구조:
+
+```json
+{
+    "enabled": false,
+    "default": "main",
+    "track_usage": true,
+    "providers": {
+        "main": {
+            "driver": "openai",
+            "api_key": "${OPENAI_API_KEY}",
+            "model": "gpt-4o-mini",
+            "max_tokens": 4096,
+            "temperature": 0.7,
+            "rate_limit": { "rpm": 60 }
+        },
+        "claude": {
+            "driver": "anthropic",
+            "api_key": "${ANTHROPIC_API_KEY}",
+            "model": "claude-3-5-sonnet-20241022"
+        },
+        "gemini": {
+            "driver": "gemini",
+            "api_key": "${GEMINI_API_KEY}",
+            "model": "gemini-1.5-flash"
+        },
+        "local": {
+            "driver": "ollama",
+            "base_url": "http://localhost:11434",
+            "model": "llama3.2"
+        }
+    }
+}
+```
+
+### 설정 항목
+
+| 항목          | 기본값  | 설명                                          |
+| ------------- | ------- | --------------------------------------------- |
+| `enabled`     | `false` | 플러그인 활성화                               |
+| `default`     | `main`  | 기본 프로바이더 키                            |
+| `track_usage` | `true`  | API 사용량 DB 기록 여부                       |
+| `providers.*` | —       | 프로바이더별 설정 (driver, api_key, model 등) |
+
+---
+
+## 환경변수
+
+```env
+# OpenAI
+OPENAI_API_KEY=sk-...
+
+# Anthropic (Claude)
+ANTHROPIC_API_KEY=sk-ant-...
+
+# Google Gemini
+GEMINI_API_KEY=AIza...
+
+# (Ollama는 로컬 실행이므로 API 키 불필요)
+```
+
+---
+
+## API 요약
+
+기본 경로: `/api/v1/llm`
+
+| 그룹     | 경로 예시             | 설명                    |
+| -------- | --------------------- | ----------------------- |
+| 채팅     | `POST /chat`          | 단일 요청/응답 채팅     |
+| 스트리밍 | `POST /chat/stream`   | SSE 스트리밍 채팅       |
+| 대화     | `POST /conversations` | 대화 세션 관리          |
+| RAG      | `POST /rag/documents` | 문서 업로드 및 검색     |
+| 챗봇     | `GET /chatbots`       | 커스텀 챗봇 관리        |
+| 사용량   | `GET /usage`          | API 사용량 및 비용 조회 |
+| 캐시     | `GET /cache/stats`    | 캐시 상태 및 초기화     |
+
+> 전체 엔드포인트 목록 및 요청/응답 형식은 [api.md](api.md)를 참조하세요.
+
+---
+
+## 운영 팁
+
+- 비용 절감: 개발 환경에서는 `local` (Ollama) 프로바이더 사용
+- `track_usage: true` 설정 시 `GET /usage/summary`로 모델별 비용 추적 가능
+- RAG 사용 시 문서 임베딩에 추가 API 호출 발생 → 임베딩 전용 프로바이더 설정 권장
+- 응답 캐시는 동일 입력에 대해 반복 호출 비용 절감 효과
+- 스트리밍(`/chat/stream`)은 SSE 방식으로 클라이언트에서 `EventSource` 또는 `fetch` + `ReadableStream` 사용