@modular-prompt/driver 0.9.0 → 0.9.2

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@modular-prompt/driver",
-  "version": "0.9.0",
+  "version": "0.9.2",
   "type": "module",
   "main": "./dist/index.js",
   "types": "./dist/index.d.ts",

package/src/mlx-ml/python/__main__.py

@@ -236,22 +236,43 @@ def handle_completion(prompt, options=None):
     generate_text(prompt, options)
 
 
-def handle_chat_vlm(messages, images, options=None, max_image_size=768):
+def handle_chat_vlm(messages, images, options=None, max_image_size=768, tools=None, primer=None):
     """VLMモデル用のチャット処理
 
     messages: TypeScript側で画像プレースホルダー({type: "image"})が挿入済み
     images: 画像ファイルパスの配列（プレースホルダーと位置が対応）
+    tools: ツール定義（テンプレートが対応している場合のみ使用）
+    primer: アシスタント応答のプリフィックス
     """
     if options is None:
         options = {}
 
+    # primer処理
+    add_generation_prompt = True
+    if primer is not None:
+        messages.append({'role': 'assistant', 'content': primer})
+        add_generation_prompt = False
+
     # processorのapply_chat_templateを直接使用
     # systemメッセージのマージはTypeScript側でchat_restrictionsに基づき処理済み
-    formatted_prompt = processor.apply_chat_template(
-        messages,
-        add_generation_prompt=True,
-        tokenize=False,
-    )
+    # tools対応を試みる（テンプレートが対応していなければtools無しで実行）
+    try:
+        formatted_prompt = processor.apply_chat_template(
+            messages,
+            tools=tools,
+            add_generation_prompt=add_generation_prompt,
+            tokenize=False,
+        )
+    except TypeError:
+        formatted_prompt = processor.apply_chat_template(
+            messages,
+            add_generation_prompt=add_generation_prompt,
+            tokenize=False,
+        )
+
+    if primer is not None:
+        formatted_prompt = primer.join(formatted_prompt.split(primer)[0:-1]) + primer
+        print(primer, end='', flush=True)
 
     # 画像ファイルを読み込み・リサイズ
     pil_images = load_and_resize_images(images, max_image_size)
@@ -271,7 +292,7 @@ def generate_text_vlm(prompt, images, options):
 
     for response in vlm_stream_generate(
         model, processor, prompt,
-        image=images,
+        image=images if images else None,
         max_tokens=max_tokens,
         temperature=temperature,
     ):
@@ -358,9 +379,9 @@ def main():
                 tools = req.get('tools')
                 images = req.get('images', [])
 
-                if model_kind == "vlm" and images:
+                if model_kind == "vlm":
                     max_image_size = req.get('maxImageSize', 768)
-                    handle_chat_vlm(messages, images, options, max_image_size)
+                    handle_chat_vlm(messages, images, options, max_image_size, tools, primer)
                 else:
                     handle_chat(messages, primer, options, tools)
             

package/src/mlx-ml/python/token_utils.py

@@ -245,8 +245,8 @@ def detect_tool_call_format(tokenizer):
     if template:
         # 複数のtool_call関連パターンを順に試行
         tool_call_patterns = [
-            # <tool_call>...</tool_call>, <|tool_call|>...<|/tool_call|>
-            (r'<\|?tool_call\|?>', r'</?\|?tool_call\|?>|<\|?/tool_call\|?>'),
+            # </tool_call>, <|/tool_call|> (終了タグ専用)
+            (r'<\|?tool_call\|?>', r'</tool_call>|<\|/tool_call\|>'),
             # <|tool_call_start|>...<|tool_call_end|>
             (r'<\|tool_call_start\|>', r'<\|tool_call_end\|>'),
             # <start_function_call>...<end_function_call>