@modular-prompt/driver 0.6.3 → 0.8.1

package/src/mlx-ml/python/__main__.py

@@ -34,59 +34,69 @@ def read():
 def supports_chat_template():
     """
     チャットテンプレートがサポートされているかを判定
-    
+
     apply_chat_templateメソッドの存在と、tokenizer.chat_templateの両方を確認する。
     tokenizer.chat_templateが設定されていない場合、apply_chat_templateを呼んでも
     エラーになるため、両方の条件をチェックする必要がある。
-    
+
     Returns:
         bool: チャットテンプレートがサポートされている場合True
     """
-    return (hasattr(tokenizer, 'apply_chat_template') and 
-            hasattr(tokenizer, 'chat_template') and 
+    return (hasattr(tokenizer, 'apply_chat_template') and
+            hasattr(tokenizer, 'chat_template') and
             tokenizer.chat_template is not None)
 
+
 def handle_capabilities():
     """capabilities API の処理"""
     print(json.dumps(capabilities), end='\0', flush=True)
 
 
-def handle_format_test(messages, options=None):
+def handle_format_test(messages, options=None, tools=None):
     """フォーマットテスト API の処理（実際に生成せずフォーマットのみ）"""
     if options is None:
         options = {}
-    
+
     result = {
         "formatted_prompt": None,
         "template_applied": False,
         "model_specific_processing": None,
         "error": None
     }
-    
+
     try:
         # チャットテンプレートが利用可能かチェック
         if supports_chat_template():
             # messagesはTypeScript側で既にモデル固有処理済み
             result["model_specific_processing"] = messages
-            
+
             # プロンプト生成（フォーマットのみ）
             primer = options.get('primer')
             add_generation_prompt = True
             tokenize = False  # 常にテキストで返す
-            
+
             if primer is not None:
                 messages.append({'role': 'assistant', 'content': primer})
                 add_generation_prompt = False
 
-            formatted_prompt = tokenizer.apply_chat_template(
-                messages,
-                add_generation_prompt=add_generation_prompt,
-                tokenize=tokenize,
-            )
+            # tools対応を試みる（テンプレートが対応していなければtools無しで実行）
+            try:
+                formatted_prompt = tokenizer.apply_chat_template(
+                    messages,
+                    tools=tools,
+                    add_generation_prompt=add_generation_prompt,
+                    tokenize=tokenize,
+                )
+            except TypeError:
+                formatted_prompt = tokenizer.apply_chat_template(
+                    messages,
+                    add_generation_prompt=add_generation_prompt,
+                    tokenize=tokenize,
+                )
 
             if primer is not None:
                 formatted_prompt = primer.join(formatted_prompt.split(primer)[0:-1]) + primer
-            
+
             result["formatted_prompt"] = formatted_prompt
             result["template_applied"] = True
         else:
@@ -95,49 +105,52 @@ def handle_format_test(messages, options=None):
             primer = options.get('primer')
             if primer is not None:
                 formatted_prompt += primer
-            
+
             result["formatted_prompt"] = formatted_prompt
             result["template_applied"] = False
-        
+
     except Exception as e:
         result["error"] = str(e)
-    
+
     print(json.dumps(result), end='\0', flush=True)
 
-def handle_chat(messages, primer=None, options=None):
+def handle_chat(messages, primer=None, options=None, tools=None):
     """chat API の処理"""
     if options is None:
         options = {}
-    
+
     # チャットテンプレートが利用可能かチェック
     if not supports_chat_template():
         # チャットテンプレートがない場合はcompletionフォーマットに変換
-        # 注意: TypeScript側でAPIを決定するため、ここに来る場合は
-        # TypeScript側でchatが選択されたが、実際にはテンプレートがないケース
         prompt = generate_merged_prompt(messages)
-        # primerはTypeScript側で既に追加されている場合があるので追加しない
-        # （TypeScript側でcompletion APIへの変換時に追加済み）
         if primer is not None:
             print(primer, end='', flush=True)
         generate_text(prompt, options)
         return
-    
-    # messagesはTypeScript側で既にモデル固有処理済み
-    
+
     # プロンプト生成
     add_generation_prompt = True
     tokenize = False
-    
+
     if primer is not None:
         messages.append({'role': 'assistant', 'content': primer})
         add_generation_prompt = False
         tokenize = False
 
-    prompt = tokenizer.apply_chat_template(
-        messages,
-        add_generation_prompt=add_generation_prompt,
-        tokenize=tokenize,
-    )
+    # tools対応を試みる（テンプレートが対応していなければtools無しで実行）
+    try:
+        prompt = tokenizer.apply_chat_template(
+            messages,
+            tools=tools,
+            add_generation_prompt=add_generation_prompt,
+            tokenize=tokenize,
+        )
+    except TypeError:
+        prompt = tokenizer.apply_chat_template(
+            messages,
+            add_generation_prompt=add_generation_prompt,
+            tokenize=tokenize,
+        )
 
     if primer is not None:
         prompt = primer.join(prompt.split(primer)[0:-1]) + primer
@@ -274,20 +287,22 @@ def main():
                     sys.stderr.write("Error: 'messages' field is required for format_test method\n")
                     print('\n', end='\0', flush=True)
                     continue
-                
+
                 options = req.get('options', {})
-                handle_format_test(messages, options)
-            
+                tools = req.get('tools')
+                handle_format_test(messages, options, tools)
+
             elif method == 'chat':
                 messages = req.get('messages')
                 if not messages:
                     sys.stderr.write("Error: 'messages' field is required for chat method\n")
                     print('\n', end='\0', flush=True)
                     continue
-                
+
                 primer = req.get('primer')
                 options = req.get('options', {})
-                handle_chat(messages, primer, options)
+                tools = req.get('tools')
+                handle_chat(messages, primer, options, tools)
             
             elif method == 'completion':
                 prompt = req.get('prompt')

package/src/mlx-ml/python/pyproject.toml

@@ -7,7 +7,7 @@ dependencies = [
     "flex>=6.14.1",
     "hf-xet>=1.1.8",
     "jinja2>=3.1.6",
-    "mlx-lm>=0.30.4",
+    "mlx-lm>=0.30.7",
     "torch>=2.9.0",
 ]
 

package/src/mlx-ml/python/token_utils.py

@@ -169,17 +169,88 @@ def get_special_tokens(tokenizer):
     return special_tokens
 
 
+def detect_tool_call_format(tokenizer):
+    """tokenizer設定からtool call/resultのデリミタを検出する
+
+    tokenizer_config.json / chat_template からtool call関連の情報を抽出:
+    - tool_parser_type: パーサー種別（"json_tools" 等）
+    - chat_template テキスト内の <tool_call></tool_call> 等のタグパターン
+
+    Returns:
+        dict or None: {
+            "tool_parser_type": str,  # tokenizer_configのtool_parser_type
+            "call_start": str,        # tool callの開始デリミタ
+            "call_end": str,          # tool callの終了デリミタ
+            "response_start": str,    # tool responseの開始デリミタ（検出時）
+            "response_end": str,      # tool responseの終了デリミタ（検出時）
+        } or None
+    """
+    import re
+
+    # tool_parser_type を取得
+    tool_parser_type = None
+    if hasattr(tokenizer, 'init_kwargs'):
+        tool_parser_type = tokenizer.init_kwargs.get('tool_parser_type')
+
+    # chat_template テキストを取得
+    template = getattr(tokenizer, 'chat_template', None)
+    if not template and hasattr(tokenizer, 'init_kwargs'):
+        template = tokenizer.init_kwargs.get('chat_template', '')
+
+    # tool_parser_type もテンプレートもなければ非対応
+    if not tool_parser_type and not template:
+        return None
+
+    result = {}
+    if tool_parser_type:
+        result["tool_parser_type"] = tool_parser_type
+
+    # テンプレートテキストからデリミタを抽出
+    if template:
+        # tool_call タグの検出（<tool_call>, <|tool_call|> 等）
+        call_match = re.search(r'(<\|?tool_call\|?>)\s*\\n.*?(<\/?\|?tool_call\|?>|<\|?/tool_call\|?>)', template)
+        if call_match:
+            result["call_start"] = call_match.group(1)
+            result["call_end"] = call_match.group(2)
+        else:
+            # フォールバック: tool_call を含む開閉タグペアを探す
+            tags = re.findall(r'<[|/]?tool_call[|]?>', template)
+            if len(tags) >= 2:
+                # 開タグと閉タグを分離
+                open_tags = [t for t in tags if '/' not in t]
+                close_tags = [t for t in tags if '/' in t]
+                if open_tags and close_tags:
+                    result["call_start"] = open_tags[0]
+                    result["call_end"] = close_tags[0]
+
+        # tool_response タグの検出
+        resp_tags = re.findall(r'<[|/]?tool_response[|]?>', template)
+        if len(resp_tags) >= 2:
+            open_tags = [t for t in resp_tags if '/' not in t]
+            close_tags = [t for t in resp_tags if '/' in t]
+            if open_tags and close_tags:
+                result["response_start"] = open_tags[0]
+                result["response_end"] = close_tags[0]
+
+    return result if result else None
+
+
 def get_chat_template_info(tokenizer):
     """チャットテンプレートの詳細情報を取得"""
     if not hasattr(tokenizer, 'apply_chat_template'):
         return None
-    
+
     template_info = {
         "template_string": getattr(tokenizer, 'chat_template', None),
         "supported_roles": [],
         "preview": None,
         "constraints": {}
     }
+
+    # tool callフォーマット検出
+    tool_format = detect_tool_call_format(tokenizer)
+    if tool_format:
+        template_info["tool_call_format"] = tool_format
     
     # サポートされるroleを検査
     test_roles = ["system", "user", "assistant", "tool", "function"]

package/src/mlx-ml/python/uv.lock

@@ -382,13 +382,13 @@ requires-dist = [
     { name = "flex", specifier = ">=6.14.1" },
     { name = "hf-xet", specifier = ">=1.1.8" },
     { name = "jinja2", specifier = ">=3.1.6" },
-    { name = "mlx-lm", specifier = ">=0.30.4" },
+    { name = "mlx-lm", specifier = ">=0.30.7" },
     { name = "torch", specifier = ">=2.9.0" },
 ]
 
 [[package]]
 name = "mlx-lm"
-version = "0.30.6"
+version = "0.30.7"
 source = { registry = "https://pypi.org/simple" }
 dependencies = [
     { name = "jinja2" },
@@ -400,9 +400,9 @@ dependencies = [
     { name = "sentencepiece" },
     { name = "transformers" },
 ]
-sdist = { url = "https://files.pythonhosted.org/packages/76/cb/815deddc8699b1f694d7e1f9cbed52934c03a8b49432c8add72932bb2f0b/mlx_lm-0.30.6.tar.gz", hash = "sha256:807e042d7040268f1b19190b7eaefd8b2efbff5590a65460974ad4225b91dda1", size = 271733, upload-time = "2026-02-04T21:27:45.741Z" }
+sdist = { url = "https://files.pythonhosted.org/packages/66/0d/56542e2ae13ec6f542d3977d7cff89a205d4f6c5122e0ce23f33265f61c9/mlx_lm-0.30.7.tar.gz", hash = "sha256:e5f31ac58d9f2381f28e1ba639ff903e64f7cff1bdc245c0bc97f72264be329c", size = 275764, upload-time = "2026-02-12T18:41:11.86Z" }
 wheels = [
-    { url = "https://files.pythonhosted.org/packages/20/5f/01d281f1fa8a1521d5936659beb4f5ab1f32b463d059263cf9d4cef969d9/mlx_lm-0.30.6-py3-none-any.whl", hash = "sha256:a7405bd581eacc4bf8209d7a6b7f23629585a0d7c6740c2a97e51fee35b3b0e1", size = 379451, upload-time = "2026-02-04T21:27:43.222Z" },
+    { url = "https://files.pythonhosted.org/packages/1e/17/a41c798a3d9cbdc47f39c6db5bba4c2cd199203ead26bf911cb03b644070/mlx_lm-0.30.7-py3-none-any.whl", hash = "sha256:17442a4bf01c4c2d3bca1e647712fe44f19890c3f1eadc8589d389e57b44b9bf", size = 386591, upload-time = "2026-02-12T18:41:10.236Z" },
 ]
 
 [[package]]