mem1 0.0.5__py3-none-any.whl → 0.0.6__py3-none-any.whl

mem1/__init__.py

@@ -1,9 +1,15 @@
 """
 Mem1 - 基于 Elasticsearch 的用户记忆系统
 """
+import logging
 
 __version__ = "0.0.5"
 
+# 屏蔽第三方库的详细日志（必须在导入前设置）
+logging.getLogger("elastic_transport").setLevel(logging.WARNING)
+logging.getLogger("elastic_transport.transport").setLevel(logging.WARNING)
+logging.getLogger("httpx").setLevel(logging.WARNING)
+
 from mem1.memory_es import Mem1Memory
 from mem1.config import Mem1Config, LLMConfig
 

mem1/config.py

@@ -1,5 +1,6 @@
 """配置管理"""
 import os
+from typing import Optional
 from pydantic import BaseModel
 
 
@@ -11,6 +12,17 @@ class LLMConfig(BaseModel):
     base_url: str
 
 
+class VLConfig(BaseModel):
+    """视觉语言模型配置（可选，配置了 model 即启用，使用 dashscope SDK）"""
+    model: str = ""
+    api_key: str = ""
+    
+    @property
+    def enabled(self) -> bool:
+        """只要配置了 model 就启用"""
+        return bool(self.model)
+
+
 class MemoryConfig(BaseModel):
     """记忆系统配置"""
     memory_dir: str
@@ -37,6 +49,7 @@ class ImagesConfig(BaseModel):
 class Mem1Config(BaseModel):
     """Mem1 总配置"""
     llm: LLMConfig
+    vl: VLConfig
     memory: MemoryConfig
     es: ESConfig
     images: ImagesConfig
@@ -56,6 +69,10 @@ class Mem1Config(BaseModel):
         - MEM1_MAX_PROFILE_CHARS: 画像最大字符数
         - MEM1_UPDATE_INTERVAL_ROUNDS: 画像更新间隔轮数
         - MEM1_UPDATE_INTERVAL_MINUTES: 画像更新间隔分钟数
+        
+        可选的环境变量（VL 模型，使用 dashscope SDK）：
+        - MEM1_VL_MODEL: VL 模型名（如 qwen-vl-max），配置即启用
+        - MEM1_VL_API_KEY: dashscope API 密钥
         """
         # 必需配置检查
         required_vars = {
@@ -84,6 +101,12 @@ class Mem1Config(BaseModel):
         memory_dir = required_vars["MEM1_MEMORY_DIR"]
         images_dir = f"{memory_dir}/images"
         
+        # VL 模型配置（可选，配置了 model 即启用，使用 dashscope SDK）
+        vl_config = VLConfig(
+            model=os.getenv("MEM1_VL_MODEL", ""),
+            api_key=os.getenv("MEM1_VL_API_KEY", "")
+        )
+        
         return cls(
             llm=LLMConfig(
                 provider="openai",
@@ -91,6 +114,7 @@ class Mem1Config(BaseModel):
                 api_key=required_vars["MEM1_LLM_API_KEY"],
                 base_url=required_vars["MEM1_LLM_BASE_URL"]
             ),
+            vl=vl_config,
             memory=MemoryConfig(
                 memory_dir=memory_dir,
                 auto_update_profile=required_vars["MEM1_AUTO_UPDATE_PROFILE"].lower() == "true",

mem1/llm.py

@@ -1,7 +1,7 @@
 """LLM 客户端"""
-from typing import List, Dict
+from typing import List, Dict, Optional
 from openai import OpenAI
-from mem1.config import LLMConfig
+from mem1.config import LLMConfig, VLConfig
 
 
 class LLMClient:
@@ -41,3 +41,50 @@ class LLMClient:
         response = self.client.chat.completions.create(**kwargs)
         
         return response.choices[0].message.content
+
+
+class VLClient:
+    """视觉语言模型客户端（基于 dashscope SDK）"""
+    
+    def __init__(self, config: VLConfig):
+        self.config = config
+        import dashscope
+        dashscope.api_key = config.api_key
+    
+    def understand_image(
+        self,
+        image_path: str,
+        user_description: str = ""
+    ) -> str:
+        """理解图片内容（OCR + 图片理解）
+        
+        Args:
+            image_path: 图片本地路径
+            user_description: 用户对图片的描述（可选）
+        
+        Returns:
+            图片理解结果（包含 OCR 文字和内容描述）
+        """
+        import dashscope
+        
+        prompt = "请分析这张图片，完成以下任务：\n1. OCR识别：提取图片中的所有文字\n2. 内容理解：描述图片的主要内容和关键信息\n\n请用简洁的中文回答，格式如下：\n【文字内容】...\n【图片描述】..."
+        
+        if user_description:
+            prompt += f"\n\n用户补充说明：{user_description}"
+        
+        messages = [
+            {
+                "role": "user",
+                "content": [
+                    {"image": image_path},
+                    {"text": prompt}
+                ]
+            }
+        ]
+        
+        response = dashscope.MultiModalConversation.call(
+            model=self.config.model,
+            messages=messages
+        )
+        
+        return response.output.choices[0].message.content[0]["text"]

mem1/memory_es.py

@@ -1,5 +1,5 @@
 """基于 Elasticsearch 的记忆管理系统"""
-import json
+import re
 import shutil
 import base64
 import logging
@@ -8,7 +8,7 @@ from typing import List, Dict, Any, Optional
 from pathlib import Path
 from elasticsearch import Elasticsearch
 from mem1.config import Mem1Config
-from mem1.llm import LLMClient
+from mem1.llm import LLMClient, VLClient
 from mem1.prompts import ProfileTemplate, RECALL_DECISION_PROMPT, IMAGE_SEARCH_PROMPT, ASSISTANT_SUMMARY_PROMPT
 
 logger = logging.getLogger(__name__)
@@ -23,10 +23,10 @@ class Mem1Memory:
     """基于 Elasticsearch 的用户记忆系统
     
     数据存储（全部在 ES）：
-    - ES 索引 conversation_history: 历史对话记录（按 user_id + topic_id 隔离）
+    - ES 索引 {index_name}: 历史对话记录 + 图片索引（按 user_id + topic_id 隔离）
     - ES 索引 mem1_user_state: 用户更新状态（轮数、上次更新时间）
     - ES 索引 mem1_user_profile: 用户画像（按 user_id 共享，跨话题）
-    - 本地文件 _images.json: 图片索引（仅图片相关）
+    - 本地文件: 图片文件存储
     """
     
     def __init__(
@@ -63,6 +63,9 @@ class Mem1Memory:
         # LLM 客户端
         self.llm = LLMClient(config.llm)
         
+        # VL 客户端（可选）
+        self.vl = VLClient(config.vl) if config.vl.enabled else None
+        
         # 业务场景模板
         self.profile_template = profile_template or ProfileTemplate()
         
@@ -74,7 +77,7 @@ class Mem1Memory:
         self.save_assistant_messages = config.memory.save_assistant_messages
         self.max_assistant_chars = config.memory.max_assistant_chars
         
-        # 确保用户状态索引存在
+        # 确保索引存在
         self._ensure_state_index()
     
     def _get_user_images_dir(self, user_id: str) -> Path:
@@ -83,21 +86,36 @@ class Mem1Memory:
         images_dir.mkdir(parents=True, exist_ok=True)
         return images_dir
     
-    def _get_images_index_path(self, user_id: str) -> Path:
-        """获取图片索引文件路径"""
-        return self.images_dir / user_id / "_images.json"
-    
     def _load_images_index(self, user_id: str) -> List[Dict[str, str]]:
-        """加载图片索引"""
-        path = self._get_images_index_path(user_id)
-        if path.exists():
-            return json.loads(path.read_text(encoding="utf-8"))
-        return []
+        """从对话记录中提取用户所有图片"""
+        try:
+            response = self.es.search(
+                index=self.index_name,
+                query={
+                    "bool": {
+                        "must": [
+                            {"term": {"user_id": user_id}},
+                            {"exists": {"field": "images"}}
+                        ]
+                    }
+                },
+                size=1000,
+                sort=[{"timestamp": {"order": "asc"}}]
+            )
+            
+            images = []
+            for hit in response["hits"]["hits"]:
+                conv_images = hit["_source"].get("images", [])
+                images.extend(conv_images)
+            return images
+        except Exception:
+            return []
     
-    def _save_images_index(self, user_id: str, index: List[Dict[str, str]]) -> None:
-        """保存图片索引"""
-        path = self._get_images_index_path(user_id)
-        path.write_text(json.dumps(index, ensure_ascii=False, indent=2), encoding="utf-8")
+    def _save_image_to_conversation(self, conversation_entry: Dict, image_doc: Dict[str, str]) -> None:
+        """将图片信息添加到对话记录"""
+        if "images" not in conversation_entry:
+            conversation_entry["images"] = []
+        conversation_entry["images"].append(image_doc)
     
     def _get_profile(self, user_id: str) -> Optional[str]:
         """从 ES 获取用户画像"""
@@ -264,11 +282,19 @@ class Mem1Memory:
         user_id = self.user_id
         topic_id = self.topic_id
         
+        # 构建对话记录
+        conversation_entry = {
+            "user_id": user_id,
+            "topic_id": topic_id,
+            "timestamp": ts,
+            "messages": [],
+            "metadata": metadata or {}
+        }
+        
         # 处理图片
         image_refs = []
         if images:
             user_images_dir = self._get_user_images_dir(user_id)
-            images_index = self._load_images_index(user_id)
             timestamp_str = datetime.now().strftime('%Y%m%d_%H%M%S')
             
             for img in images:
@@ -281,46 +307,49 @@ class Mem1Memory:
                 elif 'path' in img:
                     shutil.copy(img['path'], img_path)
                 
-                rel_path = f"./images/{filename}"
-                image_refs.append(rel_path)
+                image_refs.append(filename)
                 
-                description = img.get('description', '')
-                if not description:
-                    for msg in messages:
-                        if msg["role"] == "user":
-                            description = msg["content"][:100]
-                            break
+                # 生成图片描述（用户描述 + VL 理解）
+                user_desc = ""
+                for msg in messages:
+                    if msg["role"] == "user":
+                        user_desc = msg["content"]
+                        break
                 
-                images_index.append({
+                # 如果启用了 VL 模型，调用视觉理解
+                if self.vl:
+                    try:
+                        vl_result = self.vl.understand_image(str(img_path), user_desc)
+                        if user_desc:
+                            description = f"【用户描述】{user_desc}\n\n{vl_result}"
+                        else:
+                            description = vl_result
+                        logger.info(f"🖼️ VL 图片理解完成: {filename}")
+                    except Exception as e:
+                        logger.warning(f"⚠️ VL 图片理解失败: {e}, 使用用户描述")
+                        description = user_desc or img['filename']
+                else:
+                    description = user_desc or img['filename']
+                
+                # 图片信息存入对话记录
+                self._save_image_to_conversation(conversation_entry, {
                     "filename": filename,
-                    "path": rel_path,
                     "description": description,
                     "timestamp": datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
                     "original_name": img['filename']
                 })
-            
-            self._save_images_index(user_id, images_index)
-        
-        # 构建对话记录（包含 topic_id）
-        conversation_entry = {
-            "user_id": user_id,
-            "topic_id": topic_id,
-            "timestamp": ts,
-            "messages": [],
-            "metadata": metadata or {}
-        }
         
+        # 处理消息
         first_user_msg = True
         for msg in messages:
             if msg["role"] == "user":
                 msg_obj = {"role": "user", "content": msg["content"]}
                 if first_user_msg and image_refs:
-                    msg_obj["images"] = image_refs
+                    msg_obj["image_refs"] = image_refs
                     first_user_msg = False
                 conversation_entry["messages"].append(msg_obj)
             elif self.save_assistant_messages and msg["role"] == "assistant":
                 content = msg["content"]
-                # 超长回复触发摘要
                 if len(content) > self.max_assistant_chars:
                     content = self._summarize_assistant_response(content)
                 conversation_entry["messages"].append({
@@ -575,7 +604,7 @@ class Mem1Memory:
             return []
         
         images_desc = "\n".join([
-            f"[{i}] 文件名: {img['original_name']}, 时间: {img['timestamp']}, 描述: {img['description'][:100]}"
+            f"[{i}] 文件名: {img['original_name']}, 时间: {img['timestamp']}, 描述: {img['description']}"
             for i, img in enumerate(images_index)
         ])
         
@@ -589,12 +618,16 @@ class Mem1Memory:
         response = self.llm.generate(messages, response_format="text")
         
         results = []
-        for line in response.strip().split('\n'):
-            line = line.strip()
-            if line.isdigit():
-                idx = int(line)
-                if 0 <= idx < len(images_index):
-                    results.append(images_index[idx])
+        # 提取所有数字（支持多种格式：纯数字、[0]、0. 等）
+        import re
+        numbers = re.findall(r'\b(\d+)\b', response)
+        for num_str in numbers:
+            idx = int(num_str)
+            if 0 <= idx < len(images_index):
+                img = images_index[idx].copy()
+                img['abs_path'] = str((self._get_user_images_dir(user_id) / img['filename']).resolve())
+                if img not in results:  # 去重
+                    results.append(img)
         
         logger.info(f"🖼️ 图片搜索: query='{query}', 找到 {len(results)} 张")
         return results

mem1/prompts.py

@@ -32,6 +32,14 @@ class ProfileTemplate:
 - 关注重点：
 - 特殊要求：
 
+## 周期性任务
+（固定日程和重复性工作，格式：[周期] 任务内容）
+- 例：[每周一] 提交周报、[每周五] 制定下周计划、[每月底] 月度汇总
+
+## 关键数据
+（重要的数字、金额、数量，用加粗标记）
+- 例：处置 **97起** 案件、涉及金额 **230万元**、完成 **365个** 检查点
+
 ## 任务时间线
 （用户提到的计划、截止日期、里程碑，格式：[YYYY-MM-DD] 事项）
 
@@ -111,15 +119,26 @@ DEFAULT_PROFILE_UPDATE_PROMPT = """你是用户画像分析专家。从对话记
 4. 只记录用户明确表达的信息，不要推测
 5. 如果某个章节没有信息，保留标题但内容留空
 
+## 周期性任务提取
+6. 识别固定日程：用户提到"每周一"、"每周五"、"每天"、"每月"等周期性任务
+7. 记录到「周期性任务」章节，格式：[周期] 任务内容
+8. 示例：[每周一] 提交周报、[每周五] 制定下周计划
+
+## 关键数字保留【重要】
+9. 所有具体数字必须原样保留并用 **加粗** 标记，禁止概括为"多个"、"若干"、"大量"
+10. 记录到「关键数据」章节，格式：事项描述 **数字**
+11. 正确示例：处置 **97起** 案件、涉及金额 **230万元** ✓
+12. 错误示例：处置多起案件、涉及大额资金 ✗
+
 ## 时间敏感信息提取
-6. 任务时间线：提取用户提到的日期、截止时间、计划安排、里程碑，记录到「任务时间线」
-7. 待办事项：识别用户说"下次"、"回头"、"先这样"、"稍后"、"改天"等挂起信号，将未完成的请求记录到「待办事项」
-8. 已完成事项：如果对话中确认某个待办已完成，将其从「待办事项」移除或标记为 [x]
+13. 任务时间线：提取用户提到的日期、截止时间、计划安排、里程碑，记录到「任务时间线」
+14. 待办事项：识别用户说"下次"、"回头"、"先这样"、"稍后"、"改天"等挂起信号，将未完成的请求记录到「待办事项」
+15. 已完成事项：如果对话中确认某个待办已完成，将其从「待办事项」移除或标记为 [x]
 
 ## 矛盾检测
-9. 发现用户前后说法矛盾时（如偏好、身份、需求不一致），不要直接覆盖旧信息
-10. 将矛盾记录到「待澄清事项」，格式：⚠️ 用户曾说"..."（日期），但又说"..."（日期）
-11. 只有用户明确澄清后，才能更新对应信息并移除待澄清标记
+16. 发现用户前后说法矛盾时（如偏好、身份、需求不一致），不要直接覆盖旧信息
+17. 将矛盾记录到「待澄清事项」，格式：⚠️ 用户曾说"..."（日期），但又说"..."（日期）
+18. 只有用户明确澄清后，才能更新对应信息并移除待澄清标记
 
 ---
 *最后更新: {timestamp}*
@@ -220,6 +239,14 @@ YUQING_PROFILE_TEMPLATE = ProfileTemplate(
 - 关注重点：（时效性/准确性/全面性等）
 - 图表偏好：
 
+## 周期性任务
+（固定日程和重复性工作，格式：[周期] 任务内容）
+- 例：[每周一] 提交周报、[每周五] 制定下周计划、[每月底] 月度汇总
+
+## 关键数据
+（重要的数字、金额、数量，用加粗标记）
+- 例：处置 **97起** 案件、涉及金额 **230万元**
+
 ## 任务时间线
 （报告截止日期、汇报计划、定期任务，格式：[YYYY-MM-DD] 事项）
 

{mem1-0.0.5.dist-info → mem1-0.0.6.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mem1
-Version: 0.0.5
+Version: 0.0.6
 Summary: 基于云服务的用户记忆系统
 Project-URL: Homepage, https://github.com/sougannkyou/mem1
 Project-URL: Repository, https://github.com/sougannkyou/mem1
@@ -14,6 +14,7 @@ Classifier: Programming Language :: Python :: 3
 Classifier: Programming Language :: Python :: 3.12
 Classifier: Programming Language :: Python :: 3.13
 Requires-Python: >=3.12
+Requires-Dist: dashscope>=1.14.0
 Requires-Dist: elasticsearch>=8.0.0
 Requires-Dist: openai>=1.0.0
 Requires-Dist: pydantic>=2.0.0
@@ -30,7 +31,7 @@ Description-Content-Type: text/markdown
 
 - **三层记忆架构**：短期会话 → 用户画像 → 长期记录
 - **话题隔离**：同一用户可有多个话题，对话按话题隔离，画像跨话题共享
-- **图片记忆**：支持存储和语义搜索用户发送的图片
+- **图片记忆**：存储图片时自动调用 VL 模型生成描述（OCR + 内容理解），搜索时基于文字描述召回
 - **业务解耦**：通过 ProfileTemplate 适配不同场景
 - **画像自动更新**：基于对话轮数/时间自动触发 LLM 更新用户画像
 
@@ -87,6 +88,57 @@ MEM1_UPDATE_INTERVAL_MINUTES=3
 MEM1_SAVE_ASSISTANT_MESSAGES=true
 MEM1_MAX_ASSISTANT_CHARS=500
 MEM1_CONTEXT_DAYS_LIMIT=31
+
+# VL 视觉模型（可选，配置 MODEL 即启用，使用 dashscope SDK）
+MEM1_VL_MODEL=qwen-vl-max
+MEM1_VL_API_KEY=your-dashscope-key
+```
+
+## 图片记忆
+
+### 实现机制
+
+1. **存储阶段**：`add_conversation()` 遇到图片时自动调用 VL 模型（如 Qwen-VL）
+2. **VL 处理**：生成包含三部分的描述文本
+   - 【用户描述】用户发送图片时的文字说明
+   - 【文字内容】OCR 识别图片中的文字
+   - 【图片描述】VL 模型对图片内容的理解
+3. **数据存储**：图片信息存入 ES 对话记录的 `images` 字段，图片文件存本地
+4. **搜索召回**：`search_images()` 基于描述文本进行关键词匹配，返回图片路径
+
+### ES 数据结构
+
+```json
+{
+  "user_id": "user001",
+  "topic_id": "default",
+  "timestamp": "2026-01-06 16:46:03",
+  "messages": [
+    {"role": "user", "content": "...", "image_refs": ["20260106_164603_report.png"]}
+  ],
+  "images": [
+    {
+      "filename": "20260106_164603_report.png",
+      "description": "【用户描述】...\n\n【文字内容】...\n\n【图片描述】...",
+      "timestamp": "2026-01-06 16:46:16",
+      "original_name": "report.png"
+    }
+  ]
+}
+```
+
+### 使用示例
+
+```python
+# 添加带图片的对话
+memory.add_conversation(
+    messages=[{"role": "user", "content": "这是今天的报表"}],
+    images=[{"path": "./report.png", "filename": "report.png"}]
+)
+
+# 搜索图片（基于 VL 生成的描述）
+results = memory.search_images(query="报表")
+# 返回: [{"filename": "...", "description": "...", "abs_path": "..."}]
 ```
 
 ## 核心接口
@@ -117,7 +169,7 @@ memory.delete_user()
 
 | 索引 | 用途 |
 |------|------|
-| `conversation_history` | 对话记录 |
+| `conversation_history` | 对话记录（含图片索引） |
 | `mem1_user_state` | 用户状态 |
 | `mem1_user_profile` | 用户画像 |
 

mem1-0.0.6.dist-info/RECORD

@@ -0,0 +1,11 @@
+mem1/__init__.py,sha256=tNsBrO4d7fujDIPpvl6pweVcg5kHr_EYRgslR8nWWEI,494
+mem1/config.py,sha256=YWMzO3AIRp0PEa37fBzScRuY0TsoVJmHMi1xzDpmLsk,5123
+mem1/langchain_middleware.py,sha256=h2mG7K2Tq1N7IovXMvCyvOhsAwTWOR1NAqivF4db2AE,6648
+mem1/llm.py,sha256=Mq5a-3RMXeIXjVyv_W2-1JGzCSZ1PJ8hKGyXpQF8r6M,2632
+mem1/memory_es.py,sha256=P836RJjA4TcOEqrA3ja9kQMD092mBokMRjllgsk0ki0,29198
+mem1/memory_md.py,sha256=uu_TvdBoUpAncT1eissOSe1Y3vCy3iWMcuvCy3vCjEA,26258
+mem1/memory_tools.py,sha256=b1YBiRNet0gXnW-KGIZ2KQclluB9Q6dli_DbWLS571k,3646
+mem1/prompts.py,sha256=ISVnCnrZ1QJGcQOO6bK30ZPJPCpasd2Hs9n_MsVY_R4,9987
+mem1-0.0.6.dist-info/METADATA,sha256=oaqbpU3W2JjdAyBUwb-3tyMOFeIlf9BNwMicShInxoQ,5642
+mem1-0.0.6.dist-info/WHEEL,sha256=WLgqFyCfm_KASv4WHyYy0P3pM_m7J5L9k2skdKLirC8,87
+mem1-0.0.6.dist-info/RECORD,,

mem1-0.0.5.dist-info/RECORD

@@ -1,11 +0,0 @@
-mem1/__init__.py,sha256=D-o5MjyTl565vqyVOyigm9LiZmsk9S5DfyV4QobLNo8,219
-mem1/config.py,sha256=Tr91k9P9T-znshYAFGSyL3KGNy38xQLjbSJWlHxxeIo,4309
-mem1/langchain_middleware.py,sha256=h2mG7K2Tq1N7IovXMvCyvOhsAwTWOR1NAqivF4db2AE,6648
-mem1/llm.py,sha256=EKsZHxLrRn-OTxCsPHOYcUTjnEF5RVMnEM8fqWzdkbg,1114
-mem1/memory_es.py,sha256=nVkZ2W-MWL0ZLzNqDoZ7e5Ccgde8SKzy2ogMm1CKZu8,27787
-mem1/memory_md.py,sha256=uu_TvdBoUpAncT1eissOSe1Y3vCy3iWMcuvCy3vCjEA,26258
-mem1/memory_tools.py,sha256=b1YBiRNet0gXnW-KGIZ2KQclluB9Q6dli_DbWLS571k,3646
-mem1/prompts.py,sha256=L0JGVa--V_h9KqqZnb1n1N9oaPqxBhxHFL71Us9J5qM,8685
-mem1-0.0.5.dist-info/METADATA,sha256=ZbNrxTHxutoP5zK65emlcymBSFagU2AE2dLhpX74bjE,3957
-mem1-0.0.5.dist-info/WHEEL,sha256=WLgqFyCfm_KASv4WHyYy0P3pM_m7J5L9k2skdKLirC8,87
-mem1-0.0.5.dist-info/RECORD,,