llm-client-redis 0.1.0__tar.gz

llm_client_redis-0.1.0/MANIFEST.in

@@ -0,0 +1,2 @@
+include src/config/*.json
+include src/config/*.ini

llm_client_redis-0.1.0/PKG-INFO

@@ -0,0 +1,94 @@
+Metadata-Version: 2.4
+Name: llm_client_redis
+Version: 0.1.0
+Summary: LLM redis中介的客户端程序
+Author-email: Fang JiaWei <fjw12998@hotmail.com>
+License-Expression: GPL-3.0-or-later
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+Requires-Dist: langchain_core<0.4.0,>=0.3.72
+Requires-Dist: pytest<9.0.0,==8.4.1
+Requires-Dist: redis<6.0.0,==5.3.0
+Requires-Dist: Requests<3.0.0,==2.32.4
+Requires-Dist: llm_tokenizers>=0.1.2
+
+# llm_client_redis
+
+
+
+## 功能
+
+
+
+
+# llm_client_redis
+
+## 介绍
+整合多种llm 的api接入，使用 redis 作为消息队列，实现多客户端并发调用 llm 服务。本项目是调用部分，还有另一个项目专门用于接收 redis 消息，
+实现与 llm 的通信，并将返回结果给 redis，
+
+## 软件架构
+软件架构说明
+
+
+## 安装教程
+
+1.  xxxx
+2.  xxxx
+3.  xxxx
+
+## 使用说明
+
+### 1. python api 调用
+
+`llm_client_redis.llm_client.py`
+
+一次获取所有回答内容，等待出现相应的时间会较长
+
+```python
+
+from src.llm_client_redis import LLMClientRedis
+from langchain_core.messages import BaseMessage, SystemMessage, HumanMessage
+from typing import List
+
+llm_client_redis: LLMClientRedis = LLMClientRedis(llm_json_path="../config/llm_resources.json",
+                                                  config_path="../config/config.ini")
+
+model: str = "home_qwen3:32b"
+
+messages: List[BaseMessage] = [SystemMessage("你是一个好助手"), HumanMessage("你好")]
+
+data = llm_client_redis.request(messages=messages, model=model)
+
+print(data)
+
+```
+
+### 2. cmd 调用
+
+```shell
+chat-session
+```
+
+## 参与贡献
+
+1.  Fork 本仓库
+2.  新建 Feat_xxx 分支
+3.  提交代码
+4.  新建 Pull Request
+
+
+## 特技
+
+1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
+2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
+3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
+4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
+5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
+6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)

llm_client_redis-0.1.0/README.md

@@ -0,0 +1,74 @@
+# llm_client_redis
+
+
+
+## 功能
+
+
+
+
+# llm_client_redis
+
+## 介绍
+整合多种llm 的api接入，使用 redis 作为消息队列，实现多客户端并发调用 llm 服务。本项目是调用部分，还有另一个项目专门用于接收 redis 消息，
+实现与 llm 的通信，并将返回结果给 redis，
+
+## 软件架构
+软件架构说明
+
+
+## 安装教程
+
+1.  xxxx
+2.  xxxx
+3.  xxxx
+
+## 使用说明
+
+### 1. python api 调用
+
+`llm_client_redis.llm_client.py`
+
+一次获取所有回答内容，等待出现相应的时间会较长
+
+```python
+
+from src.llm_client_redis import LLMClientRedis
+from langchain_core.messages import BaseMessage, SystemMessage, HumanMessage
+from typing import List
+
+llm_client_redis: LLMClientRedis = LLMClientRedis(llm_json_path="../config/llm_resources.json",
+                                                  config_path="../config/config.ini")
+
+model: str = "home_qwen3:32b"
+
+messages: List[BaseMessage] = [SystemMessage("你是一个好助手"), HumanMessage("你好")]
+
+data = llm_client_redis.request(messages=messages, model=model)
+
+print(data)
+
+```
+
+### 2. cmd 调用
+
+```shell
+chat-session
+```
+
+## 参与贡献
+
+1.  Fork 本仓库
+2.  新建 Feat_xxx 分支
+3.  提交代码
+4.  新建 Pull Request
+
+
+## 特技
+
+1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
+2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
+3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
+4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
+5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
+6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)

llm_client_redis-0.1.0/pyproject.toml

@@ -0,0 +1,39 @@
+[build-system]
+requires = ["setuptools>=42", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "llm_client_redis"
+version = "0.1.0"
+authors = [
+    { name="Fang JiaWei", email="fjw12998@hotmail.com" },
+]
+description = "LLM redis中介的客户端程序"
+readme = "README.md"
+requires-python = ">=3.9"
+dependencies = [
+    "langchain_core>=0.3.72,<0.4.0",
+    "pytest==8.4.1,<9.0.0",
+    "redis==5.3.0,<6.0.0",
+    "Requests==2.32.4,<3.0.0",
+    "llm_tokenizers>=0.1.2"
+]
+classifiers = [
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3.9",
+    "Programming Language :: Python :: 3.10",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+    "Operating System :: OS Independent"
+]
+license = "GPL-3.0-or-later"
+
+[tool.setuptools.package-data]
+"src.config" = ["*.ini", "*.json"]
+
+[project.scripts]
+chat-session = "chat_session_main:main"
+
+[project.urls]
+## Homepage = "https://github.com/yourusername/llm_tools"
+## Documentation = "https://github.com/yourusername/llm_tools/docs"

llm_client_redis-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

llm_client_redis-0.1.0/src/config/config.ini

@@ -0,0 +1,54 @@
+# config.ini v0.1.0
+
+[redis_server]
+# Redis 服务器的主机地址 redis03.home
+host = 006.jq48.cn
+
+# Redis 服务器的端口号
+port = 26379
+
+# Redis 密码的环境变量名称（通过环境变量读取密码）
+password_env_var_name = REDIS03_AUTHENTICATION
+
+# Redis 数据库编号
+db = 2
+
+# 用于请求的 Redis 数据流名称
+request_stream_name = request_stream
+
+# 用于响应的 Redis 数据配对名称
+answer_map_name = answer_map
+
+# 用于响应的 Redis 数据流名称前辍，前辍包含:号，加上序号则表示响应流 list 的名称
+chunk_stream_prefix = chunk_stream:
+
+# 用于深入分析的 Redis 数据流名称前辍，前辍包含:号，加上序号则表示响应流 list 的名称
+reasoning_stream_prefix = reasoning_stream:
+
+[logging]
+# 日志级别，可选值有 DEBUG, INFO, WARNING, ERROR, CRITICAL
+level = INFO
+
+
+[redis_arch]
+# 是否启用 Redis 归档功能，true 表示启用，false 表示禁用
+redis_arch_enable = true
+
+# Redis 归档服务器的主机地址 redis03.home
+redis_arch_host = 006.jq48.cn
+
+# Redis 归档服务器的端口号
+redis_arch_port = 26379
+
+# Redis 归档服务器密码的环境变量名称（通过环境变量读取密码）
+redis_arch_password_env_var_name = REDIS03_AUTHENTICATION
+
+# Redis 归档服务器使用的数据库编号
+redis_arch_db = 3
+
+# Redis 归档数据流名称
+redis_arch_data_stream_name = arch_stream
+
+[local_llm]
+local_llm_id = home_qwen3:32b
+

llm_client_redis-0.1.0/src/config/llm_resources.json

@@ -0,0 +1,92 @@
+{
+  "deepseek_r1": {
+    "model": "deepseek-reasoner",
+    "version": "R1",
+    "base_url": "https://api.deepseek.com",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "DEEPSEEK_API_KEY",
+    "response_type": "deepseek-reasoner",
+    "description": "DeepSeek R1 模型 LangChain 接口"
+  },
+  "deepseek_v3": {
+    "model": "deepseek-chat",
+    "version": "V3",
+    "base_url": "https://api.deepseek.com",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "DEEPSEEK_API_KEY",
+    "response_type": "deepseek-chat",
+    "description": "DeepSeek V3 模型 LangChain 接口"
+  },
+  "huawei_deepseek_r1_32k": {
+    "model": "DeepSeek-R1",
+    "version": "R1",
+    "base_url": "https://maas-cn-southwest-2.modelarts-maas.com/deepseek-r1/v1",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "HUAWEI_MODEL_ART_API_KEY",
+    "response_type": "deepseek-reasoner",
+    "description": "华为云的 DeepSeek R1 32K 模型 LangChain DeepSeek 接口"
+  },
+  "huawei_deepseek_v3_32k": {
+    "model": "DeepSeek-V3",
+    "version": "V1",
+    "base_url": "https://maas-cn-southwest-2.modelarts-maas.com/deepseek-v3/v1",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "HUAWEI_MODEL_ART_API_KEY",
+    "response_type": "deepseek-chat",
+    "description": "华为云的 DeepSeek V3 32K 模型 LangChain DeepSeek 接口"
+  },
+  "huawei_DeepSeek-R1-32K-0528": {
+    "model": "deepseek-r1-250528",
+    "version": "R1",
+    "base_url": "https://api.modelarts-maas.com/v1",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "HUAWEI_MODEL_ART_API_KEY",
+    "response_type": "deepseek-reasoner",
+    "description": "华为云的 DeepSeek-R1-32K-0528 模型 LangChain DeepSeek 接口"
+  },
+  "huawei_qwen3-32b": {
+    "model": "qwen3-32b",
+    "version": "V1",
+    "base_url": "https://api.modelarts-maas.com/v1",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "HUAWEI_MODEL_ART_API_KEY",
+    "response_type": "deepseek-chat",
+    "description": "华为云的 qwen3-32b 模型 LangChain DeepSeek 接口"
+  },
+  "huawei_qwen3-235b-a22b": {
+    "model": "qwen3-235b-a22b",
+    "version": "V1",
+    "base_url": "https://api.modelarts-maas.com/v1",
+    "type": "BaseChatOpenAI",
+    "provider": "langchain-deepseek",
+    "env_api_key_name": "HUAWEI_MODEL_ART_API_KEY",
+    "response_type": "deepseek-chat",
+    "description": "华为云的 qwen3-235b-a22b 模型 LangChain DeepSeek 接口"
+  },
+  "home_deepseek-r1:32b": {
+    "model": "deepseek-r1:32b",
+    "version": "32b",
+    "base_url": "https://localhost:11434",
+    "type": "BaseLLM",
+    "provider": "langchain-ollama",
+    "env_api_key_name": null,
+    "response_type": "deepseek-reasoner",
+    "description": "本地 DeepSeek R1 32b 模型 LangChain 接口"
+  },
+  "home_qwen3:32b": {
+    "model": "qwen3:32b",
+    "version": "32b",
+    "base_url": "https://localhost:11434",
+    "type": "BaseLLM",
+    "provider": "langchain-ollama",
+    "env_api_key_name": null,
+    "response_type": "deepseek-reasoner",
+    "description": "本地 qwen3:32b 模型 LangChain 接口"
+  }
+}

llm_client_redis-0.1.0/src/llm_client_redis/__init__.py

@@ -0,0 +1,3 @@
+__all__ = ['LLMClientRedis']
+
+from .llm_client import LLMClientRedis

llm_client_redis-0.1.0/src/llm_client_redis/chat_session_main.py

@@ -0,0 +1,31 @@
+from configparser import ConfigParser
+
+from cmd_chat import ChatSession
+from cmd_chat.cmd_templates import SendTemplateCommand
+from cmd_chat.cmd_templates import ShowTextBlockCommand
+from cmd_chat.cmd_templates import TextBlockCommand
+
+
+def main():
+
+    config_path: str = "../config/config.ini"
+
+    configparser: ConfigParser = ConfigParser()
+    configparser.read(config_path, encoding="utf-8")
+
+    model: str = configparser['local_llm']['local_llm_id']
+
+    chat = ChatSession(model=model,
+                       llm_json_path="../config/llm_resources.json",
+                       config_path=config_path,
+                       max_history=8)  # 保存最近4轮对话
+
+    chat.command_registry.register(SendTemplateCommand())
+    chat.command_registry.register(TextBlockCommand())
+    chat.command_registry.register(ShowTextBlockCommand())
+
+    chat.start()
+    pass
+
+if __name__ == '__main__':
+    main()

llm_client_redis-0.1.0/src/llm_client_redis/cmd_chat/__init__.py

@@ -0,0 +1,9 @@
+__all__ = [
+    'ChatSession',
+    'AbstractChatSession',
+    'Command',
+    'CommandRegistry'
+]
+
+from .chat_session import ChatSession
+from .command_def import AbstractChatSession, Command, CommandRegistry

llm_client_redis-0.1.0/src/llm_client_redis/cmd_chat/chat_session.py

@@ -0,0 +1,238 @@
+import datetime
+import os
+
+from langchain_core.messages import HumanMessage, SystemMessage
+
+from src.llm_client_redis.tools import OutputTools
+from .command_def import Command
+from .command_def import AbstractChatSession
+
+# ------------------------ 新增命令体系 ------------------------
+class ExitCommand(Command):
+    """退出命令"""
+    def __init__(self):
+        super().__init__("exit", ["quit"], "退出程序")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        print("再见!")
+        exit(0)
+
+class HistoryCommand(Command):
+    """显示历史命令"""
+    def __init__(self):
+        super().__init__("history", [], "显示对话历史")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.show_history()
+
+class DeleteHistoryCommand(Command):
+    """删除历史命令"""
+    def __init__(self):
+        super().__init__("hdel", [], "删除指定历史记录 hdel[索引]")
+
+    def match(self, input_str: str, session: AbstractChatSession) -> bool:
+
+        if input_str.lower().startswith(self.name):
+            idx: int = int(input_str.lower().strip()[len("hdel"):])
+            return 0 <= idx < len(session.llm_redis.llm_resources_tools.list_llm_def())
+        else:
+            return False
+
+
+    def execute(self, session: AbstractChatSession, args=None):
+        idx_str = session.user_input[len(self.name):]
+        try:
+            idx = int(idx_str)
+            session.del_history(idx)
+        except ValueError:
+            print(f"无效的索引: {idx_str}")
+
+class ClearHistoryCommand(Command):
+    """清空历史命令"""
+    def __init__(self):
+        super().__init__("clear", [], "清空对话历史")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.clear_history()
+
+class HelpCommand(Command):
+    """帮助命令"""
+    def __init__(self):
+        super().__init__("help", ["?"], "显示帮助信息")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.show_welcome()
+
+class ListModelsCommand(Command):
+    """列出模型命令"""
+    def __init__(self):
+        super().__init__("list", [], "列出支持的所有模型")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.list_models()
+
+class CurrentModelCommand(Command):
+    """当前模型命令"""
+    def __init__(self):
+        super().__init__("model", [], "显示当前使用模型")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.show_model()
+
+class SummaryCommand(Command):
+    """摘要命令"""
+    def __init__(self):
+        super().__init__("summary", [], "生成历史摘要")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.summary_history()
+
+class SaveCommand(Command):
+    """保存命令"""
+    def __init__(self):
+        super().__init__("save", [], "保存对话历史")
+
+    def execute(self, session: AbstractChatSession, args=None):
+        session.save_history()
+
+class ChangeModelCommand(Command):
+    """切换模型命令"""
+    def __init__(self):
+        super().__init__(f"chg", [], f"切换到list 返回的[索引]模型作为当前模型")
+
+    def match(self, input_str: str, session: AbstractChatSession) -> bool:
+
+        if input_str.lower().startswith(self.name):
+            idx: int = int(input_str.lower().strip()[len("chg"):])
+            return 0 <= idx < len(session.llm_redis.llm_resources_tools.list_llm_def())
+        else:
+            return False
+
+    def execute(self, session: AbstractChatSession, args=None):
+
+        idx_str = session.user_input[len(self.name):]
+
+        model: str = session.model
+        try:
+            idx = int(idx_str)
+            model = session.llm_redis.llm_resources_tools.list_llm_def()[idx]
+        except ValueError:
+            print(f"无效的索引: {idx_str}")
+
+        session.model = model
+        print(f"当前模型变更为：{session.model}")
+
+
+
+
+# ------------------------ 修改后的ChatSession类 ------------------------
+class ChatSession(AbstractChatSession):
+
+    def init_commands(self):
+        """初始化所有命令"""
+        # 注册基础命令
+        self.command_registry.register(ExitCommand())
+        self.command_registry.register(HistoryCommand())
+        self.command_registry.register(DeleteHistoryCommand())
+        self.command_registry.register(ClearHistoryCommand())
+        self.command_registry.register(HelpCommand())
+        self.command_registry.register(ListModelsCommand())
+        self.command_registry.register(CurrentModelCommand())
+        self.command_registry.register(SummaryCommand())
+        self.command_registry.register(SaveCommand())
+        self.command_registry.register(ChangeModelCommand())
+
+    def show_history(self) -> str:
+        """
+        定义一个私有方法_show_history，用于显示对话历史，返回类型为字符串
+
+        :return:
+        """
+        text: str = ""  # 初始化一个空字符串变量text，用于存储对话历史文本
+
+        text += "\n=== 对话历史 ===\n"  # 向text中添加对话历史开始的分隔符
+        for idx, line in enumerate(self.history[-self.max_history:]):
+            text += f"{idx}. {line.type}: {line.content}\n"  # 打印历史记录，每条记录前加上序号
+        text += "=================\n"
+
+        print(text)
+        return text
+
+    def del_history(self, idx: int):
+        """
+        定义一个私有方法del_history，用于删除指定索引的历史记录
+        :param idx: 要删除的历史记录的索引
+        :return: None
+        """
+        # 检查索引是否在有效范围内
+        if idx < 0 or idx >= len(self.history):
+            # 如果索引无效，打印错误信息并返回
+            print(f"无效的历史记录索引: {idx}")
+            return
+        # 删除指定索引的历史记录
+        del self.history[idx]
+        # 打印删除成功的信息
+        print(f"删除历史记录: {idx}")
+        # 调用私有方法_show_history显示当前的历史记录
+        self.show_history()
+        # 返回None，表示方法执行完毕
+        return
+
+    def summary_history(self):
+        print("对当前的所有历史记录进行汇总摘要，归纳成一个上下文提示词。")
+        self.show_history()
+        self.history.append(HumanMessage("对当前的所有历史记录进行汇总摘要，归纳成一个上下文提示词，"
+                                         "以便在后续的对话中获得前面话题的核心内容。"))
+
+        print(f"\n系统：", end="")
+
+        answer_text: str = ""
+        # 调用大模型接口
+        for answer_chunk in self.llm_redis.request_stream(messages=self.history.copy(), model=self.model):
+            answer_text += answer_chunk
+            print(answer_chunk, end="", flush=True)
+
+        print("摘要替代原上下文")
+        self.history = [SystemMessage(OutputTools.remove_think(answer_text))]
+        self.show_history()
+
+    def save_history(self):
+        # 调用_show_history方法获取对话历史文本
+        text: str = self.show_history()
+
+        # 生成文件的路径，文件名包含当前的时间
+        # 使用os.path.join拼接保存路径和文件名
+        # 文件名格式为"chat_history_YYYYMMDD_HHMMSS.txt"，其中YYYYMMDD_HHMMSS为当前时间
+        file_path: str = os.path.join(self.save_output_path,
+                                      f"chat_history_{datetime.datetime.now().strftime('%Y%m%d_%H%M%S')}.txt")
+        # 使用with语句打开文件，确保文件在操作完成后自动关闭
+        # 'w'模式表示写入文件，如果文件不存在则创建文件
+        # encoding='utf-8'指定文件编码为UTF-8
+        with open(file_path, 'w', encoding='utf-8') as f:
+            # 将对话历史文本写入文件
+            f.write(text)
+        # 打印保存文件的路径
+        print(f"保存对话历史，路径：{file_path}")
+
+    def list_models(self):
+        models: list = self.llm_redis.llm_resources_tools.list_llm_def()
+
+        print(f"\n当前系统支持以下模型：")
+        for idx, model in enumerate(models):
+            print(f"{idx} - {model}")
+        print()
+
+    def show_model(self):
+        print(f"\n当前使用的模型：{self.model}")
+
+    def clear_history(self):
+        self.history = []
+        print("对话历史已清空。")
+
+
+if __name__ == "__main__":
+    chat = ChatSession(model="home_qwen3:32b",
+                       llm_json_path="../config/llm_resources.json",
+                       config_path="../config/config.ini",
+                       max_history=8)  # 保存最近4轮对话
+    chat.start()

llm_client_redis-0.1.0/src/llm_client_redis/cmd_chat/cmd_templates/__init__.py

@@ -0,0 +1,9 @@
+__all__ = [
+    'SendTemplateCommand',
+    'ShowTextBlockCommand',
+    'TextBlockCommand'
+           ]
+
+from .send_template_cmd import SendTemplateCommand
+from .show_text_block_cmd import ShowTextBlockCommand
+from .text_block_command import TextBlockCommand