tina-python 0.2.0__py3-none-any.whl

tina/RAG/processFiles.py

@@ -0,0 +1,135 @@
+"""
+编写者：王出日
+日期：2024，12，1
+版本？
+对文件进行处理包括：
+1.文本类文件：docx，txt，pdf
+    已经实现
+2.图片类文件：jpg，png，gif
+    未实现
+
+内含：
+
+1.docxToTxt(docx_file,isClean = False)：对docx文件进行处理，返回docx文件内容，每段内容用换行符分隔
+2.pdfToTxt(pdf_file,isClean = False)：对pdf文件进行处理，返回pdf文件内容，每段内容用换行符分隔
+3.txtToTxt(txt_file,isClean = False)：对txt文件进行处理，返回txt文件内容，每段内容用换行符分隔
+"""
+
+import os
+import docx
+import PyPDF2
+import urllib.request
+
+from typing import Union,Generator
+from .utils import cleaning, segment
+
+class FileProcess:
+    """文件处理类"""
+    def __init__(self):
+        pass
+    def read_file(self,file_path:str=None,file_url:str=None)->str:
+        """通过文件路径自动判断文件类型并读取文件内容"""
+        if file_path is not None:
+            return fileToTxtByExten(file_path=file_path)
+        elif file_url is not None:
+            try:
+                response = urllib.request.urlopen(file_url)
+                content = response.read()
+                content = content.decode('utf-8')
+                return content
+            except Exception as e:
+                print(f"处理文件 {file_url} 时出错了：{e}")
+                raise
+        elif file_path is not None and file_url is not None:
+            raise ValueError("文件路径和文件url不能同时存在")
+        else:
+            raise ValueError("文件路径和文件url不能同时为空")
+    
+
+def process_document(content: str, isClean: bool, isSegments: bool, n: int,step:int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """处理文本内容，进行数据清洗和分段"""
+    if isClean:
+        content = cleaning(content)
+    return segment(content, n,step,is_yield) if isSegments else [content]
+
+
+def docxToTxt(docx_file: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """对docx文件进行处理"""
+    try:
+        doc = docx.Document(docx_file)
+        content = '\n'.join(para.text.strip() for para in doc.paragraphs if para.text.strip())
+        return process_document(content, isClean, isSegments, n,step, is_yield)
+    except Exception as e:
+        print(f"处理文件 {docx_file} 时出错了：{e}")
+        raise
+
+
+def pdfToTxt(pdf_file: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """对pdf文件进行处理"""
+    try:
+        with open(pdf_file, 'rb') as f:
+            pdf = PyPDF2.PdfReader(f)
+            content = ''.join(page.extract_text().strip() + '\n' for page in pdf.pages if page.extract_text())
+            return process_document(content, isClean, isSegments, n,step, is_yield)
+    except Exception as e:
+        print(f"处理文件 {pdf_file} 时出错了：{e}")
+        raise
+
+
+def txtToTxt(txt_file: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """对txt文件进行处理""" 
+    try:
+        with open(txt_file, 'r', encoding='utf-8') as f:
+            content = f.read().strip().split('\n')
+            cleaned_content = '\n'.join(para for para in content if para.strip())
+            return process_document(cleaned_content, isClean, isSegments, n,step, is_yield)
+    except Exception as e:
+        print(f"处理文件 {txt_file} 时出错了：{e}")
+        raise
+
+def mdToTxt(md_file: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """对md文件进行处理"""
+    try:
+        with open(md_file, 'r', encoding='utf-8') as f:
+            content = f.read().strip().split('\n')
+            cleaned_content = '\n'.join(para for para in content if para.strip())
+            return process_document(cleaned_content, isClean, isSegments, n,step, is_yield)
+    except Exception as e:
+        print(f"处理文件 {md_file} 时出错了：{e}")
+        raise
+
+def fileToTxt(file_path: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> list[str]:
+    """对文件夹内所有文件进行处理"""
+    if os.path.isfile(file_path):
+        return fileToTxtByExten(file_path, isClean, isSegments, n,step, is_yield)
+
+    content_list = []
+    file_list = os.listdir(file_path)
+    for file in file_list:
+        full_file_path = os.path.join(file_path, file)
+        content_list.extend(fileToTxtByExten(full_file_path, isClean, isSegments, n,step, is_yield))
+    return content_list
+
+
+def fileToTxtByExten(file_path: str, isClean: bool = False, isSegments: bool = False, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator,list[str]]:
+    """根据文件扩展名调用相应的转换函数"""
+    file_suffix = os.path.splitext(file_path)[1]
+    if file_suffix == '.docx':
+        return docxToTxt(file_path, isClean, isSegments, n,step, is_yield)
+    # elif file_suffix == '.doc':
+    #     return docToTxt(file_path, isClean, isSegments, n)
+    elif file_suffix == '.pdf':
+        return pdfToTxt(file_path, isClean, isSegments, n,step, is_yield)
+    elif file_suffix == '.txt':
+        return txtToTxt(file_path, isClean, isSegments, n,step, is_yield)
+    elif file_suffix == '.md':
+        return mdToTxt(file_path, isClean, isSegments, n,step, is_yield)
+    #出现非法文件类型时，返回空列表
+    else:
+        return [f"该文件类型暂不支持，格式为{file_suffix},告诉用户使用docx,pdf,txt文件"]
+
+
+class Image:
+    """图片类"""
+    def __init__(self):
+        pass

tina/RAG/query/query.py

@@ -0,0 +1,39 @@
+"""
+编写者：王出日
+日期：2024，12，13
+版本？
+tina提供的查询文档工具，可以根据输入的文本进行向量检索，并返回最相似的文档。
+"""
+import os
+import numpy as np
+import faiss
+from tina.RAG.Embedding.embedding import Embedding
+from tina.core.manage import TinaFolderManager
+from tina.RAG.textSegments import TextSegments
+
+def query(query_text, n=10)->list:
+    """
+    根据输入的文本进行向量检索，并返回最相似的文档片段。
+        Args:
+            query_text: 输入的文本
+            n: 返回的文档片段数量
+        Returns:
+            最相似的文档片段列表
+    """
+    text_segments = TextSegments()
+    text_embedding = Embedding()
+    faiss_index = faiss.read_index(os.path.join(TinaFolderManager.getFaissIndex()))
+    query_embedding = text_embedding.embedding(query_text)
+    distances, indices = faiss_index.search(np.array([query_embedding]).reshape(1, -1), n)
+    indices = indices.tolist()[0]
+    results = []
+    counter = 0
+    for i in indices:
+        if i == -1:
+            break
+        results.append(text_segments.find(i+1))
+        counter += 1
+    
+        
+    return results, counter
+        

tina/RAG/textSegments.py

@@ -0,0 +1,117 @@
+"""
+编写者：王出日
+日期：2024，12，1
+版本？
+描述：
+文本分段类
+功能：
+1. 文本分段
+2. 获取指定编号的分段结果
+3. 找到第几段
+"""
+
+import os
+import pickle
+import pathlib
+import shutil
+
+from ..core.manage import TinaFolderManager
+from .processFiles import fileToTxtByExten 
+
+class TextSegments:
+    def __init__(self, folder_path:str=''):
+        self.folder_path = folder_path
+        self.segment_path = TinaFolderManager.getSegment()
+    
+    def getMaxId(self):
+        #获取当前最大编号
+        if not os.path.exists(os.path.join(self.segment_path, 'id.txt')):
+            max_id = 0
+            for file in os.listdir(self.segment_path):
+                if file.startswith('seg_'):
+                    id = int(file.split('_')[1])
+                    if id > max_id:
+                        max_id = id
+            return max_id
+        else:
+            with open(os.path.join(self.segment_path, 'id.txt'), 'r') as f:
+                max_id = int(f.read())
+            return max_id
+        
+    def segments(self, n:int,isCopyFileToTinaFolder:bool=False):
+        """
+        分段方法
+        Args:
+            n:每段的字数
+            isCopyFileToTinaFolder:是否将文件复制到Tina的文件夹中
+        """
+        for file in os.listdir(self.folder_path):
+            text_list = fileToTxtByExten(
+                os.path.join(self.folder_path, file),
+                isClean=True,
+                isSegments=True,
+                n=n
+                )
+            if isCopyFileToTinaFolder:
+                shutil.copy2(os.path.join(self.folder_path, file), TinaFolderManager.getDocumentFolder())
+
+            #构建文件名，数字+文件名+内分段数，数字从0开始
+            file_name = self.__getId() + '_' + file + '_' + str(len(text_list))+'.pkl'
+            #保存分段结果
+            with open(os.path.join(self.segment_path, file_name), 'wb') as f:
+                pickle.dump(text_list, f)
+            
+        
+    def get(self, id:int):
+        #获取指定文件的所有分段结果
+        for file in os.listdir(self.segment_path):
+            if file.startswith('seg_') and file.endswith('.pkl'):
+                #提取末尾分段数
+                num = int(pathlib.Path(file).stem.split('_')[1])
+                if num == id:
+                    with open(os.path.join(self.segment_path, file), 'rb') as f:
+                        result = pickle.load(f)
+                    return result
+        
+    def find(self, n:int):
+        #找到第几段
+        num = 0
+        for file in os.listdir(self.segment_path):
+            if file.startswith('seg_') and file.endswith('.pkl'):
+                #提取末尾分段数
+                num += int(pathlib.Path(file).stem.split('_')[3])
+                if num < n:
+                    continue
+                elif num >= n:
+                    with open(os.path.join(self.segment_path, file), 'rb') as f:
+                        result = pickle.load(f)
+                    return result[n-num-1]                       
+                else:
+                    raise IndexError('查找值超出范围！')
+                
+    def findFile(self,file_name:str):
+        #查找指定文件对应的分段文件地址
+        for file in os.listdir(self.segment_path):
+            if file.startswith('seg_') and file.endswith('.pkl'):
+                segment_onthistimesname = pathlib.Path(file).stem.split('_')[2]
+                if segment_onthistimesname == file_name:
+                    return os.path.join(self.segment_path, file)
+                
+    def __getId(self):
+        #获取当前最大编号
+        if not os.path.exists(os.path.join(self.segment_path, 'id.txt')):
+            max_id = 0
+            for file in os.listdir(self.segment_path):
+                if file.startswith('seg_'):
+                    id = int(file.split('_')[1])
+                    if id > max_id:
+                        max_id = id
+            with open(os.path.join(self.segment_path, 'id.txt'), 'w') as f:
+                f.write(str(max_id + 1))
+            return'seg_' + str(max_id + 1)
+        else:
+            with open(os.path.join(self.segment_path, 'id.txt'), 'r') as f:
+                max_id = int(f.read())
+            with open(os.path.join(self.segment_path, 'id.txt'), 'w') as f:
+                f.write(str(max_id + 1))
+            return'seg_' + str(max_id + 1)

tina/RAG/utils.py

@@ -0,0 +1,55 @@
+"""
+编写者：王出日
+日期：2024，12，1
+版本？
+实用工具：
+1. cleaning(text)：清理文本，去除乱码、空格、换行符、制表符等
+2. segment(text,n=100)：将文本分段，每段不超过n个字符
+"""
+__all__ = ['cleaning','segment']
+
+import re
+from typing import Union,Generator
+
+def cleaning(text: str,word:list=['\u3000','\xa0','\u2003','\u2002','\u2004','\u2005','\u2006','\u2007','\u2008','\u2009','\u200a','\u202f','\u205f','\u3000','\u2028','\u2029']) -> str:
+    """
+    清理文本，去除乱码、空格、换行符、制表符等，同时保留常用标点符号
+    Args:
+        text: 待清理文本
+    Returns:
+        str: 清理后的文本
+    """
+    # 定义需要保留的常用标点符号
+    punctuation = r'，。！？；：“”‘’（）、.?!\'\";:'
+
+    # 更新正则表达式以保留标点符号
+    pattern = re.compile(r'[^、\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a\u0020-\u007E\u00A0-\u00FF' + punctuation + r']+')
+    text = pattern.sub('', text)
+    text = text.replace('\n', '').replace('\t', '').replace('\r', '')
+    
+    return text
+
+def segment(text: str, n: int = 100, step: int = None, is_yield: bool = False) -> Union[Generator, list]:
+    """
+    将文本分段，每段不超过n个字符，可以指定步长达到滚动窗口的效果，同时在大文本量时可以使用生成器节省内存
+    Args:
+        text: 待分段文本
+        n: 每段字符数
+        step: 分段步长,如果不指定则默认为n
+        is_yield: 是否使用生成器返回结果，默认为False
+    Returns:
+        Union[Generator, list]: 分段后的文本生成器或列表
+    """
+    if step is None:
+        step = n
+    
+    if len(text) <= n:
+        return [text]
+    else:
+        if is_yield:
+            def gen():
+                for i in range(0, len(text) - n + 1, step):
+                    yield text[i:i + n]
+            return gen()
+        else:
+            return [text[i:i + n] for i in range(0, len(text) - n + 1, step)]

tina/__init__.py

@@ -0,0 +1 @@
+from tina.tina import Tina

tina/core/executor.py

@@ -0,0 +1,117 @@
+"""
+编写者：王出日
+日期：2024，12，13
+版本 0.1.0
+功能：Agent的工具执行器
+通过导入AgentExecutor类，可以调用Agent的工具执行器，该类包含一个parser参数，该参数为解析工具调用的函数，默认为tina_parser函数。
+通过传入Tools对象来动态导入工具类，并调用该类的方法。
+使用方法：
+1. 导入AgentExecutor类
+from executor import AgentExecutor
+2. 不需要创建实例，里面的方法为静态方法，可以直接调用
+例如使用execute方法执行工具调用：
+    result = AgentExecutor.execute(tool_call, tools, is_permissions)
+
+
+"""
+import ast
+import importlib.util
+from .parser import tina_parser
+from .tools import Tools
+
+class AgentExecutor:
+    def __init__(self, parser: callable = tina_parser):
+        """
+        Agent的工具执行器
+        """
+        self.parser = parser
+    @staticmethod
+    def is_safe(node):
+        """
+        验证AST节点是否安全
+        """
+        if isinstance(node, ast.Expression):
+            return all(AgentExecutor.is_safe(child) for child in ast.walk(node))
+        if isinstance(node, ast.BinOp):
+            return AgentExecutor.is_safe(node.left) and AgentExecutor.is_safe(node.right)
+        if isinstance(node, ast.UnaryOp):
+            return AgentExecutor.is_safe(node.operand)
+        if isinstance(node, ast.Num):  # 用于Python 3.8及以下版本
+            return True
+        if isinstance(node, ast.Constant):  # 用于Python 3.8及以上版本
+            return True
+        if isinstance(node, ast.Name):
+            return node.id.isidentifier() and not node.id.startswith('__')
+        if isinstance(node, ast.Call):
+            return AgentExecutor.is_safe(node.func) and all(AgentExecutor.is_safe(arg) for arg in node.args)
+        if isinstance(node, ast.Attribute):
+            return isinstance(node.value, ast.Name) and node.value.id.isidentifier()
+        raise ValueError(f"Unsupported AST node: {node}")
+    
+    @staticmethod
+    def execute(tool_call: tuple[str, dict, bool], tools: type,is_permissions: bool = True,LLM:type = None) -> tuple[str, bool]:
+        """
+        执行工具调用
+        如何使用：
+        result = AgentExecutor.execute(tool_call, tools, is_permissions)
+        其中，tool_call为工具调用的字符串，tools为Agent的工具类，is_permissions为是否需要验证权限，默认为True。
+        返回值：
+        第一个元素为执行结果，第二个元素为是否成功。
+        可以使用变量拆包的方式获取执行结果：
+        result, success = AgentExecutor.execute(tool_call, tools, is_permissions)
+        其中，success为是否使用了工具调用，True表示成功，False表示失败。
+        Args:
+            tool_call (str): 字符串,内含解析器会解析的工具调用
+            tools (type): 工具类，用于内部调用检测工具是否存在和参数验证
+            is_permissions (bool, optional): 对执行字符串进行安全验证，默认是True.
+        Returns:
+            tuple[str, bool]: 元组，执行结果和是否成功
+        """
+        if not tool_call[2]:
+            return result
+        module = AgentExecutor.import_module(tools.getToolsPath(name = tool_call[0]))
+
+        func = getattr(module, tool_call[0])
+        if tool_call[1]:
+            result = func(**tool_call[1])
+        else:
+            result = func()
+        
+        #参数判断
+        if isinstance(result,str):
+            return result,True
+        elif isinstance(result, list):
+            result_str = "，".join(f"列表第{index+1}元素{value}" for index, value in enumerate(result))
+        elif isinstance(result,bool):
+            if result:
+                result_str = "True"
+            else:
+                result_str = "False"
+        elif isinstance(result, dict):
+            result_str = "，".join(f"字典的{key}键对应的值为{value}" for key, value in result.items())
+        else:
+            result_str = str(result)
+        return result_str,True
+    @staticmethod
+    def _extract_value(node):
+        if isinstance(node, ast.Constant):
+            return node.value
+        elif isinstance(node, ast.List):
+            return [AgentExecutor._extract_value(el) for el in node.elts]
+        else:
+            raise TypeError(f"不支持的节点类型: {type(node)}")
+
+    
+    @staticmethod   
+    def import_module(module_path:str):
+        """
+        动态导入工具类
+        给了路径，就可以导入
+        """
+        try:
+            spec = importlib.util.spec_from_file_location("tool", module_path)
+            module = importlib.util.module_from_spec(spec)
+            spec.loader.exec_module(module)
+            return module
+        except Exception as e:
+            raise Exception(f"导入工具失败,原因：{str(e)}")

tina/core/logging.py

@@ -0,0 +1,6 @@
+"""
+记录用户使用日志
+还没开始写呢！
+"""
+import logging
+

tina/core/manage.py

@@ -0,0 +1,84 @@
+"""
+编写者：王出日
+日期：2024，12，1
+版本？
+管理tina的文件夹模块
+"""
+
+import os
+
+class TinaFolderManager:
+    """
+    管理tina文件夹
+    """
+    @staticmethod
+    def init(base_dir: str = os.path.dirname(__file__)):
+        """
+        初始化tina文件夹
+        """
+        TinaFolderManager.file_dir = os.path.join(base_dir, "Tina")
+        try:
+            os.makedirs(TinaFolderManager.file_dir, exist_ok=True)
+            os.makedirs(os.path.join(TinaFolderManager.file_dir, "memory"), exist_ok=True)
+            os.makedirs(os.path.join(TinaFolderManager.file_dir, "cache"), exist_ok=True)
+            os.makedirs(os.path.join(TinaFolderManager.file_dir, "segment"), exist_ok=True)
+            os.makedirs(os.path.join(TinaFolderManager.file_dir,"document"),exist_ok=True)
+            if not os.path.exists(os.path.join(TinaFolderManager.file_dir, "segment", "segment.index")):
+                with open(os.path.join(TinaFolderManager.file_dir, "segment", "segment.index"), "w") as f:
+                    pass
+            if not os.path.exists(os.path.join(TinaFolderManager.file_dir, "memory", "memory.index")):
+                pass
+
+        except OSError as e:
+            print(f"初始化失败: {e}")
+        
+        TinaFolderManager.embeding_model = ""
+
+    @staticmethod
+    def getCache() -> str:
+        """
+        获取缓存文件夹路径
+        """
+        return os.path.join(TinaFolderManager.file_dir, "cache")
+    
+    @staticmethod
+    def getMemory() -> str:
+        """
+        获取记忆文件夹路径
+        """
+        return os.path.join(TinaFolderManager.file_dir, "memory")
+
+    @staticmethod
+    def getMemoryFile(filename: str) -> str:
+        """
+        获取记忆文件路径
+        """
+        return os.path.join(TinaFolderManager.getMemory(), filename)
+
+    @staticmethod
+    def getFaissIndex() -> str:
+        """
+        获取分段文件的索引文件路径
+        """
+        return os.path.join(TinaFolderManager.file_dir, "segment", "segment.index")
+    
+    @staticmethod
+    def getSegment() -> str:
+        """
+        获取分段文件夹路径
+        """
+        return os.path.join(TinaFolderManager.file_dir, "segment")
+    
+    @staticmethod
+    def setEmbedingModel(model_path: str):
+        TinaFolderManager.embeding_model = model_path
+
+    @staticmethod
+    def getDocumentFolder()->str:
+        return os.path.join(TinaFolderManager.file_dir,"document")
+    
+    @staticmethod
+    def getEmbedingModel() -> str:
+        if TinaFolderManager.embeding_model == "":
+            raise ValueError("未指定embedding模型路径，请使用TinaFolderManager.setEmbedingModel设置embedding模型路径")
+        return TinaFolderManager.embeding_model