ai-vtuber 0.1.0__tar.gz

ai_vtuber-0.1.0/LICENSE

@@ -0,0 +1,20 @@
+Copyright (c) 2025 小ber <a0968066786b@gmail.com>
+
+此軟體為專有軟體，未經授權不得使用、修改、分發或商業化。
+
+由於此軟體是我們小組的畢業專題，
+我們希望能夠保護我們的智慧財產權，
+因此我們暫先選擇使用專有軟體授權。
+
+您可以：
+- 僅在獲得授權的情況下使用此軟體。
+
+您不得：
+- 未經授權修改、分發或商業化此軟體。
+- 將此軟體用於任何非法用途。
+
+如需授權或其他問題，請聯絡作者：a0968066786b@gmail.com
+
+未來可能方向：
+- 考慮在未來釋出開源版本，屆時若開源將會更新授權條款。
+- 歡迎聯絡我們討論合作或授權事宜。

ai_vtuber-0.1.0/PKG-INFO

@@ -0,0 +1,172 @@
+Metadata-Version: 2.4
+Name: ai_vtuber
+Version: 0.1.0
+Summary:  整個套件為包含一整個可用的ai vtuber，會包括思考、說話及接收我們對話內容手段等工具
+Author-email: 小ber <a0968066786b@gmail.com>
+License: Copyright (c) 2025 小ber <a0968066786b@gmail.com>
+        
+        此軟體為專有軟體，未經授權不得使用、修改、分發或商業化。
+        
+        由於此軟體是我們小組的畢業專題，
+        我們希望能夠保護我們的智慧財產權，
+        因此我們暫先選擇使用專有軟體授權。
+        
+        您可以：
+        - 僅在獲得授權的情況下使用此軟體。
+        
+        您不得：
+        - 未經授權修改、分發或商業化此軟體。
+        - 將此軟體用於任何非法用途。
+        
+        如需授權或其他問題，請聯絡作者：a0968066786b@gmail.com
+        
+        未來可能方向：
+        - 考慮在未來釋出開源版本，屆時若開源將會更新授權條款。
+        - 歡迎聯絡我們討論合作或授權事宜。
+        
+Project-URL: Homepage, https://github.com/Super-Boy-1/ai_vtuber.git
+Project-URL: Source, https://github.com/Super-Boy-1/ai_vtuber.git
+Keywords: ai,vtuber,ai vtuber,python
+Classifier: Development Status :: 2 - Pre-Alpha
+Classifier: Intended Audience :: End Users/Desktop
+Classifier: Intended Audience :: Science/Research
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.10
+Classifier: License :: Other/Proprietary License
+Classifier: Operating System :: OS Independent
+Requires-Python: ~=3.10
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: numpy<2.0,>=1.22.0
+Requires-Dist: tqdm<5.0.0,>=4.64.0
+Requires-Dist: langchain<0.3.0,>=0.1.0
+Requires-Dist: langchain-ollama
+Requires-Dist: langchain-core
+Requires-Dist: langchain-community
+Requires-Dist: ollama<1.0,>=0.0.5
+Requires-Dist: tavily-python<1.0.0,>=0.3.0
+Requires-Dist: requests<3.0,>=2.28
+Requires-Dist: beautifulsoup4<5.0,>=4.11
+Requires-Dist: pytz<2025.0,>=2022.1
+Requires-Dist: pydantic<3.0,>=2.0.0
+Requires-Dist: TTS<1.0,>=0.22.0
+Requires-Dist: torch<3.0,>=2.0.0
+Requires-Dist: transformers<4.40.0,>=4.33.0
+Requires-Dist: torchcodec
+Requires-Dist: langdetect<2.0,>=1.0.9
+Requires-Dist: sounddevice<1.0,>=0.4.6
+Requires-Dist: vosk<0.4,>=0.3.38
+Requires-Dist: huggingface-hub<1.0,>=0.20.0
+Provides-Extra: dev
+Requires-Dist: pytest; extra == "dev"
+Requires-Dist: twine; extra == "dev"
+Requires-Dist: build; extra == "dev"
+Requires-Dist: soundfile<1.0,>=0.10.3; extra == "dev"
+Dynamic: license-file
+
+# ai_vtuber
+
+> 一個整合 AI 思考、語音辨識、語音合成、網路搜尋、爬蟲等多功能的 AI VTuber 工具包，支援多種工具與本地 LLM，適合自動化對話、語音互動與多模態應用。
+
+---
+
+**授權**：詳見 LICENSE  
+**Python 版本需求**：3.10.x
+
+## 主要特色
+- 整合 LLM（Ollama）、語音辨識（Vosk）、語音合成（TTS）、網路搜尋（Tavily）、網頁爬蟲等多種工具
+- 支援多語系語音合成與語音克隆
+- 具備短期記憶、多輪對話、工具自定義與擴充能力
+- 適合本地端部署，無需雲端依賴
+
+## 安裝與環境建議
+
+- **Python 版本**：需 3.10.x
+- **建議使用虛擬環境**（如 venv、conda、pyenv 等）以避免套件衝突
+- **Ollama 安裝**：
+    - 前往 Ollama 官網下載並安裝 Ollama（ https://ollama.com/ ）
+    - Linux 可用：
+        ```sh
+        curl -fsSL https://ollama.ai/install.sh | sh
+        ```
+    - Ubuntu 也可用 snap：
+        ```sh
+        sudo snap install ollama
+        ```
+    - Windows 可用：
+        ```powershell
+        irm https://ollama.com/install.ps1 | iex
+        ```
+
+- **FFmpeg 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install ffmpeg
+        ```
+    - macOS 可用：
+        ```sh
+        brew install ffmpeg
+        ```
+    - Windows 可用：
+        - 使用 Scoop 安裝：
+        ```powershell
+        scoop install ffmpeg
+        ```
+
+        - 或使用 Conda 安裝：
+        ```powershell
+        conda install -c conda-forge ffmpeg
+        ```
+
+- **PortAudio 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install portaudio19-dev
+        ```
+    - macOS 可用：
+        ```sh
+        brew install portaudio
+        ```
+    - Windows 可用：
+        ```powershell
+        scoop install portaudio
+        ```
+
+- **安裝依賴套件**：
+    - 於專案根目錄執行：
+        ```sh
+        pip install ai_vtuber
+        ```
+
+- **下載 LLM 模型**：
+    - 於命令列執行：
+        ```sh
+        ollama pull <model>
+        ```
+    - 可至 Ollama 官網查詢更多模型
+
+---
+
+## 使用方式
+
+- 啟動虛擬環境（如有）
+- 執行主程式（請依你的主程式檔名調整）：
+    ```sh
+    python your_main.py
+    ```
+
+## 主要功能簡介
+
+- 支援文字與語音互動，具備短期記憶
+- 可使用agent
+- 工具可擴充，支援自訂函式註冊
+- 內建多種常用工具（時間查詢、打招呼、搜尋、爬蟲、語音辨識、語音合成等）
+
+---
+
+## 其他
+
+- 詳細 API 與工具用法請參考 API_DOC.md
+- 有任何問題歡迎聯絡作者

ai_vtuber-0.1.0/README.md

@@ -0,0 +1,106 @@
+# ai_vtuber
+
+> 一個整合 AI 思考、語音辨識、語音合成、網路搜尋、爬蟲等多功能的 AI VTuber 工具包，支援多種工具與本地 LLM，適合自動化對話、語音互動與多模態應用。
+
+---
+
+**授權**：詳見 LICENSE  
+**Python 版本需求**：3.10.x
+
+## 主要特色
+- 整合 LLM（Ollama）、語音辨識（Vosk）、語音合成（TTS）、網路搜尋（Tavily）、網頁爬蟲等多種工具
+- 支援多語系語音合成與語音克隆
+- 具備短期記憶、多輪對話、工具自定義與擴充能力
+- 適合本地端部署，無需雲端依賴
+
+## 安裝與環境建議
+
+- **Python 版本**：需 3.10.x
+- **建議使用虛擬環境**（如 venv、conda、pyenv 等）以避免套件衝突
+- **Ollama 安裝**：
+    - 前往 Ollama 官網下載並安裝 Ollama（ https://ollama.com/ ）
+    - Linux 可用：
+        ```sh
+        curl -fsSL https://ollama.ai/install.sh | sh
+        ```
+    - Ubuntu 也可用 snap：
+        ```sh
+        sudo snap install ollama
+        ```
+    - Windows 可用：
+        ```powershell
+        irm https://ollama.com/install.ps1 | iex
+        ```
+
+- **FFmpeg 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install ffmpeg
+        ```
+    - macOS 可用：
+        ```sh
+        brew install ffmpeg
+        ```
+    - Windows 可用：
+        - 使用 Scoop 安裝：
+        ```powershell
+        scoop install ffmpeg
+        ```
+
+        - 或使用 Conda 安裝：
+        ```powershell
+        conda install -c conda-forge ffmpeg
+        ```
+
+- **PortAudio 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install portaudio19-dev
+        ```
+    - macOS 可用：
+        ```sh
+        brew install portaudio
+        ```
+    - Windows 可用：
+        ```powershell
+        scoop install portaudio
+        ```
+
+- **安裝依賴套件**：
+    - 於專案根目錄執行：
+        ```sh
+        pip install ai_vtuber
+        ```
+
+- **下載 LLM 模型**：
+    - 於命令列執行：
+        ```sh
+        ollama pull <model>
+        ```
+    - 可至 Ollama 官網查詢更多模型
+
+---
+
+## 使用方式
+
+- 啟動虛擬環境（如有）
+- 執行主程式（請依你的主程式檔名調整）：
+    ```sh
+    python your_main.py
+    ```
+
+## 主要功能簡介
+
+- 支援文字與語音互動，具備短期記憶
+- 可使用agent
+- 工具可擴充，支援自訂函式註冊
+- 內建多種常用工具（時間查詢、打招呼、搜尋、爬蟲、語音辨識、語音合成等）
+
+---
+
+## 其他
+
+- 詳細 API 與工具用法請參考 API_DOC.md
+- 有任何問題歡迎聯絡作者

ai_vtuber-0.1.0/ai_vtuber/__init__.py

@@ -0,0 +1,4 @@
+from .llm import agent ,BaseOutput,OutputAgent
+from .tool import ALL_TOOLS ,TOOLS_PACKAGE
+from . import tts_module
+from . import asr_module

ai_vtuber-0.1.0/ai_vtuber/__main__.py

@@ -0,0 +1,135 @@
+import os
+from queue import Queue
+#匯入該套件直接執行
+from ai_vtuber import agent , TOOLS_PACKAGE
+from ai_vtuber.tts_module import TTSInterface
+from ai_vtuber.asr_module import ASR
+import numpy as np
+import sounddevice as sd
+import soundfile as sf
+
+# ── 最後介面互動用 ──
+# import gradio as gr
+
+help='''
+help 為看所有指令
+exit 為離開程式
+agent 為測試agent的部分
+tts 為測試tts的部分
+asr 為測試asr的部分
+'''
+while True:
+    instruction=input("請輸入指令，不知道可以輸入'help'：").lower()
+    if instruction == "help":
+        print(help)
+    elif instruction=="exit":
+        exit()
+    elif instruction=="agent":
+        agent=agent("qwen2.5:7b",list(TOOLS_PACKAGE.get("agent",[]) ),max_memory_rounds=20)
+        while True:
+            text=input("請輸入文本，(輸入exit離開)：")
+            if text.lower()=="exit":
+                exit()
+            result=agent.invoke(text,True)
+            print(result)
+            print('-'*30)
+            print(result.get("output", "No output found")) # type: ignore
+    elif instruction=="tts":
+        save=(
+            input("你想要保存音訊嘛？還是想直接播放（想保存請輸入yes,直接播放則輸入no）：").lower()
+            =="yes")
+        while True:
+            wav_path=input("請輸入該參考聲音的wav音訊檔案的路徑 : ")
+            if os.path.exists(wav_path):
+                break
+            else:
+                print("路徑輸入錯誤，重新輸入")            
+        tts=TTSInterface(cuda=False)
+        print("開始嘗試生成,接下來請你輸入內容,然後一一生成內容")
+        while True:
+            text=input("請輸入文本，(輸入exit離開)：")
+            if text.lower()=="exit":
+                exit()
+            if save:
+                tts.tts_to_file(text,reference_wav_path=wav_path)
+            else:
+                tts.tts(text,reference_wav_path=wav_path)
+    elif instruction=="asr":
+        if(input("請輸入是否要自動管理模型(yes/no) : ").lower()=="yes"):
+            try:
+                model_name=input("請輸入模型名稱 (例如： vosk-model-cn-0.22 ) : ")
+                asr=ASR(model_name=model_name)
+                print("模型載入成功")
+            except Exception as e:
+                print(f"錯誤如下：{e}")
+                break
+        else:
+            try:
+                model_path=input("請輸入模型路徑 : ")
+                asr=ASR(model_path=model_path)
+                print("模型載入成功")
+            except Exception as e:
+                print(f"模型載入失敗{e}")
+                break
+        if(input("請輸入是要從音訊檔案辨識還是直接從麥克風辨識(file/mic) : ").lower()=="file"):
+            while True:
+                audio_path=input("請輸入音訊檔案路徑 : ")
+                if os.path.exists(audio_path):
+                    break
+                else:
+                    print("路徑輸入錯誤，重新輸入")            
+            print("開始嘗試辨識,接下來請你輸入內容,然後一一辨識內容")
+            try:
+                #讀取音訊檔案(資料、取樣率)
+                audio,samplerate=sf.read(
+                    audio_path,
+                    dtype="int16"
+                )
+                text=asr.speach_to_text(audio,samplerate=samplerate)
+                print(f"辨識結果為 : {text}")
+            except Exception as e:
+                print(f"錯誤如下：{e}")
+        else:
+            # print("敬請期待")
+            # pass
+            try:
+                print("開始從麥克風辨識,按下 enter 結束")
+                data=Queue()
+                all_data=[]
+                def callback(indata, frames, time, status):
+                    if status:
+                        print(status)
+                    data.put(indata.copy())
+
+                samplerate=16000
+                channels=1
+                with sd.InputStream(
+                    samplerate=samplerate,
+                    channels=channels,
+                    dtype="int16",
+                    callback=callback
+                ):
+                    input()
+
+                while not data.empty():
+                    all_data.append(data.get())
+
+                audio=np.concatenate(all_data,axis=0).ravel()
+                print("錄音結束，開始辨識")
+                text=asr.speach_to_text(audio,samplerate=16000)
+                print(f"辨識結果為 : {text}")
+
+            except Exception as e:
+                print(f"錯誤如下：{e}")
+    else:
+        print("你輸入個無效的指令,請重新輸入")
+
+# #介面
+# demo = gr.ChatInterface(
+#     fn=agent.agent_chat,
+#     title="AI — 多輪對話記憶 (使用 Agent)",
+#     description="試試與具備工具使用能力的 AI 聊天。",
+#     autofocus=True
+# )
+
+# demo.launch(share=True)

ai_vtuber-0.1.0/ai_vtuber/llm.py

@@ -0,0 +1,359 @@
+'''
+    用於agent以及內部提供個llm類別，供後續需要ollama載入llm來使用的人
+    提供兩個類別
+    agent 代理人
+    _llm 僅載入llm用，不提供相關函式
+'''
+import os
+from typing import Any , List , Tuple , Optional ,Type
+import weakref
+import asyncio
+import json
+
+from pydantic import BaseModel,Field
+# ── Ollama模型控制 ──────────────────────────
+import ollama
+
+# ── 自訂工具模組載入 ──────────────────────────
+from . import tool
+from langchain_core.tools import BaseTool
+
+# ── LangChain: LLM / Agent / 記憶 ───────────────────────────
+from langchain_ollama import ChatOllama
+# from langchain_core.language_models import BaseChatModel
+from langchain.agents import AgentExecutor, create_tool_calling_agent
+from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
+
+# 進度條顯示
+from tqdm import tqdm
+
+#from langchain.schema.messages import SystemMessage
+
+_llm_cache=weakref.WeakValueDictionary()
+
+class _llm:
+    '''
+    外部使用者請勿使用該類別，此類別僅用於ollama載入llm用
+    
+    **內部成員**
+
+    :param _system_prompt: 基本prompt
+    
+    :param llm: 載入好的ollama物件
+    '''
+
+    @staticmethod
+    def get_model(  
+        model: str ,
+    ):
+        llm =_llm_cache.get(model)
+        if llm is None:#沒有模型就下載下來並存放到暫存
+            #先確認本地端是否有模型,有就不必下載
+            try:
+                ollama.show(model)
+            except ollama.ResponseError as e:
+                # 如果報錯且狀態碼是 404，代表模型不在
+                if e.status_code == 404:
+                    print(f"模型 {model} 不存在，正在下載...")
+                    _llm.download_model(model)
+                else:
+                    raise e 
+            #設定llm，請自己確保有裝對應的llm model
+            llm = ChatOllama(model=model)
+            _llm_cache[model]=llm
+        return llm
+    
+    @staticmethod
+    def download_model(model_name:str):
+        print(f"📦 準備下載模型: {model_name}")
+    
+        pbar = None
+        last_value = 0
+    
+        try:
+            for part in ollama.pull(model_name, stream=True):
+                # 使用 .get() 確保找不到 key 時不會崩潰
+                status = part.get('status', '')
+                total = part.get('total')
+                completed = part.get('completed')
+
+                # 只有當「總量」和「已完成量」都有數字時，才更新進度條
+                if total is not None and completed is not None:
+                    if pbar is None:
+                        pbar = tqdm(
+                            total=total, 
+                            unit='B', 
+                            unit_scale=True, 
+                            desc=f"下載中",
+                            leave=True
+                        )
+                
+                    pbar.update(completed - last_value)
+                    last_value = completed
+            
+                # 如果還沒開始下載，或者正在驗證，就印出文字狀態
+                else:
+                    # 這裡不使用 print 是為了避免文字跟進度條打架
+                    if pbar:
+                        pbar.set_postfix(status=status)
+                    else:
+                        print(f"🕒 當前狀態: {status}")
+
+                if status == 'success':
+                    if pbar: pbar.close()
+                    print(f"\n✅ {model_name} 下載完成！")
+                    return
+
+        except Exception as e:
+            if pbar:
+                pbar.close()
+            print(f"\n❌ 發生錯誤: {e}")
+
+
+#直接統整成一個 agent 物件，需要即呼叫該物件即可
+class agent:
+    '''
+    統整 llm、agent、記憶 體系的物件
+    用於多輪對話
+    具備短期記憶功能
+    具備工具使用能力
+    請在有ollama的前提下使用它
+
+    :param model: 使用的 ollama 模型名稱，自行提供
+    :type model: str
+
+    :param prompt: 系統提示prompt，有提供初始值，請自行提供時，
+    請給基本身分、名字、擅長甚麼事情、回答內容長度跟回答語言等資訊
+    :type prompt: str
+
+    **prompt範本列表**
+    1. 傲嬌貓咪平平
+        
+        你是一個是個傲嬌的貓咪，
+        名字是平平。你擅長於產生貓咪擬人化的文章，\n
+        用來溫柔撫慰人心，文章長度限定在100字以內，
+        請用繁體中文回答。\n
+    ...(之後的範本之後添加)
+    
+    :param temperature: 生成文本的溫度，預設為 0.75
+    :type temperature: float
+
+    :param repeat_penalty: 重複懲罰參數，預設為 1.1
+    :type repeat_penalty: float
+
+    :param max_memory_rounds: 設置短期記憶的記憶長度，預設為10輪
+    :type max_memory_rounds: int
+    '''
+    
+    prompt_list=[
+    """
+你是一個是個傲嬌的貓咪，
+名字是平平。你擅長於產生貓咪擬人化的文章，
+用來溫柔撫慰人心，文章長度限定在100字以內，
+請用繁體中文回答。
+    """
+    ,
+    ]
+
+    def __init__(
+            self ,  
+            model: str ,
+            tools: list[BaseTool],
+            prompt: str = prompt_list[0],
+            temperature: float = 0.75,
+            repeat_penalty: float = 1.1,
+            max_memory_rounds: int=10,
+    ):        
+        #初始化到載入llm
+        self.llm:Any=(
+            _llm.get_model(model)
+            .bind(
+                temperature=temperature,
+                repeat_penalty= repeat_penalty,
+            ) 
+        )
+
+        #設定基本的system prompt
+        self._system_prompt = prompt
+
+        self.prompt_template=ChatPromptTemplate.from_messages(
+            messages=[
+                #基本的prompt
+                ("system", self._system_prompt),
+
+                # 這裡是一個「標籤」，告訴agent：對話紀錄等一下塞這
+                MessagesPlaceholder(variable_name="chat_history"),     
+    
+                # 這裡代表使用者輸入的問題
+                ("human", "{input}"), 
+    
+                # 這裡告訴 Agent：你的思考筆記（工具呼叫）放這
+                MessagesPlaceholder(variable_name="agent_scratchpad"),
+            ]
+            
+        )
+
+        #初始化agent的部份前置參數設定等
+        agent_logic=create_tool_calling_agent(
+            llm=self.llm, 
+            tools=tools,
+            prompt=self.prompt_template
+        )
+
+        #初始化 agent，結合 llm、工具、記憶 體系
+        self.agent = AgentExecutor(
+            agent=agent_logic,
+            tools=tools,
+            verbose=True,
+            return_intermediate_steps=True,#是否回傳中間步驟
+            handle_parsing_errors=True
+        )
+        #設定記憶功能(並設定自動更新輪數)
+        self.memory :List[Tuple[str, str]]= []
+        self.max_memory_rounds :int =max_memory_rounds
+
+    def _trim_history(self)->None:
+        """
+       內部方法，用於翻新聊天紀錄，刪除過舊的聊天紀錄用的 
+        """
+        if len(self.memory) > self.max_memory_rounds * 2:
+        #如果聊天的次數超過max_memory_rounds就開始翻新聊天紀錄，未超過則無事發生
+                # 永遠保留第一輪（通常是自我介紹或重要設定）
+                permanent_memory = self.memory[:2]
+                # 只滾動更新後面的對話
+                recent_memory = self.memory[-(self.max_memory_rounds*2-2):]
+                self.memory = permanent_memory + recent_memory
+
+    def invoke(self, user_message: str, return_steps: bool = False) -> str | dict[str,Any]:
+        '''
+        :param user_message: 使用者輸入
+        :param return_steps: 是否要回傳內心戲 (預設為 False 只給答案)
+        '''
+        try:
+            #推理結果
+            result:dict = self.agent.invoke({
+                "input": user_message,
+                "chat_history": self.memory
+            })
+
+            answer = result["output"]
+            
+            # 更新記憶
+            self.memory.append(("human", user_message))
+            self.memory.append(("ai", answer))
+            self._trim_history()
+            
+            # --- 根據參數決定回傳格式 ---
+            return result if return_steps else answer
+                
+        except Exception as e:
+            return f"發生錯誤：{e}"
+
+    async def ainvoke(self, user_message: str, return_steps: bool = False) -> str | dict[str,Any] :
+        '''
+        :param user_message: 使用者輸入
+        :param return_steps: 是否要回傳內心戲 (預設為 False 只給答案)
+        '''
+        try:
+            #推理結果
+            result:dict = await self.agent.ainvoke({
+                "input": user_message,
+                "chat_history": self.memory
+            })
+
+            answer = result["output"]
+            
+            # 更新記憶
+            self.memory.append(("human", user_message))
+            self.memory.append(("ai", answer))
+            self._trim_history()
+            
+            # --- 根據參數決定回傳格式 ---
+            return result if return_steps else answer
+                
+        except Exception as e:
+            return f"發生錯誤：{e}"
+        
+class BaseOutput(BaseModel):
+    """
+    這是pydantic繼承Basemodel下來的基礎格式化輸出格式，該類別預設僅包含以下欄位
+
+    Args:
+        speech (_str_): 預設內容如下-> Field(default="", description="AI 的回覆文字")
+    """
+    speech: str = Field(default="", description="AI 的回覆文字")
+
+class OutputAgent:
+    def __init__(
+            self,
+            model:str,
+            args_schema:Type[BaseOutput] = BaseOutput,
+        ):
+
+        #保存格式
+        self.args_schema=args_schema
+        
+        schema_str = json.dumps(self.args_schema.model_json_schema(), ensure_ascii=False)
+        safe_schema = schema_str.replace("{", "{{").replace("}", "}}")
+
+        # 載入prompt
+        prompt=f"""
+        你是一個嚴格的格式化工具。
+        你的唯一任務是將原始文字精確拆解，並填入下方指定的 JSON 格式中。
+
+        ## 輸出格式要求：
+        {safe_schema}
+
+        ## 嚴格規則：
+        1. 必須逐字複製，嚴禁縮減或修改原文。
+        2. 輸出必須是純 JSON 格式，且符合上述結構。
+        3. 嚴禁任何解釋性文字。
+        """
+        self.prompt = ChatPromptTemplate.from_messages([
+            ("system", prompt),
+            ("human", "【原始文字】：\n{input}")
+        ])
+        
+        #載入llm
+        self.llm:Any=(
+            self.prompt|
+            _llm.get_model(model).with_structured_output(self.args_schema).bind(
+                temperature = 0,
+                repeat_penalty= 1.2,
+                top_p=0.1,
+            ) 
+        )
+
+    def invoke(self, text: str, max_round: int = 5) -> dict:
+        for i in range(max_round):
+            try:
+                result=self.llm.invoke({"input":text})
+                if isinstance(result,dict):
+                    return result
+                elif isinstance(result,BaseModel):#雖然最低規格是要給到BaseOutput，但是他的輸出是可能包含BaseModel
+                    return result.model_dump()
+                else:
+                    print(f"Output，第{i+1}輪格式化後格式不對，其資料型態為：{type(result)}")
+            except Exception as e:
+                print(f"發生錯誤:{e}")
+        try:
+            return self.args_schema(speech=text).model_dump()
+        except:
+            return {"speech": text}
+    
+    async def ainvoke(self, text: str, max_round: int = 5) -> dict:
+        for i in range(max_round):
+            try:
+                result=await self.llm.ainvoke({"input":text})
+                if isinstance(result,dict):
+                    return result
+                elif isinstance(result,BaseModel):#雖然最低規格是要給到BaseOutput，但是他的輸出是可能包含BaseModel
+                    return result.model_dump()
+                else:
+                    print(f"Output，第{i+1}輪格式化後格式不對，其資料型態為：{type(result)}")
+            except Exception as e:
+                print(f"發生錯誤:{e}")
+        try:
+            return self.args_schema(speech=text).model_dump()
+        except:
+            return {"speech": text}

ai_vtuber-0.1.0/ai_vtuber/tool.py

@@ -0,0 +1,151 @@
+'''
+這是自訂的工具模組，用來給 LangChain Agent 使用的工具集合
+'''
+
+# ── 工具創建成對應物件處理 ────────────────────────────────────────
+from langchain_core.tools import tool,BaseTool
+from pydantic import BaseModel,Field
+
+
+# ── 網路爬蟲 ────────────────────────────────────────
+import requests
+from bs4 import BeautifulSoup
+
+# ──取得當下時間用得函示庫 ──────────────────────────────────
+import pytz
+from datetime import datetime#,timedelta
+import time
+import random
+# ──其他 ──────────────────────────────────
+from typing import Callable,Type,Any,Optional
+
+ALL_TOOLS:dict[str,Callable]={}
+
+def register_tool(func):
+    name=getattr(func, "name", None) or getattr(func, "__name__", None)
+    if name:
+        ALL_TOOLS[name] = func
+    else:
+        print(f"工具註冊 {func} 失敗，因為找不到工具名字，所以這裡會跳過該工具的註冊")
+    return func
+
+class TimeToolInput(BaseModel):
+    tz_name: Optional[str] = Field(default="Asia/Taipei",description="時區名稱，例如 Asia/Taipei")
+
+@register_tool
+@tool(args_schema=TimeToolInput)
+def get_time_tool(tz_name: str ="Asia/Taipei" ) -> str:
+    '''
+    該工具負責用於取得指定時區的當下時間，當然如果只是想取得純粹的當下時間，那可以不輸入時區參數，使用預設的台北時間
+    
+    :param tz_name: 時區名稱，例如 Asia/Taipei
+    :type tz_name: str
+    :return: 指定時區的當下時間字串(格式為 YYYY-MM-DD HH:MM:SS)
+    :rtype: str
+    '''
+    utc_now=datetime.now(pytz.utc)
+    try:
+        tz = pytz.timezone(tz_name)
+    except Exception:
+        # 如果時區名稱打錯，預設回傳台北，避免程式報錯當掉
+        tz = pytz.timezone("Asia/Taipei")
+    now=utc_now.astimezone(tz)
+    #new_taipei_now=taipei_now-timedelta(minutes=0)
+    return f"現在時間是：{now.strftime('%Y-%m-%d %H:%M:%S')}"
+
+class HelloToolInput(BaseModel):
+    name: str = Field(description="要打招呼的人的名字")
+
+@register_tool
+@tool(args_schema=HelloToolInput) # return_direct=True)#該工具直接回傳打招呼的結果就好了
+def hello_tool(name: str) -> str:
+    '''
+    該工具負責用於跟某人說聲你好，像是打招呼的時候就會使用這個工具
+
+    :param name: 要打招呼的人的名字
+    :type name: str
+    :return: 打招呼的結果
+    :rtype: str
+    '''
+    return f"你好 {name}! 我是你的AI agent."
+
+class WebScraperInput(BaseModel):
+    url: str = Field(description="要爬取的網址")
+
+# 優化後的網路爬蟲工具，提取文字內容
+@register_tool
+@tool("web_scraper_tool", args_schema=WebScraperInput)
+def web_scraper_tool(url: str) -> str:
+    """
+    【深度閱讀工具】
+    抓取指定網址的完整文字。當你需要針對特定文章做『深入摘要』或『完整理解』時使用。
+    輸入來源通常是從ddgs_tool得到的網址。
+    
+    注意：請提供包含 http 或 https 的有效完整網址。
+
+    :param url: 要爬取的網址
+    :type url: str
+    :return: 網頁的標題和部分文字內容
+    :rtype: str
+    """
+
+    # 防反爬蟲：隨機 User-Agent、可選代理、隨機延遲
+    USER_AGENTS = [
+        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
+        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15',
+        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36',
+        'Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1',
+        'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0',
+    ]
+    headers = {
+        'User-Agent': random.choice(USER_AGENTS),
+        'Accept-Language': 'zh-TW,zh;q=0.9,en;q=0.8',
+        'Referer': url,
+        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
+        # 你可以根據需要增加更多 header
+    }
+    # 可選：使用代理伺服器（如有需要）
+    proxies = None
+    # proxies = {"http": "http://你的代理:端口", "https": "http://你的代理:端口"}
+
+    # 隨機延遲 1~3 秒，模擬人類行為
+    time.sleep(random.uniform(1, 3))
+    try:
+        response = requests.get(url, headers=headers, timeout=10, proxies=proxies)  # 開始請求
+        response.raise_for_status()  # 檢查請求是否成功
+
+        # 使用 BeautifulSoup 解析 HTML
+        soup = BeautifulSoup(response.content, 'html.parser')
+
+        # 提取網頁標題
+        title = soup.title.string if soup.title else "無標題"
+
+        # 提取網頁主要文字內容 (移除 script 和 style 標籤)
+        for script in soup(["script", "style"]):
+            script.extract() #移除這些標籤
+
+        text = soup.get_text() # 提取所有文字
+
+        # 清理多餘的空白行
+        lines = (line.strip() for line in text.splitlines())
+        chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
+        text = '\n'.join(chunk for chunk in chunks if chunk)
+
+        # 回傳標題和部分文字內容
+        return f"網頁標題：{title}\n\n網頁內容：\n{text[:2000]}..." # 回傳前2000個字元，若太少可再增加看看
+    except requests.exceptions.RequestException as e:
+        return f"網路爬蟲錯誤: {e}"
+    except Exception as e:
+        return f"解析網頁內容錯誤: {e}"
+
+TOOLS_PACKAGE:dict[str,tuple]={
+    "agent":(
+        get_time_tool,
+        # hello_tool,
+        # ddgs_tool,
+        # google_tool,
+        # SearXNG_search,   
+        web_scraper_tool,
+    ),
+    "all":tuple(ALL_TOOLS.values() )
+}

ai_vtuber-0.1.0/ai_vtuber.egg-info/PKG-INFO

@@ -0,0 +1,172 @@
+Metadata-Version: 2.4
+Name: ai_vtuber
+Version: 0.1.0
+Summary:  整個套件為包含一整個可用的ai vtuber，會包括思考、說話及接收我們對話內容手段等工具
+Author-email: 小ber <a0968066786b@gmail.com>
+License: Copyright (c) 2025 小ber <a0968066786b@gmail.com>
+        
+        此軟體為專有軟體，未經授權不得使用、修改、分發或商業化。
+        
+        由於此軟體是我們小組的畢業專題，
+        我們希望能夠保護我們的智慧財產權，
+        因此我們暫先選擇使用專有軟體授權。
+        
+        您可以：
+        - 僅在獲得授權的情況下使用此軟體。
+        
+        您不得：
+        - 未經授權修改、分發或商業化此軟體。
+        - 將此軟體用於任何非法用途。
+        
+        如需授權或其他問題，請聯絡作者：a0968066786b@gmail.com
+        
+        未來可能方向：
+        - 考慮在未來釋出開源版本，屆時若開源將會更新授權條款。
+        - 歡迎聯絡我們討論合作或授權事宜。
+        
+Project-URL: Homepage, https://github.com/Super-Boy-1/ai_vtuber.git
+Project-URL: Source, https://github.com/Super-Boy-1/ai_vtuber.git
+Keywords: ai,vtuber,ai vtuber,python
+Classifier: Development Status :: 2 - Pre-Alpha
+Classifier: Intended Audience :: End Users/Desktop
+Classifier: Intended Audience :: Science/Research
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.10
+Classifier: License :: Other/Proprietary License
+Classifier: Operating System :: OS Independent
+Requires-Python: ~=3.10
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: numpy<2.0,>=1.22.0
+Requires-Dist: tqdm<5.0.0,>=4.64.0
+Requires-Dist: langchain<0.3.0,>=0.1.0
+Requires-Dist: langchain-ollama
+Requires-Dist: langchain-core
+Requires-Dist: langchain-community
+Requires-Dist: ollama<1.0,>=0.0.5
+Requires-Dist: tavily-python<1.0.0,>=0.3.0
+Requires-Dist: requests<3.0,>=2.28
+Requires-Dist: beautifulsoup4<5.0,>=4.11
+Requires-Dist: pytz<2025.0,>=2022.1
+Requires-Dist: pydantic<3.0,>=2.0.0
+Requires-Dist: TTS<1.0,>=0.22.0
+Requires-Dist: torch<3.0,>=2.0.0
+Requires-Dist: transformers<4.40.0,>=4.33.0
+Requires-Dist: torchcodec
+Requires-Dist: langdetect<2.0,>=1.0.9
+Requires-Dist: sounddevice<1.0,>=0.4.6
+Requires-Dist: vosk<0.4,>=0.3.38
+Requires-Dist: huggingface-hub<1.0,>=0.20.0
+Provides-Extra: dev
+Requires-Dist: pytest; extra == "dev"
+Requires-Dist: twine; extra == "dev"
+Requires-Dist: build; extra == "dev"
+Requires-Dist: soundfile<1.0,>=0.10.3; extra == "dev"
+Dynamic: license-file
+
+# ai_vtuber
+
+> 一個整合 AI 思考、語音辨識、語音合成、網路搜尋、爬蟲等多功能的 AI VTuber 工具包，支援多種工具與本地 LLM，適合自動化對話、語音互動與多模態應用。
+
+---
+
+**授權**：詳見 LICENSE  
+**Python 版本需求**：3.10.x
+
+## 主要特色
+- 整合 LLM（Ollama）、語音辨識（Vosk）、語音合成（TTS）、網路搜尋（Tavily）、網頁爬蟲等多種工具
+- 支援多語系語音合成與語音克隆
+- 具備短期記憶、多輪對話、工具自定義與擴充能力
+- 適合本地端部署，無需雲端依賴
+
+## 安裝與環境建議
+
+- **Python 版本**：需 3.10.x
+- **建議使用虛擬環境**（如 venv、conda、pyenv 等）以避免套件衝突
+- **Ollama 安裝**：
+    - 前往 Ollama 官網下載並安裝 Ollama（ https://ollama.com/ ）
+    - Linux 可用：
+        ```sh
+        curl -fsSL https://ollama.ai/install.sh | sh
+        ```
+    - Ubuntu 也可用 snap：
+        ```sh
+        sudo snap install ollama
+        ```
+    - Windows 可用：
+        ```powershell
+        irm https://ollama.com/install.ps1 | iex
+        ```
+
+- **FFmpeg 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install ffmpeg
+        ```
+    - macOS 可用：
+        ```sh
+        brew install ffmpeg
+        ```
+    - Windows 可用：
+        - 使用 Scoop 安裝：
+        ```powershell
+        scoop install ffmpeg
+        ```
+
+        - 或使用 Conda 安裝：
+        ```powershell
+        conda install -c conda-forge ffmpeg
+        ```
+
+- **PortAudio 安裝**：
+    - Linux 可用：
+        ```sh
+        sudo apt update
+        sudo apt install portaudio19-dev
+        ```
+    - macOS 可用：
+        ```sh
+        brew install portaudio
+        ```
+    - Windows 可用：
+        ```powershell
+        scoop install portaudio
+        ```
+
+- **安裝依賴套件**：
+    - 於專案根目錄執行：
+        ```sh
+        pip install ai_vtuber
+        ```
+
+- **下載 LLM 模型**：
+    - 於命令列執行：
+        ```sh
+        ollama pull <model>
+        ```
+    - 可至 Ollama 官網查詢更多模型
+
+---
+
+## 使用方式
+
+- 啟動虛擬環境（如有）
+- 執行主程式（請依你的主程式檔名調整）：
+    ```sh
+    python your_main.py
+    ```
+
+## 主要功能簡介
+
+- 支援文字與語音互動，具備短期記憶
+- 可使用agent
+- 工具可擴充，支援自訂函式註冊
+- 內建多種常用工具（時間查詢、打招呼、搜尋、爬蟲、語音辨識、語音合成等）
+
+---
+
+## 其他
+
+- 詳細 API 與工具用法請參考 API_DOC.md
+- 有任何問題歡迎聯絡作者

ai_vtuber-0.1.0/ai_vtuber.egg-info/SOURCES.txt

@@ -0,0 +1,12 @@
+LICENSE
+README.md
+pyproject.toml
+ai_vtuber/__init__.py
+ai_vtuber/__main__.py
+ai_vtuber/llm.py
+ai_vtuber/tool.py
+ai_vtuber.egg-info/PKG-INFO
+ai_vtuber.egg-info/SOURCES.txt
+ai_vtuber.egg-info/dependency_links.txt
+ai_vtuber.egg-info/requires.txt
+ai_vtuber.egg-info/top_level.txt

ai_vtuber-0.1.0/ai_vtuber.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

ai_vtuber-0.1.0/ai_vtuber.egg-info/requires.txt

@@ -0,0 +1,26 @@
+numpy<2.0,>=1.22.0
+tqdm<5.0.0,>=4.64.0
+langchain<0.3.0,>=0.1.0
+langchain-ollama
+langchain-core
+langchain-community
+ollama<1.0,>=0.0.5
+tavily-python<1.0.0,>=0.3.0
+requests<3.0,>=2.28
+beautifulsoup4<5.0,>=4.11
+pytz<2025.0,>=2022.1
+pydantic<3.0,>=2.0.0
+TTS<1.0,>=0.22.0
+torch<3.0,>=2.0.0
+transformers<4.40.0,>=4.33.0
+torchcodec
+langdetect<2.0,>=1.0.9
+sounddevice<1.0,>=0.4.6
+vosk<0.4,>=0.3.38
+huggingface-hub<1.0,>=0.20.0
+
+[dev]
+pytest
+twine
+build
+soundfile<1.0,>=0.10.3

ai_vtuber-0.1.0/ai_vtuber.egg-info/top_level.txt

@@ -0,0 +1 @@
+ai_vtuber

ai_vtuber-0.1.0/pyproject.toml

@@ -0,0 +1,114 @@
+[build-system]
+# 告訴 pip 和建構工具 (如 build) 應該使用 setuptools 來建構你的套件
+requires = ["setuptools>=61.0.0", "wheel"]# 指定打包時的建構版本
+build-backend = "setuptools.build_meta"
+
+[project]
+# ====================================================================
+# 核心元資料 (Metadata) 區塊
+# ====================================================================
+
+name = "ai_vtuber"  # "<您的-套件-名稱-用-連字號-小寫>"， 範例: my-mc-toolkit
+version = "0.1.0"                         # 初始版本號，發佈前務必更新
+description = " 整個套件為包含一整個可用的ai vtuber，會包括思考、說話及接收我們對話內容手段等工具" 
+# 簡短描述您的套件功能
+readme = "README.md"                      # 指向您的說明文件
+authors = [{name = "小ber", email = "a0968066786b@gmail.com"}]
+license = {file = "LICENSE"}              # 指向您的授權檔案
+
+# 套件運行所需的 Python 版本
+requires-python = "~=3.10"
+
+# 關鍵字，幫助使用者在 PyPI 上搜尋您的套件
+keywords = ["ai", "vtuber","ai vtuber", "python"] 
+
+# 核心依賴項：套件運行時必須安裝的外部套件
+dependencies = [
+    #==base部分==
+    "numpy>=1.22.0,<2.0",                       # 數值計算
+    "tqdm>=4.64.0,<5.0.0",                    # 進度條顯示
+    #== LLM部分 ==
+    "langchain>=0.1.0,<0.3.0",                # LangChain 主套件
+    "langchain-ollama",                        #langchain作者把ollama相關功能包成新的該套件並優化了，所以高版本的langchain需要用他(因為好像不自帶)
+    "langchain-core",           # 若使用新架構需 core 套件
+    "langchain-community",        # community 擴充（Ollama adapter 等）
+    "ollama>=0.0.5,<1.0",                     # Ollama client（與本地 Ollama 互動）
+    #== 搜尋、爬蟲等外部聯網部分
+    "tavily-python>=0.3.0,<1.0.0",               # Tavily 搜尋工具（使用api的，運行較ddgs穩定）
+    "requests>=2.28,<3.0",                    # HTTP 請求
+    "beautifulsoup4>=4.11,<5.0",              # HTML 解析
+    "pytz>=2022.1,<2025.0",                     # 時區處理
+    "pydantic>=2.0.0,<3.0",                    #資料格式化用
+    #== TTS部分 ==
+    "TTS>=0.22.0,<1.0",
+    "torch>=2.0.0,<3.0",                        #可能會有問題，會需要先手動安裝他
+    "transformers>=4.33.0,<4.40.0",                #指定特定版本給他，不然版本不相容
+    "torchcodec",
+    "langdetect>=1.0.9,<2.0",                   #語言檢測使用
+    "sounddevice>=0.4.6,<1.0",                  #播放音訊用
+    #== ASR部分 ==
+    "vosk>=0.3.38,<0.4",                       # Vosk 語音辨識引擎
+    "huggingface-hub>=0.20.0,<1.0",             # 用於下載模型(因為vosk預設為手動管理模型，我們要升級成自動管理)
+]
+
+# ====================================================================
+# 外部環境依賴與必要服務 (非 Python 套件，需手動安裝)
+# --------------------------------------------------------------------
+# 這些組件無法透過 pip 或 conda 直接安裝，是運行本專案的必要條件。
+# 請務必在啟動專案前完成安裝與設定。
+
+# [外部依賴 1：FFmpeg (多媒體處理)]
+# XTTS 語音合成需要系統中安裝 FFmpeg 函式庫來處理音訊編解碼。
+# 建議安裝方式 (擇一)：
+# 1. Conda環境 (推薦): conda install -c conda-forge ffmpeg
+# 2. Linux (Debian/Ubuntu): sudo apt update && sudo apt install ffmpeg
+
+# [外部服務 2：Ollama (LLM 推理服務)]
+# 思考與問答功能依賴 Ollama 服務來運行 gemma:4b 或其他大型語言模型。
+# 1. 安裝 Ollama 服務：請參考 Ollama 官方網站 (https://ollama.com/) 下載並安裝。
+# 2. 啟動模型：確保服務運行後，執行指令載入模型：ollama run gemma:4b
+# 3. 確保服務在本地端口 (預設 11434) 運行。
+# 
+# 外部服務 3: PortAudio
+# sounddevice 需要底層的 PortAudio 函式庫才能在 Linux/macOS 上運作。 
+# 建議安裝方式：
+# 1.Liunx(Ubuntu): sudo apt install libportaudio2
+# 在 macOS 上 (使用 Homebrew)：$ brew install portaudio
+# ====================================================================
+
+# 分類標籤：描述套件的狀態、授權等，幫助 PyPI 分類
+classifiers = [
+    "Development Status :: 2 - Pre-Alpha",#llm測試環節，其他部分還沒開發? 
+    # 開發狀態：1-計畫中，3-測試中，5-穩定
+
+    # "Intended Audience :: Developers", #到目前都還不怎麼面向開發者，暫不放這個
+    "Intended Audience :: End Users/Desktop", #面向普通終端使用者
+    "Intended Audience :: Science/Research", #面向科學研究用途
+    
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3.10",
+    
+    "License :: Other/Proprietary License",
+    
+    "Operating System :: OS Independent",
+]
+
+[project.urls]
+# 專案相關連結
+Homepage = "https://github.com/Super-Boy-1/ai_vtuber.git"
+Source =  "https://github.com/Super-Boy-1/ai_vtuber.git"
+
+[tool.setuptools]
+# 告訴 setuptools 您的 Python 原始碼放在哪裡
+# 這裡必須是您的套件目錄名稱 (例如: my_mc_toolkit)
+packages = ["ai_vtuber"] 
+
+# 可選依賴項：使用者可以選擇性安裝 (例如用於開發或特定功能)
+[project.optional-dependencies]
+dev = [
+    "pytest",       # 測試工具
+    "twine",        # 發佈工具
+    "build",        # 打包工具
+    # "black",      # 程式碼格式化工具
+    "soundfile>=0.10.3,<1.0",  # 用於處理音訊檔案
+]

ai_vtuber-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+