@tencentcloud/sdk-mcp 1.7.7 → 1.7.9-beta.1

package/resource/knowledge/iot/device/ai-voice-chat/overview.md

@@ -0,0 +1,84 @@
+---
+product: iot
+framework:
+  - '*'
+types:
+  - feature
+retrievable_scope: always
+feature_domain: device
+---
+
+## 方案简介
+
+TWeTalk 是专为智能硬件打造的 AI 对话方案，聚焦多模态智能体与实时音视频通信两大核心。云端支持语音对话，可闲聊、查询天气、问询各类信息等。预置高拟人度 TTS 音色并支持音色复刻。TWeTalk 亮点功能包括整合 Function Call 各类技能，可通过物模型配置实现硬件控制，深度整合端云协同与场景化 AI，支持设备与微信小程序之间的双向通话（TWeCall）。
+
+TWeTalk 也可与主流嵌入式芯片及模组厂商合作，在端侧集成降噪、唤醒等能力。开发者可在控制台进行配置，该方案已应用于 AI 陪伴玩具、机器人、智能穿戴（手表、眼镜）等 AIoT 场景，实现人与智能硬件的自然“对话”。
+
+## 功能特性
+| 语音交互 | 语音识别（STT(ASR)）：支持云端语音识别，国内主要支持中文及中英文混合识别。<br>可使用腾讯云 STT(ASR)，或配置三方服务（会产生服务调用费用，由接入方自己承担）。 |
+| --- | --- |
+| 语音合成（TTS）：集成腾讯自有 TTS，也支持客户自行配置第三方语音合成服务（具体支持清单以控制台为准，相关调用费用由接入方自行承担）。<br>腾讯自有 TTS 分为基础版和高级版，均支持中文及中英文混合合成。自有 TTS 音色体验见 <a href="https://cloud.tencent.com/product/tts">语音合成</a>。 |  |
+| 语音打断：支持对话中的语音打断，用户可通过语音打断智能体说话。 |  |
+| 标准 VAD：区分语音与静默部分，用于判断对话轮次切换。 |  |
+| 语义 VAD：根据表达语义判断用户是否结束说话，结合标准 VAD 与语义完整性判断 AI 开始说话的时机，避免误打断用户。 |  |
+| 音频编码与采样：支持 AAC、OPUS、G722 编码，采样率默认16kHz，单帧时长 G722/OPUS 为20ms、AAC 为64ms。 |  |
+| 智能体能力 | 自定义智能体：创建智能体并关联产品，支持选择所需 STT(ASR)、LLM 和 TTS，并配置系统提示词与对话行为。参见 自定义智能体。 |
+| 自定义变量：在系统提示词中预定义变量占位符，设备建立连接时传入实际值，动态替换提示词中的关键信息。 |  |
+| 长期记忆：稳定记录聊天事件、用户画像，精准检索对话历史，实现跨会话的记忆延续。<br>可基于用户画像与行为历史，在对话中为用户提供个性化的交互支持。 |  |
+| 可定制的响应：支持自定义开场白、静默检测回复、特定格式回复。 |  |
+| 技能与工具：通过工具配置整合物模型与函数调用能力，实现查询电量、调节音量等设备控制，以及天气、音乐、提醒等语音助手技能。参见 设备智能控制。 |  |
+| 事件回顾：开启后，会话开始/结束、用户说话、AI 回复、字幕、错误等关键事件将按设备维度发布，可配置规则引擎转发到您的 HTTP 服务。 |  |
+| 绑定方式：支持产品级绑定（对该产品 ID 下的所有设备生效）与设备级绑定（仅对指定产品 ID 下的某个设备生效）。 |  |
+| 三方服务接入：您可以通过配置 API 自定义 STT(ASR)、LLM、TTS 及会话配置信息。若使用兼容标准协议的第三方大模型，需自行填入调用模型所需信息。 |  |
+| 通信与呼叫 | 持续对话：设备端支持持续对话模式，开始对话后无需按键即可连续交互（按键说话模式暂不支持）。 |
+| 语义触发联系人呼叫：最多可注册10位联系人，智能体识别到呼叫意图时回调设备，由设备发起音视频通话。 |  |
+| 文本消息收发：除语音交互外，设备端可直接发送文本消息与智能体对话。 |  |
+| TWeCall 双向通话：购买 TWeCall 后，支持设备与微信小程序之间的双向通话。 |  |
+| 设备与平台 | 嵌入式设备兼容：支持各种嵌入式硬件设备，要求至少有 1MB 的 RAM 和 400KB 的 Flash 空间。 |
+| 设备端 SDK 回调：提供音频帧、回复文本、识别结果、机器人状态、联系人呼叫与错误等回调，便于驱动屏幕、指示灯等外设。 |  |
+| 云端 AI 降噪：服务端对音频进行 AI 降噪处理，适用于设备端未启用 AI 降噪的场景。 |  |
+| OTA 升级：支持设备固件空中升级（OTA）。 |  |
+| IoT 平台集成：与腾讯云物联网平台集成，支持 Wi-Fi 和蓝牙设备连接。 |  |
+| 控制台：支持产品激活码管理、设备量产和管理，以及智能体配置（系统提示词、音色、模型、开场白等）。 |  |
+
+## 应用场景
+
+|应用场景|说明|
+|---------|---------|
+|AI 陪伴玩具|对话玩偶、故事机等各类形态的 AI 陪伴玩具。|
+|智能穿戴（手表、眼镜）|用于智能手表、智能眼镜的实时语音对话。|
+|陪伴机器人|用于儿童、老人的陪伴与看护场景。|
+
+## 快速开始
+1. **开通并激活服务**：购买腾讯云物联网开发平台实例，并开通 智能语音增值服务。
+
+2. **配置智能体**：在控制台创建智能体并绑定产品/设备，参见 自定义智能体。
+
+3. **接入设备**：在 下载中心 选择对应设备的 SDK**，**按设备形态选择对应文档。
+
+   - **Linux & RTOS 设备**：基于 C SDK 接入，参见 Linux & RTOS 设备。
+
+   - **Android 智能设备**：基于 Android SDK 接入，参见 Android 智能设备。
+
+4. **扩展设备控制**：配置物模型与工具，通过语音控制设备，参见 设备智能控制。
+
+## 计费说明
+
+智能语音服务（TWeTalk）计费方式可参考 智能语音（TWeTalk）计费说明。
+
+## 合规使用提示
+
+本服务基于人工智能技术提供，生成结果可能因场景复杂性、数据质量、环境因素等原因而存在偏差，请以实际业务场景独立判断后使用，腾讯云不对生成内容的准确性、完整性、合法性、不侵权性提供担保。
+
+使用本服务应遵守《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》《个人信息保护法》等相关法律法规，确保使用本服务处理的数据已获得相关主体的合法授权，不得使用本服务生成虚假信息、诈骗内容、色情低俗内容、损害他人合法权益的内容及其他违反法律法规要求的内容或从事任何违法活动。
+
+如您的业务涉及拟人化互动服务，您还应按照《人工智能拟人化互动服务管理暂行办法》的规定，包括但不限于在向最终用户提供服务时：
+1. 显著提示用户正在与 AI 互动，连续使用每超2小时须弹窗提醒防沉迷。
+
+2. 严禁向任何未成年人提供虚拟亲属或伴侣服务，14岁以下使用须经监护人同意并开启未成年人模式。
+
+3. 识别到用户极端情绪须及时安抚，发现自残自杀等风险须立即干预并联络紧急联系人。
+
+4. 交互数据须加密保护，敏感信息未经单独同意不得用于训练或提供给第三方，保障用户复制删除权。
+
+5. 提供便捷退出途径不得阻碍，健全投诉举报机制，停止服务须提前公告。