dsh-line-bot 0.5.4 → 0.5.5

package/CHANGELOG.md

@@ -1,5 +1,10 @@
 # Changelog
 
+## 0.5.5
+
+- 收到 LINE 貼圖時抓取貼圖圖片，透過 DSH 附件服務交給模型閱讀（模型不支援圖片時自動退回貼圖關鍵字）。
+- 面板「LINE 憑證」新增「看得懂貼圖」開關；README（五語言）補說明。
+
 ## 0.5.4
 
 - LINE 不會播放 APNG 動畫（只顯示第一幀），所以 GIF 預設改成靜態 PNG，檔案更小、載入更穩。

package/README.en.md

@@ -78,6 +78,7 @@ At the top of the panel is a **sticky save bar**: "Save changes / Refresh" stays
 | Tieba learning sync | Writes the tone samples learned while browsing Tieba back into the persona's "Tieba tone" section, preview diff, sync now |
 | Personal memory | Per-user long-term memory, expiry cleanup, daily self-review, manual delete |
 | Memes | Reply with images/stickers from the dsh-meme library, enable/disable, image limit, and sample previews |
+| Sticker vision | Fetch incoming LINE stickers and show them to the model (can be disabled) |
 | DeepSeek balance | Current balance, per-turn context, low-balance proactive reminder, threshold and cooldown (deepseek-account only) |
 | Proactive messages | Toggle, probability, interval, daily/monthly caps, minimum gap, quiet hours, idle, target users, prompt, send a test now, statistics |
 | Users | The DSH session each LINE user maps to, their own workspace folder, their current persona (editable), message count, last interaction, clear memory / reset session |
@@ -172,6 +173,7 @@ The persona can attach a sticker to a text reply, or reply with just an image. I
 - Each turn injects a numbered sample of the library into context; when the persona wants a picture, it appends `[[meme:#N]]` (or a caption) at the end of its reply, and the plugin turns that into a LINE image message.
 - Images are served to LINE through the current Cloudflare public URL (`<url>/media/<token>`), and the URL follows quick-tunnel restarts automatically.
 - The panel's "Memes" card can disable the feature, limit images per reply (1–3), and preview library samples. To add or re-tag images, use dsh-meme's own settings.
+- When a LINE sticker arrives, the bot fetches the sticker image and shows it to the model (vision-capable models read the image; otherwise the bot falls back to the keywords LINE provides), so the persona can react to the mood. Turn "Understand stickers" off in the LINE credentials card to use keywords only.
 - Without dsh-meme installed, the feature stays off and replies are text only.
 ## Troubleshooting
 

package/README.ja.md

@@ -78,6 +78,7 @@ dsh plugin --profile desktop add dsh-line-bot
 | 貼吧学習の同期 | 貼吧で学んだ口調をペルソナの「貼吧学来的口气」節に書き戻す、差分プレビュー、今すぐ同期 |
 | 個人メモリ | ユーザーごとの長期記憶、期限切れの自動削除、毎日の自己整理、手動削除 |
 | 表情パック | dsh-meme の画像ライブラリで画像／スタンプを返信、オンオフ、1 回の上限、サンプル表示 |
+| スタンプ理解 | LINE スタンプを受信したら画像を取得してモデルに見せる（オフ可） |
 | DeepSeek 残高 | 現在の残高、毎ターンの注入、残高が少ないときの主動リマインド、しきい値とクールダウン（deepseek-account のみ） |
 | 自発メッセージ | オン／オフ、確率、間隔、1 日／1 か月の上限、最短間隔、静かな時間帯、idle、対象ユーザー、プロンプト、今すぐ試送、統計 |
 | ユーザー | LINE ユーザーごとに対応する DSH セッション、専用ワークスペース、現在のペルソナ（直接変更可）、メッセージ数、最終やりとり、メモリ消去／セッション再作成 |
@@ -172,6 +173,7 @@ dsh plugin --profile desktop add dsh-line-bot
 - 毎ターン、ライブラリのサンプル（番号＋説明）を context に注入します。画像を添えたいときは返信の最後に `[[meme:#番号]]`（または説明）を付けます。プラグインが LINE の image message に変換します。
 - 画像は現在の Cloudflare 公開 URL（`<URL>/media/<token>`）経由で LINE に渡されます。quick tunnel の再起動で URL が変わっても自動で追従します。
 - パネルの「表情パック」カードでオンオフ、1 回あたりの上限（1〜3）、ライブラリのサンプル表示ができます。画像の追加や分類の変更は dsh-meme 側の設定で行います。
+- LINE スタンプを受信すると、スタンプ画像を取得してモデルに見せます（画像対応モデルはそのまま読み、非対応なら LINE のキーワードを使います）。「LINE 認証情報」カードの「スタンプを理解する」でオフにできます。
 - dsh-meme がインストールされていない場合、この機能は無効になりテキストのみ返します。
 ## トラブルシューティング
 

package/README.ko.md

@@ -78,6 +78,7 @@ dsh plugin --profile desktop add dsh-line-bot
 | 貼吧 학습 동기화 | 貼吧에서 배운 말투를 페르소나의 「貼吧学来的口气」 섹션으로 기록, 차이 미리보기, 지금 동기화 |
 | 개인 기억 | 사용자별 장기 기억, 만료 자동 삭제, 매일 자기 정리, 수동 삭제 |
 | 이모티콘 | dsh-meme 라이브러리로 이미지/스티커 답장, 켜기/끄기, 1회 최대 장수, 샘플 미리보기 |
+| 스티커 이해 | LINE 스티커를 받으면 이미지를 가져와 모델에 보여 줌 (끌 수 있음) |
 | DeepSeek 잔액 | 현재 잔액, 매 턴 주입, 잔액이 적을 때 캐릭터가 먼저 알림, 기준 금액과 쿨다운(deepseek-account 전용) |
 | 능동 메시지 | 켜기/끄기, 확률, 간격, 일일/월간 상한, 최소 간격, 조용한 시간대, idle, 대상 사용자, 프롬프트, 지금 시험 발송, 통계 |
 | 사용자 | LINE 사용자별 DSH 세션, 전용 작업 폴더, 현재 페르소나(직접 변경 가능), 메시지 수, 마지막 상호작용, 기억 지우기／세션 재설정 |
@@ -172,6 +173,7 @@ dsh plugin --profile desktop add dsh-line-bot
 - 매 턴 라이브러리 샘플(번호＋설명)을 context에 넣습니다. 이미지를 붙이려면 답장 끝에 `[[meme:#번호]]`(또는 설명)를 붙입니다. 플러그인이 LINE image message로 바꿔 보냅니다.
 - 이미지는 현재 Cloudflare 공개 URL(`<URL>/media/<token>`)을 통해 LINE에 전달되며, quick tunnel이 재시작돼 URL이 바뀌어도 자동으로 따라갑니다.
 - 패널의 「이모티콘」 카드에서 켜고 끄기, 답장당 최대 장수(1~3), 라이브러리 샘플 미리보기를 할 수 있습니다. 이미지 추가나 분류 변경은 dsh-meme 설정에서 하세요.
+- LINE 스티커를 받으면 스티커 이미지를 가져와 모델에 보여 줍니다(이미지 지원 모델은 바로 읽고, 아니면 LINE 키워드로 대체). 「LINE 자격 증명」 카드에서 「스티커 이해」를 끌 수 있습니다.
 - dsh-meme이 설치되어 있지 않으면 이 기능은 꺼지고 텍스트만 답장합니다.
 ## 문제 해결
 

package/README.md

@@ -78,6 +78,7 @@ dsh plugin --profile desktop add dsh-line-bot
 | 貼吧學習同步 | 把刷貼吧學到的語氣寫回人設的「貼吧學來的口氣」段、預覽差異、立即同步 |
 | 個人記憶 | 每位使用者分開的長期記憶、到期自動刪、每日請角色整理、手動刪除 |
 | 表情包 | 使用 dsh-meme 圖庫回圖片／貼圖、開關、一次最多幾張、圖庫樣本 |
+| 貼圖理解 | 收到 LINE 貼圖時抓圖給模型看（可關閉） |
 | DeepSeek 餘額 | 目前餘額、每輪注入、低於門檻時由角色主動提醒、提醒門檻與冷卻（僅 deepseek-account） |
 | 主動傳訊 | 開關、機率、間隔、每日／每月上限、最短間隔、安靜時段、idle、指定對象、提示詞、立即試傳、統計 |
 | 使用者 | 每位 LINE 使用者對應的 DSH session、專屬工作資料夾、目前人設（可直接改）、訊息數、上次互動、清空記憶／重設 session |
@@ -172,6 +173,7 @@ dsh plugin --profile desktop add dsh-line-bot
 - 每輪會把圖庫樣本（編號＋描述）帶進 context；角色想配圖時在回覆最後加 `[[meme:#編號]]`（或描述），插件再組成 LINE 的 image message。
 - 圖片透過目前的 Cloudflare 公開網址（`<網址>/media/<token>`）提供給 LINE；quick tunnel 換網址後會自動跟上。
 - 面板「表情包」卡可以開關、限制一次最多幾張（1～3），並預覽圖庫樣本。要新增圖片或改分類，請用 dsh-meme 自己的設定。
+- 收到 LINE 貼圖時，會抓貼圖圖片交給模型看（支援圖片的模型直接讀圖，否則用 LINE 提供的關鍵字），角色才接得住貼圖的情緒。可在「LINE 憑證」卡關閉「看得懂貼圖」。
 - 沒安裝 dsh-meme 時這個功能會自動停用，只回文字。
 ## 疑難排解
 

package/README.zh-CN.md

@@ -78,6 +78,7 @@ dsh plugin --profile desktop add dsh-line-bot
 | 贴吧学习同步 | 把刷贴吧学到的语气写回人设的「贴吧学来的口气」段、预览差异、立即同步 |
 | 个人记忆 | 每位用户分开的长期记忆、到期自动删除、每日请角色整理、手动删除 |
 | 表情包 | 使用 dsh-meme 图库回图片/贴图、开关、每次最多几张、图库样本 |
+| 贴图理解 | 收到 LINE 贴图时抓图给模型看（可关闭） |
 | DeepSeek 余额 | 当前余额、每轮注入、低于门槛时由角色主动提醒、提醒门槛与冷却（仅 deepseek-account） |
 | 主动传讯 | 开关、概率、间隔、每日／每月上限、最短间隔、安静时段、idle、指定对象、提示词、立即试传、统计 |
 | 用户 | 每位 LINE 用户对应的 DSH session、专属工作文件夹、目前人设（可直接改）、消息数、上次互动、清空记忆／重设 session |
@@ -172,6 +173,7 @@ dsh plugin --profile desktop add dsh-line-bot
 - 每轮会把图库样本（编号＋描述）带进 context；角色想配图时在回复最后加 `[[meme:#编号]]`（或描述），插件再组成 LINE 的 image message。
 - 图片通过当前的 Cloudflare 公开网址（`<网址>/media/<token>`）提供给 LINE；quick tunnel 换网址后会自动跟上。
 - 面板「表情包」卡可以开关、限制每次最多几张（1～3），并预览图库样本。要新增图片或改分类，请用 dsh-meme 自己的设置。
+- 收到 LINE 贴图时，会抓贴图图片交给模型看（支持图片的模型直接读图，否则用 LINE 提供的关键词），角色才能接住贴图的情绪。可在「LINE 凭证」卡关闭「看得懂贴图」。
 - 没安装 dsh-meme 时该功能会自动停用，只回文字。
 ## 疑难排解
 

package/client.js

@@ -891,6 +891,7 @@ window.__ModuleLoader__.load({
           ),
           h(Toggle, { checked: line.useAutoToken !== false, onChange: (value) => update({ line: { useAutoToken: value } }), label: '自動簽發 access token', hint: '有 Channel ID＋Secret 時，優先自動取得（建議開啟）' }),
           h(Toggle, { checked: line.loadingEnabled !== false, onChange: (value) => update({ line: { loadingEnabled: value } }), label: '顯示「正在輸入」動畫', hint: '回覆前呼叫 LINE 的 loading 動畫' }),
+          h(Toggle, { checked: line.stickerVision !== false, onChange: (value) => update({ line: { stickerVision: value } }), label: '看得懂貼圖', hint: '收到貼圖時抓圖片給模型看；模型不支援圖片時仍會用貼圖關鍵字' }),
           h('div', { style: S.row },
             h(Btn, { onClick: () => act('line-verify'), disabled: !!busy, tone: 'primary' }, busy === 'line-verify' ? '驗證中…' : '驗證並讀取 bot 資訊'),
             h(Btn, { onClick: () => act('token-refresh'), disabled: !!busy }, '重新簽發 token'),

package/lib/agent-runner.mjs

@@ -5,11 +5,13 @@ import os from 'node:os'
 import { randomUUID } from 'node:crypto'
 import { sleep } from './util.mjs'
 
-function userMessage(text) {
+function userMessage(text, images = []) {
+  const content = [{ type: 'text', text }]
+  for (const attachment of images) content.push({ type: 'image', attachment })
   return {
     id: randomUUID(),
     role: 'user',
-    content: [{ type: 'text', text }],
+    content,
     source: { kind: 'user' },
   }
 }
@@ -186,7 +188,7 @@ export function createAgentRunner({ ctx, logger, getConfig }) {
     }
   }
 
-  async function turn({ sessionId, text, persona, personaClient, personaText, contextText, tools = [], cwd: cwdOverride }) {
+  async function turn({ sessionId, text, persona, personaClient, personaText, contextText, tools = [], images = [], cwd: cwdOverride }) {
     const cfg = getConfig()
     const timeoutMs = cfg.agent.timeoutMs || 180000
     const { options } = agentOptions()
@@ -227,7 +229,7 @@ export function createAgentRunner({ ctx, logger, getConfig }) {
       })
 
       const firstSeq = agent.session.seq
-      agent.followup(userMessage(text))
+      agent.followup(userMessage(text, images))
 
       let timedOut = false
       const timer = new Promise((_, reject) => {

package/lib/config.mjs

@@ -25,6 +25,7 @@ export const DEFAULT_CONFIG = {
     tokenExpiresAt: 0,
     useAutoToken: true,
     loadingEnabled: true,
+    stickerVision: true,
     allowedUserIds: [],
     welcomeText: '（已加好友）嗨，我是大肥魚～想聊什麼都可以跟我說。',
     errorReply: '（剛剛卡住了，再說一次好嗎？）',
@@ -179,6 +180,7 @@ export function sanitizePatch(current, patch) {
   next.line.tokenExpiresAt = clampInt(next.line.tokenExpiresAt, 0, Number.MAX_SAFE_INTEGER, 0)
   next.line.allowedUserIds = safeArray(next.line.allowedUserIds)
   next.line.loadingEnabled = Boolean(next.line.loadingEnabled)
+  next.line.stickerVision = Boolean(next.line.stickerVision)
   next.line.welcomeText = String(next.line.welcomeText ?? '').slice(0, 1000)
   next.line.errorReply = String(next.line.errorReply ?? '').slice(0, 500)
   next.line.emptyReply = String(next.line.emptyReply ?? '').slice(0, 500)

package/lib/host.mjs

@@ -23,6 +23,7 @@ const balanceMod = await import(withVersion('./deepseek-balance.mjs'))
 const memoryMod = await import(withVersion('./memory.mjs'))
 const stickersMod = await import(withVersion('./stickers.mjs'))
 const memeSourceMod = await import(withVersion('./meme-source.mjs'))
+const stickerImageMod = await import(withVersion('./sticker-image.mjs'))
 const utilMod = await import(withVersion('./util.mjs'))
 const { createConfigStore, publicConfig, dataDir } = configMod
 const { createPersonaClient } = personaMod
@@ -37,9 +38,10 @@ const { createBalanceMonitor } = balanceMod
 const { createMemoryStore } = memoryMod
 const { createStickerStore } = stickersMod
 const { createMemeSource } = memeSourceMod
+const { createStickerImages } = stickerImageMod
 const { chunkText, clip, inQuietWindow, jsonFail, jsonOk, maskSecret, readJsonBody, safeArray, sleep } = utilMod
 
-export const VERSION = '0.5.4'
+export const VERSION = '0.5.5'
 
 // 環境變數提供的 Cloudflare API Token（方便用 shell 注入、不用把 token 寫進設定檔）。
 // 設定檔裡的 token 優先；兩者都沒有時才用環境變數。
@@ -228,7 +230,18 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
         const entry = { id: info.id, name: info.name || info.id, models: [] }
         try {
           const models = await llm.listModels(info.id)
-          entry.models = (models || []).map((item) => ({ id: item.id, name: item.name || item.id }))
+          const mapped = []
+          for (const item of models || []) {
+            const model = { id: item.id, name: item.name || item.id }
+            if (typeof llm.resolveModelInfo === 'function') {
+              try {
+                const info2 = await llm.resolveModelInfo(info.id, item.id)
+                if (Array.isArray(info2?.inputModalities)) model.inputModalities = info2.inputModalities
+              } catch { /* 有些 provider 不支援查詢，略過 */ }
+            }
+            mapped.push(model)
+          }
+          entry.models = mapped
         } catch (error) {
           entry.error = errorText(error)
         }
@@ -1127,11 +1140,38 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
       logger.warn(`略過未授權的使用者 ${userId}（allowedUserIds）`)
       return
     }
-    if (event.message?.type !== 'text') {
-      logger.info(`略過非文字訊息（${event.message?.type}）`)
+    const messageType = event.message?.type
+    const messageImages = []
+    let text = ''
+    if (messageType === 'text') {
+      text = String(event.message.text || '').trim()
+    } else if (messageType === 'sticker') {
+      const keywords = Array.isArray(event.message.keywords)
+        ? event.message.keywords.filter(Boolean).slice(0, 8).join('、')
+        : ''
+      let hasImage = false
+      if (cfg.line?.stickerVision !== false) {
+        try {
+          const ref = await stickerImages.toAttachment(event.message.stickerId, event.message.stickerResourceType)
+          if (ref) {
+            messageImages.push(ref)
+            hasImage = true
+          }
+        } catch (error) {
+          logger.warn(`取得貼圖圖片失敗，只用關鍵字：${errorText(error)}`)
+        }
+      }
+      text = [
+        `（使用者沒有打字，傳了一個 LINE 貼圖：packageId=${event.message.packageId ?? '?'}, stickerId=${event.message.stickerId ?? '?'}`,
+        keywords ? `，貼圖關鍵字：${keywords}` : '',
+        hasImage ? '，貼圖圖片已附在這一則訊息裡（請直接看圖）' : '',
+        '。請用你自己的語氣，一兩句自然回應這個貼圖；不要說「你傳了貼圖」這種話，依圖片內容或關鍵字猜情緒，不確定就輕鬆帶過。）',
+      ].join('')
+      logger.info(`收到貼圖（packageId=${event.message.packageId ?? '?'}, stickerId=${event.message.stickerId ?? '?'}${keywords ? `，${keywords}` : ''}）`)
+    } else {
+      logger.info(`略過非文字訊息（${messageType}）`)
       return
     }
-    const text = String(event.message.text || '').trim()
     if (!text) return
 
     const user = ensureUser(userId)
@@ -1169,6 +1209,7 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
         personaClient: persona(),
         contextText: agentContextText(userId),
         tools: memoryToolsFor(userId),
+        images: messageImages,
         cwd: ensureUserWorkspace(userId) || cfg.agent.cwd || undefined,
       })
       let replyText = String(result?.text || '').trim()
@@ -1197,6 +1238,7 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
   const runner = createAgentRunner({ ctx, logger, getConfig: () => store.get() })
   const stickers = createStickerStore({ dir, logger })
   const memes = createMemeSource({ ctx, logger })
+  const stickerImages = createStickerImages({ ctx, logger, dir })
   const mediaTokens = new Map()
 
   const server = createWebhookServer({ getConfig: () => store.get(), logger, dispatch: handleEvent, getMedia })
@@ -1628,6 +1670,19 @@ export async function create({ ctx, config: pluginConfig, logger: upstream }) {
         return maybeAskForTopUp({ dryRun: payload.dryRun !== false, force: payload.force === true })
       case 'meme-stats':
         return { ...memes.stats(), enabled: store.get().stickers?.enabled !== false, maxPerReply: memeMaxPerReply(), sample: memes.sample({ limit: 20 }) }
+      case 'sticker-look': {
+        const stickerId = String(payload.stickerId || '').trim()
+        if (!stickerId) throw new Error('缺少 stickerId')
+        const ref = await stickerImages.toAttachment(stickerId, payload.stickerResourceType || 'STATIC')
+        const result = await runner.turn({
+          sessionId: `session-sticker-look-${Date.now()}`,
+          text: '這是一張 LINE 貼圖。請用一句繁體中文說出圖片裡的圖案內容與情緒。',
+          images: [ref],
+          contextText: '',
+          cwd: store.get().agent.cwd || undefined,
+        })
+        return { text: result.text, attachmentId: String(ref.attachmentId || ''), mediaType: ref.mediaType }
+      }
       case 'meme-preview': {
         if (!payload.text) throw new Error('缺少 text')
         const built = await buildOutgoingMessages(String(payload.text))

package/lib/sticker-image.mjs

@@ -0,0 +1,53 @@
+// 抓 LINE 貼圖圖片，存進 DSH 附件庫，供多模態模型閱讀。
+const STICKER_BASE = 'https://stickershop.line-scdn.net/stickershop/v1/sticker'
+
+function animationType(resourceType) {
+  return resourceType === 'ANIMATION' || resourceType === 'ANIMATION_SOUND'
+}
+
+export function createStickerImages({ ctx, logger, dir }) {
+  const attachments = ctx?.get?.('attachments')
+  const cache = new Map()
+
+  function available() {
+    return Boolean(attachments && typeof attachments.saveImages === 'function')
+  }
+
+  async function fetchBytes(stickerId, resourceType) {
+    const id = String(stickerId || '').replace(/[^0-9]/g, '')
+    if (!id) throw new Error('沒有 stickerId')
+    const urls = [`${STICKER_BASE}/${id}/android/sticker.png`]
+    if (animationType(resourceType)) urls.push(`${STICKER_BASE}/${id}/android/sticker_animation.png`)
+    let lastError
+    for (const url of urls) {
+      try {
+        const response = await fetch(url, { signal: AbortSignal.timeout(15_000) })
+        if (!response.ok) throw new Error(`LINE 貼圖 HTTP ${response.status}`)
+        const data = new Uint8Array(await response.arrayBuffer())
+        if (data.byteLength === 0) throw new Error('LINE 貼圖是空檔案')
+        if (data.byteLength > 6 * 1024 * 1024) throw new Error('LINE 貼圖太大')
+        return { data, url }
+      } catch (error) {
+        lastError = error
+      }
+    }
+    throw lastError || new Error('抓不到 LINE 貼圖')
+  }
+
+  async function toAttachment(stickerId, resourceType) {
+    if (!available()) throw new Error('這個 profile 沒有附件服務（attachments）')
+    const key = `${stickerId}:${resourceType || ''}`
+    if (cache.has(key)) return cache.get(key)
+    const { data } = await fetchBytes(stickerId, resourceType)
+    const [ref] = await attachments.saveImages([
+      { data, mediaType: 'image/png', name: `line-sticker-${stickerId}.png` },
+    ])
+    if (!ref) throw new Error('附件服務沒有回傳圖片參照')
+    cache.set(key, ref)
+    if (cache.size > 300) cache.delete(cache.keys().next().value)
+    logger?.info?.(`已取得 LINE 貼圖圖片（stickerId=${stickerId}，${data.byteLength} bytes）`)
+    return ref
+  }
+
+  return { available, toAttachment }
+}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-line-bot",
-  "version": "0.5.4",
+  "version": "0.5.5",
   "description": "把 LINE 官方帳號（Messaging API）接進 DeepSeek Harness 的插件：內建 Cloudflare Tunnel、人設選擇（大肥魚或插件自訂）、主動傳訊與完整設定面板。",
   "type": "module",
   "main": "index.js",