@geekbeer/minion 3.52.0 → 3.53.1

package/docs/task-guides.md

@@ -4,6 +4,64 @@
 
 ---
 
+## Webページの読み取り・要約 🧪 (experimental, v3.53.0〜)
+
+ユーザーから「このURLを要約して」「このページの情報を抽出して」「このページの一覧を取ってきて」と依頼された場合の手順。
+
+### まずローカルAPIを試す
+
+```bash
+curl -X POST http://localhost:8080/api/web/extract \
+  -H "Authorization: Bearer $API_TOKEN" -H "Content-Type: application/json" \
+  -d '{"url": "対象URL", "hint": "何を抽出したいか短く (任意)"}' | jq
+```
+
+返ってきた JSON の `title` `content` `structured` を使って要約・回答を作成する。`structured` には初回アクセス時に LLM が選んだフィールドが入る。
+
+このAPIは内部で Playwright + Readability を回して **メインセッションには結果 JSON だけ返す** ため、Playwright MCP を使うときに起きていたチャットコンテキストのトークン肥大化が回避できる。
+
+### Playwright MCP を使うべき場面
+
+`/api/web/extract` で対応できないのは以下のケース。このときだけ `mcp__playwright__*` を使う:
+
+- ログイン必須ページ (Cookie/2FA 等の認証必要)
+- フォーム入力・複数ページ遷移を伴う操作
+- ボタンクリック→動的に追加されるコンテンツの取得
+- Lancers コンペ応募など、明らかに対話的操作が必要なフロー
+
+**単純な閲覧・抽出用途では MCP を使わない。**
+
+### よくあるパターン
+
+| ユーザー依頼 | 推奨手段 |
+|--------------|----------|
+| 「このQiita記事を要約」 | `/api/web/extract` |
+| 「Lancersコンペの一覧を取得」 | `/api/web/extract` |
+| 「このプロダクトページから価格を抽出」 | `/api/web/extract` |
+| 「ログインしてダッシュボード操作」 | Playwright MCP |
+| 「フォームを送信」 | Playwright MCP |
+| 「複数ページ巡回して全件取得」 | `/api/web/extract` をループ呼び出し (各ページに対して) |
+
+### キャッシュの確認・破棄 (debug)
+
+```bash
+# キャッシュ済みレシピ一覧
+curl -H "Authorization: Bearer $API_TOKEN" http://localhost:8080/api/web/recipes | jq
+
+# 特定のレシピを削除 (壊れたセレクタを強制再生成させたい場合)
+curl -X DELETE -H "Authorization: Bearer $API_TOKEN" \
+  "http://localhost:8080/api/web/recipes?template=lancers.jp/work/proposal/:id&fingerprint=abc123def456"
+```
+
+### 失敗時の対処
+
+- `503 PLAYWRIGHT_UNAVAILABLE` → ホスト側で `npx playwright install chromium` を実行 (sudo 不要)
+- `503 LLM_UNAVAILABLE` → primary LLM 未設定。`PUT /api/llm/config -d '{"primary":"claude"}'` で primary を指定するか、fallback として `PUT /api/secrets/ANTHROPIC_API_KEY` で API キーを投入
+- `502 PRIMARY_LLM_BAD_JSON` → primary LLM が JSON 形式で返さなかった。プラグインの認証状態を `GET /api/llm/plugins` で確認し、必要なら別 plugin を primary にする
+- `500 extract timeout` → ページが重すぎる/JSレンダリング待ちが長すぎる。Playwright MCP に切り替えて手動操作
+
+---
+
 ## スキルの修正
 
 ### 1. ローカルのスキルを編集する

package/linux/routes/chat.js

@@ -362,6 +362,29 @@ async function buildContextPrefix(message, context, sessionId, workspaceId, refe
     )
   }
 
+  // Web page extraction guidance (experimental, v3.53.0)
+  if (!sessionId) {
+    const port = require('../../core/config').config.AGENT_PORT
+    parts.push(
+      '[Webページ読み取りについて 🧪 experimental]',
+      'Webページの読み取り・要約・情報抽出が必要なときは、まず以下のローカルAPIを試すこと:',
+      '',
+      '```bash',
+      `curl -X POST http://localhost:${port}/api/web/extract \\`,
+      '  -H "Authorization: Bearer $API_TOKEN" -H "Content-Type: application/json" \\',
+      '  -d \'{"url": "対象URL", "hint": "抽出したい内容を短く"}\'',
+      '```',
+      '',
+      'このAPIは内部で Playwright + Readability を回し、抽出済みJSONだけを返すため、',
+      'DOM全体がチャットに流れ込んでトークン肥大化することを防げる。',
+      '初回アクセスで学習したセレクタはSQLiteにキャッシュされ、2回目以降はLLM呼び出しなしで抽出される。',
+      '',
+      'Playwright MCP (`mcp__playwright__*`) は **ログイン・フォーム入力・複数画面の対話操作**が必要な場合のみ使用する。',
+      '単純な閲覧・要約・一覧取得用途ではMCPを使わない。',
+      ''
+    )
+  }
+
   // File output guidance — always inject on new sessions
   if (!sessionId) {
     parts.push(
@@ -770,6 +793,11 @@ function streamViaLegacyLlmCommand(res, prompt, sessionId, workspaceId, original
     child.on('close', async (code) => {
       activeChatChild = null
 
+      console.log(`[Chat] child closed: code=${code}, response=${fullResponse.length}chars, turns=${turnCount}, stderr=${stderrBuffer.length}bytes, session=${resolvedSessionId}`)
+      if (stderrBuffer.trim()) {
+        console.log(`[Chat] final stderr (tail 500): ${stderrBuffer.slice(-500)}`)
+      }
+
       // Store messages in chat-store
       if (resolvedSessionId) {
         // If this was a new session, also store the user message now
@@ -782,11 +810,15 @@ function streamViaLegacyLlmCommand(res, prompt, sessionId, workspaceId, original
         }
       }
 
-      // If exit code is non-zero and no response was generated, send error
-      if (code !== 0 && !fullResponse) {
+      if (code !== 0) {
         const errorMsg = stderrBuffer.trim() || `Claude CLI exited with code ${code}`
-        console.error(`[Chat] CLI failed (exit ${code}): ${errorMsg}`)
-        const errorEvent = JSON.stringify({ type: 'error', error: errorMsg })
+        console.error(`[Chat] CLI failed (exit ${code}, partial=${!!fullResponse}): ${errorMsg}`)
+        const errorEvent = JSON.stringify({
+          type: 'error',
+          error: errorMsg,
+          partial: !!fullResponse,
+          exit_code: code,
+        })
         res.write(`data: ${errorEvent}\n\n`)
       }
 

package/linux/server.js

@@ -85,6 +85,7 @@ const { todoRoutes } = require('../core/routes/todos')
 const { emailRoutes } = require('../core/routes/emails')
 const { daemonRoutes } = require('../core/routes/daemons')
 const { llmRoutes } = require('../core/routes/llm')
+const { webRoutes } = require('../core/routes/web')
 
 // Linux-specific routes
 const { commandRoutes, getProcessManager, getAllowedCommands } = require('./routes/commands')
@@ -298,6 +299,7 @@ async function registerAllRoutes(app) {
   await app.register(emailRoutes)
   await app.register(daemonRoutes, { heartbeatStatus: () => ({ running: !!heartbeatTimer, last_beat_at: lastBeatAt }) })
   await app.register(llmRoutes)
+  await app.register(webRoutes)
 
   // Linux-specific routes
   await app.register(commandRoutes)

package/mac/server.js

@@ -72,6 +72,7 @@ const { todoRoutes } = require('../core/routes/todos')
 const { emailRoutes } = require('../core/routes/emails')
 const { daemonRoutes } = require('../core/routes/daemons')
 const { llmRoutes } = require('../core/routes/llm')
+const { webRoutes } = require('../core/routes/web')
 
 // macOS-specific routes
 const { commandRoutes, getProcessManager, getAllowedCommands } = require('./routes/commands')
@@ -284,6 +285,7 @@ async function registerAllRoutes(app) {
   await app.register(emailRoutes)
   await app.register(daemonRoutes, { heartbeatStatus: () => ({ running: !!heartbeatTimer, last_beat_at: lastBeatAt }) })
   await app.register(llmRoutes)
+  await app.register(webRoutes)
 
   // macOS-specific routes
   await app.register(commandRoutes)

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@geekbeer/minion",
-  "version": "3.52.0",
+  "version": "3.53.1",
   "description": "AI Agent runtime for Minion - manages status and skill deployment on VPS",
   "main": "linux/server.js",
   "bin": {
@@ -33,13 +33,17 @@
     "db:migration:new": "node scripts/new-migration.js"
   },
   "dependencies": {
+    "@mozilla/readability": "^0.5.0",
     "croner": "^9.0.0",
     "fastify": "^5.2.2",
+    "linkedom": "^0.18.0",
+    "turndown": "^7.2.0",
     "ws": "^8.0.0"
   },
   "optionalDependencies": {
     "better-sqlite3": "^11.0.0",
-    "node-pty": "^1.0.0"
+    "node-pty": "^1.0.0",
+    "playwright": "^1.48.0"
   },
   "engines": {
     "node": ">=22.0.0"

package/rules/core.md

@@ -103,7 +103,27 @@ minion-cli --version                      # バージョン確認
 
 `http://localhost:8080` — 認証: `Authorization: Bearer $API_TOKEN`
 
-主なカテゴリ: Health, Skills, Workflows, Executions, Terminal, Files, Commands, Permissions, Admin (HQ-pushed freeze)
+主なカテゴリ: Health, Skills, Workflows, Executions, Terminal, Files, Commands, Permissions, Admin (HQ-pushed freeze), Web Extraction (experimental)
+
+#### Web Page Extraction 🧪 (experimental, v3.53.0〜)
+
+Webページの読み取り・要約・情報抽出には、**Playwright MCP より先に** ローカルAPI `POST /api/web/extract` を試すこと。
+
+このAPIは内部でヘッドレスブラウザ→本文クリーン (Readability) →セレクタ抽出 (LLMサブプロセスで自動学習) →JSON 返却までを完結させる。**メインセッションに巨大な DOM が流れ込まないため、トークン肥大化やセッション終了を防げる。**
+
+```bash
+curl -X POST http://localhost:8080/api/web/extract \
+  -H "Authorization: Bearer $API_TOKEN" -H "Content-Type: application/json" \
+  -d '{"url": "https://example.com/article/123", "hint": "本文と著者を抽出"}'
+```
+
+レシピは初回アクセス時に LLM (Haiku) で生成・SQLite (`page_recipes` テーブル) に保存され、2回目以降の構造的に同じページでは LLM 呼び出しなしで抽出される。
+
+Playwright MCP (`mcp__playwright__*`) は **フォーム入力・クリック・複数画面遷移など対話的な操作**が必要な場合のみ使用すること。単に「ページを読む」目的では MCP を使わない。
+
+**実験的機能**: レスポンス形状は予告なく変わる可能性がある。要件: (1) primary LLM 設定済み (`PUT /api/llm/config` で `claude` 等を選択、`hq llm primary <name>` でも可) または `ANTHROPIC_API_KEY` シークレット設定済み、(2) ホスト上で `npx playwright install chromium` 実行済み。primary LLM が設定されていれば API キー不要 (Claude Code CLI の認証情報を再利用)。
+
+詳細仕様は `~/.minion/docs/api-reference.md` の「Web Page Extraction」セクション、ユースケースは `~/.minion/docs/task-guides.md` の「Webページの読み取り・要約」を参照。
 
 #### Billing-Driven Freeze (v3.52.0〜)
 

package/win/routes/chat.js

@@ -423,6 +423,29 @@ async function buildContextPrefix(message, context, sessionId, workspaceId, refe
     )
   }
 
+  // Web page extraction guidance (experimental, v3.53.0)
+  if (!sessionId) {
+    const port = require('../../core/config').config.AGENT_PORT
+    parts.push(
+      '[Webページ読み取りについて 🧪 experimental]',
+      'Webページの読み取り・要約・情報抽出が必要なときは、まず以下のローカルAPIを試すこと:',
+      '',
+      '```bash',
+      `curl -X POST http://localhost:${port}/api/web/extract \\`,
+      '  -H "Authorization: Bearer $API_TOKEN" -H "Content-Type: application/json" \\',
+      '  -d \'{"url": "対象URL", "hint": "抽出したい内容を短く"}\'',
+      '```',
+      '',
+      'このAPIは内部で Playwright + Readability を回し、抽出済みJSONだけを返すため、',
+      'DOM全体がチャットに流れ込んでトークン肥大化することを防げる。',
+      '初回アクセスで学習したセレクタはSQLiteにキャッシュされ、2回目以降はLLM呼び出しなしで抽出される。',
+      '',
+      'Playwright MCP (`mcp__playwright__*`) は **ログイン・フォーム入力・複数画面の対話操作**が必要な場合のみ使用する。',
+      '単純な閲覧・要約・一覧取得用途ではMCPを使わない。',
+      ''
+    )
+  }
+
   // File output guidance — always inject on new sessions
   if (!sessionId) {
     parts.push(
@@ -790,6 +813,12 @@ function streamViaLegacyLlmCommand(res, prompt, sessionId, workspaceId, original
 
     child.on('close', async (code) => {
       activeChatChild = null
+
+      console.log(`[Chat] child closed: code=${code}, response=${fullResponse.length}chars, turns=${turnCount}, stderr=${stderrBuffer.length}bytes, session=${resolvedSessionId}`)
+      if (stderrBuffer.trim()) {
+        console.log(`[Chat] final stderr (tail 500): ${stderrBuffer.slice(-500)}`)
+      }
+
       if (resolvedSessionId) {
         if (!sessionId) {
           await chatStore.addMessage(resolvedSessionId, { role: 'user', content: originalMessage || prompt }, undefined, workspaceId)
@@ -798,9 +827,15 @@ function streamViaLegacyLlmCommand(res, prompt, sessionId, workspaceId, original
           await chatStore.addMessage(resolvedSessionId, { role: 'assistant', content: fullResponse }, turnCount, workspaceId)
         }
       }
-      if (code !== 0 && !fullResponse) {
+      if (code !== 0) {
         const errorMsg = stderrBuffer.trim() || `Claude CLI exited with code ${code}`
-        res.write(`data: ${JSON.stringify({ type: 'error', error: errorMsg })}\n\n`)
+        console.error(`[Chat] CLI failed (exit ${code}, partial=${!!fullResponse}): ${errorMsg}`)
+        res.write(`data: ${JSON.stringify({
+          type: 'error',
+          error: errorMsg,
+          partial: !!fullResponse,
+          exit_code: code,
+        })}\n\n`)
       }
 
       const session = await chatStore.load(workspaceId)

package/win/server.js

@@ -67,6 +67,7 @@ const { todoRoutes } = require('../core/routes/todos')
 const { emailRoutes } = require('../core/routes/emails')
 const { daemonRoutes } = require('../core/routes/daemons')
 const { llmRoutes } = require('../core/routes/llm')
+const { webRoutes } = require('../core/routes/web')
 
 // Validate configuration
 validate()
@@ -232,6 +233,7 @@ async function registerRoutes(app) {
   await app.register(emailRoutes)
   await app.register(daemonRoutes, { heartbeatStatus: () => ({ running: !!heartbeatTimer, last_beat_at: lastBeatAt }) })
   await app.register(llmRoutes)
+  await app.register(webRoutes)
 
   // Shutdown endpoint — allows detached restart/update scripts to trigger
   // graceful shutdown (offline heartbeat) before force-killing the process.