@lnar/cli 0.0.1-dev.f1de48c → 0.0.1

package/dist/recording/session.js

@@ -0,0 +1,47 @@
+/**
+ * 録画セッションのオーケストレーション。
+ *
+ * ローカルブラウザを起動 → ユーザー操作を記録 → 停止シグナルで終了 → バンドル内容を返す。
+ * キーフレームはメモリ上の Buffer として保持し、ディスクには一切書かない。
+ * 停止条件 (`waitForStop`) は呼び出し側から注入し、本体をテスト可能に保つ。
+ */
+import { chromium } from 'playwright';
+import { buildManifest } from './bundle.js';
+import { attachRecorder, Recorder } from './capture.js';
+const DEFAULT_VIEWPORT = { width: 1280, height: 800 };
+/** 録画を実行し、バンドル内容 (メモリ上) を返す。 */
+export async function recordSession(options) {
+    const viewport = options.viewport ?? DEFAULT_VIEWPORT;
+    // 動画 / trace は記録しない (Playwright が必ずディスクへ書き出すため、
+    // 録画内容を一瞬もローカルに残さない方針と両立しない)。
+    const context = await chromium.launchPersistentContext(options.profileDir, {
+        headless: options.headless ?? false,
+        viewport,
+    });
+    const recorder = new Recorder();
+    try {
+        await attachRecorder(context, recorder);
+        const page = context.pages()[0] ?? (await context.newPage());
+        if (options.startUrl) {
+            await page.goto(options.startUrl, { waitUntil: 'domcontentloaded' });
+        }
+        await options.waitForStop(page, context);
+        await context.close();
+        const manifest = buildManifest({
+            name: options.name,
+            startUrl: options.startUrl,
+            createdAt: options.createdAt ?? new Date().toISOString(),
+            viewport,
+            actions: recorder.actions,
+            screenshots: recorder.screenshots,
+        });
+        return { manifest, actions: recorder.actions, frames: recorder.frames };
+    }
+    finally {
+        // 例外時も確実に閉じる (close 済みなら no-op 相当)。
+        if (context.browser()?.isConnected()) {
+            await context.close().catch(() => { });
+        }
+    }
+}
+//# sourceMappingURL=session.js.map

package/dist/recording/session.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"session.js","sourceRoot":"","sources":["../../src/recording/session.ts"],"names":[],"mappings":"AAAA;;;;;;GAMG;AACH,OAAO,EAAuB,QAAQ,EAAa,MAAM,YAAY,CAAC;AACtE,OAAO,EAAE,aAAa,EAAE,MAAM,aAAa,CAAC;AAC5C,OAAO,EAAE,cAAc,EAAiB,QAAQ,EAAE,MAAM,cAAc,CAAC;AAoBvE,MAAM,gBAAgB,GAAG,EAAE,KAAK,EAAE,IAAI,EAAE,MAAM,EAAE,GAAG,EAAW,CAAC;AAE/D,gCAAgC;AAChC,MAAM,CAAC,KAAK,UAAU,aAAa,CAAC,OAA6B;IAC/D,MAAM,QAAQ,GAAG,OAAO,CAAC,QAAQ,IAAI,gBAAgB,CAAC;IAEtD,gDAAgD;IAChD,8BAA8B;IAC9B,MAAM,OAAO,GAAG,MAAM,QAAQ,CAAC,uBAAuB,CAAC,OAAO,CAAC,UAAU,EAAE;QACzE,QAAQ,EAAE,OAAO,CAAC,QAAQ,IAAI,KAAK;QACnC,QAAQ;KACT,CAAC,CAAC;IAEH,MAAM,QAAQ,GAAG,IAAI,QAAQ,EAAE,CAAC;IAChC,IAAI,CAAC;QACH,MAAM,cAAc,CAAC,OAAO,EAAE,QAAQ,CAAC,CAAC;QAExC,MAAM,IAAI,GAAG,OAAO,CAAC,KAAK,EAAE,CAAC,CAAC,CAAC,IAAI,CAAC,MAAM,OAAO,CAAC,OAAO,EAAE,CAAC,CAAC;QAC7D,IAAI,OAAO,CAAC,QAAQ,EAAE,CAAC;YACrB,MAAM,IAAI,CAAC,IAAI,CAAC,OAAO,CAAC,QAAQ,EAAE,EAAE,SAAS,EAAE,kBAAkB,EAAE,CAAC,CAAC;QACvE,CAAC;QAED,MAAM,OAAO,CAAC,WAAW,CAAC,IAAI,EAAE,OAAO,CAAC,CAAC;QAEzC,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC;QAEtB,MAAM,QAAQ,GAAG,aAAa,CAAC;YAC7B,IAAI,EAAE,OAAO,CAAC,IAAI;YAClB,QAAQ,EAAE,OAAO,CAAC,QAAQ;YAC1B,SAAS,EAAE,OAAO,CAAC,SAAS,IAAI,IAAI,IAAI,EAAE,CAAC,WAAW,EAAE;YACxD,QAAQ;YACR,OAAO,EAAE,QAAQ,CAAC,OAAO;YACzB,WAAW,EAAE,QAAQ,CAAC,WAAW;SAClC,CAAC,CAAC;QAEH,OAAO,EAAE,QAAQ,EAAE,OAAO,EAAE,QAAQ,CAAC,OAAO,EAAE,MAAM,EAAE,QAAQ,CAAC,MAAM,EAAE,CAAC;IAC1E,CAAC;YAAS,CAAC;QACT,oCAAoC;QACpC,IAAI,OAAO,CAAC,OAAO,EAAE,EAAE,WAAW,EAAE,EAAE,CAAC;YACrC,MAAM,OAAO,CAAC,KAAK,EAAE,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;QACxC,CAAC;IACH,CAAC;AACH,CAAC"}

package/dist/recording/types.d.ts

@@ -0,0 +1,59 @@
+/**
+ * デモ録画 (Demo-to-MCP / Phase 1) の型。
+ *
+ * ユーザーがローカルブラウザで実演した操作を構造化して保存し、後段 (Phase 2) で
+ * gemini-3.5-flash が「タスク手順書 (playbook)」へ解析するための素材にする。
+ */
+/** ユーザー操作 1 件。座標はキャプチャ時のビューポートピクセル。 */
+export interface RecordedAction {
+    /** 操作種別。 */
+    readonly type: 'navigate' | 'click' | 'input' | 'submit' | 'keydown';
+    /** 録画開始からの相対ミリ秒。 */
+    readonly atMs: number;
+    /** 操作時点の URL。 */
+    readonly url: string;
+    /** 対象要素の CSS セレクタ (best-effort)。navigate では無い。 */
+    readonly selector?: string;
+    /** 対象要素の可視テキスト/ラベル (要素特定のヒント)。 */
+    readonly label?: string;
+    /** 入力値。password 等の機微フィールドは "***" にマスクされる。 */
+    readonly value?: string;
+    /** 入力フィールドが機微 (password 等) だったか。 */
+    readonly sensitive?: boolean;
+    /** click のビューポート座標。 */
+    readonly x?: number;
+    readonly y?: number;
+    /** keydown のキー。 */
+    readonly key?: string;
+    /** このアクション直後に保存したキーフレーム画像のファイル名。 */
+    readonly screenshot?: string;
+}
+/** 録画バンドルのメタデータ (manifest.json)。API へ JSON で送る。 */
+export interface RecordingManifest {
+    /** スキーマバージョン。 */
+    readonly version: 1;
+    /** 録画の表示名。 */
+    readonly name: string;
+    /** 録画開始 URL。 */
+    readonly startUrl: string | null;
+    /** ISO8601 の作成時刻。 */
+    readonly createdAt: string;
+    /** 記録時のビューポート。座標スケールの基準。 */
+    readonly viewport: {
+        readonly width: number;
+        readonly height: number;
+    };
+    /** 記録したアクション総数。 */
+    readonly actionCount: number;
+    /** 動画ファイル名 (取得できた場合)。 */
+    readonly video: string | null;
+    /** Playwright trace.zip ファイル名 (取得できた場合)。 */
+    readonly trace: string | null;
+    /** キーフレーム画像ファイル名の一覧。 */
+    readonly screenshots: ReadonlyArray<string>;
+}
+/** 録画 1 回の成果物 (バンドル内容)。 */
+export interface RecordingBundle {
+    readonly manifest: RecordingManifest;
+    readonly actions: ReadonlyArray<RecordedAction>;
+}

package/dist/recording/types.js

@@ -0,0 +1,8 @@
+/**
+ * デモ録画 (Demo-to-MCP / Phase 1) の型。
+ *
+ * ユーザーがローカルブラウザで実演した操作を構造化して保存し、後段 (Phase 2) で
+ * gemini-3.5-flash が「タスク手順書 (playbook)」へ解析するための素材にする。
+ */
+export {};
+//# sourceMappingURL=types.js.map

package/dist/recording/types.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"types.js","sourceRoot":"","sources":["../../src/recording/types.ts"],"names":[],"mappings":"AAAA;;;;;GAKG"}

package/dist/run-client.d.ts

@@ -0,0 +1,19 @@
+export interface PendingRun {
+    id: string;
+    recording_id: string;
+    name: string;
+    /** 録画の開始 URL。ここからブラウザを開いて実行を始める。 */
+    start_url?: string | null;
+    /** 作業の目的。実行時の指示文に含める。 */
+    purpose?: string | null;
+    params: Record<string, unknown> | null;
+    /** 解析済み playbook (parsePlaybook で検証して使う)。 */
+    playbook: unknown;
+}
+/** 自分が実行すべき pending run の一覧 (playbook 同梱)。 */
+export declare const listPendingRuns: (baseUrl: string, apiKey: string) => Promise<PendingRun[]>;
+/** ローカル実行用の Gemini API キーを取得する (K1)。 */
+export declare const getRunCredential: (baseUrl: string, apiKey: string) => Promise<string>;
+export declare const claimRun: (baseUrl: string, apiKey: string, runId: string, hostname: string) => Promise<void>;
+export declare const reportRunResult: (baseUrl: string, apiKey: string, runId: string, resultText: string) => Promise<void>;
+export declare const reportRunFailed: (baseUrl: string, apiKey: string, runId: string, error: string) => Promise<void>;

package/dist/run-client.js

@@ -0,0 +1,44 @@
+/**
+ * 録画 run-job の REST クライアント (Demo-to-MCP / ハイブリッド R2)。
+ *
+ * daemon が「自分宛の pending ジョブ取得 → claim → ローカル実行 → 結果報告」を行うための
+ * API 呼び出し群。Gemini 資格情報 (K1) もここで取得する。
+ */
+import { ApiError } from './api-client.js';
+const authHeaders = (apiKey) => ({
+    Authorization: `Bearer ${apiKey}`,
+});
+async function jsonOrThrow(response) {
+    if (!response.ok) {
+        throw new ApiError(response.status, await response.text().catch(() => ''));
+    }
+    return response.json();
+}
+/** 自分が実行すべき pending run の一覧 (playbook 同梱)。 */
+export const listPendingRuns = async (baseUrl, apiKey) => {
+    const url = new URL('/v1/recordings/runs/pending', baseUrl).toString();
+    const response = await fetch(url, { headers: authHeaders(apiKey) });
+    return (await jsonOrThrow(response));
+};
+/** ローカル実行用の Gemini API キーを取得する (K1)。 */
+export const getRunCredential = async (baseUrl, apiKey) => {
+    const url = new URL('/v1/recordings/runs/credential', baseUrl).toString();
+    const response = await fetch(url, { headers: authHeaders(apiKey) });
+    const body = (await jsonOrThrow(response));
+    return body.api_key;
+};
+const postRun = async (baseUrl, apiKey, path, body) => {
+    const url = new URL(path, baseUrl).toString();
+    const response = await fetch(url, {
+        method: 'POST',
+        headers: { ...authHeaders(apiKey), 'Content-Type': 'application/json' },
+        body: JSON.stringify(body),
+    });
+    await jsonOrThrow(response);
+};
+export const claimRun = (baseUrl, apiKey, runId, hostname) => postRun(baseUrl, apiKey, `/v1/recordings/runs/${runId}/claim`, { hostname });
+export const reportRunResult = (baseUrl, apiKey, runId, resultText) => postRun(baseUrl, apiKey, `/v1/recordings/runs/${runId}/result`, {
+    result_text: resultText,
+});
+export const reportRunFailed = (baseUrl, apiKey, runId, error) => postRun(baseUrl, apiKey, `/v1/recordings/runs/${runId}/failed`, { error });
+//# sourceMappingURL=run-client.js.map

package/dist/run-client.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"run-client.js","sourceRoot":"","sources":["../src/run-client.ts"],"names":[],"mappings":"AAAA;;;;;GAKG;AACH,OAAO,EAAE,QAAQ,EAAE,MAAM,iBAAiB,CAAC;AAe3C,MAAM,WAAW,GAAG,CAAC,MAAc,EAA0B,EAAE,CAAC,CAAC;IAC/D,aAAa,EAAE,UAAU,MAAM,EAAE;CAClC,CAAC,CAAC;AAEH,KAAK,UAAU,WAAW,CAAC,QAAkB;IAC3C,IAAI,CAAC,QAAQ,CAAC,EAAE,EAAE,CAAC;QACjB,MAAM,IAAI,QAAQ,CAAC,QAAQ,CAAC,MAAM,EAAE,MAAM,QAAQ,CAAC,IAAI,EAAE,CAAC,KAAK,CAAC,GAAG,EAAE,CAAC,EAAE,CAAC,CAAC,CAAC;IAC7E,CAAC;IACD,OAAO,QAAQ,CAAC,IAAI,EAAE,CAAC;AACzB,CAAC;AAED,8CAA8C;AAC9C,MAAM,CAAC,MAAM,eAAe,GAAG,KAAK,EAAE,OAAe,EAAE,MAAc,EAAyB,EAAE;IAC9F,MAAM,GAAG,GAAG,IAAI,GAAG,CAAC,6BAA6B,EAAE,OAAO,CAAC,CAAC,QAAQ,EAAE,CAAC;IACvE,MAAM,QAAQ,GAAG,MAAM,KAAK,CAAC,GAAG,EAAE,EAAE,OAAO,EAAE,WAAW,CAAC,MAAM,CAAC,EAAE,CAAC,CAAC;IACpE,OAAO,CAAC,MAAM,WAAW,CAAC,QAAQ,CAAC,CAAiB,CAAC;AACvD,CAAC,CAAC;AAEF,wCAAwC;AACxC,MAAM,CAAC,MAAM,gBAAgB,GAAG,KAAK,EAAE,OAAe,EAAE,MAAc,EAAmB,EAAE;IACzF,MAAM,GAAG,GAAG,IAAI,GAAG,CAAC,gCAAgC,EAAE,OAAO,CAAC,CAAC,QAAQ,EAAE,CAAC;IAC1E,MAAM,QAAQ,GAAG,MAAM,KAAK,CAAC,GAAG,EAAE,EAAE,OAAO,EAAE,WAAW,CAAC,MAAM,CAAC,EAAE,CAAC,CAAC;IACpE,MAAM,IAAI,GAAG,CAAC,MAAM,WAAW,CAAC,QAAQ,CAAC,CAAwB,CAAC;IAClE,OAAO,IAAI,CAAC,OAAO,CAAC;AACtB,CAAC,CAAC;AAEF,MAAM,OAAO,GAAG,KAAK,EACnB,OAAe,EACf,MAAc,EACd,IAAY,EACZ,IAA6B,EACd,EAAE;IACjB,MAAM,GAAG,GAAG,IAAI,GAAG,CAAC,IAAI,EAAE,OAAO,CAAC,CAAC,QAAQ,EAAE,CAAC;IAC9C,MAAM,QAAQ,GAAG,MAAM,KAAK,CAAC,GAAG,EAAE;QAChC,MAAM,EAAE,MAAM;QACd,OAAO,EAAE,EAAE,GAAG,WAAW,CAAC,MAAM,CAAC,EAAE,cAAc,EAAE,kBAAkB,EAAE;QACvE,IAAI,EAAE,IAAI,CAAC,SAAS,CAAC,IAAI,CAAC;KAC3B,CAAC,CAAC;IACH,MAAM,WAAW,CAAC,QAAQ,CAAC,CAAC;AAC9B,CAAC,CAAC;AAEF,MAAM,CAAC,MAAM,QAAQ,GAAG,CACtB,OAAe,EACf,MAAc,EACd,KAAa,EACb,QAAgB,EACD,EAAE,CAAC,OAAO,CAAC,OAAO,EAAE,MAAM,EAAE,uBAAuB,KAAK,QAAQ,EAAE,EAAE,QAAQ,EAAE,CAAC,CAAC;AAEjG,MAAM,CAAC,MAAM,eAAe,GAAG,CAC7B,OAAe,EACf,MAAc,EACd,KAAa,EACb,UAAkB,EACH,EAAE,CACjB,OAAO,CAAC,OAAO,EAAE,MAAM,EAAE,uBAAuB,KAAK,SAAS,EAAE;IAC9D,WAAW,EAAE,UAAU;CACxB,CAAC,CAAC;AAEL,MAAM,CAAC,MAAM,eAAe,GAAG,CAC7B,OAAe,EACf,MAAc,EACd,KAAa,EACb,KAAa,EACE,EAAE,CAAC,OAAO,CAAC,OAAO,EAAE,MAAM,EAAE,uBAAuB,KAAK,SAAS,EAAE,EAAE,KAAK,EAAE,CAAC,CAAC"}

package/dist/run-worker.d.ts

@@ -0,0 +1,25 @@
+/**
+ * 録画 run-job のローカル実行ワーカー (Demo-to-MCP / ハイブリッド R2)。
+ *
+ * daemon から呼ばれ、自分宛の pending run を順に
+ *   claim → 鍵取得(K1) → playbook をローカルブラウザ実行 → 結果/失敗を報告
+ * する。computer use の Gemini 呼び出しはローカルから直接行われ、スクショは
+ * Lnar を経由しない。
+ *
+ * 依存 (API クライアント / 実行器) は注入可能にしてテストしやすくしている。
+ */
+import { claimRun, getRunCredential, listPendingRuns, type PendingRun, reportRunFailed, reportRunResult } from './run-client.js';
+import { runPlaybook } from './runtime/runner.js';
+export interface RunWorkerDeps {
+    listPendingRuns: typeof listPendingRuns;
+    claimRun: typeof claimRun;
+    getRunCredential: typeof getRunCredential;
+    reportRunResult: typeof reportRunResult;
+    reportRunFailed: typeof reportRunFailed;
+    runPlaybook: typeof runPlaybook;
+    log?: (message: string) => void;
+}
+/** pending run を 1 件実行して結果を報告する。 */
+export declare function executeRun(baseUrl: string, token: string, hostname: string, run: PendingRun, deps: RunWorkerDeps): Promise<void>;
+/** 自分宛の pending run をすべて実行する。実行件数を返す。 */
+export declare function executePendingRuns(baseUrl: string, token: string, hostname: string, deps?: RunWorkerDeps): Promise<number>;

package/dist/run-worker.js

@@ -0,0 +1,85 @@
+/**
+ * 録画 run-job のローカル実行ワーカー (Demo-to-MCP / ハイブリッド R2)。
+ *
+ * daemon から呼ばれ、自分宛の pending run を順に
+ *   claim → 鍵取得(K1) → playbook をローカルブラウザ実行 → 結果/失敗を報告
+ * する。computer use の Gemini 呼び出しはローカルから直接行われ、スクショは
+ * Lnar を経由しない。
+ *
+ * 依存 (API クライアント / 実行器) は注入可能にしてテストしやすくしている。
+ */
+import { ApiError } from './api-client.js';
+import { claimRun, getRunCredential, listPendingRuns, reportRunFailed, reportRunResult, } from './run-client.js';
+import { parsePlaybook } from './runtime/playbook.js';
+import { runPlaybook } from './runtime/runner.js';
+const defaultDeps = () => ({
+    listPendingRuns,
+    claimRun,
+    getRunCredential,
+    reportRunResult,
+    reportRunFailed,
+    runPlaybook,
+});
+/** run.params (任意値) を文字列パラメータに正規化する。 */
+function toStringParams(params) {
+    const out = {};
+    for (const [k, v] of Object.entries(params ?? {}))
+        out[k] = String(v);
+    return out;
+}
+function outcomeMessage(outcome) {
+    if (outcome.completed)
+        return outcome.finalText ?? 'タスクを完了しました。';
+    if (outcome.aborted)
+        return 'タスクは安全確認の拒否により中断されました。';
+    return `タスクは上限ターン数に達しました (${outcome.turns} turns)。`;
+}
+/** pending run を 1 件実行して結果を報告する。 */
+export async function executeRun(baseUrl, token, hostname, run, deps) {
+    const log = deps.log ?? (() => { });
+    // claim は排他取得。競合 (409 = 別 daemon が先に取得) のときだけスキップする
+    // (走っている run を上書きしないため、failed 報告もしない)。それ以外 (認証切れ/
+    // ネットワーク/5xx 等) は握りつぶさず上位へ伝播し、daemon 側の try/catch で
+    // 可視化する (黙ってスキップすると run が pending のまま詰まり障害検知が遅れる)。
+    try {
+        await deps.claimRun(baseUrl, token, run.id, hostname);
+    }
+    catch (err) {
+        if (err instanceof ApiError && err.status === 409) {
+            log(`run ${run.id} claim skipped (409 conflict)`);
+            return;
+        }
+        throw err;
+    }
+    // claim 後の実行・報告。ここでの失敗は run を failed として報告する。
+    try {
+        const apiKey = await deps.getRunCredential(baseUrl, token);
+        const playbook = parsePlaybook(run.playbook);
+        const outcome = await deps.runPlaybook(playbook, toStringParams(run.params), {
+            apiKey,
+            logger: log,
+            startUrl: run.start_url ?? null,
+            purpose: run.purpose ?? null,
+        });
+        if (outcome.completed) {
+            await deps.reportRunResult(baseUrl, token, run.id, outcomeMessage(outcome));
+        }
+        else {
+            await deps.reportRunFailed(baseUrl, token, run.id, outcomeMessage(outcome));
+        }
+    }
+    catch (err) {
+        const message = err instanceof Error ? err.message : String(err);
+        log(`run ${run.id} failed: ${message}`);
+        await deps.reportRunFailed(baseUrl, token, run.id, message).catch(() => { });
+    }
+}
+/** 自分宛の pending run をすべて実行する。実行件数を返す。 */
+export async function executePendingRuns(baseUrl, token, hostname, deps = defaultDeps()) {
+    const runs = await deps.listPendingRuns(baseUrl, token);
+    for (const run of runs) {
+        await executeRun(baseUrl, token, hostname, run, deps);
+    }
+    return runs.length;
+}
+//# sourceMappingURL=run-worker.js.map

package/dist/run-worker.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"run-worker.js","sourceRoot":"","sources":["../src/run-worker.ts"],"names":[],"mappings":"AAAA;;;;;;;;;GASG;AAEH,OAAO,EAAE,QAAQ,EAAE,MAAM,iBAAiB,CAAC;AAC3C,OAAO,EACL,QAAQ,EACR,gBAAgB,EAChB,eAAe,EAEf,eAAe,EACf,eAAe,GAChB,MAAM,iBAAiB,CAAC;AACzB,OAAO,EAAE,aAAa,EAAE,MAAM,uBAAuB,CAAC;AACtD,OAAO,EAAmB,WAAW,EAAE,MAAM,qBAAqB,CAAC;AAYnE,MAAM,WAAW,GAAG,GAAkB,EAAE,CAAC,CAAC;IACxC,eAAe;IACf,QAAQ;IACR,gBAAgB;IAChB,eAAe;IACf,eAAe;IACf,WAAW;CACZ,CAAC,CAAC;AAEH,wCAAwC;AACxC,SAAS,cAAc,CAAC,MAAsC;IAC5D,MAAM,GAAG,GAA2B,EAAE,CAAC;IACvC,KAAK,MAAM,CAAC,CAAC,EAAE,CAAC,CAAC,IAAI,MAAM,CAAC,OAAO,CAAC,MAAM,IAAI,EAAE,CAAC;QAAE,GAAG,CAAC,CAAC,CAAC,GAAG,MAAM,CAAC,CAAC,CAAC,CAAC;IACtE,OAAO,GAAG,CAAC;AACb,CAAC;AAED,SAAS,cAAc,CAAC,OAAmB;IACzC,IAAI,OAAO,CAAC,SAAS;QAAE,OAAO,OAAO,CAAC,SAAS,IAAI,aAAa,CAAC;IACjE,IAAI,OAAO,CAAC,OAAO;QAAE,OAAO,wBAAwB,CAAC;IACrD,OAAO,qBAAqB,OAAO,CAAC,KAAK,UAAU,CAAC;AACtD,CAAC;AAED,oCAAoC;AACpC,MAAM,CAAC,KAAK,UAAU,UAAU,CAC9B,OAAe,EACf,KAAa,EACb,QAAgB,EAChB,GAAe,EACf,IAAmB;IAEnB,MAAM,GAAG,GAAG,IAAI,CAAC,GAAG,IAAI,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;IAEnC,oDAAoD;IACpD,kDAAkD;IAClD,oDAAoD;IACpD,mDAAmD;IACnD,IAAI,CAAC;QACH,MAAM,IAAI,CAAC,QAAQ,CAAC,OAAO,EAAE,KAAK,EAAE,GAAG,CAAC,EAAE,EAAE,QAAQ,CAAC,CAAC;IACxD,CAAC;IAAC,OAAO,GAAG,EAAE,CAAC;QACb,IAAI,GAAG,YAAY,QAAQ,IAAI,GAAG,CAAC,MAAM,KAAK,GAAG,EAAE,CAAC;YAClD,GAAG,CAAC,OAAO,GAAG,CAAC,EAAE,+BAA+B,CAAC,CAAC;YAClD,OAAO;QACT,CAAC;QACD,MAAM,GAAG,CAAC;IACZ,CAAC;IAED,8CAA8C;IAC9C,IAAI,CAAC;QACH,MAAM,MAAM,GAAG,MAAM,IAAI,CAAC,gBAAgB,CAAC,OAAO,EAAE,KAAK,CAAC,CAAC;QAC3D,MAAM,QAAQ,GAAG,aAAa,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAC;QAC7C,MAAM,OAAO,GAAG,MAAM,IAAI,CAAC,WAAW,CAAC,QAAQ,EAAE,cAAc,CAAC,GAAG,CAAC,MAAM,CAAC,EAAE;YAC3E,MAAM;YACN,MAAM,EAAE,GAAG;YACX,QAAQ,EAAE,GAAG,CAAC,SAAS,IAAI,IAAI;YAC/B,OAAO,EAAE,GAAG,CAAC,OAAO,IAAI,IAAI;SAC7B,CAAC,CAAC;QACH,IAAI,OAAO,CAAC,SAAS,EAAE,CAAC;YACtB,MAAM,IAAI,CAAC,eAAe,CAAC,OAAO,EAAE,KAAK,EAAE,GAAG,CAAC,EAAE,EAAE,cAAc,CAAC,OAAO,CAAC,CAAC,CAAC;QAC9E,CAAC;aAAM,CAAC;YACN,MAAM,IAAI,CAAC,eAAe,CAAC,OAAO,EAAE,KAAK,EAAE,GAAG,CAAC,EAAE,EAAE,cAAc,CAAC,OAAO,CAAC,CAAC,CAAC;QAC9E,CAAC;IACH,CAAC;IAAC,OAAO,GAAG,EAAE,CAAC;QACb,MAAM,OAAO,GAAG,GAAG,YAAY,KAAK,CAAC,CAAC,CAAC,GAAG,CAAC,OAAO,CAAC,CAAC,CAAC,MAAM,CAAC,GAAG,CAAC,CAAC;QACjE,GAAG,CAAC,OAAO,GAAG,CAAC,EAAE,YAAY,OAAO,EAAE,CAAC,CAAC;QACxC,MAAM,IAAI,CAAC,eAAe,CAAC,OAAO,EAAE,KAAK,EAAE,GAAG,CAAC,EAAE,EAAE,OAAO,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;IAC9E,CAAC;AACH,CAAC;AAED,yCAAyC;AACzC,MAAM,CAAC,KAAK,UAAU,kBAAkB,CACtC,OAAe,EACf,KAAa,EACb,QAAgB,EAChB,OAAsB,WAAW,EAAE;IAEnC,MAAM,IAAI,GAAG,MAAM,IAAI,CAAC,eAAe,CAAC,OAAO,EAAE,KAAK,CAAC,CAAC;IACxD,KAAK,MAAM,GAAG,IAAI,IAAI,EAAE,CAAC;QACvB,MAAM,UAAU,CAAC,OAAO,EAAE,KAAK,EAAE,QAAQ,EAAE,GAAG,EAAE,IAAI,CAAC,CAAC;IACxD,CAAC;IACD,OAAO,IAAI,CAAC,MAAM,CAAC;AACrB,CAAC"}

package/dist/runtime/actions.d.ts

@@ -0,0 +1,13 @@
+/**
+ * Gemini の function_call を Playwright 操作へ変換して実行する。
+ * 座標は正規化 (0-999) で来るため実ビューポートへスケールする。
+ */
+import type { Page } from 'playwright';
+import type { FunctionCallStep } from './types.js';
+export interface ActionResult {
+    readonly name: string;
+    readonly callId: string;
+    readonly detail: Record<string, unknown>;
+}
+/** 1 つの function_call を実行する。未知のアクションは警告にとどめループを止めない。 */
+export declare function executeAction(page: Page, step: FunctionCallStep): Promise<ActionResult>;

package/dist/runtime/actions.js

@@ -0,0 +1,107 @@
+const NORM = 1000;
+function toPixel(value, size) {
+    return Math.round(((value ?? 0) / NORM) * size);
+}
+function scaleScroll(magnitude, size) {
+    return magnitude ?? Math.round(size / 3);
+}
+async function applyScroll(page, args, vp) {
+    // スクロール原点が未指定なら (0,0) ではなくビューポート中央を使う。
+    const x = args.x === undefined ? Math.round(vp.width / 2) : toPixel(args.x, vp.width);
+    const y = args.y === undefined ? Math.round(vp.height / 2) : toPixel(args.y, vp.height);
+    const dir = args.direction ?? 'down';
+    const dx = dir === 'right'
+        ? scaleScroll(args.magnitude_in_pixels, vp.width)
+        : dir === 'left'
+            ? -scaleScroll(args.magnitude_in_pixels, vp.width)
+            : 0;
+    const dy = dir === 'down'
+        ? scaleScroll(args.magnitude_in_pixels, vp.height)
+        : dir === 'up'
+            ? -scaleScroll(args.magnitude_in_pixels, vp.height)
+            : 0;
+    await page.mouse.move(x, y);
+    await page.mouse.wheel(dx, dy);
+}
+/** 1 つの function_call を実行する。未知のアクションは警告にとどめループを止めない。 */
+export async function executeAction(page, step) {
+    const args = step.arguments;
+    const vp = page.viewportSize() ?? { width: 1280, height: 800 };
+    const x = toPixel(args.x, vp.width);
+    const y = toPixel(args.y, vp.height);
+    // クリック系は座標必須。未指定で (0,0) を誤クリックしないよう no-op で返す。
+    const needsXY = step.name === 'click' || step.name === 'double_click' || step.name === 'right_click';
+    if (needsXY && (args.x === undefined || args.y === undefined)) {
+        console.error(`[actions] ${step.name}: 座標未指定のためスキップ`);
+        return {
+            name: step.name,
+            callId: step.id,
+            detail: { url: page.url(), skipped: 'missing coordinates' },
+        };
+    }
+    switch (step.name) {
+        case 'click':
+            await page.mouse.click(x, y);
+            break;
+        case 'double_click':
+            await page.mouse.dblclick(x, y);
+            break;
+        case 'right_click':
+            await page.mouse.click(x, y, { button: 'right' });
+            break;
+        case 'type':
+            if (args.text)
+                await page.keyboard.type(args.text);
+            if (args.press_enter)
+                await page.keyboard.press('Enter');
+            break;
+        case 'navigate':
+            if (args.url)
+                await page.goto(args.url, { waitUntil: 'domcontentloaded' });
+            break;
+        case 'scroll':
+            await applyScroll(page, args, vp);
+            break;
+        case 'press_key':
+            if (args.key)
+                await page.keyboard.press(args.key);
+            break;
+        case 'hotkey':
+            if (args.keys && args.keys.length > 0)
+                await page.keyboard.press(args.keys.join('+'));
+            break;
+        case 'drag_and_drop': {
+            if (args.start_x === undefined ||
+                args.start_y === undefined ||
+                args.end_x === undefined ||
+                args.end_y === undefined) {
+                console.error('[actions] drag_and_drop: 座標未指定のためスキップ');
+                return {
+                    name: step.name,
+                    callId: step.id,
+                    detail: { url: page.url(), skipped: 'missing coordinates' },
+                };
+            }
+            await page.mouse.move(toPixel(args.start_x, vp.width), toPixel(args.start_y, vp.height));
+            await page.mouse.down();
+            await page.mouse.move(toPixel(args.end_x, vp.width), toPixel(args.end_y, vp.height));
+            await page.mouse.up();
+            break;
+        }
+        case 'go_back':
+            await page.goBack({ waitUntil: 'domcontentloaded' }).catch(() => { });
+            break;
+        case 'go_forward':
+            await page.goForward({ waitUntil: 'domcontentloaded' }).catch(() => { });
+            break;
+        case 'wait':
+            await page.waitForTimeout((args.seconds ?? 1) * 1000);
+            break;
+        case 'take_screenshot':
+            break; // 毎ターン loop が取得するため追加操作なし
+        default:
+            console.error(`[actions] 未対応のアクション: ${String(step.name)}`);
+    }
+    return { name: step.name, callId: step.id, detail: { url: page.url() } };
+}
+//# sourceMappingURL=actions.js.map

package/dist/runtime/actions.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"actions.js","sourceRoot":"","sources":["../../src/runtime/actions.ts"],"names":[],"mappings":"AAkBA,MAAM,IAAI,GAAG,IAAI,CAAC;AAElB,SAAS,OAAO,CAAC,KAAyB,EAAE,IAAY;IACtD,OAAO,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,KAAK,IAAI,CAAC,CAAC,GAAG,IAAI,CAAC,GAAG,IAAI,CAAC,CAAC;AAClD,CAAC;AAED,SAAS,WAAW,CAAC,SAA6B,EAAE,IAAY;IAC9D,OAAO,SAAS,IAAI,IAAI,CAAC,KAAK,CAAC,IAAI,GAAG,CAAC,CAAC,CAAC;AAC3C,CAAC;AAED,KAAK,UAAU,WAAW,CAAC,IAAU,EAAE,IAAqB,EAAE,EAAY;IACxE,uCAAuC;IACvC,MAAM,CAAC,GAAG,IAAI,CAAC,CAAC,KAAK,SAAS,CAAC,CAAC,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,KAAK,GAAG,CAAC,CAAC,CAAC,CAAC,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC,EAAE,EAAE,CAAC,KAAK,CAAC,CAAC;IACtF,MAAM,CAAC,GAAG,IAAI,CAAC,CAAC,KAAK,SAAS,CAAC,CAAC,CAAC,IAAI,CAAC,KAAK,CAAC,EAAE,CAAC,MAAM,GAAG,CAAC,CAAC,CAAC,CAAC,CAAC,OAAO,CAAC,IAAI,CAAC,CAAC,EAAE,EAAE,CAAC,MAAM,CAAC,CAAC;IACxF,MAAM,GAAG,GAAG,IAAI,CAAC,SAAS,IAAI,MAAM,CAAC;IACrC,MAAM,EAAE,GACN,GAAG,KAAK,OAAO;QACb,CAAC,CAAC,WAAW,CAAC,IAAI,CAAC,mBAAmB,EAAE,EAAE,CAAC,KAAK,CAAC;QACjD,CAAC,CAAC,GAAG,KAAK,MAAM;YACd,CAAC,CAAC,CAAC,WAAW,CAAC,IAAI,CAAC,mBAAmB,EAAE,EAAE,CAAC,KAAK,CAAC;YAClD,CAAC,CAAC,CAAC,CAAC;IACV,MAAM,EAAE,GACN,GAAG,KAAK,MAAM;QACZ,CAAC,CAAC,WAAW,CAAC,IAAI,CAAC,mBAAmB,EAAE,EAAE,CAAC,MAAM,CAAC;QAClD,CAAC,CAAC,GAAG,KAAK,IAAI;YACZ,CAAC,CAAC,CAAC,WAAW,CAAC,IAAI,CAAC,mBAAmB,EAAE,EAAE,CAAC,MAAM,CAAC;YACnD,CAAC,CAAC,CAAC,CAAC;IACV,MAAM,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;IAC5B,MAAM,IAAI,CAAC,KAAK,CAAC,KAAK,CAAC,EAAE,EAAE,EAAE,CAAC,CAAC;AACjC,CAAC;AAED,wDAAwD;AACxD,MAAM,CAAC,KAAK,UAAU,aAAa,CAAC,IAAU,EAAE,IAAsB;IACpE,MAAM,IAAI,GAAG,IAAI,CAAC,SAAS,CAAC;IAC5B,MAAM,EAAE,GAAa,IAAI,CAAC,YAAY,EAAE,IAAI,EAAE,KAAK,EAAE,IAAI,EAAE,MAAM,EAAE,GAAG,EAAE,CAAC;IACzE,MAAM,CAAC,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC,EAAE,EAAE,CAAC,KAAK,CAAC,CAAC;IACpC,MAAM,CAAC,GAAG,OAAO,CAAC,IAAI,CAAC,CAAC,EAAE,EAAE,CAAC,MAAM,CAAC,CAAC;IAErC,+CAA+C;IAC/C,MAAM,OAAO,GACX,IAAI,CAAC,IAAI,KAAK,OAAO,IAAI,IAAI,CAAC,IAAI,KAAK,cAAc,IAAI,IAAI,CAAC,IAAI,KAAK,aAAa,CAAC;IACvF,IAAI,OAAO,IAAI,CAAC,IAAI,CAAC,CAAC,KAAK,SAAS,IAAI,IAAI,CAAC,CAAC,KAAK,SAAS,CAAC,EAAE,CAAC;QAC9D,OAAO,CAAC,KAAK,CAAC,aAAa,IAAI,CAAC,IAAI,gBAAgB,CAAC,CAAC;QACtD,OAAO;YACL,IAAI,EAAE,IAAI,CAAC,IAAI;YACf,MAAM,EAAE,IAAI,CAAC,EAAE;YACf,MAAM,EAAE,EAAE,GAAG,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,OAAO,EAAE,qBAAqB,EAAE;SAC5D,CAAC;IACJ,CAAC;IAED,QAAQ,IAAI,CAAC,IAAI,EAAE,CAAC;QAClB,KAAK,OAAO;YACV,MAAM,IAAI,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;YAC7B,MAAM;QACR,KAAK,cAAc;YACjB,MAAM,IAAI,CAAC,KAAK,CAAC,QAAQ,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;YAChC,MAAM;QACR,KAAK,aAAa;YAChB,MAAM,IAAI,CAAC,KAAK,CAAC,KAAK,CAAC,CAAC,EAAE,CAAC,EAAE,EAAE,MAAM,EAAE,OAAO,EAAE,CAAC,CAAC;YAClD,MAAM;QACR,KAAK,MAAM;YACT,IAAI,IAAI,CAAC,IAAI;gBAAE,MAAM,IAAI,CAAC,QAAQ,CAAC,IAAI,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;YACnD,IAAI,IAAI,CAAC,WAAW;gBAAE,MAAM,IAAI,CAAC,QAAQ,CAAC,KAAK,CAAC,OAAO,CAAC,CAAC;YACzD,MAAM;QACR,KAAK,UAAU;YACb,IAAI,IAAI,CAAC,GAAG;gBAAE,MAAM,IAAI,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,EAAE,EAAE,SAAS,EAAE,kBAAkB,EAAE,CAAC,CAAC;YAC3E,MAAM;QACR,KAAK,QAAQ;YACX,MAAM,WAAW,CAAC,IAAI,EAAE,IAAI,EAAE,EAAE,CAAC,CAAC;YAClC,MAAM;QACR,KAAK,WAAW;YACd,IAAI,IAAI,CAAC,GAAG;gBAAE,MAAM,IAAI,CAAC,QAAQ,CAAC,KAAK,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC;YAClD,MAAM;QACR,KAAK,QAAQ;YACX,IAAI,IAAI,CAAC,IAAI,IAAI,IAAI,CAAC,IAAI,CAAC,MAAM,GAAG,CAAC;gBAAE,MAAM,IAAI,CAAC,QAAQ,CAAC,KAAK,CAAC,IAAI,CAAC,IAAI,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC,CAAC;YACtF,MAAM;QACR,KAAK,eAAe,CAAC,CAAC,CAAC;YACrB,IACE,IAAI,CAAC,OAAO,KAAK,SAAS;gBAC1B,IAAI,CAAC,OAAO,KAAK,SAAS;gBAC1B,IAAI,CAAC,KAAK,KAAK,SAAS;gBACxB,IAAI,CAAC,KAAK,KAAK,SAAS,EACxB,CAAC;gBACD,OAAO,CAAC,KAAK,CAAC,uCAAuC,CAAC,CAAC;gBACvD,OAAO;oBACL,IAAI,EAAE,IAAI,CAAC,IAAI;oBACf,MAAM,EAAE,IAAI,CAAC,EAAE;oBACf,MAAM,EAAE,EAAE,GAAG,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,OAAO,EAAE,qBAAqB,EAAE;iBAC5D,CAAC;YACJ,CAAC;YACD,MAAM,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,OAAO,CAAC,IAAI,CAAC,OAAO,EAAE,EAAE,CAAC,KAAK,CAAC,EAAE,OAAO,CAAC,IAAI,CAAC,OAAO,EAAE,EAAE,CAAC,MAAM,CAAC,CAAC,CAAC;YACzF,MAAM,IAAI,CAAC,KAAK,CAAC,IAAI,EAAE,CAAC;YACxB,MAAM,IAAI,CAAC,KAAK,CAAC,IAAI,CAAC,OAAO,CAAC,IAAI,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,EAAE,OAAO,CAAC,IAAI,CAAC,KAAK,EAAE,EAAE,CAAC,MAAM,CAAC,CAAC,CAAC;YACrF,MAAM,IAAI,CAAC,KAAK,CAAC,EAAE,EAAE,CAAC;YACtB,MAAM;QACR,CAAC;QACD,KAAK,SAAS;YACZ,MAAM,IAAI,CAAC,MAAM,CAAC,EAAE,SAAS,EAAE,kBAAkB,EAAE,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;YACrE,MAAM;QACR,KAAK,YAAY;YACf,MAAM,IAAI,CAAC,SAAS,CAAC,EAAE,SAAS,EAAE,kBAAkB,EAAE,CAAC,CAAC,KAAK,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;YACxE,MAAM;QACR,KAAK,MAAM;YACT,MAAM,IAAI,CAAC,cAAc,CAAC,CAAC,IAAI,CAAC,OAAO,IAAI,CAAC,CAAC,GAAG,IAAI,CAAC,CAAC;YACtD,MAAM;QACR,KAAK,iBAAiB;YACpB,MAAM,CAAC,0BAA0B;QACnC;YACE,OAAO,CAAC,KAAK,CAAC,wBAAwB,MAAM,CAAC,IAAI,CAAC,IAAI,CAAC,EAAE,CAAC,CAAC;IAC/D,CAAC;IAED,OAAO,EAAE,IAAI,EAAE,IAAI,CAAC,IAAI,EAAE,MAAM,EAAE,IAAI,CAAC,EAAE,EAAE,MAAM,EAAE,EAAE,GAAG,EAAE,IAAI,CAAC,GAAG,EAAE,EAAE,EAAE,CAAC;AAC3E,CAAC"}

package/dist/runtime/client.d.ts

@@ -0,0 +1,3 @@
+import type { ComputerUseClient } from './types.js';
+/** GEMINI_API_KEY / GOOGLE_API_KEY から認証する computer use クライアントを生成する。 */
+export declare function createGeminiClient(apiKey?: string): ComputerUseClient;

package/dist/runtime/client.js

@@ -0,0 +1,85 @@
+/**
+ * `@google/genai` (>= 2.0.0) の computer use interactions を ComputerUseClient に適合させる。
+ *
+ * 2.x は新 `steps` スキーマ。レスポンス:
+ *   - function_call: { type:'function_call', id, name, arguments }
+ *   - 最終テキスト : { type:'model_output', content:[{type:'text', text}] } (+ output_text)
+ *   - thought ステップも混在 (無視)。完了は status==='completed'。
+ */
+import { GoogleGenAI } from '@google/genai';
+const MODEL = process.env.LNAR_COMPUTER_USE_MODEL ?? 'gemini-3.5-flash';
+const TOOLS = [{ type: 'computer_use', environment: 'browser' }];
+/** model_output / text ステップからテキストを取り出す。 */
+function extractStepText(step) {
+    if (typeof step.text === 'string')
+        return step.text;
+    if (Array.isArray(step.content)) {
+        return step.content
+            .map((c) => {
+            const part = (c ?? {});
+            return typeof part.text === 'string' ? part.text : '';
+        })
+            .filter(Boolean)
+            .join('');
+    }
+    return '';
+}
+function normalize(raw) {
+    const obj = (raw ?? {});
+    const id = typeof obj.id === 'string' ? obj.id : '';
+    const rawSteps = Array.isArray(obj.steps)
+        ? obj.steps
+        : Array.isArray(obj.outputs)
+            ? obj.outputs
+            : [];
+    const steps = [];
+    for (const s of rawSteps) {
+        const step = (s ?? {});
+        if (step.type === 'function_call' && typeof step.name === 'string') {
+            steps.push({
+                type: 'function_call',
+                id: typeof step.id === 'string' ? step.id : '',
+                name: step.name,
+                arguments: (step.arguments ?? {}),
+                safety_decision: step.safety_decision,
+            });
+        }
+        else if (step.type === 'model_output' || step.type === 'text') {
+            const text = extractStepText(step);
+            if (text)
+                steps.push({ type: 'text', text });
+        }
+    }
+    if (!steps.some((s) => s.type === 'text') &&
+        typeof obj.output_text === 'string' &&
+        obj.output_text) {
+        steps.push({ type: 'text', text: obj.output_text });
+    }
+    if (!id) {
+        throw new Error('Gemini interactions API のレスポンスに id がありません。SDK バージョン/権限を確認してください。');
+    }
+    return { id, steps };
+}
+/** GEMINI_API_KEY / GOOGLE_API_KEY から認証する computer use クライアントを生成する。 */
+export function createGeminiClient(apiKey) {
+    const key = apiKey ?? process.env.GEMINI_API_KEY ?? process.env.GOOGLE_API_KEY;
+    if (!key) {
+        throw new Error('GEMINI_API_KEY (または GOOGLE_API_KEY) が未設定です。');
+    }
+    const ai = new GoogleGenAI({ apiKey: key });
+    const interactions = ai.interactions;
+    return {
+        async createInitial(input) {
+            return normalize(await interactions.create({ model: MODEL, input, tools: TOOLS }));
+        },
+        async continueFrom(previousInteractionId, input) {
+            return normalize(await interactions.create({
+                model: MODEL,
+                previous_interaction_id: previousInteractionId,
+                input,
+                tools: TOOLS,
+            }));
+        },
+    };
+}
+//# sourceMappingURL=client.js.map

package/dist/runtime/client.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"client.js","sourceRoot":"","sources":["../../src/runtime/client.ts"],"names":[],"mappings":"AAAA;;;;;;;GAOG;AACH,OAAO,EAAE,WAAW,EAAE,MAAM,eAAe,CAAC;AAU5C,MAAM,KAAK,GAAG,OAAO,CAAC,GAAG,CAAC,uBAAuB,IAAI,kBAAkB,CAAC;AACxE,MAAM,KAAK,GAAG,CAAC,EAAE,IAAI,EAAE,cAAc,EAAE,WAAW,EAAE,SAAS,EAAE,CAAU,CAAC;AAE1E,2CAA2C;AAC3C,SAAS,eAAe,CAAC,IAA6B;IACpD,IAAI,OAAO,IAAI,CAAC,IAAI,KAAK,QAAQ;QAAE,OAAO,IAAI,CAAC,IAAI,CAAC;IACpD,IAAI,KAAK,CAAC,OAAO,CAAC,IAAI,CAAC,OAAO,CAAC,EAAE,CAAC;QAChC,OAAO,IAAI,CAAC,OAAO;aAChB,GAAG,CAAC,CAAC,CAAC,EAAE,EAAE;YACT,MAAM,IAAI,GAAG,CAAC,CAAC,IAAI,EAAE,CAA4B,CAAC;YAClD,OAAO,OAAO,IAAI,CAAC,IAAI,KAAK,QAAQ,CAAC,CAAC,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,CAAC;QACxD,CAAC,CAAC;aACD,MAAM,CAAC,OAAO,CAAC;aACf,IAAI,CAAC,EAAE,CAAC,CAAC;IACd,CAAC;IACD,OAAO,EAAE,CAAC;AACZ,CAAC;AAED,SAAS,SAAS,CAAC,GAAY;IAC7B,MAAM,GAAG,GAAG,CAAC,GAAG,IAAI,EAAE,CAA4B,CAAC;IACnD,MAAM,EAAE,GAAG,OAAO,GAAG,CAAC,EAAE,KAAK,QAAQ,CAAC,CAAC,CAAC,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE,CAAC;IACpD,MAAM,QAAQ,GAAG,KAAK,CAAC,OAAO,CAAC,GAAG,CAAC,KAAK,CAAC;QACvC,CAAC,CAAC,GAAG,CAAC,KAAK;QACX,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,GAAG,CAAC,OAAO,CAAC;YAC1B,CAAC,CAAC,GAAG,CAAC,OAAO;YACb,CAAC,CAAC,EAAE,CAAC;IAET,MAAM,KAAK,GAAsB,EAAE,CAAC;IACpC,KAAK,MAAM,CAAC,IAAI,QAAQ,EAAE,CAAC;QACzB,MAAM,IAAI,GAAG,CAAC,CAAC,IAAI,EAAE,CAA4B,CAAC;QAClD,IAAI,IAAI,CAAC,IAAI,KAAK,eAAe,IAAI,OAAO,IAAI,CAAC,IAAI,KAAK,QAAQ,EAAE,CAAC;YACnE,KAAK,CAAC,IAAI,CAAC;gBACT,IAAI,EAAE,eAAe;gBACrB,EAAE,EAAE,OAAO,IAAI,CAAC,EAAE,KAAK,QAAQ,CAAC,CAAC,CAAC,IAAI,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE;gBAC9C,IAAI,EAAE,IAAI,CAAC,IAAkB;gBAC7B,SAAS,EAAE,CAAC,IAAI,CAAC,SAAS,IAAI,EAAE,CAAoB;gBACpD,eAAe,EAAE,IAAI,CAAC,eAA6C;aACpE,CAAC,CAAC;QACL,CAAC;aAAM,IAAI,IAAI,CAAC,IAAI,KAAK,cAAc,IAAI,IAAI,CAAC,IAAI,KAAK,MAAM,EAAE,CAAC;YAChE,MAAM,IAAI,GAAG,eAAe,CAAC,IAAI,CAAC,CAAC;YACnC,IAAI,IAAI;gBAAE,KAAK,CAAC,IAAI,CAAC,EAAE,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE,CAAC,CAAC;QAC/C,CAAC;IACH,CAAC;IAED,IACE,CAAC,KAAK,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,CAAC,CAAC,IAAI,KAAK,MAAM,CAAC;QACrC,OAAO,GAAG,CAAC,WAAW,KAAK,QAAQ;QACnC,GAAG,CAAC,WAAW,EACf,CAAC;QACD,KAAK,CAAC,IAAI,CAAC,EAAE,IAAI,EAAE,MAAM,EAAE,IAAI,EAAE,GAAG,CAAC,WAAW,EAAE,CAAC,CAAC;IACtD,CAAC;IAED,IAAI,CAAC,EAAE,EAAE,CAAC;QACR,MAAM,IAAI,KAAK,CACb,kEAAkE,CACnE,CAAC;IACJ,CAAC;IACD,OAAO,EAAE,EAAE,EAAE,KAAK,EAAE,CAAC;AACvB,CAAC;AAED,uEAAuE;AACvE,MAAM,UAAU,kBAAkB,CAAC,MAAe;IAChD,MAAM,GAAG,GAAG,MAAM,IAAI,OAAO,CAAC,GAAG,CAAC,cAAc,IAAI,OAAO,CAAC,GAAG,CAAC,cAAc,CAAC;IAC/E,IAAI,CAAC,GAAG,EAAE,CAAC;QACT,MAAM,IAAI,KAAK,CAAC,6CAA6C,CAAC,CAAC;IACjE,CAAC;IACD,MAAM,EAAE,GAAG,IAAI,WAAW,CAAC,EAAE,MAAM,EAAE,GAAG,EAAE,CAAC,CAAC;IAC5C,MAAM,YAAY,GAChB,EAGD,CAAC,YAAY,CAAC;IAEf,OAAO;QACL,KAAK,CAAC,aAAa,CAAC,KAAK;YACvB,OAAO,SAAS,CAAC,MAAM,YAAY,CAAC,MAAM,CAAC,EAAE,KAAK,EAAE,KAAK,EAAE,KAAK,EAAE,KAAK,EAAE,KAAK,EAAE,CAAC,CAAC,CAAC;QACrF,CAAC;QACD,KAAK,CAAC,YAAY,CAAC,qBAAqB,EAAE,KAAK;YAC7C,OAAO,SAAS,CACd,MAAM,YAAY,CAAC,MAAM,CAAC;gBACxB,KAAK,EAAE,KAAK;gBACZ,uBAAuB,EAAE,qBAAqB;gBAC9C,KAAK;gBACL,KAAK,EAAE,KAAK;aACb,CAAC,CACH,CAAC;QACJ,CAAC;KACF,CAAC;AACJ,CAAC"}

package/dist/runtime/login.d.ts

@@ -0,0 +1,20 @@
+/**
+ * オンデマンドのログイン受け渡し (Demo-to-MCP / Phase 4)。
+ *
+ * MCP サーバー文脈ではターミナル対話ができない (stdio は MCP プロトコル専有) ため、
+ * ローカルの可視ブラウザでユーザーがログインするのを **ポーリングで検知して自動再開**する。
+ * 認証情報はサーバー側に一切保存しない。
+ */
+import type { Page } from 'playwright';
+/** 現在ページがログイン待ちかを簡易判定する。 */
+export declare function detectLoginWall(page: Page): Promise<boolean>;
+export interface WaitForLoginOptions {
+    readonly timeoutMs?: number;
+    readonly pollMs?: number;
+    readonly log?: (message: string) => void;
+}
+/**
+ * ログイン壁が解消されるまで待つ。可視ブラウザでユーザーがログインを完了すると解消する。
+ * 解消したら true、タイムアウトしたら false。
+ */
+export declare function waitForLoginToClear(page: Page, options?: WaitForLoginOptions): Promise<boolean>;

package/dist/runtime/login.js

@@ -0,0 +1,34 @@
+const LOGIN_URL_HINTS = ['login', 'signin', 'sign-in', 'auth', 'sso', 'oauth'];
+/** 現在ページがログイン待ちかを簡易判定する。 */
+export async function detectLoginWall(page) {
+    const url = page.url().toLowerCase();
+    if (LOGIN_URL_HINTS.some((h) => url.includes(h)))
+        return true;
+    try {
+        return (await page.locator('input[type="password"]:visible').count()) > 0;
+    }
+    catch {
+        return false;
+    }
+}
+/**
+ * ログイン壁が解消されるまで待つ。可視ブラウザでユーザーがログインを完了すると解消する。
+ * 解消したら true、タイムアウトしたら false。
+ */
+export async function waitForLoginToClear(page, options = {}) {
+    const timeoutMs = options.timeoutMs ?? 5 * 60 * 1000;
+    const pollMs = options.pollMs ?? 1500;
+    const log = options.log ?? (() => { });
+    log(`🔐 ログインが必要です。ブラウザ画面でログインを完了してください: ${page.url()}`);
+    const start = Date.now();
+    while (Date.now() - start < timeoutMs) {
+        if (!(await detectLoginWall(page))) {
+            log('✅ ログインを検出しました。実行を再開します。');
+            return true;
+        }
+        await page.waitForTimeout(pollMs);
+    }
+    log('⏱️ ログイン待機がタイムアウトしました。');
+    return false;
+}
+//# sourceMappingURL=login.js.map

package/dist/runtime/login.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"login.js","sourceRoot":"","sources":["../../src/runtime/login.ts"],"names":[],"mappings":"AASA,MAAM,eAAe,GAAG,CAAC,OAAO,EAAE,QAAQ,EAAE,SAAS,EAAE,MAAM,EAAE,KAAK,EAAE,OAAO,CAAC,CAAC;AAE/E,4BAA4B;AAC5B,MAAM,CAAC,KAAK,UAAU,eAAe,CAAC,IAAU;IAC9C,MAAM,GAAG,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC,WAAW,EAAE,CAAC;IACrC,IAAI,eAAe,CAAC,IAAI,CAAC,CAAC,CAAC,EAAE,EAAE,CAAC,GAAG,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC;QAAE,OAAO,IAAI,CAAC;IAC9D,IAAI,CAAC;QACH,OAAO,CAAC,MAAM,IAAI,CAAC,OAAO,CAAC,gCAAgC,CAAC,CAAC,KAAK,EAAE,CAAC,GAAG,CAAC,CAAC;IAC5E,CAAC;IAAC,MAAM,CAAC;QACP,OAAO,KAAK,CAAC;IACf,CAAC;AACH,CAAC;AAQD;;;GAGG;AACH,MAAM,CAAC,KAAK,UAAU,mBAAmB,CACvC,IAAU,EACV,UAA+B,EAAE;IAEjC,MAAM,SAAS,GAAG,OAAO,CAAC,SAAS,IAAI,CAAC,GAAG,EAAE,GAAG,IAAI,CAAC;IACrD,MAAM,MAAM,GAAG,OAAO,CAAC,MAAM,IAAI,IAAI,CAAC;IACtC,MAAM,GAAG,GAAG,OAAO,CAAC,GAAG,IAAI,CAAC,GAAG,EAAE,GAAE,CAAC,CAAC,CAAC;IAEtC,GAAG,CAAC,sCAAsC,IAAI,CAAC,GAAG,EAAE,EAAE,CAAC,CAAC;IACxD,MAAM,KAAK,GAAG,IAAI,CAAC,GAAG,EAAE,CAAC;IACzB,OAAO,IAAI,CAAC,GAAG,EAAE,GAAG,KAAK,GAAG,SAAS,EAAE,CAAC;QACtC,IAAI,CAAC,CAAC,MAAM,eAAe,CAAC,IAAI,CAAC,CAAC,EAAE,CAAC;YACnC,GAAG,CAAC,yBAAyB,CAAC,CAAC;YAC/B,OAAO,IAAI,CAAC;QACd,CAAC;QACD,MAAM,IAAI,CAAC,cAAc,CAAC,MAAM,CAAC,CAAC;IACpC,CAAC;IACD,GAAG,CAAC,uBAAuB,CAAC,CAAC;IAC7B,OAAO,KAAK,CAAC;AACf,CAAC"}

package/dist/runtime/loop.d.ts

@@ -0,0 +1,28 @@
+/**
+ * Gemini computer use エージェントループ (Demo-to-MCP / Phase 4)。
+ *
+ * スクショ+指示 → function_call → Playwright 実行 → 新スクショ → 次ターン。
+ * ログイン要求 / 安全確認はフック (LoopHooks) 経由で外部に委ねる (MCP/CLI で差し替え)。
+ */
+import type { Page } from 'playwright';
+import { type ComputerUseClient } from './types.js';
+export interface LoopHooks {
+    /** 各ターンのアクション通知 (ログ用)。 */
+    onAction?(turn: number, name: string, intent: string | undefined): void;
+    /** ログイン壁検出時に呼ばれ、解消を待つ。resolve で続行。 */
+    onLoginRequired(page: Page): Promise<void>;
+    /** safety_decision の確認。true で承認 (safety_acknowledgement)、false で中断。 */
+    onSafetyDecision(explanation: string): Promise<boolean>;
+}
+export interface RunOptions {
+    readonly task: string;
+    readonly maxTurns: number;
+}
+export interface RunOutcome {
+    readonly completed: boolean;
+    readonly turns: number;
+    readonly finalText: string | null;
+    readonly aborted: boolean;
+}
+/** タスクを computer use ループで実行する。 */
+export declare function runTask(client: ComputerUseClient, page: Page, options: RunOptions, hooks: LoopHooks): Promise<RunOutcome>;