beplus-mcp 0.8.0 → 0.8.1

package/README.md

@@ -89,6 +89,13 @@ Reinicie o cliente. Rode a tool **`whoami`** para confirmar o vínculo.
 | `estimate_cost` | Custo em diamantes antes de gerar. |
 | `read_image_metadata` / `analyze_media` | Lê a proveniência embutida numa imagem / analisa mídia (imagem/vídeo/áudio/PDF) com prompt. |
 
+> **Referências de arquivo local (desde 0.8.1):** os campos de mídia — `reference_images`,
+> `first_frame_image`, `last_frame_image`, `reference_videos`, `reference_audios`, `motion_video`
+> (geração) e `media_urls` (`analyze_media`) — aceitam **URL pública OU caminho de arquivo local**
+> (`/caminho/foto.png`, `~/Desktop/ref.jpg`, `file://…`). Caminhos locais sobem automaticamente
+> pro R2 da BePlus e viram URL pública antes de chegar ao provider — não precisa mais hospedar a
+> imagem você mesmo.
+
 ### Calls (reuniões gravadas e transcritas)
 | Tool | O que faz |
 |------|-----------|

package/dist/index.js

@@ -245,6 +245,110 @@ async function pollUntilDone(client, generationId, budgetMs, jitterSeed = 0) {
   return { settled: last.status === "completed" || last.status === "failed", status: last };
 }
 
+// src/media.ts
+import { readFile } from "fs/promises";
+import { basename, extname, isAbsolute, resolve } from "path";
+import { homedir } from "os";
+import { fileURLToPath } from "url";
+var MIME_BY_EXT = {
+  ".png": "image/png",
+  ".jpg": "image/jpeg",
+  ".jpeg": "image/jpeg",
+  ".webp": "image/webp",
+  ".gif": "image/gif",
+  ".bmp": "image/bmp",
+  ".svg": "image/svg+xml",
+  ".mp4": "video/mp4",
+  ".mov": "video/quicktime",
+  ".webm": "video/webm",
+  ".m4v": "video/x-m4v",
+  ".mp3": "audio/mpeg",
+  ".wav": "audio/wav",
+  ".m4a": "audio/mp4",
+  ".aac": "audio/aac",
+  ".ogg": "audio/ogg",
+  ".flac": "audio/flac",
+  ".pdf": "application/pdf"
+};
+var MAX_UPLOAD_BYTES = 300 * 1024 * 1024;
+var UPLOAD_TIMEOUT_MS = 12e4;
+function isRemoteRef(ref) {
+  return /^https?:\/\//i.test(ref);
+}
+function toLocalPath(ref) {
+  if (ref.startsWith("file://")) return fileURLToPath(ref);
+  if (ref === "~") return homedir();
+  if (ref.startsWith("~/")) return resolve(homedir(), ref.slice(2));
+  return isAbsolute(ref) ? ref : resolve(process.cwd(), ref);
+}
+function mimeForPath(path) {
+  return MIME_BY_EXT[extname(path).toLowerCase()] ?? "application/octet-stream";
+}
+async function uploadFile(cfg, ref) {
+  const abs = toLocalPath(ref);
+  let buf;
+  try {
+    buf = await readFile(abs);
+  } catch {
+    throw new ApiError(
+      0,
+      `Arquivo local n\xE3o encontrado: "${ref}". Passe um caminho v\xE1lido ou uma URL p\xFAblica (http/https).`
+    );
+  }
+  const name = basename(abs);
+  if (buf.byteLength > MAX_UPLOAD_BYTES) {
+    throw new ApiError(
+      413,
+      `"${name}" tem ${(buf.byteLength / 1024 / 1024).toFixed(1)}MB \u2014 acima do limite de 300MB para upload.`
+    );
+  }
+  const form = new FormData();
+  form.append("file", new Blob([buf], { type: mimeForPath(abs) }), name);
+  const controller = new AbortController();
+  const timer = setTimeout(() => controller.abort(), UPLOAD_TIMEOUT_MS);
+  let res;
+  try {
+    res = await fetch(`${cfg.baseUrl}/api/v1/files/upload`, {
+      method: "POST",
+      headers: { Authorization: `Bearer ${cfg.token}` },
+      body: form,
+      signal: controller.signal
+    });
+  } catch (e) {
+    if (e?.name === "AbortError") {
+      throw new ApiError(408, `Tempo esgotado ao subir "${name}" para o R2.`);
+    }
+    throw new ApiError(0, `Falha de rede ao subir "${name}" para o R2. Confira BEPLUS_API_URL.`);
+  } finally {
+    clearTimeout(timer);
+  }
+  const text = await res.text();
+  let json;
+  if (text) {
+    try {
+      json = JSON.parse(text);
+    } catch {
+    }
+  }
+  if (!res.ok) {
+    const message = json?.message || res.statusText || `HTTP ${res.status}`;
+    throw new ApiError(res.status, `Upload de "${name}" falhou: ${message}`, json);
+  }
+  const fileUrl = json?.result?.file_url ?? json?.file_url;
+  if (!fileUrl) {
+    throw new ApiError(0, `O upload de "${name}" n\xE3o retornou uma URL p\xFAblica.`);
+  }
+  return fileUrl;
+}
+async function resolveRef(cfg, ref) {
+  if (!ref) return ref;
+  return isRemoteRef(ref) ? ref : uploadFile(cfg, ref);
+}
+async function resolveRefs(cfg, refs) {
+  if (!refs || refs.length === 0) return refs;
+  return Promise.all(refs.map((r) => isRemoteRef(r) ? Promise.resolve(r) : uploadFile(cfg, r)));
+}
+
 // src/log.ts
 function fmt(a) {
   return typeof a === "string" ? a : JSON.stringify(a);
@@ -396,13 +500,15 @@ function registerGenerationTools(server, client, cfg) {
     "generate_image",
     {
       title: "Gerar imagem",
-      description: "Gera uma imagem a partir de um prompt usando o IA Lab da BePlus. R\xE1pido (~10-30s). Consome diamantes da conta vinculada. Apenas `prompt` \xE9 obrigat\xF3rio; passe `reference_images` (URLs p\xFAblicas) para image-to-image. Veja custos com estimate_cost / list_models." + TEAM_GATING_NOTE,
+      description: "Gera uma imagem a partir de um prompt usando o IA Lab da BePlus. R\xE1pido (~10-30s). Consome diamantes da conta vinculada. Apenas `prompt` \xE9 obrigat\xF3rio; passe `reference_images` (URLs p\xFAblicas OU caminhos de arquivo local \u2014 o MCP sobe pro R2 automaticamente) para image-to-image. Veja custos com estimate_cost / list_models." + TEAM_GATING_NOTE,
       inputSchema: {
         prompt: z.string().min(1).max(4e3).describe("Descri\xE7\xE3o da imagem desejada."),
         model: z.enum(IMAGE_MODELS).default(DEFAULTS.imageModel).describe("nano-banana-2 = barato/r\xE1pido; nano-banana-pro = melhor qualidade; gpt-image-2 = OpenAI."),
         aspect_ratio: z.enum(ASPECT_RATIOS).optional().describe("Propor\xE7\xE3o (nano-banana). Padr\xE3o 1:1."),
         resolution: z.enum(IMAGE_RESOLUTIONS).optional().describe("Resolu\xE7\xE3o (nano-banana): 1K/2K/4K. Padr\xE3o 1K."),
-        reference_images: z.array(z.string().url()).max(16).optional().describe("URLs p\xFAblicas de imagens de refer\xEAncia (image-to-image). At\xE9 14 (nano-banana) / 16 (gpt-image-2)."),
+        reference_images: z.array(z.string().min(1)).max(16).optional().describe(
+          "Imagens de refer\xEAncia (image-to-image): URL p\xFAblica OU caminho de arquivo local (o MCP faz upload pro R2 automaticamente). At\xE9 14 (nano-banana) / 16 (gpt-image-2)."
+        ),
         google_search: z.boolean().optional().describe("nano-banana-2: aterra a imagem em busca web do Google (fatos atuais). Padr\xE3o false."),
         image_search: z.boolean().optional().describe("nano-banana-2: usa busca de imagens do Google como refer\xEAncia visual. Padr\xE3o false."),
         size: z.enum(["1024x1024", "1536x1024", "1024x1536", "auto"]).optional().describe("Tamanho (gpt-image-2)."),
@@ -418,11 +524,12 @@ function registerGenerationTools(server, client, cfg) {
     async (args) => {
       try {
         const isGoogle = args.model.startsWith("google/");
+        const reference_images = await resolveRefs(cfg, args.reference_images);
         const input = compact({
           prompt: args.prompt,
           aspect_ratio: args.aspect_ratio ?? (isGoogle ? DEFAULTS.imageAspect : void 0),
           resolution: args.resolution ?? (isGoogle ? DEFAULTS.imageResolution : void 0),
-          reference_images: args.reference_images,
+          reference_images,
           google_search: args.google_search,
           image_search: args.image_search,
           size: args.size,
@@ -483,23 +590,27 @@ ${footer}` }, ...blocks]
         negative_prompt: z.string().max(2500).optional().describe("O que evitar no v\xEDdeo (Kling)."),
         mode: z.enum(["standard", "pro"]).optional().describe("Qualidade de gera\xE7\xE3o (Kling): standard ou pro."),
         generate_audio: z.boolean().optional().describe("Gerar trilha de \xE1udio junto com o v\xEDdeo (Seedance/Kling). Na web fica ligado por padr\xE3o."),
-        first_frame_image: z.string().url().optional().describe("URL da imagem inicial (image-to-video / primeiro frame)."),
-        last_frame_image: z.string().url().optional().describe("URL da imagem do \xFAltimo frame (Seedance/Kling)."),
-        reference_images: z.array(z.string().url()).max(9).optional().describe("URLs de imagens de refer\xEAncia (personagem/estilo) \u2014 modelos omni/Seedance. At\xE9 9."),
-        reference_videos: z.array(z.string().url()).max(4).optional().describe("URLs de v\xEDdeos de refer\xEAncia (Seedance reference_videos / Kling reference_video)."),
-        reference_audios: z.array(z.string().url()).max(4).optional().describe("URLs de \xE1udios de refer\xEAncia (Seedance)."),
-        motion_video: z.string().url().optional().describe("URL do v\xEDdeo de movimento/m\xE1scara din\xE2mica (kling-v2.6-motion-control)."),
+        first_frame_image: z.string().min(1).optional().describe("Imagem inicial (image-to-video / primeiro frame): URL p\xFAblica OU caminho local (sobe pro R2)."),
+        last_frame_image: z.string().min(1).optional().describe("Imagem do \xFAltimo frame (Seedance/Kling): URL p\xFAblica OU caminho local (sobe pro R2)."),
+        reference_images: z.array(z.string().min(1)).max(9).optional().describe("Imagens de refer\xEAncia (personagem/estilo) \u2014 omni/Seedance. URL p\xFAblica OU caminho local. At\xE9 9."),
+        reference_videos: z.array(z.string().min(1)).max(4).optional().describe("V\xEDdeos de refer\xEAncia (Seedance reference_videos / Kling reference_video): URL OU caminho local."),
+        reference_audios: z.array(z.string().min(1)).max(4).optional().describe("\xC1udios de refer\xEAncia (Seedance): URL p\xFAblica OU caminho local (sobe pro R2)."),
+        motion_video: z.string().min(1).optional().describe("V\xEDdeo de movimento/m\xE1scara din\xE2mica (kling-v2.6-motion-control): URL OU caminho local."),
         character_orientation: z.string().optional().describe("Orienta\xE7\xE3o do personagem (alguns modelos Kling via Replicate)."),
         keep_original_sound: z.boolean().optional().describe("Manter o som original do v\xEDdeo de refer\xEAncia (alguns modelos Kling)."),
-        reference_image: z.string().url().optional().describe("[Obsoleto \u2014 use first_frame_image] URL de imagem de refer\xEAncia (image-to-video)."),
+        reference_image: z.string().min(1).optional().describe("[Obsoleto \u2014 use first_frame_image] Imagem de refer\xEAncia: URL p\xFAblica OU caminho local."),
         seed: z.number().int().optional(),
         project: z.string().max(64).optional().describe('Projeto (uuid OU code curto, ex.: "VRAO-26"). S\xF3 omita se o usu\xE1rio J\xC1 confirmou o projeto ativo nesta sess\xE3o.')
       }
     },
     async (args) => {
       try {
-        const firstFrame = args.first_frame_image ?? args.reference_image;
-        const refVideos = args.reference_videos;
+        const firstFrame = await resolveRef(cfg, args.first_frame_image ?? args.reference_image);
+        const endImage = await resolveRef(cfg, args.last_frame_image);
+        const referenceImages = await resolveRefs(cfg, args.reference_images);
+        const referenceAudios = await resolveRefs(cfg, args.reference_audios);
+        const motionVideo = await resolveRef(cfg, args.motion_video);
+        const refVideos = await resolveRefs(cfg, args.reference_videos);
         const input = compact({
           prompt: args.prompt,
           aspect_ratio: args.aspect_ratio ?? DEFAULTS.videoAspect,
@@ -509,12 +620,12 @@ ${footer}` }, ...blocks]
           mode: args.mode,
           generate_audio: args.generate_audio,
           image: firstFrame,
-          end_image: args.last_frame_image,
-          reference_images: args.reference_images,
+          end_image: endImage,
+          reference_images: referenceImages,
           reference_videos: refVideos,
           reference_video: refVideos && refVideos.length > 0 ? refVideos[0] : void 0,
-          reference_audios: args.reference_audios,
-          motion_video: args.motion_video,
+          reference_audios: referenceAudios,
+          motion_video: motionVideo,
           character_orientation: args.character_orientation,
           keep_original_sound: args.keep_original_sound,
           seed: args.seed
@@ -891,7 +1002,7 @@ Limites simult\xE2neos por usu\xE1rio: imagem=${m.limits.perUserMaxImage}, v\xED
 
 // src/tools/analyze.ts
 import { z as z5 } from "zod";
-function registerAnalyzeTools(server, client, _cfg) {
+function registerAnalyzeTools(server, client, cfg) {
   server.registerTool(
     "analyze_media",
     {
@@ -899,16 +1010,19 @@ function registerAnalyzeTools(server, client, _cfg) {
       description: "Envia um prompt + m\xEDdia (imagem, v\xEDdeo, \xE1udio ou PDF) para o Gemini e devolve uma resposta em texto. Use para descrever/analisar/transcrever/resumir/extrair informa\xE7\xE3o de m\xEDdia, ou perguntar algo sobre ela. A m\xEDdia entra como `media_urls` (URLs p\xFAblicas \u2014 tudo que o Google aceita: imagens, v\xEDdeos, \xE1udios, PDFs). V\xEDdeo/\xE1udio grandes funcionam (v\xE3o pela Files API do Google). Consome diamantes (reembolsados se falhar). Veja custo/limites com list_models.",
       inputSchema: {
         prompt: z5.string().min(1).max(5e4).describe('O que voc\xEA quer do modelo sobre a m\xEDdia (ex.: "descreva este v\xEDdeo", "transcreva este \xE1udio").'),
-        media_urls: z5.array(z5.string().url()).max(50).optional().describe("URLs p\xFAblicas da m\xEDdia (imagem/v\xEDdeo/\xE1udio/PDF). Pode misturar tipos. Opcional (prompt s\xF3-texto tamb\xE9m funciona)."),
+        media_urls: z5.array(z5.string().min(1)).max(50).optional().describe(
+          "M\xEDdia (imagem/v\xEDdeo/\xE1udio/PDF): URLs p\xFAblicas OU caminhos de arquivo local (o MCP sobe pro R2 automaticamente). Pode misturar tipos. Opcional (prompt s\xF3-texto tamb\xE9m funciona)."
+        ),
         model: z5.enum(["gemini-flash", "gemini-pro"]).default("gemini-flash").optional().describe("gemini-flash = r\xE1pido/barato (Gemini 3.5 Flash); gemini-pro = mais capaz (Gemini 3.1 Pro).")
       }
     },
     async (args) => {
       try {
+        const media_urls = await resolveRefs(cfg, args.media_urls);
         const res = await client.analyzeMedia(
           compact({
             prompt: args.prompt,
-            media_urls: args.media_urls,
+            media_urls,
             model: args.model
           })
         );

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "beplus-mcp",
-  "version": "0.8.0",
+  "version": "0.8.1",
   "description": "Conector MCP da equipe BePlus — gere imagens/vídeos/áudio e consulte calls, projetos e clientes pela sua conta BePlus (diamantes, limites e histórico aplicados pela plataforma).",
   "type": "module",
   "bin": {