@cloudbase/ai 2.22.10 → 2.23.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cloudbase/ai",
-  "version": "2.22.10",
+  "version": "2.23.0",
   "description": "cloudbase js sdk ai module",
   "main": "dist/cjs/index.js",
   "module": "dist/esm/index.js",
@@ -30,8 +30,8 @@
   "author": "",
   "license": "Apache-2.0",
   "dependencies": {
-    "@cloudbase/types": "2.22.10",
-    "@cloudbase/utilities": "2.22.10",
+    "@cloudbase/types": "2.23.0",
+    "@cloudbase/utilities": "2.23.0",
     "@mattiasbuelens/web-streams-adapter": "^0.1.0",
     "text-encoding-shim": "^1.0.5",
     "web-streams-polyfill": "^4.0.0"
@@ -39,5 +39,5 @@
   "devDependencies": {
     "@cloudbase/adapter-interface": "^0.7.1"
   },
-  "gitHead": "5f58e0d4c6f6141d0c90e1dc48946ed55a8f81a3"
+  "gitHead": "59b83d8d2037675a0dd771274287087f8c623df7"
 }

package/src/AI.ts

@@ -17,7 +17,11 @@ class AI {
   public i18n: ICloudbaseConfig['i18n']
   defaultHeaders: { [x: string]: any }
 
-  constructor(private req: SDKRequestInterface, public baseUrl: string, i18n: ICloudbaseConfig['i18n']) {
+  constructor(
+    private req: SDKRequestInterface,
+    public baseUrl: string,
+    i18n: ICloudbaseConfig['i18n'],
+  ) {
     this.aiBaseUrl = `${baseUrl}/ai`
     this.aiBotBaseUrl = `${baseUrl}/aibot`
     this.bot = new Bot(this.botRequest, this.aiBotBaseUrl)
@@ -83,6 +87,10 @@ class AI {
     MODELS[name] = model
   }
 
+  createImageModel<const T extends 'hunyuan-exp' | (string & {})>(provider: T) {
+    return new models.DefaultImageModel<T>(this.modelRequest, this.aiBaseUrl, provider)
+  }
+
   modelRequest: types.ModelReq = async ({ url, data, headers, stream, timeout }) => {
     const fetchHeaders = {
       'Content-Type': 'application/json',

package/src/index.ts

@@ -55,7 +55,7 @@ interface AIInitOption {
   baseUrl?: string
 }
 
-interface ICreateAi {
+interface ICreateAI {
   req: SDKRequestInterface
   baseUrl?: string
   env?: string
@@ -74,7 +74,7 @@ interface ICreateAi {
  *
  * 其他参数可按需传入覆盖函数逻辑。
  */
-function createAi({ env, baseUrl, req, getAccessToken, handleReqInstance, i18n }: ICreateAi) {
+function createAI({ env, baseUrl, req, getAccessToken, handleReqInstance, i18n }: ICreateAI) {
   const getBaseUrl = () => {
     if (baseUrl != null) {
       return baseUrl
@@ -98,10 +98,16 @@ function createAi({ env, baseUrl, req, getAccessToken, handleReqInstance, i18n }
   return new AI(getReq(), getBaseUrl(), i18n)
 }
 
+// 兼容
+/**
+ * @deprecated use `createAI`
+ */
+const createAi = createAI
+
 /**
  * 创建 `AI` 实例。
  * 该函数挂载在 js sdk 的 Cloudbase 实例上。
- * 该函数调用了本模块暴露的 `createAi` 函数，但调用时通过传入参数做了逻辑覆盖：
+ * 该函数调用了本模块暴露的 `createAI` 函数，但调用时通过传入参数做了逻辑覆盖：
  *
  * - 传入从 Cloudbase 实例上的中心的 `req`
  * - 传入从 Cloudbase 实例上拿到的 `baseUrl`
@@ -126,7 +132,7 @@ function ai(
 
   const baseUrl = options?.baseUrl ?? getUrlFromCloud()
 
-  return createAi({ req, baseUrl, handleReqInstance: ({ req }) => req, i18n: this.config.i18n })
+  return createAI({ req, baseUrl, handleReqInstance: ({ req }) => req, i18n: this.config.i18n })
 }
 
 const component: ICloudbaseComponent = {
@@ -142,7 +148,7 @@ function registerAi(app: ICloudbase) {
   }
 }
 
-export { AI, Bot, createAi, restModels as models, registerAi, utils }
+export { AI, Bot, createAi, createAI, restModels as models, registerAi, utils }
 export * from './type'
 
 try {

package/src/models/image-model.ts

@@ -0,0 +1,74 @@
+import type {
+  ModelReq,
+  ImageGenerateInput,
+  ImageEditInput,
+  HunyuanGenerateImageInput,
+  HunyuanGenerateImageOutput,
+  HunyuanEditImageInput,
+  HunyuanEditImageOutput,
+} from '../type'
+
+// mock NoInfer
+type NoInfer<T> = [T][T extends any ? 0 : never]
+
+type GenerateImageInput<TProvider extends string, TInput = unknown> = unknown extends TInput
+  ? TProvider extends 'hunyuan-exp'
+    ? HunyuanGenerateImageInput
+    : ImageGenerateInput
+  : TInput
+
+type GenerateImageOutput<TProvider extends string, TOutput = unknown> = unknown extends TOutput
+  ? TProvider extends 'hunyuan-exp'
+    ? HunyuanGenerateImageOutput
+    : unknown
+  : TOutput
+
+type EditImageInput<T extends string, TInput = unknown> = unknown extends TInput
+  ? T extends 'hunyuan-exp'
+    ? HunyuanEditImageInput
+    : ImageEditInput
+  : TInput
+
+type EditImageOutput<T extends string, TOutput = unknown> = unknown extends TOutput
+  ? T extends 'hunyuan-exp'
+    ? HunyuanEditImageOutput
+    : unknown
+  : TOutput
+
+export class DefaultImageModel<const TProvider extends string> {
+  public generateImageSubUrl = 'images/generations'
+  public editImageSubUrl = 'images/edits'
+
+  constructor(
+    private req: ModelReq,
+    public baseUrl: string,
+    public provider: TProvider,
+  ) {}
+
+  public async generateImage<TInput = unknown, TOutput = unknown>(input: NoInfer<GenerateImageInput<TProvider, TInput>>,): Promise<GenerateImageOutput<TProvider, TOutput>> {
+    const res = await this.req({
+      url: this.getGenerateUrl(),
+      data: input,
+      stream: false,
+    })
+
+    return res as GenerateImageOutput<TProvider, TOutput>
+  }
+
+  public async editImage<TInput = unknown, TOutput = unknown>(input: NoInfer<EditImageInput<TProvider, TInput>>,): Promise<EditImageOutput<TProvider, TOutput>> {
+    const res = await this.req({
+      url: this.getEditUrl(),
+      data: input,
+      stream: false,
+    })
+    return res as EditImageOutput<TProvider, TOutput>
+  }
+
+  private getGenerateUrl() {
+    return `${this.baseUrl}/${this.provider}/${this.generateImageSubUrl}`
+  }
+
+  private getEditUrl() {
+    return `${this.baseUrl}/${this.provider}/${this.editImageSubUrl}`
+  }
+}

package/src/models/index.ts

@@ -9,6 +9,7 @@ import { HunYuanExpSimpleModel } from './HunYuanExp/index'
 import { HunYuanOpenSimpleModel } from './HunYuanOpen/index'
 import { DeepSeekSimpleModel } from './DeepSeek'
 import { DefaultSimpleModel } from './Default'
+import { DefaultImageModel } from './image-model'
 
 export const MODELS = {
   hunyuan: HunYuanSimpleModel,
@@ -34,6 +35,7 @@ export {
   HunYuanExpSimpleModel,
   HunYuanOpenSimpleModel,
   DefaultSimpleModel,
+  DefaultImageModel,
 }
 
 export { ReactModel, toolMap } from './model'

package/src/type.ts

@@ -20,7 +20,7 @@ export interface IModelReqInput {
   url: string
   headers?: Record<string, string>
   data?: Object
-  stream?: boolean,
+  stream?: boolean
   timeout?: number
 }
 
@@ -145,3 +145,179 @@ export interface BaseDoStreamOutputChunk {
   usage?: Usage
 }
 // #endregion
+
+// #region Image Model Types
+/**
+ * 图片生成输入参数
+ */
+export interface ImageGenerateInput {
+  model: string // 模型名称，例如 'hunyuan-image'、'dall-e-3'
+  prompt: string // 用于描述要生成的图片内容
+  size?: string // 尺寸
+  n?: number // 张数
+  [key: string]: unknown // 允许额外的厂商特定参数
+}
+
+/**
+ * 图片编辑输入参数
+ */
+export interface ImageEditInput {
+  model: string
+  prompt: string
+  size?: string // 尺寸
+  n?: number // 张数
+  [key: string]: unknown // 允许额外的厂商特定参数
+}
+
+/**
+ * 混元图片生成输入参数
+ * 接口文档：POST /openapi/v1/images/generations
+ */
+export interface HunyuanGenerateImageInput {
+  /** 模型名称，默认为 hunyuan-image */
+  model: 'hunyuan-image' | (string & {})
+  /** 用来生成图像的文本描述 */
+  prompt: string
+  /**
+   * 模型版本，支持 v1.8.1 和 v1.9，默认版本 v1.8.1
+   * - v1.8.1: 采用二阶段模型支持文生图任务，针对图像细节、稳定性等要求高的任务较为合适
+   * - v1.9: 采用模型矩阵能力支持文生图任务，后端由人像、游戏、通用模型，以及各类功能插件组成，灵活适配多种文生图任务
+   */
+  version?: 'v1.8.1' | 'v1.9' | (string & {})
+  /**
+   * 图片尺寸，默认 "1024x1024"
+   * v1.9 仅支持以下几个尺寸：
+   * - 1024x1024
+   * - 1024x768, 1152x864
+   * - 768x1024, 864x1152
+   * - 1280x768 (16:9)
+   * - 768x1280 (9:16)
+   * - 1280x720 (16:9)
+   * - 720x1280 (9:16)
+   *
+   * 支持用户自定义尺寸，但输入尺寸只支持 768-1280 之间且为 64 的倍数的数字
+   */
+  size?: string
+  /**
+   * 仅 v1.9 支持，负向词
+   * 如果不传则使用各个模型内部的默认负向词
+   */
+  negative_prompt?: string
+  /**
+   * 仅 v1.9 支持，可指定风格：
+   * - 古风二次元风格
+   * - 都市二次元风格
+   * - 悬疑风格
+   * - 校园风格
+   * - 都市异能风格
+   */
+  style?: '古风二次元风格' | '都市二次元风格' | '悬疑风格' | '校园风格' | '都市异能风格' | (string & {})
+  /**
+   * 为 true 时对 prompt 进行改写，实际生成的图片会使用改写后的 prompt 进行生成
+   * 多数场景可提升生成的图片效果，默认为 true
+   */
+  revise?: boolean
+  /**
+   * 生成图片个数，默认为 1
+   * 目前只支持生成一张，固定为 1，传其他的值会报错
+   */
+  n?: number
+  /**
+   * 业务自定义水印内容
+   * 限制 16 个字符长度（不区分中英文），生成在图片右下角
+   */
+  footnote?: string
+  /**
+   * 生成种子，仅当生成图片数为 1 时生效
+   * 范围 [1, 4294967295]，不传时默认随机
+   */
+  seed?: number
+}
+
+/**
+ * 混元图片编辑输入参数
+ * 接口文档：POST /openapi/v1/images/edits
+ */
+export type HunyuanEditImageInput = {
+  /** 模型名称，本期为 hunyuan-image，即为商品图编辑场景 */
+  model: 'hunyuan-image' | (string & {})
+  /** 编辑的文本描述 */
+  prompt: string
+  /** 模型版本 */
+  version?: string
+  /**
+   * 图片尺寸，默认 "800x800"
+   * 支持用户自定义尺寸，但输入尺寸只支持 512-1280 之间
+   * 目前只支持 1:1、16:9、9:16 三个尺寸
+   */
+  size?: string
+  /**
+   * 生成图片个数，默认为 1
+   * 目前只支持生成一张，固定为 1，传其他的值会报错
+   */
+  n?: number
+  /**
+   * beta 参数，随机种子
+   * 范围 [1, 4294967295]，不传时默认随机
+   */
+  seed?: number
+  /**
+   * 业务自定义角标内容
+   * 限制 16 个字符长度（不区分中英文）
+   */
+  footnote?: string
+  /**
+   * 图 base64 编码，大小不超过 6M
+   * 支持 jpg/jpeg 格式，和 image_url 二选一
+   * 长短边比例要求 2:1 内
+   */
+  image?: string
+  /**
+   * 图片 url
+   * 长短边比例要求 2:1 内，和 image 二选一
+   */
+  image_url?: string
+} & (
+  | {
+    mask: string
+    mask_url?: never
+  }
+  | {
+    mask?: never
+    mask_url: string
+  }
+)
+
+/**
+ * 混元图片生成输出
+ */
+export interface HunyuanGenerateImageOutput {
+  /** 此次请求的 id */
+  id: string
+  /** unix 时间戳 */
+  created: number
+  /** 返回的图片生成内容 */
+  data: Array<{
+    /** 生成的图片 url，有效期为 24 小时 */
+    url: string
+    /** 原 prompt 改写后的文本。若 revise 为 false，则为原 prompt */
+    revised_prompt?: string
+  }>
+}
+
+/**
+ * 混元图片编辑输出
+ */
+export interface HunyuanEditImageOutput {
+  /** 此次请求的 id */
+  id: string
+  /** unix 时间戳 */
+  created: number
+  /** 返回的图片生成内容 */
+  data: Array<{
+    /** 生成的图片 url，有效期为 24 小时 */
+    url: string
+  }>
+}
+
+// #endregion