@spcsn/taro 0.1.0

package/types/api/media/media-recorder.d.ts

@@ -0,0 +1,117 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  interface MediaRecorder {
+    /** 销毁录制器
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.destroy.html
+     */
+    destroy(): Promise<void>
+    /** 取消监听录制事件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.off.html
+     */
+    off(
+      /** 事件名 */
+      eventName: keyof MediaRecorder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: MediaRecorder.on.Callback
+    ): Promise<void>
+    /** 注册监听录制事件的回调函数
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.on.html
+     */
+    on(
+      /** 事件名 */
+      eventName: keyof MediaRecorder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: MediaRecorder.on.Callback
+    ): Promise<void>
+    /** 暂停录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.pause.html
+     */
+    pause(): Promise<void>
+    /** 请求下一帧录制，在 callback 里完成一帧渲染后开始录制当前帧
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.requestFrame.html
+     */
+    requestFrame(callback: MediaRecorder.requestFrame.Callback): Promise<void>
+    /** 恢复录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.resume.html
+     */
+    resume(): Promise<void>
+    /** 开始录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.start.html
+     */
+    start(): Promise<void>
+    /** 结束录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.stop.html
+     */
+    stop(): Promise<void>
+  }
+
+  namespace MediaRecorder {
+    namespace on {
+      /** eventName 的合法值 */
+      interface EventName {
+        /** 录制开始事件。 */
+        start 
+        /** 录制结束事件。返回 {tempFilePath, duration, fileSize} */
+        stop
+        /** 录制暂停事件。 */
+        pause
+        /** 录制继续事件。 */
+        resume
+        /** 录制时间更新事件。 */
+        timeupdate
+      }
+      /** 事件触发时执行的回调函数 */
+      type Callback = (res?: {
+        tempFilePath: string
+        duration: number
+        fileSize: number
+      }) => void
+    }
+    namespace requestFrame {
+      /** 事件触发时执行的回调函数 */
+      type Callback = () => void
+    }
+  }
+
+  namespace createMediaRecorder {
+    /**
+     * createMediaRecorder Option
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/media-recorder/wx.createMediaRecorder.html
+     */
+    interface Option {
+      /** 指定录制的时长（s)，到达自动停止。最大 7200，最小 5
+       * @default 600
+       */
+      duration?: number
+      /** 视频比特率（kbps），最小值 600，最大值 3000
+       * @default 1000
+       */
+      videoBitsPerSecond?: number
+      /** 视频关键帧间隔
+       * @default 12
+       */
+      gop?: number
+      /** 视频 fps
+       * @default 24
+       */
+      fps?: number
+    }
+  }
+
+  interface TaroStatic {
+    /** 创建 WebGL 画面录制器，可逐帧录制在 WebGL 上渲染的画面并导出视频文件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/media-recorder/wx.createMediaRecorder.html
+     */
+    createMediaRecorder(canvas?: Canvas | OffscreenCanvas, option?: createMediaRecorder.Option): MediaRecorder
+  }
+}

package/types/api/media/recorder.d.ts

@@ -0,0 +1,317 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  namespace stopRecord {
+    interface Option {
+      /** 接口调用结束的回调函数（调用成功、失败都会执行） */
+      complete?: (res: TaroGeneral.CallbackResult) => void
+      /** 接口调用失败的回调函数 */
+      fail?: (res: TaroGeneral.CallbackResult) => void
+      /** 接口调用成功的回调函数 */
+      success?: (res: TaroGeneral.CallbackResult) => void
+    }
+  }
+
+  namespace startRecord {
+    interface Option {
+      /** 接口调用结束的回调函数（调用成功、失败都会执行） */
+      complete?: (res: TaroGeneral.CallbackResult) => void
+      /** 接口调用失败的回调函数 */
+      fail?: (res: TaroGeneral.CallbackResult) => void
+      /** 接口调用成功的回调函数 */
+      success?: (result: SuccessCallbackResult) => void
+    }
+    interface SuccessCallbackResult extends TaroGeneral.CallbackResult {
+      /** 录音文件的临时路径 */
+      tempFilePath: string
+      /** 调用结果 */
+      errMsg: string
+    }
+  }
+
+  namespace RecorderManager {
+    /** 录音错误事件的回调函数 */
+    type OnErrorCallback = (
+      result: OnErrorCallbackResult,
+    ) => void
+    interface OnErrorCallbackResult extends TaroGeneral.CallbackResult {
+      /** 错误信息 */
+      errMsg: string
+    }
+    /** 已录制完指定帧大小的文件事件的回调函数 */
+    type OnFrameRecordedCallback = (
+      result: OnFrameRecordedCallbackResult,
+    ) => void
+    interface OnFrameRecordedCallbackResult {
+      /** 录音分片数据 */
+      frameBuffer: ArrayBuffer
+      /** 当前帧是否正常录音结束前的最后一帧 */
+      isLastFrame: boolean
+    }
+    /** 录音结束事件的回调函数 */
+    type OnStopCallback = (result: OnStopCallbackResult) => void
+    interface OnStopCallbackResult {
+      /** 录音总时长，单位：ms */
+      duration: number
+      /** 录音文件大小，单位：Byte */
+      fileSize: number
+      /** 录音文件的临时路径 */
+      tempFilePath: string
+    }
+    interface StartOption {
+      /** 指定录音的音频输入源，可通过 [Taro.getAvailableAudioSources()](/docs/apis/media/audio/getAvailableAudioSources) 获取当前可用的音频源 */
+      audioSource?: keyof AudioSource
+      /** 录音的时长，单位 ms，最大值 600000（10 分钟） */
+      duration?: number
+      /** 编码码率，有效值见下表格 */
+      encodeBitRate?: number
+      /** 音频格式 */
+      format?: keyof Format
+      /** 指定帧大小，单位 KB。传入 frameSize 后，每录制指定帧大小的内容后，会回调录制的文件内容，不指定则不会回调。暂仅支持 mp3 格式。 */
+      frameSize?: number
+      /** 录音通道数 */
+      numberOfChannels?: keyof NumberOfChannels
+      /** 采样率 */
+      sampleRate?: keyof SampleRate
+    }
+    /** 指定录音的音频输入源 */
+    interface AudioSource {
+      /** 自动设置，默认使用手机麦克风，插上耳麦后自动切换使用耳机麦克风，所有平台适用 */
+      'auto'
+      /** 手机麦克风，仅限 iOS */
+      'buildInMic'
+      /** 耳机麦克风，仅限 iOS */
+      'headsetMic'
+      /** 麦克风（没插耳麦时是手机麦克风，插耳麦时是耳机麦克风），仅限 Android */
+      'mic'
+      /** 同 mic，适用于录制音视频内容，仅限 Android */
+      'camcorder'
+      /** 同 mic，适用于实时沟通，仅限 Android */
+      'voice_communication'
+      /** 同 mic，适用于语音识别，仅限 Android */
+      'voice_recognition'
+    }
+    /** 音频格式 */
+    interface Format {
+      /** mp3 格式 */
+      mp3
+      /** aac 格式 */
+      aac
+      /** wav 格式 */
+      wav
+      /** pcm 格式 */
+      PCM
+    }
+    /** 录音通道数 */
+    interface NumberOfChannels {
+      /** 1 个通道 */
+      1
+      /** 2 个通道 */
+      2
+    }
+    /** 采样率 */
+    interface SampleRate {
+      /** 8000 采样率
+       * @codeRate 16000 ~ 48000
+       */
+      8000
+      /** 11025 采样率
+       * @codeRate 16000 ~ 48000
+       */
+      11025
+      /** 12000 采样率
+       * @codeRate 24000 ~ 64000
+       */
+      12000
+      /** 16000 采样率
+       * @codeRate 24000 ~ 96000
+       */
+      16000
+      /** 22050 采样率
+       * @codeRate 32000 ~ 128000
+       */
+      22050
+      /** 24000 采样率
+       * @codeRate 32000 ~ 128000
+       */
+      24000
+      /** 32000 采样率
+       * @codeRate 48000 ~ 192000
+       */
+      32000
+      /** 44100 采样率
+       * @codeRate 64000 ~ 320000
+       */
+      44100
+      /** 48000 采样率
+       * @codeRate 64000 ~ 320000
+       */
+      48000
+    }
+  }
+
+  /** 全局唯一的录音管理器
+   * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.html
+   */
+  interface RecorderManager {
+    /** 监听录音错误事件
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onError.html
+     */
+    onError(
+      /** 录音错误事件的回调函数 */
+      callback: RecorderManager.OnErrorCallback,
+    ): void
+    /** 监听已录制完指定帧大小的文件事件。如果设置了 frameSize，则会回调此事件。
+     * @supported weapp, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onFrameRecorded.html
+     */
+    onFrameRecorded(
+      /** 已录制完指定帧大小的文件事件的回调函数 */
+      callback: RecorderManager.OnFrameRecordedCallback,
+    ): void
+    /** 监听录音因为受到系统占用而被中断开始事件。以下场景会触发此事件：微信语音聊天、微信视频聊天。此事件触发后，录音会被暂停。pause 事件在此事件后触发
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onInterruptionBegin.html
+     */
+    onInterruptionBegin(
+      /** 录音因为受到系统占用而被中断开始事件的回调函数 */
+      callback: (res: TaroGeneral.CallbackResult) => void,
+    ): void
+    /** 监听录音中断结束事件。在收到 interruptionBegin 事件之后，小程序内所有录音会暂停，收到此事件之后才可再次录音成功。
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onInterruptionEnd.html
+     */
+    onInterruptionEnd(
+      /** 录音中断结束事件的回调函数 */
+      callback: (res: TaroGeneral.CallbackResult) => void,
+    ): void
+    /** 监听录音暂停事件
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onPause.html
+     */
+    onPause(
+      /** 录音暂停事件的回调函数 */
+      callback: (res: TaroGeneral.CallbackResult) => void,
+    ): void
+    /** 监听录音继续事件
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onResume.html
+     */
+    onResume(
+      /** 录音继续事件的回调函数 */
+      callback: (res: TaroGeneral.CallbackResult) => void,
+    ): void
+    /** 监听录音开始事件
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onStart.html
+     */
+    onStart(
+      /** 录音开始事件的回调函数 */
+      callback: (res: TaroGeneral.CallbackResult) => void,
+    ): void
+    /** 监听录音结束事件
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onStop.html
+     */
+    onStop(
+      /** 录音结束事件的回调函数 */
+      callback: RecorderManager.OnStopCallback,
+    ): void
+    /** 暂停录音
+     * @supported weapp, rn
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.pause.html
+     */
+    pause(): void
+    /** 继续录音
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.resume.html
+     */
+    resume(): void
+    /** 开始录音
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.start.html
+     */
+    start(option: RecorderManager.StartOption): void
+    /** 停止录音
+     * @supported weapp, rn, tt
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.stop.html
+     */
+    stop(): void
+  }
+
+  interface TaroStatic {
+    /** 停止录音。
+     * @supported weapp
+     * @example
+     * ```tsx
+     * Taro.startRecord({
+     *   success: function (res) {
+     *     var tempFilePath = res.tempFilePath
+     *   },
+     *   fail: function (res) {
+     *      //录音失败
+     *   }
+     * })
+     * setTimeout(function() {
+     *   //结束录音
+     *   Taro.stopRecord()
+     * }, 10000)
+     * ```
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/wx.stopRecord.html
+     */
+    stopRecord(option?: stopRecord.Option): void
+
+    /** 开始录音。当主动调用`Taro.stopRecord`，或者录音超过1分钟时自动结束录音，返回录音文件的临时文件路径。当用户离开小程序时，此接口无法调用。
+     * **注意：1.6.0 版本开始，本接口不再维护。建议使用能力更强的 [Taro.getRecorderManager](/docs/apis/media/recorder/getRecorderManager) 接口**
+     * 需要[用户授权](https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/authorize.html) scope.record
+     * @supported weapp
+     * @example
+     * ```tsx
+     * Taro.startRecord({
+     *   success: function (res) {
+     *     const tempFilePath = res.tempFilePath
+     *   }
+     * })
+     * setTimeout(function () {
+     *   Taro.stopRecord() // 结束录音
+     * }, 10000)
+     * ```
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/wx.startRecord.html
+     */
+    startRecord(option: startRecord.Option): Promise<startRecord.SuccessCallbackResult>
+
+    /** 获取**全局唯一**的录音管理器 RecorderManager
+     * @supported weapp, rn
+     * @example
+     * ```tsx
+     * const recorderManager = Taro.getRecorderManager()
+     * recorderManager.onStart(() => {
+     *   console.log('recorder start')
+     * })
+     * recorderManager.onPause(() => {
+     *   console.log('recorder pause')
+     * })
+     * recorderManager.onStop((res) => {
+     *   console.log('recorder stop', res)
+     *   const { tempFilePath } = res
+     * })
+     * recorderManager.onFrameRecorded((res) => {
+     *   const { frameBuffer } = res
+     *   console.log('frameBuffer.byteLength', frameBuffer.byteLength)
+     * })
+     * const options = {
+     *   duration: 10000,
+     *   sampleRate: 44100,
+     *   numberOfChannels: 1,
+     *   encodeBitRate: 192000,
+     *   format: 'aac',
+     *   frameSize: 50
+     * }
+     * recorderManager.start(options)
+     * ```
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/wx.getRecorderManager.html
+     */
+    getRecorderManager(): RecorderManager
+  }
+}

package/types/api/media/video-decoder.d.ts

@@ -0,0 +1,117 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  interface VideoDecoder {
+    /** 获取下一帧的解码数据
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.getFrameData.html
+     */
+    getFrameData(): Promise<VideoDecoder.getFrameData.Result>
+    /** 取消监听录制事件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.off.html
+     */
+    off(
+      /** 事件名 */
+      eventName: keyof VideoDecoder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: VideoDecoder.on.Callback
+    ): void
+    /** 注册监听录制事件的回调函数
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.on.html
+     */
+    on(
+      /** 事件名 */
+      eventName: keyof VideoDecoder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: VideoDecoder.on.Callback
+    ): void
+    /** 移除解码器
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.remove.html
+     */
+    remove(): Promise<void>
+    /** 跳到某个时间点解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.seek.html
+     */
+    seek(
+      /** 跳转的解码位置，单位 ms */
+      position: number
+    ): Promise<void>
+    /** 开始解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.start.html
+     */
+    start(option: VideoDecoder.start.Option): Promise<void>
+    /** 停止解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.stop.html
+     */
+    stop(): Promise<void>
+  }
+
+  namespace VideoDecoder {
+    namespace getFrameData {
+      interface Result {
+        /** 帧数据宽度 */
+        width: number
+        /** 帧数据高度 */
+        height: number
+        /** 帧数据 */
+        data: ArrayBuffer
+        /** 帧原始 pts */
+        pkPts: number
+        /** 帧原始 dts */
+        pkDts: number
+      }
+    }
+    namespace on {
+      /** eventName 的合法值 */
+      interface EventName {
+        /** 开始事件。返回 {width, height} */
+        start 
+        /** 结束事件。 */
+        stop
+        /** seek 完成事件。 */
+        seek
+        /** 缓冲区变化事件。 */
+        bufferchange
+        /** 解码结束事件。 */
+        ended
+      }
+      /** 事件触发时执行的回调函数 */
+      type Callback = (res?: {
+        width: number
+        height: number
+      }) => void
+    }
+    namespace start {
+      interface Option {
+        /** 需要解码的视频源文件。 */
+        source: string 
+        /** 解码模式。0：按 pts 解码；1：以最快速度解码
+         * @default 1
+         */
+        mode?: number
+        /** 是否不需要音频轨道
+         * @default false
+         */
+        abortAudio?: boolean
+        /** 是否不需要视频轨道
+         * @default false
+         */
+        abortVideo?: boolean
+      }
+    }
+  }
+
+  interface TaroStatic {
+    /** 创建视频解码器，可逐帧获取解码后的数据
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/wx.createVideoDecoder.html
+     */
+    createVideoDecoder(): VideoDecoder
+  }
+}

package/types/api/media/video-processing.d.ts

@@ -0,0 +1,84 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  /** 创建音视频处理容器，最终可将容器中的轨道合成一个视频
+   *
+   * > 可通过 [Taro.createMediaContainer](./createMediaContainer) 创建
+   * @supported weapp
+   * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.html
+   */
+  interface MediaContainer {
+    /** 将音频或视频轨道添加到容器
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.addTrack.html
+     */
+    addTrack(
+      /** 要添加的音频或视频轨道 */
+      track: MediaTrack,
+    ): void
+    /** 将容器销毁，释放资源
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.destroy.html
+     */
+    destroy(): void
+    /** 将容器内的轨道合并并导出视频文件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.export.html
+     */
+    export(): void
+    /** 将传入的视频源分离轨道。不会自动将轨道添加到待合成的容器里。
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.extractDataSource.html
+     */
+    extractDataSource(option: MediaContainer.ExtractDataSourceOption): void
+    /** 将音频或视频轨道从容器中移除
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.removeTrack.html
+     */
+    removeTrack(
+      /** 要移除的音频或视频轨道 */
+      track: MediaTrack,
+    ): void
+  }
+
+  namespace MediaContainer {
+    interface ExtractDataSourceOption {
+      /** 视频源地址，只支持本地文件 */
+      source: string
+    }
+  }
+
+  /** 可通过 [MediaContainer.extractDataSource](/docs/apis/media/video-processing/MediaContainer#extractdatasource) 返回。
+   * [MediaTrack](/docs/apis/media/video-processing/MediaTrack) 音频或视频轨道，可以对轨道进行一些操作
+   * @supported weapp
+   * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaTrack.html
+   */
+  interface MediaTrack {
+    /** 轨道类型
+     * @readonly
+     */
+    kind: keyof MediaTrack.Kind
+    /** 轨道长度
+     * @readonly
+     */
+    duration: number
+    /** 音量，音频轨道下有效，可写 */
+    volume: number
+  }
+  namespace MediaTrack {
+    interface Kind {
+      /** 音频轨道 */
+      audio
+      /** 视频轨道 */
+      video
+    }
+  }
+
+  interface TaroStatic {
+    /** 创建音视频处理容器，最终可将容器中的轨道合成一个视频
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/wx.createMediaContainer.html
+     */
+    createMediaContainer(): MediaContainer
+  }
+}