@tarojs/taro 3.5.0-canary.1 → 3.5.0

package/types/api/media/media-recorder.d.ts

@@ -0,0 +1,92 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  interface MediaRecorder {
+    /** 销毁录制器
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.destroy.html
+     */
+    destroy(): Promise<void>
+    /** 取消监听录制事件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.off.html
+     */
+    off(
+      /** 事件名 */
+      eventName: keyof MediaRecorder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: MediaRecorder.on.Callback
+    ): Promise<void>
+    /** 注册监听录制事件的回调函数
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.on.html
+     */
+    on(
+      /** 事件名 */
+      eventName: keyof MediaRecorder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: MediaRecorder.on.Callback
+    ): Promise<void>
+    /** 暂停录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.pause.html
+     */
+    pause(): Promise<void>
+    /** 请求下一帧录制，在 callback 里完成一帧渲染后开始录制当前帧
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.requestFrame.html
+     */
+    requestFrame(callback: MediaRecorder.requestFrame.Callback): Promise<void>
+    /** 恢复录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.resume.html
+     */
+    resume(): Promise<void>
+    /** 开始录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.start.html
+     */
+    start(): Promise<void>
+    /** 结束录制
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/MediaRecorder.stop.html
+     */
+    stop(): Promise<void>
+  }
+
+  namespace MediaRecorder {
+    namespace on {
+      /** eventName 的合法值 */
+      interface EventName {
+        /** 录制开始事件。 */
+        start 
+        /** 录制结束事件。返回 {tempFilePath, duration, fileSize} */
+        stop
+        /** 录制暂停事件。 */
+        pause
+        /** 录制继续事件。 */
+        resume
+        /** 录制时间更新事件。 */
+        timeupdate
+      }
+      /** 事件触发时执行的回调函数 */
+      type Callback = (res?: {
+        tempFilePath: string
+        duration: number
+        fileSize: number
+      }) => void
+    }
+    namespace requestFrame {
+      /** 事件触发时执行的回调函数 */
+      type Callback = () => void
+    }
+  }
+
+  interface TaroStatic {
+    /** 创建 WebGL 画面录制器，可逐帧录制在 WebGL 上渲染的画面并导出视频文件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/media-recorder/wx.createMediaRecorder.html
+     */
+    createMediaRecorder(): MediaRecorder
+  }
+}

package/types/api/media/recorder.d.ts

@@ -59,23 +59,23 @@ declare module '../../index' {
       tempFilePath: string
     }
     interface StartOption {
-      /** 指定录音的音频输入源，可通过 [wx.getAvailableAudioSources()](https://developers.weixin.qq.com/miniprogram/dev/api/media/audio/wx.getAvailableAudioSources.html) 获取当前可用的音频源 */
-      audioSource?: keyof audioSource
+      /** 指定录音的音频输入源，可通过 [Taro.getAvailableAudioSources()](/docs/apis/media/audio/getAvailableAudioSources) 获取当前可用的音频源 */
+      audioSource?: keyof AudioSource
       /** 录音的时长，单位 ms，最大值 600000（10 分钟） */
       duration?: number
       /** 编码码率，有效值见下表格 */
       encodeBitRate?: number
       /** 音频格式 */
-      format?: keyof format
+      format?: keyof Format
       /** 指定帧大小，单位 KB。传入 frameSize 后，每录制指定帧大小的内容后，会回调录制的文件内容，不指定则不会回调。暂仅支持 mp3 格式。 */
       frameSize?: number
       /** 录音通道数 */
-      numberOfChannels?: keyof numberOfChannels
+      numberOfChannels?: keyof NumberOfChannels
       /** 采样率 */
-      sampleRate?: keyof sampleRate
+      sampleRate?: keyof SampleRate
     }
     /** 指定录音的音频输入源 */
-    interface audioSource {
+    interface AudioSource {
       /** 自动设置，默认使用手机麦克风，插上耳麦后自动切换使用耳机麦克风，所有平台适用 */
       'auto'
       /** 手机麦克风，仅限 iOS */
@@ -92,7 +92,7 @@ declare module '../../index' {
       'voice_recognition'
     }
     /** 音频格式 */
-    interface format {
+    interface Format {
       /** mp3 格式 */
       mp3
       /** aac 格式 */
@@ -103,14 +103,14 @@ declare module '../../index' {
       PCM
     }
     /** 录音通道数 */
-    interface numberOfChannels {
+    interface NumberOfChannels {
       /** 1 个通道 */
       1
       /** 2 个通道 */
       2
     }
     /** 采样率 */
-    interface sampleRate {
+    interface SampleRate {
       /** 8000 采样率
        * @codeRate 16000 ~ 48000
        */
@@ -155,7 +155,7 @@ declare module '../../index' {
    */
   interface RecorderManager {
     /** 监听录音错误事件
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onError.html
      */
     onError(
@@ -163,7 +163,7 @@ declare module '../../index' {
       callback: RecorderManager.OnErrorCallback,
     ): void
     /** 监听已录制完指定帧大小的文件事件。如果设置了 frameSize，则会回调此事件。
-     * @supported weapp
+     * @supported weapp, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onFrameRecorded.html
      */
     onFrameRecorded(
@@ -187,7 +187,7 @@ declare module '../../index' {
       callback: (res: TaroGeneral.CallbackResult) => void,
     ): void
     /** 监听录音暂停事件
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onPause.html
      */
     onPause(
@@ -195,7 +195,7 @@ declare module '../../index' {
       callback: (res: TaroGeneral.CallbackResult) => void,
     ): void
     /** 监听录音继续事件
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onResume.html
      */
     onResume(
@@ -203,7 +203,7 @@ declare module '../../index' {
       callback: (res: TaroGeneral.CallbackResult) => void,
     ): void
     /** 监听录音开始事件
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onStart.html
      */
     onStart(
@@ -211,7 +211,7 @@ declare module '../../index' {
       callback: (res: TaroGeneral.CallbackResult) => void,
     ): void
     /** 监听录音结束事件
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.onStop.html
      */
     onStop(
@@ -219,22 +219,22 @@ declare module '../../index' {
       callback: RecorderManager.OnStopCallback,
     ): void
     /** 暂停录音
-     * @supported weapp
+     * @supported weapp, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.pause.html
      */
     pause(): void
     /** 继续录音
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.resume.html
      */
     resume(): void
     /** 开始录音
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.start.html
      */
     start(option: RecorderManager.StartOption): void
     /** 停止录音
-     * @supported weapp
+     * @supported weapp, rn, tt
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.stop.html
      */
     stop(): void
@@ -263,7 +263,7 @@ declare module '../../index' {
     stopRecord(option?: stopRecord.Option): void
 
     /** 开始录音。当主动调用`Taro.stopRecord`，或者录音超过1分钟时自动结束录音，返回录音文件的临时文件路径。当用户离开小程序时，此接口无法调用。
-     * **注意：1.6.0 版本开始，本接口不再维护。建议使用能力更强的 [Taro.getRecorderManager](https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/wx.getRecorderManager.html) 接口**
+     * **注意：1.6.0 版本开始，本接口不再维护。建议使用能力更强的 [Taro.getRecorderManager](/docs/apis/media/recorder/getRecorderManager) 接口**
      * 需要[用户授权](https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/authorize.html) scope.record
      * @supported weapp
      * @example
@@ -282,7 +282,7 @@ declare module '../../index' {
     startRecord(option: startRecord.Option): Promise<startRecord.SuccessCallbackResult>
 
     /** 获取**全局唯一**的录音管理器 RecorderManager
-     * @supported weapp
+     * @supported weapp, rn
      * @example
      * ```tsx
      * const recorderManager = Taro.getRecorderManager()

package/types/api/media/video-decoder.d.ts

@@ -0,0 +1,117 @@
+import Taro from '../../index'
+
+declare module '../../index' {
+  interface VideoDecoder {
+    /** 获取下一帧的解码数据
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.getFrameData.html
+     */
+    getFrameData(): Promise<VideoDecoder.getFrameData.Result>
+    /** 取消监听录制事件
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.off.html
+     */
+    off(
+      /** 事件名 */
+      eventName: keyof VideoDecoder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: VideoDecoder.on.Callback
+    ): void
+    /** 注册监听录制事件的回调函数
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.on.html
+     */
+    on(
+      /** 事件名 */
+      eventName: keyof VideoDecoder.on.EventName,
+      /** 事件触发时执行的回调函数 */
+      callback: VideoDecoder.on.Callback
+    ): void
+    /** 移除解码器
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.remove.html
+     */
+    remove(): Promise<void>
+    /** 跳到某个时间点解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.seek.html
+     */
+    seek(
+      /** 跳转的解码位置，单位 ms */
+      position: number
+    ): Promise<void>
+    /** 开始解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.start.html
+     */
+    start(option: VideoDecoder.start.Option): Promise<void>
+    /** 停止解码
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/VideoDecoder.stop.html
+     */
+    stop(): Promise<void>
+  }
+
+  namespace VideoDecoder {
+    namespace getFrameData {
+      interface Result {
+        /** 帧数据宽度 */
+        width: number
+        /** 帧数据高度 */
+        height: number
+        /** 帧数据 */
+        data: ArrayBuffer
+        /** 帧原始 pts */
+        pkPts: number
+        /** 帧原始 dts */
+        pkDts: number
+      }
+    }
+    namespace on {
+      /** eventName 的合法值 */
+      interface EventName {
+        /** 开始事件。返回 {width, height} */
+        start 
+        /** 结束事件。 */
+        stop
+        /** seek 完成事件。 */
+        seek
+        /** 缓冲区变化事件。 */
+        bufferchange
+        /** 解码结束事件。 */
+        ended
+      }
+      /** 事件触发时执行的回调函数 */
+      type Callback = (res?: {
+        width: number
+        height: number
+      }) => void
+    }
+    namespace start {
+      interface Option {
+        /** 需要解码的视频源文件。 */
+        source: string 
+        /** 解码模式。0：按 pts 解码；1：以最快速度解码
+         * @default 1
+         */
+        mode?: number
+        /** 是否不需要音频轨道
+         * @default false
+         */
+        abortAudio?: boolean
+        /** 是否不需要视频轨道
+         * @default false
+         */
+        abortVideo?: boolean
+      }
+    }
+  }
+
+  interface TaroStatic {
+    /** 创建视频解码器，可逐帧获取解码后的数据
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-decoder/wx.createVideoDecoder.html
+     */
+    createVideoDecoder(): VideoDecoder
+  }
+}

package/types/api/media/video-processing.d.ts

@@ -2,6 +2,9 @@ import Taro from '../../index'
 
 declare module '../../index' {
   /** 创建音视频处理容器，最终可将容器中的轨道合成一个视频
+   *
+   * > 可通过 [Taro.createMediaContainer](./createMediaContainer) 创建
+   * @supported weapp
    * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.html
    */
   interface MediaContainer {
@@ -45,24 +48,25 @@ declare module '../../index' {
     }
   }
 
-  /** 可通过 [MediaContainer.extractDataSource](https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaContainer.extractDataSource.html) 返回。
-   * [MediaTrack](https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaTrack.html) 音频或视频轨道，可以对轨道进行一些操作
+  /** 可通过 [MediaContainer.extractDataSource](/docs/apis/media/video-processing/MediaContainer#extractdatasource) 返回。
+   * [MediaTrack](/docs/apis/media/video-processing/MediaTrack) 音频或视频轨道，可以对轨道进行一些操作
+   * @supported weapp
    * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video-processing/MediaTrack.html
    */
   interface MediaTrack {
-    /** 轨道长度
+    /** 轨道类型
      * @readonly
      */
-    duration: number
-    /** 轨道类型
+    kind: keyof MediaTrack.Kind
+    /** 轨道长度
      * @readonly
      */
-    kind: keyof MediaTrack.kind
+    duration: number
     /** 音量，音频轨道下有效，可写 */
     volume: number
   }
   namespace MediaTrack {
-    interface kind {
+    interface Kind {
       /** 音频轨道 */
       audio
       /** 视频轨道 */

package/types/api/media/video.d.ts

@@ -50,7 +50,7 @@ declare module '../../index' {
     }
     interface SuccessCallbackResult extends TaroGeneral.CallbackResult {
       /** 画面方向 */
-      orientation: keyof orientation
+      orientation: keyof Orientation
       /** 视频格式 */
       type: string
       /** 视频长度 */
@@ -66,7 +66,7 @@ declare module '../../index' {
       /** 视频码率，单位 kbps */
       bitrate: number
     }
-    interface orientation {
+    interface Orientation {
       /** 默认 */
       up
       /** 180 度旋转 */
@@ -86,42 +86,63 @@ declare module '../../index' {
     }
   }
 
+  /** VideoContext 实例，可通过 [Taro.createVideoContext](./createVideoContext) 获取。
+   *
+   * VideoContext 通过 id 跟一个 video 组件绑定，操作对应的 video 组件。
+   * @supported weapp, h5, rn
+   * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.html
+   */
   interface VideoContext {
+    /** 退出后台音频播放模式。
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.exitBackgroundPlayback.html
+     */
+    exitBackgroundPlayback(): void
     /** 退出全屏
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.exitFullScreen.html
      */
     exitFullScreen(): void
+    /** 退出小窗，该方法可在任意页面调用
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.exitPictureInPicture.html
+     */
+    exitPictureInPicture(option: VideoContext.ExitPictureInPictureOption): void
     /** 隐藏状态栏，仅在iOS全屏下有效
      * @supported weapp
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.hideStatusBar.html
      */
     hideStatusBar(): void
     /** 暂停视频
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.pause.html
      */
     pause(): void
     /** 播放视频
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.play.html
      */
     play(): void
     /** 设置倍速播放
-     * @supported weapp
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.playbackRate.html
      */
     playbackRate(
       /** 倍率，支持 0.5/0.8/1.0/1.25/1.5，2.6.3 起支持 2.0 倍速 */
       rate: number,
     ): void
+    /** 进入后台音频播放模式。
+     * @supported weapp
+     * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.requestBackgroundPlayback.html
+     */
+    requestBackgroundPlayback(): void
     /** 进入全屏
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.requestFullScreen.html
      */
     requestFullScreen(option: VideoContext.RequestFullScreenOption): void
     /** 跳转到指定位置
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.seek.html
      */
     seek(
@@ -142,13 +163,21 @@ declare module '../../index' {
      */
     showStatusBar(): void
     /** 停止视频
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/VideoContext.stop.html
      */
     stop(): void
   }
 
   namespace VideoContext {
+    interface ExitPictureInPictureOption {
+      /** 接口调用成功的回调函数 */
+      success?: (result: TaroGeneral.CallbackResult) => void
+      /** 接口调用失败的回调函数 */
+      fail?: (res: TaroGeneral.CallbackResult) => void
+      /** 接口调用结束的回调函数（调用成功、失败都会执行） */
+      complete?: (res: TaroGeneral.CallbackResult) => void
+    }
     interface RequestFullScreenOption {
       /** 设置全屏时视频的方向，不指定则根据宽高比自动判断。
        *
@@ -172,7 +201,7 @@ declare module '../../index' {
       /** 视频文件路径，可以是临时文件路径也可以是永久文件路径 */
       src: string
       /** 压缩质量 */
-      quality: keyof quality
+      quality: keyof Quality
       /** 码率，单位 kbps */
       bitrate: number
       /** 帧率 */
@@ -192,7 +221,7 @@ declare module '../../index' {
       /** 压缩后的大小，单位 kB */
       size: number
     }
-    interface quality {
+    interface Quality {
       /** 低 */
       low
       /** 中 */
@@ -205,7 +234,7 @@ declare module '../../index' {
   namespace chooseVideo {
     interface Option {
       /** 默认拉起的是前置或者后置摄像头。部分 Android 手机下由于系统 ROM 不支持无法生效 */
-      camera?: keyof camera
+      camera?: keyof Camera
       /** 接口调用结束的回调函数（调用成功、失败都会执行） */
       complete?: (res: TaroGeneral.CallbackResult) => void
       /** 是否压缩所选择的视频文件 */
@@ -233,7 +262,7 @@ declare module '../../index' {
       /** 调用结果 */
       errMsg: string
     }
-    interface camera {
+    interface Camera {
       /** 默认拉起后置摄像头 */
       back
       /** 默认拉起前置摄像头 */
@@ -319,7 +348,7 @@ declare module '../../index' {
      * @example
      ```tsx
      * Taro.saveVideoToPhotosAlbum({
-     *   filePath: 'wxfile://xxx'
+     *   filePath: 'wxfile://xxx',
      *   success: function (res) {
      *     console.log(res.errMsg)
      *   }
@@ -370,7 +399,7 @@ declare module '../../index' {
     getVideoInfo(option: getVideoInfo.Option): Promise<getVideoInfo.SuccessCallbackResult>
 
     /** 创建 video 上下文 VideoContext 对象。
-     * @supported weapp, h5
+     * @supported weapp, h5, rn
      * @example
      * ```tsx
      * videoContext = Taro.createVideoContext('myVideo')
@@ -385,7 +414,7 @@ declare module '../../index' {
     ): VideoContext
 
     /** 压缩视频接口。
-     * 开发者可指定压缩质量 `quality` 进行压缩。当需要更精细的控制时，可指定 `bitrate`、`fps`、和 `resolution`，当 `quality` 传入时，这三个参数将被忽略。原视频的相关信息可通过 [getVideoInfo](https://developers.weixin.qq.com/miniprogram/dev/api/media/video/wx.getVideoInfo.html) 获取。
+     * 开发者可指定压缩质量 `quality` 进行压缩。当需要更精细的控制时，可指定 `bitrate`、`fps`、和 `resolution`，当 `quality` 传入时，这三个参数将被忽略。原视频的相关信息可通过 [getVideoInfo](/docs/apis/media/video/getVideoInfo) 获取。
      * @supported weapp
      * @example
      * ```tsx
@@ -413,7 +442,7 @@ declare module '../../index' {
      * ```
      * @see https://developers.weixin.qq.com/miniprogram/dev/api/media/video/wx.compressVideo.html
      */
-     compressVideo(option: compressVideo.Option): Promise<compressVideo.SuccessCallbackResult>
+    compressVideo(option: compressVideo.Option): Promise<compressVideo.SuccessCallbackResult>
 
     /** 拍摄视频或从手机相册中选视频。
      * @supported weapp, rn
@@ -433,7 +462,7 @@ declare module '../../index' {
     chooseVideo(option: chooseVideo.Option): Promise<chooseVideo.SuccessCallbackResult>
 
     /** 拍摄或从手机相册中选择图片或视频。
-     * @supported weapp, rn
+     * @supported weapp
      * @example
      * ```tsx
      * Taro.chooseMedia({