SOP TRTC SDK 仪表盘 Android TRTC 发送自定义采集的视频数据 Android TRTC 发送自定义采集音频解决方案 Android TRTC 实现横屏视频通话 iOS端 TRTC 发送自定义采集视频解决方案 iOS端 TRTC 发送自定义采集音频解决方案 APNS推送 脏字过滤 TXLiteAVSDK中使用 AVAudioSession 问题总结 AndroidStudio编译SDK报错 RoomService部署验证 Xcode编译SDK报错 iOS编译库冲突问题 iOS端移动直播自定义采集实现 iOS端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端LiteIM sdk升级IM4.x版本报错问题 移动直播iOS 12兼容问题 如何实现好的画质 如何计算PCM音量大小 使用播放器播放视频有黑边 直播拉流播放失败 直播拉流端卡顿现象 短视频上传失败 移动直播SDK对接第三方美颜库 移动直播连麦解决方案 Android移动直播推自定义采集的视频数据 Android移动直播推自定义采集的声音数据 Android直播播放如何获取YUV数据 Android直播播放如何自定义渲染 实时音视频画面黑屏 实时音视频订阅流显示 iOS 12默认新编译系统下文件名冲突问题 TXLiteAVSDK指标监控 进阶:小程序实时音视频参数透传 移动直播 Android 9.0 无法拉流问题 移动直播推流事件回调 移动直播拉流事件回调 短视频实现视频缩略图列表转GIF功能 roomService加入群组时报错invalid group id NTP时间戳转换 提示Role not exists 角色不存在 如何播放背景音乐 iOS端短视频添音频相关问题总结 Web同步终端离线推送TIMOfflinePushInfo说明文档 web端自定义消息发送 web端同步终端的已读回执 web端对群组内用户禁言操作 TRTC v2混流接口setMixTranscodingConfig使用指引

移动直播推流对接第三方美颜库

发布日期:2018年8月21日 更新日期:2018年8月22日 贡献者:yyuanchen yjiexia

常见场景

开发者此前使用其他云厂商的推流SDK集成第三方美颜库,切换为腾讯云的移动直播SDK(LiteAVSDK),可以使用移动直播的基础美颜模块,该美颜模块是免费的,具有美颜、美白、滤镜、磨皮等美颜功能。如果开发者不想浪费之前采购的第三方美颜库,同时又希望复用移动直播 SDK的整体流程,可以使用自定义视频处理接口。

解决方案

Android

  1. 通过 TXLivePushersetVideoProcessListener 接口设置自定义视频处理回调

    mLivePusher.setVideoProcessListener(new TXLivePusher.VideoCustomProcessListener() {
    /**
     * 在OpenGL线程中回调,在这里可以进行采集图像的二次处理
     * @param textureId  纹理ID
     * @param width      纹理的宽度
     * @param height     纹理的高度
     * @return           返回给SDK的纹理
     * 说明:SDK回调出来的纹理类型是GLES20.GL_TEXTURE_2D,接口返回给SDK的纹理类型也必须是GLES20.GL_TEXTURE_2D
     */
    @Override
    public int onTextureCustomProcess(int textureId, int width, int height) {
        return textureId;
    }
    
    /**
     * 增值版回调人脸坐标
     * @param points   归一化人脸坐标,每两个值表示某点P的X,Y值。值域[0.f, 1.f]
     */
    @Override
    public void onDetectFacePoints(float[] floats) {
    }
    
    /**
     * 在OpenGL线程中回调,可以在这里释放创建的OpenGL资源
     */
    @Override
    public void onTextureDestoryed() {
    }
    });
    
  2. onTextureCustomProcess() 回调中,根据你使用的第三方美颜库的接口文档,对视频数据进行加工。即对纹理 textureId 进行美颜操作得到新的纹理 textureId_new,然后将新的纹理 textureId_new 返回给移动直播 SDK 。

    public int onTextureCustomProcess(int textureId, int width, int height) {
    int textureId_new = 经过第三方美颜库操作( textureId );
    return textureId_new;
    }
    

iOS

通过 TXLivePushvideoProcessDelegate 设置自定义视频处理回调,在 onPreProcessTexture:width:height: 回调中,根据开发者使用的第三方美颜库的接口文档,对视频数据进行加工,即对纹理 texture 进行美颜操作得到新的纹理,然后将新的纹理返回给移动直播 SDK 。

_txLivePublisher.videoProcessDelegate = self;

#pragma mark - videoProcessDelegate
/**
 * 在OpenGL线程中回调,在这里可以进行采集图像的二次处理
 * @param texture    纹理ID
 * @param width      纹理的宽度
 * @param height     纹理的高度
 * @return           返回给SDK的纹理
 * 说明:SDK回调出来的纹理类型是GL_TEXTURE_2D,接口返回给SDK的纹理类型也必须是GL_TEXTURE_2D; 该回调在SDK美颜之后. 纹理格式为GL_RGBA
 */
- (GLuint)onPreProcessTexture:(GLuint)texture width:(CGFloat)width height:(CGFloat)height {
    // do something
    return textureNew;
}

/**
 * 在OpenGL线程中回调,可以在这里释放创建的OpenGL资源
 */
- (void)onTextureDestoryed {
    // 释放创建的OpenGL资源
}

/**
 * 人脸数据回调(增值版且启用了pitu模块才有效)
 * @prama points 人脸坐标
 *  说明:开启pitu模块必须是打开动效或大眼瘦脸。此回调在onPreProcessTexture:width:height:之前
 */
- (void)onDetectFacePoints:(NSArray *)points {

}

原理

处理纹理数据依赖于手机独立显卡 GPU。

SDK调用 OpenGL ES 的 API 接口将纹理数据传给 GPU,GPU经过处理之后,将新的纹理数据返回给SDK。纹理数据处理流程如下图所示:

输入图片说明

注意事项

  1. 移动直播 SDK 回调出来的纹理类型是 GLES20.GL_TEXTURE_2D,所以开发者对纹理进行处理之后,返回给 SDK 的纹理类型也必须是 GLES20.GL_TEXTURE_2D
  2. 不宜对 texture 做过于繁重的处理(计算量不宜过大),这样容易造成 GPU 过热,从而导致手机发热严重。

results matching ""

    No results matching ""