SOP TRTC SDK 仪表盘 Android TRTC 发送自定义采集的视频数据 Android TRTC 发送自定义采集音频解决方案 Android TRTC 实现横屏视频通话 iOS端 TRTC 发送自定义采集视频解决方案 iOS端 TRTC 发送自定义采集音频解决方案 APNS推送 脏字过滤 TXLiteAVSDK中使用 AVAudioSession 问题总结 AndroidStudio编译SDK报错 RoomService部署验证 Xcode编译SDK报错 iOS编译库冲突问题 iOS端移动直播自定义采集实现 iOS端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端LiteIM sdk升级IM4.x版本报错问题 移动直播iOS 12兼容问题 如何实现好的画质 如何计算PCM音量大小 使用播放器播放视频有黑边 直播拉流播放失败 直播拉流端卡顿现象 短视频上传失败 移动直播SDK对接第三方美颜库 移动直播连麦解决方案 Android移动直播推自定义采集的视频数据 Android移动直播推自定义采集的声音数据 Android直播播放如何获取YUV数据 Android直播播放如何自定义渲染 实时音视频画面黑屏 实时音视频订阅流显示 iOS 12默认新编译系统下文件名冲突问题 TXLiteAVSDK指标监控 进阶:小程序实时音视频参数透传 移动直播 Android 9.0 无法拉流问题 移动直播推流事件回调 移动直播拉流事件回调 短视频实现视频缩略图列表转GIF功能 roomService加入群组时报错invalid group id NTP时间戳转换 提示Role not exists 角色不存在 如何播放背景音乐 iOS端短视频添音频相关问题总结 Web同步终端离线推送TIMOfflinePushInfo说明文档 web端自定义消息发送 web端同步终端的已读回执 web端对群组内用户禁言操作 TRTC v2混流接口setMixTranscodingConfig使用指引

iOS端 TRTC v2 版本自定义采集视频数据实现

发布日期:2019年3月29日 更新日期:2019年3月29日 贡献者:zilongye

常见场景

实时音视频 SDK 默认会采集摄像头数据,如果开发者想在 TRTC 中集成使用第三方美颜库来实现美颜滤镜等预处理功能,可以采用自定义采集视频数据接口,然后复用 LiteAVSDK 的编码和推流功能。 目前自定义采集支持的平台包括 iOS 、Android 、Mac OS 、Windows 。接口文档参考:https://cloud.tencent.com/document/product/647/32259#.E8.87.AA.E5.AE.9A.E4.B9.89.E9.87.87.E9.9B.86.E5.92.8C.E6.B8.B2.E6.9F.93

自定义采集视频接口介绍

TRTC SDK 的 iOS 版本支持 NV12 和 i420 两种 YUV 数据格式,在 iOS 平台上,比较高性能的图像传递方式是 CVPixelBufferRef,因此我们建议按如下表格填写参数:

参数填写

参数名称 参数类型 推荐取值 备注说明
pixelFormat TRTCVideoPixelFormat TRTCVideoPixelFormat_NV12 iOS 平台上摄像头原生采集出的视频格式即是 NV12。
bufferType TRTCVideoBufferType PixelBuffer iOS中原声支持的视频帧格式,性能最佳。
pixelBuffer CVPixelBufferRef 如果 TRTCVideoBufferType 是 PixelBuffer 才需填写。 iPhone 摄像头采集的数据是 NV12 格式的 PixelBuffer。
data NSData* 如果 TRTCVideoBufferType 是 NSData 才需填写。 性能不如 PixelBuffer
timestamp uint64_t 0 可以填0,这样 SDK 会自定填充 timestamp 字段,但请“均匀”地控制 sendCustomVideoData 的调用间隔。
width uint64_t 视频画面的宽度 请严格填写传入画面的像素宽度
height uint32_t 视频画面的高度 请严格填写传入画面的像素高度
rotation TRTCVideoRotation 不填写 该字段用于自定义渲染,此处无需设置。

示例代码

在 Demo 文件夹中,您会找到一个叫做 TestSendCustomVideoData.m 的文件,它展示了如何从一个本地视频文件中读取出 NV12 格式的 PixelBuffer,并送给 SDK 进行后续处理。

//组装一个 TRTCVideoFrame 并将其送给 trtcCloud 对象
TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

[trtcCloud sendCustomVideoData:videoFrame];

实现步骤

实现自定义采集视频只需要在进房前启用视频自定义采集模式,enableCustomVideoCapture设置为YES。然后将采集到的 yuv 数据通过 sendCustomVideoData 接口不断的回调给SDK,SDK收到数据后会自行编码并进行网络传输。

  • 启用视频自定义采集模式
// 启用视频自定义采集模式
[_trtc enableCustomVideoCapture:YES];

// 打开 SDK 音频采集(自定义采集场景下不需要打开 SDK 本地预览)
// [_trtc startLocalPreview:YES view:_localView];
[_trtc startLocalAudio];

// 进房
TRTCAppScene scene = [TRTCSettingViewController getAppScene];
[_trtc enterRoom:self.param appScene:scene];
  • 将视频数据传给SDK
#pragma mark - AVCaptureVideoDataAndAudioDataOutputSampleBufferDelegate
//以系统API调用 AVCaptureSession 采集 NV12 格式数据为例
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {

    TRTCVideoFrame* videoFrame = [TRTCVideoFrame new];
    videoFrame.bufferType = TRTCVideoBufferType_PixelBuffer;
    videoFrame.pixelFormat = TRTCVideoPixelFormat_NV12;
    videoFrame.pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [_trtc sendCustomVideoData:videoFrame];

}
  • iOS 6.3及之后版本支持 NV12 和 i420 两种 YUV 数据格式(6.2版本只支持 i420),如果需要转换 yuv 格式可以通过三方库 libyuv 实现
//通过 libyuv 转换 yuv 格式
- (void)nv12ToI420:(CVPixelBufferRef)src dest:(CVPixelBufferRef)dst {

    //图像宽度(像素)
    int pixelWidth = (int)CVPixelBufferGetWidth(src);
    //图像高度(像素)
    int pixelHeight = (int)CVPixelBufferGetHeight(src);

    uint8_t *src_y = NULL;
    uint8_t *src_uv = NULL;
    uint8_t *dst_y = NULL;
    uint8_t *dst_u = NULL;
    uint8_t *dst_v = NULL;
    CVPixelBufferLockBaseAddress(src, 0);
    src_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 0);
    src_uv = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(src, 1);
    int src_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 0);
    int src_uvstride = (int)CVPixelBufferGetBytesPerRowOfPlane(src, 1);
    CVPixelBufferLockBaseAddress(dst, 0);
    dst_y = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 0);
    dst_u = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 1);
    dst_v = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(dst, 2);
    int dst_ystride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 0);
    int dst_ustride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 1);
    int dst_vstride = (int)CVPixelBufferGetBytesPerRowOfPlane(dst, 2);

    NV12ToI420(src_y, src_ystride, src_uv, src_uvstride, dst_y, dst_ystride, dst_u, dst_ustride, dst_v, dst_vstride, pixelWidth, pixelHeight);

    CVPixelBufferUnlockBaseAddress(src, 0);
    CVPixelBufferUnlockBaseAddress(dst, 0);
}

常见问题

1、调用 sendCustomVideoData 接口报错下图错误什么原因?
这个报错的原因是调用 sendCustomVideoData 传参 TRTCVideoFrame 的数据类型不正确导致的,比如设置的 TRTCVideoPixelFormat_I420 类型,但是传给 SDK 的数据类型是 NSData 或者其它就有可能报这个错误。

2、调用 sendCustomVideoData 接口报错提示提示drop one frame by sending frequency too fast! 是什么原因?
这个提示不是报错而是一个警告,原因是调用 sendCustomVideoData 频率过快,需要确保发送频率和 SDK 里面设置的 TRTCVideoEncParam 帧率保持一致。

3、播放自定义采集的画面出现花屏或者视频画面颜色异常情况?
这种一般是传给 SDK 的 yuv 格式数据异常导致的,大家都知道y分量表示亮度,u、v 分量表示颜色,如果u、v 分量获取的不正确就会导致画面颜色异常。


results matching ""

    No results matching ""