SOP TRTC SDK 仪表盘 Android TRTC 发送自定义采集的视频数据 Android TRTC 发送自定义采集音频解决方案 Android TRTC 实现横屏视频通话 iOS端 TRTC 发送自定义采集视频解决方案 iOS端 TRTC 发送自定义采集音频解决方案 APNS推送 脏字过滤 TXLiteAVSDK中使用 AVAudioSession 问题总结 AndroidStudio编译SDK报错 RoomService部署验证 Xcode编译SDK报错 iOS编译库冲突问题 iOS端移动直播自定义采集实现 iOS端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端TXLiteAVSDK与IMSDK 3.x集成冲突报错问题 Android端LiteIM sdk升级IM4.x版本报错问题 移动直播iOS 12兼容问题 如何实现好的画质 如何计算PCM音量大小 使用播放器播放视频有黑边 直播拉流播放失败 直播拉流端卡顿现象 短视频上传失败 移动直播SDK对接第三方美颜库 移动直播连麦解决方案 Android移动直播推自定义采集的视频数据 Android移动直播推自定义采集的声音数据 Android直播播放如何获取YUV数据 Android直播播放如何自定义渲染 实时音视频画面黑屏 实时音视频订阅流显示 iOS 12默认新编译系统下文件名冲突问题 TXLiteAVSDK指标监控 进阶:小程序实时音视频参数透传 移动直播 Android 9.0 无法拉流问题 移动直播推流事件回调 移动直播拉流事件回调 短视频实现视频缩略图列表转GIF功能 roomService加入群组时报错invalid group id NTP时间戳转换 提示Role not exists 角色不存在 如何播放背景音乐 iOS端短视频添音频相关问题总结 Web同步终端离线推送TIMOfflinePushInfo说明文档 web端自定义消息发送 web端同步终端的已读回执 web端对群组内用户禁言操作 TRTC v2混流接口setMixTranscodingConfig使用指引

Android 直播播放如何获取YUV数据

发布日期:2018年10月23日 更新日期:2018年10月23日 贡献者:yyuanchen

场景

开发者因为场景需要,希望能获取到视频画面的原始数据(YUV 数据),然后再进行处理或渲染。

解决方案

1、实现 TXLivePushListener 接口,然后在onPlayEvent(int event, Bundle param) 方法中,监听TXLiveConstants.PLAY_EVT_CHANGE_RESOLUTION 事件

mLivePusher.setPushListener(this);

public void onPlayEvent(int event, Bundle param) {
    //...
    if (event == TXLiveConstants.PLAY_EVT_CHANGE_RESOLUTION) {
        //获取视频的宽高
        int width = param.getInt(TXLiveConstants.EVT_PARAM1, 0);
        int height = param.getInt(TXLiveConstants.EVT_PARAM2, 0);
        if (width != 0 && height != 0 && !mHWDecode) {
            //创建存储 yuv 数据的 buffer,目前输出的 yuv 格式为 I420
            byte[] buf = new byte[width * height * 3 / 2];
            //将 buffer 设置进 mLivePlayer
            mLivePlayer.addVideoRawData(buf);
        }
    }
}

2、通过 VideoRawDataListener 获取 YUV 数据

mLivePlayer.setVideoRawDataListener(rawDataListener);

TXVideoRawDataObserver.ITXVideoRawDataListener rawDataListener = new
TXVideoRawDataObserver.ITXVideoRawDataListener() {
    @Override
    public void onVideoRawDataAvailable(byte[] buf, int width, int height, int timestamp) {
        //解码一帧后的数据回调,buf 中存放了 yuv 数据,格式为 I420
        if (!mHWDecode) {
            // 如果需要继续获取yuv数据,需要重新调用addVideoRawData方法
            // yuvBuffer大小应该等于视频width*height*3/2
            mLivePlayer.addVideoRawData(buf);
        }
    }
};

原理

软件解码是由CPU负责解码,然后进行播放。这种方式解码出来的画面数据格式是 YUV 数据。而硬件解码是使用显卡进行解码,需要使用 OpenGL进行解码,所以解码出来的画面数据格式 Texture。

注意事项

1、setVideoRawDataListener只支持软件解码。

2、只能获取直播场景下的 YUV 数据,不支持点播场景。

results matching ""

    No results matching ""