[原创] 图像处理能力评测之六-AVI视频播放优化

ilovefengshulin 2017-1-10 21:12 楼主

图像处理能力评测之六-AVI视频播放优化

之前在第四次评测的时候，由于测试的视频都是比较短的，前几天在播放时间比较较长的视频的时候，发现音频和视频有时候会不同步，有时候会出现死机的状况，因此写了这篇作为前面测试的补充说明。这是之前写的帖子：https://bbs.eeworld.com.cn/thread-509522-1-1.html。
这次优化主要针对音频和视频不同步，并增加了在任意时间节点播放视屏的功能。首先先说明一下音频和视频不同步的原因，由于之前视频帧是通过计算帧率得出相邻两帧的间隔时间，再通过延时，来进行播放。但是音频帧播放的采样频率并不是绝对的，比如AVI文件提供的音频采样频率44100，而通过设置PLLI2S的时钟作为SAI的时钟源,这时会发现不能完全分配出44100的频率，只能约等于44100。这时会出现一个问题，播放完所有的音频帧所用的时间不是固定的，还有一个问题，每帧视频帧的图像的色彩丰富程度是不一样的，因此解码时间有长有短。举个例子，播放20帧的视频，相邻两帧的时间间隔为50ms，假如第一帧解码时间为40ms,只需要延时10ms,就可以播放第二帧了。如果第一帧解码时间为100ms,按照之前视频帧的算法，应该是不延时直接播放第二帧。但是这这种做法是错的，根据帧率，此刻应该是播放第三帧，这时出现了时间与帧编号的偏移。视频帧和音频帧时间尺度不相等，就会出现画面不同步的现象。
针对这些问题做了如下的修改：
1.对于存在视频流和音频流的AVI文件，视频播放的总时间应该等于音频流播放的时间。对于没有音频流的AVI文件，视频播放的时间等于视频帧总数除以视频帧率。
2.对于存在视频流和音频流的AVI文件，要以音频流作为时间尺度，计算出音频和视频的交错时间比，当前视频帧号等于音频帧编号除以音频和视频的交错时间比。这样视频帧就会紧跟音频帧，而不至于出现画面不同步。对于没有音频流的AVI文件，要计算出相邻两帧的时间间隔t。计算每帧视频帧从解码到显示所用的时间t1，与时间间隔t进行比较。如果小于时间间隔，就延时t-t1，再播放下一帧，下一帧时间间隔依然为t；如果大于时间间隔t且小于2t，直接开始播放下一帧，计算下一帧时间间隔为2t-t1;如果大于2t,计算下一帧的编号等于t1除以t+当前视频帧编号，下一帧时间间隔依然为t。
由于我在SDRAM中开辟两个512KB的缓存区，用来存放视频帧索引和音频帧索引，由于空间比较小，不能播放长时间的视频文件。如需播放，需要重新定义视频帧索引和音频帧索引空间的大小。具体的程序编写，参照附件中的程序。

Image_Test.zip (2017-1-10 21:12 上传)