MPEG-2TS码流编辑的原理及其应用(3)

装填成为PES对码流快编具有格外重要的意义，因为PES包内含音/视频的ES以及包括PID的12个包头识别标志，当对PES包的起点不能精确定位、对PES包头标志符不能准确识别时，就不能保证拆包后再打包的图像无缝接续和声画同步。这是在初期研发过程中遇到并获得突破的技术难点。

（2）装填基本码流

根据MPEG-2规范的PES包结构（如图6），还需进一步装填为连续ES流。ES是指只包含1个信源的数据流，即视频数据流或音频数据流。每个ES由若干个缓存器的特定存取单元（Access Unit，AU）所组成，而每个视频AU或音频AU都是由头部和编码数据的2部分。1个AU相当于编码的1帧视频图像或1个音频帧的取样。PES的包头为恢复ES提供了向导。

对于PES包头，具有ES特有信息的显示时间标记（Presentation Time Stamp，PTS）、解码时间标记（Decode Time Stamp，DTS）标志、基本流时钟基准（Elementary Stream Clock Reference，ESCR）信息标志、基本流速率信息标志、数字存储媒体（Digital Storage Media，DSM）的特技信息标志等等，其中，唯有PTS/DTS标志，是解决视音频同步显示，防止输入缓存器上溢或下溢的关键所在。

在装填过程中，数据定位指示符引导PES还原所包含的视频、音频及所属其它数据流（如同步、数据和数据通道等），包头识别标志的PTS/DTS指示了可变长度包数据的帧同步时间，当区分音/视频和其它数据以后，依据PTS/DTS对视频帧分配给特定的AU。其中尤以独立时间基准是还原ES的同步基础。对于PES包数据，一方面通过扩展标志的数据包计数器，引导恢复数据流，另一方面利用循环冗余校验（Cyclic Redundancy Check，CRC）辅助检测并纠正可能存在的数据包丢失。

4. 精确帧定位

帧定位是精确编辑的基础，而精确的帧定位来自于精确的帧同步。在ES上实现逐帧精确的编辑，首要问题是实现精确帧的同步。

如前所述，装填后的ES变成仅含有1种性质的PES包，或视频ES，或音频ES。以视频为例，图7表明了在PTS/DTS标示的独立同步时间基准指示下，顺序装填再顺序读出，形成连续ES的I1P4B2B3P7B5B6（N=7）GOP组帧顺序。由于PES的数据分组是可变长度的数据包，但它的最大包数据容量为65526Byte。因此，在码流快编中必须为每个AU准备必不可少的缓存空间。

如图7所示，PTS表明图像帧出现在目标解码器（System Target Decoder，STD）的时间，DTS表明将存取单元全部字节从STD的ES解码缓存器移出的时刻。当以PTS/DTS为独立时间基准，定位和标志PES的AU起始点后，对UA依次组成图像帧序为I1P4B2B3P7B5B6 I10B8B9的ES。对于I、P帧而言，PES的图像帧序为I1P4B2B3P7B5B6I10B8B9，应该P4比B2、B3在先，但显示时P4一定要比B2、B3在后，这就必须重新排序。在PTS/DTS时间标志指引下，将P4提前插入数据流，经过缓存器重新排序，重建视频帧序I1B2B3P4B5B6P7B8B9I10。显然，PTS/DTS是表明确定事件或确定信息，并以专用时标形态确定事件或信息的开始时刻。

值得注意的是，虽然在PES中应该每个I、P、B帧的包头都具有一个PTS和DTS，但由于B帧的解码时间和显示时间存在一致性，因而对B帧而言，PTS与DTS具有相同作用，无须DTS，只须PTS。音频数据包也很有特点，虽然它可以含有多个存取单元，但由于它必须按照时间顺序传送，所以音频包头中也不含DTS，只有1个PTS。(责任编辑：admin)