一、视音频基础概念

标准结构

Ø SMTPE：电影和电视工程师协会，成立于1916年， 有来自世界85个国家超过7500名会员。

Ø ITU：国际电信联盟，联合国重要专门机构，主要负责制定全球电信标准。

Ø SMTPE和ITU代表了标准的发展和现实的权威

基本要素

像素

Ø 一幅平面图像，可以看成是由许许多多的小单元组成，这些细小单元称为像素。

Ø 像素越小，单位面积上的像素数目就越多，图像就越清晰。

分辨率

Ø 也称为解析度，就是构成画面的像素的个数，以水平和垂直像素两个维度衡量，例如分辨率 720X480 的意思是水平像素数是 720 个，垂直像素数是 480 个。

Ø 在屏幕尺寸一样的情况下，分辨率越高，也就意味着像素的数目越多，显示效果就越精细和细腻。 例如iPhone5s和iPhone 3GS。

宽高比

Ø 宽高比是指画面物理显示尺寸的宽度比其高度：

帧、关键帧

Ø 电视系统中把构成一幅图像的各像素传送一遍称为进行了一个帧处理。每帧图像由许多像素组成，是构成活动图像最小单元。

Ø 任何动态画面要表现运动或变化，至少前后要给出两个不同的关键状态，在视频系统中，表示关键状态的帧叫做关键帧。

I、P、B 帧

I 帧、P 帧、B 帧的区别在于：

· I 帧（Intra coded frames）：I 帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。I 帧使用帧内压缩，不使用运动补偿，由于 I 帧不依赖其它帧，所以是随机存取的入点，同时是解码的基准帧。I 帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入，I 帧图像的压缩倍数相对较低。I 帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。

· P 帧（Predicted frames）：P 帧和 B 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P 帧图像中可以包含帧内编码的部分，即 P 帧中的每一个宏块可以是前向预测，也可以是帧内编码。

· B 帧（Bi-directional predicted frames）：B 帧图像采用双向时间预测，可以大大提高压缩倍数。值得注意的是，由于 B 帧图像采用了未来帧作为参考，因此 MPEG-2 编码码流中图像帧的传输顺序和显示顺序是不同的。

也就是说，一个 I 帧可以不依赖其他帧就解码出一幅完整的图像，而 P 帧、B 帧不行。P 帧需要依赖视频流中排在它前面的帧才能解码出图像。B 帧则需要依赖视频流中排在它前面或后面的帧才能解码出图像。

DTS、PTS的概念

DTS、PTS 的概念如下所述：

· DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。

· PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

需要注意的是：虽然 DTS、PTS 是用于指导播放端的行为，但它们是在编码的时候由编码器生成的。

当视频流中没有 B 帧时，通常 DTS 和 PTS 的顺序是一致的。但如果有 B 帧时，就回到了我们前面说的问题：解码顺序和播放顺序不一致了。

比如一个视频中，帧的显示顺序是：I B B P，现在我们需要在解码 B 帧时知道 P 帧中信息，因此这几帧在视频流中的顺序可能是：I P B B，这时候就体现出每帧都有 DTS 和 PTS 的作用了。DTS 告诉我们该按什么顺序解码这几帧图像，PTS 告诉我们该按什么顺序显示这几帧图像。顺序大概如下：

音视频同步

上面说了视频帧、DTS、PTS 相关的概念。我们都知道在一个媒体流中，除了视频以外，通常还包括音频。音频的播放，也有 DTS、PTS 的概念，但是音频没有类似视频中 B 帧，不需要双向预测，所以音频帧的 DTS、PTS 顺序是一致的。

音频视频混合在一起播放，就呈现了我们常常看到的广义的视频。在音视频一起播放的时候，我们通常需要面临一个问题：怎么去同步它们，以免出现画不对声的情况。

要实现音视频同步，通常需要选择一个参考时钟，参考时钟上的时间是线性递增的，编码音视频流时依据参考时钟上的时间给每帧数据打上时间戳。在播放时，读取数据帧上的时间戳，同时参考当前参考时钟上的时间来安排播放。这里的说的时间戳就是我们前面说的 PTS。实践中，我们可以选择：同步视频到音频、同步音频到视频、同步音频和视频到外部时钟。

帧率

Ø 视频是连续快速地显示在屏幕上的一系列图像。每秒出现的帧数称为帧速率也叫帧频，是以每秒帧数 (fps) 为单位度量的。

Ø 帧速率越高，每秒用来显示系列图像的帧数就越多，从而使得运动更加流畅。常见的PAL 制式每秒钟 25 帧，NTSC 制式每秒钟 30 帧。

场

Ø 目前我们所看到的普通电视的成像，实际上是由两条叠加的扫描折线组成的，电视由于要克服信号频率带宽的限制，无法在制式规定的刷新时间内同时将一帧图象显现在屏幕上，只能将图象分成两个半幅的图像，一先一后地显现，由于刷新速度快，肉眼是看不见的。

Ø 普通 PAL 制电视系统采用隔行扫描方式，隔行扫描方式是将一帧电视画面分成奇数场和偶数场两次扫描。第一次扫出由 1、3、5、7…等所有奇数行组成的奇数场，第二次扫出由 2、4、6、8…等所有偶数行组成的偶数场，这样，每一幅图象经过两场扫描，所有的象素便全部扫完。

Ø 场是因隔行扫描系统而产生的，两场为一帧。

扫描方式

Ø 显示设备表示运动图像的方法有两种：隔行扫描（Interlaced）和逐行扫描（Progressive）

Ø 隔行扫描就是每一帧被分割为两场，每一场包含了一帧中所有的奇数扫描行或者偶数扫描行，通常是先扫描奇数行得到第一场，然后扫描偶数行得到第二场。

Ø 逐行扫描每次显示整个扫描帧，如果逐行扫描的帧率和隔行扫描的场率相同，人眼将看到比隔行扫描更平滑的图像，相对于隔行扫描来说闪烁较小。

Ø 在电视的标准显示模式中，i 代表隔行扫描，p 代表逐行扫描。 例如1080i和1080p。

标清视频与高清视频

2K、4K视频

Ø 如下图：2K 是指图片水平方向的线数，即 2048 线（1K=1024），4K 是指图片水平方向的线数为 4×1024，依次类推。

高标清上下变换

Ø 所谓上下变换，实际就是对视频信号或者文件的时空采样结构进行变换—— 即在时间和空间上实现分辨率的变换。

Ø 下变换，即高清变换为标清，可由高分辨视频信号或文件通过抽取滤波变换为低分辨率视频信号或文件。

Ø 上变换，即标清变换为高清，可在保持原视频信号频谱的同时，提高采样频率，并对原有视频信号或文件进行内插值变换。

16：9高清下变换为4：3标清

如下图：方式A和方式C适用于接收终端为16：9的显示设备，能达到很好的效果。

方式B则适用于4：3的电视机。

4：3标清上变换为16：9高清

如下图：A 方式画面变形不能接受； B 方式在裁减后，对构图美感提出极大挑战（除非原始素材就已经按照预定好的这种格式制作） 一般的来说，采取 C 方式。