必威体育Betway必威体育官网
当前位置:首页 > IT技术

ts流格式详解

时间:2019-06-04 14:43:07来源:IT技术作者:seo实验室小编阅读:94次「手机版」
 

ts流

ts文件为传输流文件,视频编码主要格式h264/mpeg4,音频为acc/MP3。

  ts文件分为三层:ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识别和传输必须的信息

注: 详解如下

(1)ts层     ts包大小固定为188字节,ts层分为三个部分:ts header、adaptation field、payload。ts header固定4个字节;adaptation field可能存在也可能不存在,主要作用是给不足188字节的数据做填充;payload是pes数据。

ts header

sync_byte8b同步字节,固定为0x47
transport_ERROR_indicator1b传输错误指示符,表明在ts头的adapt域后由一个无用字节,通常都为0,这个字节算在adapt域长度内
payload_unit_start_indicator1b负载单元起始标示符,一个完整的数据包开始时标记为1
transport_priority1b传输优先级,0为低优先级,1为高优先级,通常取0
pid13bpid值
transport_scrambling_control2b传输加扰控制,00表示未加密
adaptation_field_control2b是否包含自适应区,‘00’保留;‘01’为无自适应域,仅含有效负载;‘10’为仅含自适应域,无有效负载;‘11’为同时带有自适应域和有效负载。
continuity_counter4b递增计数器,从0-f,起始值不一定取0,但必须是连续的

ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。

  • PAT表:他主要的作用就是指明了PMT表的PID值。

  • PMT表:他主要的作用就是指明了音视频流的PID值。

  • 音频流/视频流:承载音视频内容。

adaption

adaptation_field_length1B自适应域长度,后面的字节数
flag1B取0x50表示包含PCR或0x40表示不包含PCR
PCR5BProgram Clock Reference,节目时钟参考,用于恢复出与编码端一致的系统时序时钟STC(System Time Clock)。
stuffing_bytesxB填充字节,取值0xff

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考,pcr、dts、pts都是对同一个系统时钟的采样值,pcr是递增的,因此可以将其设置为dts值,音频数据不需要pcr。如果没有字段,Ipad是可以播放的,但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的,不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field,通常加在一个帧的第一个ts包和最后一个ts包里,中间的ts包不加。

PAT格式

table_id8bPAT表固定为0x00
section_syntax_indicator1b固定为1
zero1b固定为0
reserved2b固定为11
section_length12b后面数据的长度
transport_stream_id16b传输流ID,固定为0x0001
reserved2b固定为11
version_number5b版本号,固定为00000,如果PAT有变化则版本号加1
current_next_indicator1b固定为1,表示这个PAT表可以用,如果为0则要等待下一个PAT表
section_number8b固定为0x00
last_section_number8b固定为0x00
开始循环  
program_number16b节目号为0x0000时表示这是NIT,节目号为0x0001时,表示这是PMT
reserved3b固定为111
PID13b节目号对应内容的PID值
结束循环  
CRC3232b前面数据的CRC32校验码

PMT格式

table_id8bPMT表取值随意,0x02
section_syntax_indicator1b固定为1
zero1b固定为0
reserved2b固定为11
section_length12b后面数据的长度
program_number16b频道号码,表示当前的PMT关联到的频道,取值0x0001
reserved2b固定为11
version_number5b版本号,固定为00000,如果PAT有变化则版本号加1
current_next_indicator1b固定为1
section_number8b固定为0x00
last_section_number8b固定为0x00
reserved3b固定为111
PCR_PID13bPCR(节目参考时钟)所在TS分组的PID,指定为视频PID
reserved4b固定为1111
program_info_length12b节目描述信息,指定为0x000表示没有
开始循环  
stream_type8b流类型,标志是Video还是Audio还是其他数据,h.264编码对应0x1b,aac编码对应0x0f,mp3编码对应0x03
reserved3b固定为111
elementary_PID13b与stream_type对应的PID
reserved4b固定为1111
ES_info_length12b描述信息,指定为0x000表示没有
结束循环  
CRC3232b前面数据的CRC32校验码

(2)pes层

pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我们只留下最常用的。

pes start code3B开始码,固定为0x000001
stream id1B音频取值(0xc0-0xdf),通常为0xc0

视频取值(0xe0-0xef),通常为0xe0

pes packet length2B后面pes数据的长度,0表示长度不限制,

只有视频数据长度会超过0xffff

flag1B通常取值0x80,表示数据不加密、无优先级、备份的数据
flag1B取值0x80表示只含有pts,取值0xc0表示含有pts和dts
pes data length1B后面数据的长度,取值5或10
pts5B33bit值
dts5B33bit值

pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。

音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。

举例说明:

                 I          P          B          B          B          P

读取顺序:         1         2          3          4          5          6

dts顺序:           1         2          3          4          5          6

pts顺序:           1         5          3          2          4          6

点播视频dts算法:

dts = 初始值 + 90000 / video_frame_rate,初始值可以随便指定,但是最好不要取0,video_frame_rate就是帧率,比如23、30。

pts和dts是以timescale为单位的,1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。

用一帧的timescale除以采样频率就可以转换为一帧的播放时长

点播音频dts算法:

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate,audio_samples_per_frame这个值与编解码相关,aac取值1024,mp3取值1158,audio_sample_rate是采样率,比如24000、41000。AAC一帧解码出来是每声道1024个sample,也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。

直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。

(3)es层

es层指的就是音视频数据,我们只介绍h.264视频和aac音频。

h.264视频:

打包h.264数据我们必须给视频数据加上一个nalu(Network Abstraction Layer unit),nalu包括nalu header和nalu type,nalu header固定为0x00000001(帧开始)或0x000001(帧中)。h.264的数据是由slice组成的,slice的内容包括:视频、sps、pps等。nalu type决定了后面的h.264数据内容。

F1bforbidden_zero_bit,h.264规定必须取0
NRI2bnal_ref_idc,取值0~3,指示这个nalu的重要性,I帧、sps、pps通常取3,P帧通常取2,B帧通常取0
Type5b参考下表
nal_unit_type说明
0未使用
1非IDR图像片,IDR指关键帧
2片分区A
3片分区B
4片分区C
5IDR图像片,即关键帧
6补充增强信息单元(SEI)
7SPS序列参数集
8PPS图像参数集
9分解符
10序列结束
11码流结束
12填充
13~23保留
24~31未使用

红色字体显示的内容是最常用的,打包es层数据时pes头和es数据之间要加入一个type=9的nalu,关键帧slice前必须要加入type=7和type=8的nalu,而且是紧邻。

相关阅读

DecimalFormat 保留小数格式化

DecimalFormat format 方法大家在format()一个小数是,总是对格式中的'0'和'#'有些不解吧!eg: 1:new DecimalFormat("00.000").forma

JAVA-FileInputStream之read方法

  关于FileInputStream  它用于读取本地文件中的字节数据,继承自InputStream类,由于所有的文件都是以字节为向导,因此它适用于操

java判断邮箱格式

public static boolean isEmail(String string) { if (string == null) return false; String regE

使用requests爬取携程网飞机票价格实例

1.前言 本实例需要用到的python包有requests、PrettyTable(用于打印展示成表格形式) pip install requests pip install pretty

使用Flvplayer.swf播放器播放 .flv 格式的视频

1.首先下载一个 Flvplayer.swf 播放器用于播放.flv格式的视频。 大家可以到我上传的所有资源中寻找这个资源“FlvplayerSwf.zip”

分享到:

栏目导航

推荐阅读

热门阅读