直播技术 #

1. 摄像头视频采集，原始视频数据：RGB/YUV
2. 话筒音频采集，原始音频数据：PCM
3. 视频文件编码，RGB/YUV -> H.264/H.265
4. 音频文件编码，PCM -> AAC
5. 编码为有流媒体特性的多媒体容器格式（Multimedia Container Format）， 如 FLV/TS/RTMP Package
6. 推流到流媒体服务器
   • 应用层：HLS/RTSP/RTMP
   • 传输层：RTP/RTCP
   • 网络层：RSVP
7. 服务端处理
   • 转码/录制/截图/鉴黄
   • 生成拉流 URL
8. 拉流到客户端
   • 应用层：HLS/RTMP
   • 传输层：RTP/RTCP
   • 网络层：RSVP
9. 解复用，多媒体容器格式（FLV/TS/RTMP Package）的流 -> 音视频数据（H.264/AAC）
10. 解码视频文件为 YUV/RGB，解码音频文件为 PCM
    • 硬解码（GPU 解码，CPU 辅助）
    • 软解码（CPU 解码）
11. 音画同步
12. 视频数据（YUV/RGB）发送到视频输出设备，音频数据（PCM）发送到音频输出设备