FFmpeg是一个强大的多媒体框架，用于处理视频和音频数据。它包括了libavcodec（用于解码和编码）、libavformat（用于格式转换）、libavutil（提供一些辅助工具和函数）、libavfilter（用于音视频过滤）等多个库。

以下这些都是FFmpeg的特性

FFmpeg支持大量的音视频编解码器，如H.264、H.265、VP9、MPEG-2、AAC、MP3等。能够将音视频文件从一种格式转换为另一种格式，例如将MP4转换为AVI。

可以处理实时流媒体，支持RTSP、RTMP、HTTP等流媒体协议。通过libavfilter库，可以对视频和音频应用各种滤镜和效果，如裁剪、缩放、旋转、色彩调整、音频混响等。

FFmpeg可以利用多线程和多核处理器来加速编解码和转码过程。FFmpeg的命令行工具支持复杂的脚本和自动化处理，可以通过脚本来控制复杂的处理流程。

FFmpeg可以利用硬件加速（如GPU）来提高编解码效率。可以用于实时音视频处理，如直播流的编码和解码。

了解这些技术要点有助于在使用FFmpeg进行音视频处理时，能够更加高效地解决问题和实现需求。

如何使用FFmpeg进行视频的实时转码和流处理？

使用 FFmpeg 进行视频的实时转码和流处理是一个涉及多个步骤的过程，通常用于直播或实时视频流的场景。我们来看一下FFmpeg要怎么做：

1. 捕获视频源

首先需要捕获视频源。可以是摄像头、屏幕捕获或其他实时视频源。

ffmpeg -f v4l2 -i /dev/video0 -vcodec libx264 -tune zerolatency -f flv rtmp://localhost/live/stream

• -f v4l2 指定使用视频4Linux 2设备。
• -i /dev/video0 指定视频输入设备。
• -vcodec libx264 使用x264编码器。
• -tune 使用zerolatency预设来优化延迟。
• -f flv 指定输出格式为FLV。
• rtmp://localhost/live/stream 是输出到的RTMP服务器地址。

2. 实时转码

在捕获视频的同时，使用 FFmpeg 实时转码。例如，将输入视频转换为 H.264 编码和 AAC 音频编码：

ffmpeg -i input_stream -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv output_stream

• -i input_stream 指定输入流。
• -c:v libx264 指定视频编码器为 libx264。
• -preset veryfast 指定编码速度和质量的平衡。
• -maxrate 和 -bufsize 控制编码的比特率。
• -c:a aac 指定音频编码器为 AAC。
• -b:a 设置音频比特率。
• -f flv 指定输出格式。
• output_stream 是输出流的名称。

3. 推流到服务器

将转码后的视频推送到流媒体服务器（不能写名字）或自定义的 RTMP 服务器。

ffmpeg -re -i input_file.mp4 -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv rtmp://server/live/stream

• -re 表示按文件原始速率读取输入。
• input_file.mp4 是输入文件。
• 其余选项与上文相同。
• rtmp://server/live/stream 是RTMP服务器地址。

若大家觉得看文章不过瘾，可以去B站看音视频开发视频教程，给大家整理了一个几十小时的视频教程合集（内含：FFmpeg、RTSP、RTMP、SRS流媒体服务器、编解码、推拉流、音视频通话等项目实战教程），还有配套课件资料给大家哦。↓↓↓见下面↓↓点击↓↓

音视频开发视频教程：点击→「链接」

4. 使用 FFmpeg 进行直播

FFmpeg 可以与 OBS、XSplit 等直播软件结合使用，或者直接用于直播。

ffmpeg -i live_input -c:v libx264 -preset veryfast -maxrate 2000k -bufsize 4000k -c:a aac -b:a 128k -f flv rtmp://server/live/stream

• live_input 可以是摄像头、屏幕捕获或其他实时视频源。

5. 录制直播

同时，想要录制直播流以供后续点播。

ffmpeg -i live_input -c copy -f segment -segment_time 60 -segment_format mp4 -segment_list_type m3u8 -segment_list live.m3u8 segment%03d.mp4

• -c copy 表示复制原始流而不重新编码。
• -f segment 指定分段输出。
• -segment_time 指定每个分段的时长。
• -segment_format 指定分段的格式。
• -segment_list_type 指定播放列表类型。
• -segment_list 指定播放列表文件。
• segment%03d.mp4 指定分段文件的命名格式。

在实时转码和流处理时，对系统资源要求是较高的，要确保服务器有足够的处理能力和带宽。根据实际需求调整编码参数，以平衡视频质量和传输延迟即可。

FFmpeg实现实时直播流的编码和解码

在直播推流业务场景中，使用 FFmpeg 实现实时直播流的编码和解码通常涉及两个主要步骤：捕获原始视频并编码为适合网络传输的格式，以及在接收端解码流以进行播放。以下是如何使用 FFmpeg 进行编码和解码的示例。

1. 编码和推流（编码器端）

首先从视频源（如摄像头、屏幕捕获等）捕获视频，然后将其编码并推送到流媒体服务器。以下是使用 FFmpeg 进行实时编码和推流的命令：

ffmpeg -f v4l2 -i /dev/video0 -f alsa -i default -vcodec libx264 -acodec aac -preset ultrafast -tune zerolatency -f flv rtmp://server/live/stream

• -f v4l2 指定视频捕获设备。
• -i /dev/video0 指定视频输入设备，例如摄像头。
• -f alsa 指定音频捕获设备。
• -i default 指定音频输入设备，例如麦克风。
• -vcodec libx264 指定使用 H.264 编码器进行视频编码。
• -acodec aac 指定使用 AAC 编码器进行音频编码。
• -preset ultrafast 用于快速编码，牺牲一些压缩效率以减少延迟。
• -tune 优化编码参数以减少延迟。
• -f flv 指定输出格式为 FLV，适合 RTMP 流媒体传输。
• rtmp://server/live/stream 是流媒体服务器的地址，你需要将其替换为实际的服务器地址。

2. 解码和播放（观众端）

在观众端，你需要从流媒体服务器拉取流，并解码以进行播放。这可以通过 FFmpeg 命令行工具或使用支持 RTMP 的播放器（如 VLC）完成。

使用 FFmpeg 命令行工具播放 RTMP 流：

ffmpeg -i rtmp://server/live/stream -c copy -f flv output.flv

• -i 指定输入流。
• -c copy 表示不对视频和音频进行重新编码，直接复制流。
• -f flv 指定输出格式为 FLV。
• output.flv 是输出文件的名称，可以是本地文件或输出到另一个流。

如果只是想实时观看流，而不是录制，可以使用 VLC 播放器：

vlc rtmp://server/live/stream

最后

FFmpeg的架构可以让我们添加新的编解码器、格式和滤镜。支持多种文件输入输出协议，如文件、管道、网络协议等。