iOS使用FFmpeg命令行

2023-03-23 今日头条音视频开发T哥

官方文档 FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。 FFmpeg的代码是包括两部分的，一部分是library，一部分是tool。api都是在library里面，如果直接调api来操作视频的话，就需要写c或者c++了。另一部分是tool，使用的是命令行，则不需要自己去编码来实现视频操作的流程。

1、各模块的功能：

libavformat：用于各种音视频封装格式的生成和解析； libavcodec：用于各种类型声音、图像编解码； libavutil：包含一些公共的工具函数； libswscale：用于视频场景比例缩放、色彩映射转换； libpostproc：用于后期效果处理； ffmpeg：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等； ffsever：一个 HTTP 多媒体即时广播串流服务器； ffplay：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

本文主要介绍已经编译好FFmpeg库的情况下怎么集成到IOS项目中并使用FFmpeg命令，至于怎么编译教程很多我懒得贴了可以自行搜索。

2、导入iOS工程的配置及使用命令行工具的配置

1、编译成功之后会得到FFmpeg-iOS这么一个目录，里面有lib、include两个子目录，把FFmpeg-iOS直接拖进工程里

2、添加需要的系统依赖库，Build Phases — Link Binary With Libraries，添加 libz.tbd、libbz2.tbd、libiconv.tbd、CoreMedia.framework、VideoToolbox.framework、AudioToolbox.framework

3、设置 Header Search Paths 路径，指向项目中include目录

到这里command+B已经可以编译成功了，只使用FFmpeg API的话配置到这里就可以了，下面关于使用命令行的配置基于FFmpeg4.2版本，不同的版本之间可能会存在一些小的差异

4、找到源码ffmpeg-4.2/fftools目录下的这些文件导入项目中，如下图

config.h文件在ffmpeg-4.2文件夹同级的scratch文件夹中，scratch下面有不同架构的，真机选用arm64的即可

C++音视频学习资料免费获取方法：关注音视频开发T哥，点击「链接」即可免费获取2023年最新C++音视频开发进阶独家免费学习大礼包！

5、修改命令行工具的代码

全局搜索这些头文件，有引用的地方全部注释

#include "compat/va_copy.h"
#include "libavresample/avresample.h"
#include "libpostproc/postprocess.h"
#include "libavutil/libm.h"
#include "libavutil/time_internal.h"
#include "libavutil/internal.h"
#include "libavformat.NETwork.h"
#include "libavcodec/mathops.h"
#include "libavformat/os_support.h"
#include "libavutil/thread.h"

ffmpeg.c文件中，注释下面的函数调用并导入系统头文件 #include <pthread.h>

nb0_frames = nb_frames = mid_pred(ost->last_nb0_frames[0],
                                          ost->last_nb0_frames[1],
                                          ost->last_nb0_frames[2]);

ff_dlog(NULL, "force_key_frame: n:%f n_forced:%f prev_forced_n:%f t:%f prev_forced_t:%f -> res:%fn",
                    ost->forced_keyframes_expr_const_values[FKF_N],
                    ost->forced_keyframes_expr_const_values[FKF_N_FORCED],
                    ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_N],
                    ost->forced_keyframes_expr_const_values[FKF_T],
                    ost->forced_keyframes_expr_const_values[FKF_PREV_FORCED_T],
                    res);

cmdutils.c文件中print_all_libs_info函数里注释以下两行代码

PRINT_LIB_INFO(avresample, AVRESAMPLE, flags, level);
PRINT_LIB_INFO(postproc,   POSTPROC,   flags, level);

ffmpeg_opt.c文件中注释以下两行代码

{ "videotoolbox", videotoolbox_init, HWACCEL_VIDEOTOOLBOX, AV_PIX_FMT_VIDEOTOOLBOX },

{ "videotoolbox_pixfmt", HAS_ARG | OPT_STRING | OPT_EXPERT, { &videotoolbox_pixfmt}, "" },

解决mian函数重复的问题，修改如下

ffmpeg.h 文件下增加函数声明:
int ffmpeg_main(int argc, char **argv);
ffmpeg.c 文件中:
main函数修改为ffmpeg_main；主要是为了避免两个main函数存在

修改执行一次 ffmpeg_main 方法后 App闪退问题

看到一些文章里说修改cmdutils.c中的exit_program函数，注释掉退出进程的代码，本人实测还是有问题，
最终修改是 ffmpeg.c文件中把所有调用 exit_program 函数的地方改为调用 ffmpeg_cleanup 函数就可以了。

注意：当前全部改成ffmpeg_cleanup会出现的一些情况，比如执行查看视频信息的命令，这个命令里面没有设置输出路径，原来的代码里走到判断没有输出路径的分支直接调用exit_program就退出了进程，改成调用ffmpeg_cleanup后代码会继续往下走导致一些访问空指针的崩溃，这种个别情况自己再针对进行处理就好了，不过一般使用场景中都会有输入和输出

修改多次调用 ffmpeg_main 时，访问空指针的问题：

ffmpeg.c 文件中
在 ffmpeg_cleanup 方法中重置计数器，在 term_exit(); 这行代码前添加重置计数的代码
修改后如下：
nb_filtergraphs = 0;
nb_output_files = 0;
nb_output_streams = 0;
nb_input_files = 0;
nb_input_streams = 0;
term_exit();

以上这些都修改完，command+B，编译成功！可以使用命令行了，在使用的地方引入头文件 #import "ffmpeg.h"即可。

3、命令行的使用及处理进度回调

我这里封装了一个使用cmd的方法，代码如下

#import "HEFFmpegTools.h"
#import "ffmpeg.h"

@implementation HEFFmpegTools

///执行ffmpeg指令，" "为分割标记符
+ (void)runCmd:(NSString *)commandStr completionBlock:(void(^)(int result))completionBlock {
    dispatch_async(dispatch_get_global_queue(0, 0), ^{
        // 根据 " " 将指令分割为指令数组
        NSArray *argv_array = [commandStr componentsSeparatedByString:(@" ")];
        // 将OC对象转换为对应的C对象
        int argc = (int)argv_array.count;
        char** argv = (char**)malloc(sizeof(char*)*argc);
        for(int i=0; i < argc; i++) {
            argv[i] = (char*)malloc(sizeof(char)*1024);
            strcpy(argv[i],[[argv_array objectAtIndex:i] UTF8String]);
        }
        
        // 传入指令数及指令数组,result==0表示成功
        int result = ffmpeg_main(argc,argv);
        NSLog(@"执行FFmpeg命令：%@，result = %d",commandStr,result);

        dispatch_async(dispatch_get_main_queue(), ^{
            completionBlock(result);
        });
    });
}

@end

使用runCmd函数的示例代码，把一个视频旋转90度并保存到相册

let videoPath =  NSSearchPathForDirectoriesInDomains(.cachesDirectory, .userDomainMask, true).first! + "/tempvideo.mp4"
let inputVideo = "(Bundle.main.bundlePath)/ffm_video2.mp4"
let transformCmd = "ffmpeg -i (inputVideo) -y -vf rotate=PI/2 (videoPath)";
HEFFmpegTools.runCmd(transformCmd) { (result) in
    if FileManager.default.fileExists(atPath: videoPath) {
        print("保存到相册");
        UISaveVideoAtPathToSavedPhotosAlbum(videoPath, nil, nil, nil)
    }
}

获取处理进度 1、任意创建一个Cocoa Touch Class 作为在.c里面引用的桥接文件，.h文件代码全部删掉，声明函数

///获取输入源文件的时长
void setDuration(long long duration);
///获取当前的处理进度
void setCurrentTimeFromProgressInfo(char *progressInfo);

.m中删除代码只保留头文件的引用，实现如下

#import "HEFFmpegBridge.h"
#import <Foundation/Foundation.h>

static long long totalDuration = 0;

void setDuration(long long duration) {
    
    //duration的精度到微秒
    //比如视频长度 00:00:24.53，duration会是24533333
    //比如视频长度 00:01:16.10，duration会是76100000
    printf("n fileDuration = %lldn",duration);
    totalDuration = duration;
}

void setCurrentTimeFromProgressInfo(char *progressInfo) {
    //progressInfo
    //e.g. frame= 1968 fps=100 q=31.0 size=    4864kB time=00:01:06.59 bitrate= 598.3kbits/s speed=3.38x
    //printf("n ctime = %sn",progressInfo);
    
    NSString *progressStr = [NSString stringWithCString:progressInfo encoding:NSUTF8StringEncoding];
    NSArray *infoArray = [progressStr componentsSeparatedByString:@" "];
    NSString *timeString = @"";
    for (NSString *info in infoArray) {
        if ([info containsString:@"time"]) {
            timeString = [info componentsSeparatedByString:@"="].lastObject;//e.g. 00:01:16.10，精确到十毫秒
        }
    }
    NSArray *hmsArray = [timeString componentsSeparatedByString:@":"];
    if (hmsArray.count != 3) {
        return;
    }
    long long hours = [hmsArray[0] longLongValue];
    long long minutes = [hmsArray[1] longLongValue];
    long long seconds = 0;
    long long mseconds = 0;
    NSArray *tempArr = [hmsArray[2] componentsSeparatedByString:@"."];
    if (tempArr.count == 2) {
        seconds = [tempArr.firstObject longLongValue];
        mseconds = [tempArr.lastObject longLongValue];
    }
    long long currentTime = (hours * 3600 + minutes * 60 + seconds) * 1000000 + mseconds * 10000;
    double progress = [[NSString stringWithFormat:@"%.2f",currentTime * 1.0 / totalDuration] doubleValue];
    NSLog(@"progress = %.2f",progress);
//    //ffmpeg操作是在子线程中执行的
//    dispatch_async(dispatch_get_main_queue(), ^{
//        //更新进度UI
//    });
}

从上面的代码可以看到，处理进度的回调主要是通过setDuration获取输入源文件的总时长，
setCurrentTimeFromProgressInfo获取当前已处理的时长，然后根据两者比例计算出当前的进度，细节直接看代码

2、什么时机调用这两个函数？

ffmpeg_opt.c文件中 open_input_file函数里在err = avformat_open_input(&ic, filename, file_iformat, &o->g->format_opts); 之后调用 setDuration(ic->duration);
ffmpeg.c文件中 print_report函数里 fflush(stderr); 前调用 setCurrentTimeFromProgressInfo(buf.str);

看完这些觉得麻烦也可以直接用我编译配置好的库，导入可以直接使用 Github地址，如果觉得有帮助给个⭐️吧

4、命令行使用的整理

命令基本格式：ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url} ...

常见的参数配置： -f 强制指定编码格式 -i 输出源 -t 指定输入输出时长 -r 指定帧率，即1S内的帧数 -threads 指定线程数 -c:v 指定视频的编码格式 -ss 指定从什么时间开始 -b:v 指定比特率 -b:v 2500k 指定输出文件的视频比特率为 2500kbit/s -s 指定分辨率 -y 覆盖输出 -filter 指定过滤器 -vf 指定视频过滤器 -an 指定去除对音频的影响 -vn 指定去除对视频的影响 -sn 指定去除对字幕的影响 -dn 指定去除对数据流的影响 -codec: copy 复制所有流而无需重新编码