缘起

deepfakes是利用AI技术换脸的开源项目，目前基于deepfakes的开源项目很多，而faceswap认可度很高，到目前为止有28.5千Star，可以说是换脸这类项目最火的了。小弟在当下有换脸需求，选取了这个项目进行研究尝试，将自己的经验和体会记录下来，希望对你有所帮助！

感谢公司、领导、一切关心支持我的人！

效果

先上一些效果，增加一些趣味性！

官方换脸效果1

官方效果2，小扎在国会舌战群儒的场景

第一次尝试换脸，演讲者左右换姿势，似乎是为不冷落两边的观众

另外一个换脸后的效果

尝试了很多此换脸，不在此一一列举。

+++++++++++++++++++++++

准备

需要一块好的nvidia显卡，最低是1080或以上，众所周知，机器学习是费时的，一块好的显卡可以帮助你节省大量的时间，我用的机器配置了4块TITAN xp显卡，这个项目训练时大部分小弟用到其中两张显卡，在训练villain模型时，用到了其中三张，villain很吃显存，基本上一天可以训练出一个比较清晰的模型。

如果只有CPU，我建议还是放弃尝试，据说训练时间是以周为单位的，训练出一个结果，可能需要数周，那就需要极大的耐性。训练中你机器CPU100%的被烧数周，不能干其他事情。而训练一个模型可能并不让人满意，每次调整参数，又的继续等待数周。大概你周游完欧洲各国后，回家一看结果还没出来！

如果在linux上运行程序，需要一些ffmpeg知识、一些shell脚本经验

该项目在windows上可以直接运行图形，我只有ssh命令行连接的ubuntu服务器，所以自己写了写脚本来处理，很羡慕GUI版本

后来突然领悟可以在我的mac笔记本上运行图形界面，用来查看配置选项。

图形界面是这样：

能运行图形界面操作起来更方便，但是如果像我一样在服务器上通过ssh登陆，也无妨。

在本地调整好参数，同步到服务器上就行啦。

安装好CUDA 10.0  和 anaconda，这个到处都是教程，在此不累叙。

安装faceswap

下载项目https://github.com/deepfakes/faceswap

需要注意的是这个项目经常更新，有时可能不稳定，所以我clone了一份在自己的github里https://github.com/hnjiakai/faceswap ，幸运的是我用clone的这个版本，训练和转换等整个过程都很顺利，没有出现论坛里讨论的各种奇奇怪怪的问题。

1、利用conda创建好运行faceswap的虚拟环境

conda create -n face tensorflow=1.14 python=3.6

2、切换到虚拟环境

conda activate face 

3、安装依赖环境

pip -r requirements.txt

conda install opencv 

这些其实已经完整99%的安装，剩下1%用到时提示缺少可以用conda install xxx安装。详细的安装过程可以参照https://github.com/deepfakes/faceswap/blob/master/INSTALL.md

人脸资源准备

A人脸，以后简称A脸，从需要变脸的视频中得到，我用ffmpeg将视频A转换成图片到A-src文件夹，然后利用faceswap抽取人脸到A-desc文件夹为后续训练做准备。

B人脸，以后简称B脸，从另外一个视频中得到，同样用ffmpeg抽取帧B-src文件夹，然后利用faceswap抽取人脸到B-desc文件夹。

抽取的配置图：

抽取人脸的配置截图中，红框部分做调整就可以，其他默认就OK

1++++抽取帧的ffmpeg命令

ffmpeg -i a_movie.mp4 -qscale:v 2 -f image2 -r 1 zhubo-src/img_%d.jpg

更多ffmpeg用法请看https://blog.csdn.net/jiakai82/article/details/103288726

2++++利用faceswap抽取人脸图片

A脸提取

faceswap.py extract -i A-src -o A-desc -D s3fd -A fan -M extended 

其中-M extended我选择是增强，其他参数选择默认就行，我尝试了很多参数，走了不少弯路，最后发现这个最适合我

B脸提取

faceswap.py extract -i B-src -o B-desc -D s3fd -A fan -M extended 

抽取时的截图：

最下方会显示抽取进度，可以看到当前进度8%。

实际操作过后，抽取思路其实比较清晰了，有上面这些其实已经够啦。

在抽取过程中您仍然可能碰到各种问题，可以在下面连接里获取更多信息

最全的人脸抽取指导在这个https://forum.faceswap.dev/viewtopic.php?f=5&t=27

个人觉得-M extended 选项最有用，可以根据自己需要调整extended或者是其他，剩余的选项其实大多默认就行

extended增强模版，用意在尽量包含眉毛。

A-src A-desc B-src B-desc 这四个目录最好换成你的工作目录路径，便于管理

我的某个模型的工作目录大概这样

目录文件一目了然，train.ini放置的是本模型训练的配置文件，my_conf.sh放置的是训练时的命令行参数配置信息，

train75-original，75表示的是比例、original表示的是模型插件名。

我使用的人脸全都是正面的，项目需求是这样安排的，视频中始终只有一人，所以不用考虑人脸清理等操作，也节省了不少时间。

下图是需要换脸的A脸其中的一张

A脸我大概收集了5000张，是从一段3分钟视频中截取

下图是B脸图片其中的一张

B脸图片大概也收集了5000张，同样是从另外一段三分钟视频中截取。

人脸准备很快就说完了，其实为了整理人脸，费了不少时间，包括人脸视频选取，下载处理，美容等。

在没有美容前，B脸偏暗，是这样的：

训练出来的结果总是灰头土脸，后来提亮肤色后，好很多。

参数调整

现在人脸图片已经准备好了，接下来就是准备训练train了。

train的最全指南在这里https://forum.faceswap.dev/viewtopic.php?f=6&t=146

+++++++++++++++++++++++++++++++++++++++++

用默认参数完全可以开始训练了，但是考虑到训练是个漫长的过程，在调整好你想要的参数后再训练，可以节省无谓的时间浪费。

train的参数大概有几十个吧，这么多参数各种组合起来数量还是很多的，如果都要实验一遍的话，可以玩很久。

+++++主要参数

train的参数有很多，包括Plugins部分的参数（Configure Train Plugins ）和train阶段时用到的命令行参数，大部分参数其实默认就挺好，有些特定参数，做些调整，

从而可以训练出更好的结果。

首先说下Plugins参数

Global部分，最有调整性的是Coverage，我尝试了很多，从62%到100%都有，最后得出结果是68%到75%之间的效果最好

Coverage并不是越大越好，自己可以尝试调整。

MaskType用none，其他我也有尝试，但是并没有什么进步，还是回到none。

Train Plugins之model标签：

我最常用的是original和villain，GPU内存够用就没勾选 lowmem。

下面这些选项可以根据自己需要调整，我基本不调整他

下面是命令行参数选项卡

我更关心红色部分，这是些主要的选项

各个选项都很好理解，其中WriteImage可以将图片中间结果保存，可以随时查看训练结果，觉得满意啦就可以停止训练

图片是这样的：

在选择好你的参数后，将faceswap项目目录下的config里的几个.ini文件，拷贝到服务器上，如果是本地训练可以忽略

点击generate按钮，会生成命令行，可以粘贴到服务器上运行，如果是本地直接点击train按钮运行

训练

上面已经开始训练了，训练中可以随时查看faceswap目录下的training_preview.jpg文件，觉得不错就可以停止。

重要的事情再说一遍，看到training_preview.jpg文件，效果不错了，就可以停止了

++++++++并不是迭代次数越多越好，也不是看lose越小越好

肉眼直接看training_preview.jpg图片是最好的方法

model文件夹里的文件结构

如果中间训练时出错，无法继续训练，可以通过.bk文件还原

为了防止过分迭代，比如，可以加入-it 100000，迭代10万次会自动停止

接下来是个漫长的过程，时间长短取决于你的GPU性能。。。。。。。。。。。。。。。。

转换

在觉得训练结果已经不错，或者想看看结果如何，都可以停止训练，开始转换人脸，就是将A脸换成B脸

train是个很重要的过程，有很多参数，convert也同样挺重要，也有很多参数，不同参数影响结果也挺大

conver命令行参数：

在尝试很多参数变更后，最后回到调整红色部分的主要参数

ColorAdjustment 主要调整avg-color和seamless-clone

ColorAdjustment如果支持组合模式，我觉得可能更完美些，已经向作者提出建议

++单纯用seamless-clone五官抖动厉害，单独用其他的融合很不完美

seamless-clone效果图：

不用seamless-clone效果更不好

MaskType主要用到extended和predicted

extended能解决眉毛问题，但是下巴有问题

predicted眉毛有问题

++extended能够将眉毛包含覆盖，predicted要差些，眉毛总有问题

++++如果换脸时有多人，可以用排除法，或者包含法，避免替换了额外的人脸。

我尝试很多组合，大概训练了2位数那么多的模型，花费了无数时间，但是始终没找到完美的组合！

这些模型占用磁盘达到383GB，GPU在日夜不停的训练

所以我觉得，faceswap完成完美的替换在某些情况下还是比较困难的。

faceswap有很多参数可以选择，可玩性很强，可选很多，容易陷入选择泥团。

虽然有不完美但是faceswap是个不平凡的项目！

合成视频

转换后的图片，我通过ffmpeg合成视频，暂时没考虑语音，语音也可以通过ffmpeg后期合成

"ffmpeg -i ./converted-$convert_name/img_%0d.png -c:v libx264 -vf "fps=25,format=yuv420p" convert-movie-$convert_name-$dname.mp4"

合成了文章开头那些视频

+++++++++

总结

这次换的有瑕疵，原因有多种可能：

第一、可能是选择的AB肤色有关系，图片中女性脸都非常白，稍有差池就能看到暇疵，我觉得肤色比较黑的可能更好；

第二、可能也和算法有很大关系，期待作者出更完美的算法，包括在学习部分和脸部融合部分，在convert阶段，如果支持多种融合的组合，比如semaless-clone加vag-color组合，等，效果可能更好，我以向作者提出这个建议，他们考虑会加上，但是可能时间比较长；

第三、可能是要找到适合AB脸的参数，需要更多的尝试，比较费时，每个换脸的参数可能都不同；

第四、可能是人脸始终是正脸，光影很单调，我觉得如果是经常左右动的脸（有些演讲人会），可能更好些；

机器学习是个学习过程，没有完美答案，也不能1+1=2那么直接，更多是概率，这次没成功可能下次会成功。

时间有限，关注那些重要的参数。

小弟接触换脸时间不长，能力也有限，希望大牛不吝赐教，万分感谢！

感谢

感谢公司、感谢领导、感谢一切关心支持我的人！

后记

期待faceswap的进步，让换脸更完美！

近闻微软和北大搞出了个新的换脸算法，https://mp.weixin.qq.com/s/gGCyMq4PM_Whv-Ssiwt-HA，据说可以秒杀faceswap！目前只有论文没有代码，希望有大佬可以开发出来并开源，造福万千程序员！

 

免责声明

文中人物图片来自网络，如果有侵权行为，请留言作者删除。

 

全文结束