在没有GAN的情况下,如何从照片中基本生成简单的笔画?这个项目做到了。
以前,机器的心脏报告说,简笔画会产生人脸。
人工智能从人脸生成棒状图形的效果是什么?首先看一些效果图! “朋友”多人照片转换效果:男性神基努·里维斯的效果令人惊讶地好吗?更有趣的是,这种创建线稿的方法并未使用大多数类似工具都将使用的生成对抗网络GAN。
目前,该项目在Reddit上非常受欢迎,该项目名为ArtLine,并且githubstar的数量已超过700。
如果您想尝试自己的照片,项目作者VijishMadhavan还将代码放在GoogleColab上并直接运行。
项目链接:https://github.com/vijishmadhavan/ArtLineColab地址:https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb技术细节和效果惊人。
ArtLine使用什么技术?这里是详细的技术细节,包括自我关注机制,图像大小的逐步调整以及发生器损耗功能。
自我注意机制的相关研究是论文“ Self-AttentionGenerativeAdversarialNetworks”。
由伊恩·古德费洛(Ian Goodfellow)等人撰写。
论文:https://arxiv.org/pdf/1805.08318.pdf该项目的作者介绍了该发生器是通过频谱归一化和自我关注机制预先训练的UNET。
它还借鉴了JasonAntic的DeOldify项目,以获取有关面部特征的信息。
适当的细节。
DeOldify项目地址:https://github.com/jantic/DeOldify看到这一点,也许有些读者会提出疑问,这是否意味着不使用GAN?项目作者给出的解释是,我对NoGAN感到满意。
为了逐渐增加图像的大小,作者分别借鉴了Nvidia和首尔国立大学的两项相关研究:论文:https://arxiv.org/pdf/1710.10196.pdf论文:https://arxiv.org/pdf /1707.02921.pdf在此项目中,图像尺寸逐渐增大,并且学习率得到了调整。
逐步调整图像大小可以帮助模型更好地概括,因为它可以看到更多不同的图像。
该项目中使用的最新技术源自2016年的研究论文“实时样式传输和超分辨率的感知损失”。
由斯坦福大学的李菲菲团队提供。
链接到本文:https://arxiv.org/pdf/1603.08155.pdf这项研究建议使用感知损失函数来训练图像转换中的前馈网络。
结果表明,在样式转移任务中,该研究与其他方法进行了比较。
效果相似,但是运行速度提高了几个数量级。
尽管转换效果很好,但该项目的作者说该项目仍存在以下局限性:获得良好的输出效果取决于照明,背景,阴影和照片质量。
通常在一开始就可获得良好的输出结果,但也可能会出现问题。
需要调整模型以适合所有用户;该模型会混淆阴影和头发,这也是项目作者试图解决的问题; 500像素以下的低质量图像的输出效果不佳;由于项目作者不是编码人员,因此代码和实现将更加困难。
将来的更新版本将得到改进。
对于在ArtLine转换中未使用GAN的事实,网友表示钦佩和赞赏!