《你的名字》滤镜 App 爆红技术关键:机器学习和神经网路

  • A+
所属分类:AI传送门
广告也精彩

【为什幺我们挑选这篇文章】日本动画电影《你的名字》现在还处于火红阶段,不过在这之前有款同名的滤镜 App 已先行爆红,这款打着能创造出和这部电影一样风格的滤镜,被人疯狂下载。
你可能觉得这款 App 是神作,或是不懂他到底在红什幺意思,但一切还是交给创造出 App 这家公司的负责人来说明,为什幺他们会想做吧。(责任编辑:张玮伦)
《你的名字》今日(12/2)在中国上映,不到 24 小时,票房突破 6000 万,冲到了今日(12/2)票房榜首。一同火爆的还有与电影同名的滤镜。电影上映前一周,「你的名字」滤镜就刷爆了朋友圈。而这也是继 Prisma 之后,又一款备受推崇的「人工智能 」滤镜。与 Prisma 不同的是,「你的名字」滤镜主打日系动漫风格。

据了解,「你的名字」滤镜出自上海时光无线科技有限公司,在这款滤镜火爆之前,他们的产品主要是时光相册 App。雷锋网联繫到了这家公司的负责人沈振宇,为大家解密这款滤镜背后的故事。
时光相册 App 主要为手机内储存的照片提供云储存服务,并可以根据照片的主题,对照片进行 智慧 分类管理以及简单的编辑处理。沈振宇告诉雷锋网:
「公司创立时主要就是想将 人工智能技术 运用在图片分类处理类 App 中,日活在百万左右,公司 80%左右的员工都是工程师,但「你的名字」滤镜的火爆程度却是始料未及的。」
构想之初,受到 Prisma 的启发,时光相册也想做一款可以把照片风格化处理的滤镜,但沈振宇认为,油画的风格并不符合中国绝大多数人的审美习惯,想尝试一种大家都比较喜欢的风格,于是选择了日系动漫。
用了近两个月的时间,尝试了许多不同的演算法,让机器去学习新海诚动漫中作品中的纹理特徵,不断的调教参数,最后达到了「你的名字」滤镜现在的效果。用户只需要上传照片,选择滤镜,就可以得到一张充满新海诚画风的照片。
「你的名字」滤镜的核心技术在于对图片中天空的处理,可以让任何一张照片中看起来平淡、或是没有色彩的天空部分,成功贴合成为新海诚动漫中的效果。
沈振宇介绍说,滤镜会对图片中的天际线进行智慧识别,然后将天空部分抠掉,换上电影里的蓝天白云。「蓝天白云」的素材都是从新海诚电影的正版片源中截取的,且已获得官方授权。
据沈振宇介绍,滤镜取材的电影有《秒速五厘米》、《言叶之庭》以及《你的名字》,开始时选取了几十张的天空素材,但发现一些素材的贴合效果并不是很好,最后挑选了 20 张左右的天空素材,做为最终滤镜可以呈现的效果。
问起在处理技术上与 Prisma 是否有不同之处。时光相册 App 的工程师告诉雷锋网, Prisma 将 神经网路 用作端到端的生成模型,直接修改图片的像素颜色值或者输出最终的像素颜色值,这样可以生成一些与原照片差异较大,风格很奇特的图片,但自然程度和美感可能会不够好。
而「你的名字滤镜」对机器学习和神经网路的应用主要在于演算法参数的学习和图像的分割,这些机器学习的预测输出会做为图像处理演算法的输入,而真正对图像做直接处理的演算法是受约束和可解释的。
另外,为了在用户上传的美感和质量不高的照片中营造整体的「新海诚氛围」,滤镜还使用了传统图像增强方法和基于图像的渲染(IBR)方法对图像进行预处理和后处理。
与图普科技一位研究图像风格化演算法工程师分析的相同。这位工程师告诉雷锋网,「Prisma 的本质是放弃原图的细节,保留结构讯息,然后将风格图经常出现的模式与原图合成。因此,仅用现有的深度学习方法暂时无法这样对细节进行精挑细选的处理。所以时光相册是採用了深度学习跟传统计算机视觉的技术结合,先用深度学习做像素分割,再结合传统计算机视觉的方法做滤镜处理。」
滤镜完成后,先上线了 H5 版本,计划在小範围内进行测试,用一周时间完成推广以及在时光相册 App 上线,但结果却超预期。沈振宇说,「一夜过后,伺服器基本上瘫痪了,于是调用了上百台的 TPU 伺服器来支持后台运作,提前在时光相册 App 上线。 每天都会新增 30 万左右用户。」
现在,时光相册 App 仍在配合发行方进行相关的电影宣传工作。App 中的滤镜也还在不断地更新中,上线了「星空」滤镜、「古铜」滤镜以及「花木」滤镜。其中「星空」滤镜延续了日系动漫风格,技术原理大致相同,但模型是「重新」训练过的,天空素材与「你的名字」滤镜也与不同,前景风格也不同。
而「古铜」滤镜与「花木」滤镜同属于油画风格。沈振宇说,这两款滤镜的处理技术与 Prisma 相同,但做了一些性能优化,提高了图片渲染速度。新滤镜的上线主要是为了避免用户使用你的名字滤镜过于单调的问题,后续也会接着尝试新的绘画风格。
对于新滤镜以及时光相册 App 今后的运营状况,沈振宇并没有更高的预期。显然,沈振宇深谙「现象级应用程序」的宿命,也想极力想摆脱这种宿命。
(本文经合作伙伴雷锋网授权转载,并同意 TechOrange 编写导读与修订标题,原文标题为 〈「你的名字」电影上映,同款滤镜火爆的背后 〉。)
延伸阅读
 【吉卜力直接被无视】《你的名字》还在红,下个取代新海诚的热门 IP 已经出炉:细田守
你还以为 Prisma 只是个滤镜 App?其实「AI 人工智能」才是它的本体
 你不知道的滤镜真相:Instagram 最多人用的滤镜竟然是 Normal

数据解密创造精準医疗新世纪
英科智能── NVIDIA 创办人黄仁勋盛讚「全球最具影响力的企业」
 AI 长将在台分享用人工智能改变既有医学思维
未来科技展精準医疗论坛
12/14(五)13:30~15:30
立即报名

  • 微信
  • 扫一扫
  • weinxin
  • 微信公众号
  • 扫一扫
  • weinxin
广告也精彩
iPhone 配件
半身裙时尚
多功能折叠刀具
高帮鞋
广告也精彩

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: