格子间里的人工智能工程师，在塑造着元宇宙的世界

小隔间里的人工智能工程师们在给虚拟人物做鬼脸，也在塑造着元宇宙的世界。

文｜文斌

2022江苏卫视跨年演唱会上，周深与邓丽君跨越时空的合唱，让人久久不能自抑。但当人们从歌曲的旋律中回过头来看，大家更感兴趣的可能是如何打造一个像邓丽君这样的虚拟形象。

毕竟虚拟世界来了，在这个美貌即正义的时代，我们真实的模样别无选择，而虚拟世界的模样却是可以定制的。

哪里有需求，哪里就有市场。自然地，人们长期以来一直在这样做，以在虚拟世界中“长出”一张好看的脸。

2021年初，Epic Game的Unreal Engine平台发布了一款新工具MetaHuman Creator，号称可以让任何人在几分钟内创建一个配备完整骨骼、头发和衣服的数字人形。

在韩国，有人通过MetaHuman Creator打造的头像成为游戏直播平台的网红，年收入数千万。在国内，类似的AI挤脸技术已经在《耐水寒》、《天域》、《永恒之劫》等多款游戏中实现。

不过，作为AI捏脸技术的缔造者，AI捏脸师的幕后故事并不为人所知。

但最近，随着虚拟世界的概念出现，在虚拟世界中创造出更加逼真的人物形象，成为了构建虚拟世界的基础技术之一。推到前台。

所以这一次，商业数据组也采访了几位来自网易伏羲的AI“捏脸人”，看看一个新职业从幕后走到台前，在他们眼中经历了怎样的故事。而面对一直乘风破浪的元宇宙，他们又期待科技给世界带来怎样的改变？

颜值是正义的虚拟世界，捏脸是第一步

颜值即正义，进入元界的第一步就是创建头像。

经常玩游戏的朋友就会知道，为了提升体验，现在很多游戏都有一个环节，玩家可以亲自为自己的角色创建形象。

2013年，韩国游戏厂商NCSoft推出了一款以东方武侠和捏脸系统为特色的游戏《剑灵》，风靡中国。此后，捏脸系统逐渐成为大多数MMORPG游戏不可或缺的一部分。2018年，网易推出大型端游《奶水寒》，其中包含捏脸系统。

（图：《剑灵》游戏中的捏脸效果）

“当时的捏脸系统非常复杂，有几十上百个滑块和各种参数需要调整，普通玩家捏自己的头像需要几天时间。” AI捏脸高手、网易​​伏羲视觉技术负责人神秀表示：“这个过程太复杂了，我们希望开发一种AI算法，让每个用户在游戏中用一张照片快速制作出满意的图像。”

“我们最初的想法是希望AI在捏脸的时候能模仿真人的反馈。比如我先捏一张初稿，然后和用户上传的图片对比，看看有什么不同，比如眼睛和嘴巴，然后瞄准它。果断地调整它。然后再次比较和调整，等等，最终使两者无限接近相同。

说起来容易做起来难。

“刚拿到这个项目的时候是最困难的。” 神秀告诉商务数据组：“因为整个行业以前没有人这样做过，也没有先例可以借鉴。”

首先是如何挤脸。当时伏羲其实从不同的角度讨论过很多方法，但最后只有两种比较成熟可行。

一是从捏脸的角度来尝试。这种方式更加成熟，更适合现有的一套工业化流程，所以在游戏中更容易实现。但它的缺点是它看起来不像那样。

另一种解决方案是从人脸重建的角度来尝试。该方案可以完整重建人脸的三维纹理，甚至是人脸皮肤的每一个褶皱。但它的缺点是计算时间会比较长，然后同步会比较困难，这也使得它不适合游戏场景。

（图：网易伏羲捏脸技术原理）

确定了怎么捏脸之后，第二个问题就是怎么落地。网易伏羲技术总监穆白告诉我们，捏脸技术早期主要服务于雷火类游戏，如何与游戏系统融合是迫在眉睫的问题。

根据最初的设计，捏脸系统是使用深度学习算法编写的。但是要把它和游戏结合起来，就需要将游戏的渲染系统引入到深度学习算法中进行调优。问题在于游戏的渲染系统无法理解 AI 的数学参数。

面对这些问题，经过反复考虑，伏羲最终决定开发一个基于神经网络算法的游戏渲染系统，从而打通整个流水线（综合解决方案）。

一系列的研发问题解决后，本以为以后的工作会轻松一些，但是又出现了一个新的问题，而这个问题是一直沉浸在开发中的程序员们万万没想到的。

“使用这个系统需要玩家上传照片，所以在游戏中我们会提示玩家上传正面照片。” 神秀告诉我们：“在我们的预料中，玩家提供的照片是一张正常角度的正脸，然后光线均匀，手也不抖。”

“但是大部分玩家是不会听你的，就算你的提示很诚恳，他们也只会开枪，自动捏脸的效果肯定不会好，所以很多玩家会说这个系统真的很垃圾。”

“我们肯定会感到委屈，但我们也会很快意识到自己的错误。” 神秀回忆说：“我们最初的假设是一个理想的实验室环境，而真正的线上环境肯定不是​​这样的。会有很多干扰，比如拍摄时的灯光，不同设备的拍摄条件，手是否抖动， ETC。 ”

“另一个错误是，我们最初设想的是球员匹配技术，而不是技术适应球员，所以我们没有考虑之前的问题。”

针对这些情况，网易伏羲团队依靠提高算法的鲁棒性，使得随机拍摄的照片能够被识别。此外，算法进一步加速以减少玩家的等待时间剑灵捏脸数据导入，同时也会对头像进行一些美化。

在与玩家的不断“碰撞”下，捏脸系统逐渐完善。

技术男科化妆

虽然AI捏脸的开发过程并不容易，但实际上，一些问题会让这个过程变得更加有趣。

“你很难想象，我们一群技术型的直男会看美妆视频，研究口红的颜色。” 神秀笑着说道。

之所以会这样，是因为神秀和同事在做挤脸算法的时候，发现很多女性玩家会倾向于发自己的美照，比如美照或者妆后照。这一点和男选手很不一样。男性玩家可能只是随机投篮。

“在我们最初的认知中，女生化妆就相当于口红。所以我们想加一支口红，相当于给女玩家捏脸补妆。” 神秀回忆说：“我们几个也商量过，比如口红有好几种颜色，但大家都不知道，所以最后就定了三种颜色，觉得应该够用了。”

“后来产品经理知道了这件事，我们被喷了。” 神秀有些尴尬：“我们的产品是个妹子，她告诉我们口红有多少色号，不只是大红、橘色、大粉红。”

之所以对这件事如此关注剑灵捏脸数据导入，是因为按照算法，为了让捏脸的效果更加自然准确，带妆的照片一般需要先进行检测还原，然后在捏脸之后再配上一些系统的妆容脸。

所以，为了让系统自动实现这个过程，工程师在写算法的时候自然需要对女生妆容的效果有一些基本的了解，比如高光、阴影、眉形、腮红款式、哑光、乱妆等. 感觉之类的。

“事情原来是个笑话，所以我们就真的去B站，看各种短视频学化妆。” 神秀说：“看了之后才知道化妆的步骤真多，眼影、腮红、遮瑕、眼影等等，我们也学到了很多神奇的知识。”

“我会在B站看一些仿妆，像范冰冰以前很火的仿妆。” 同样是打脸师的万峰说：“这不是系统的学习，但我会关注、了解，然后发展成一种兴趣爱好，了解这些之后，至少和女朋友谈化妆的时候，你不会丢的。”

“现在我们比以前好多了，至少不把化妆和口红画上等号了，看到点妆就大概知道她可能穿什么了。” 神秀说道。

除了化妆，做完这份工作，对人的理解也会更深。万峰告诉业务数据派，捏脸往往能了解一些人的面部结构，比如中庭长短、三庭五眼等。工作久了，个人的审美也会提高。

万峰提到，自己是2020年初进入这个岗位的，到现在已经快两年了。与我的一些同事受过专业训练不同，万峰在学校主修自动化，此后一直从事视觉AI相关工作。进入智能捏脸这个项目，除了团队内部的巧合，更大程度上还在于自己的兴趣。

每天休息的时候，万枫也会去游戏里体验自己开发的系统，捏捏一些自己喜欢的角色。当一个喜欢的二维图像通过自己开发的系统逐渐活起来时，我会感到一种特别的快乐。

“而且通过我们开发的算法，当更多的人能够感受到快乐的时候，我其实很自豪。” 万丰告诉商务数据集团，捏脸跟其他产品不一样。这项工作直接为用户服务。能够直接和用户交流，给玩家带来欢乐，这本身就是一件很酷的事情。

捏脸也是捏世界

此前，捏脸主要用于游戏世界，但随着元宇宙的出现，头像有了更多的用处。

2020年，受新冠疫情在全球范围内的影响，线上会议、活动、交流越来越普遍。

其中，一个非常重要的时间是2020年7月24日，在一款名为《动物森友会》的游戏中，一场世界级的学术会议正准备开启。

虽然在游戏世界中，主持人还是郑重其事的表示：“对于此次活动的延误深表歉意，但现在很高兴的宣布ACAI 2020 Workshop正式开始。”

（图：第二届分布式人工智能国际学术会议）

作为全球顶级学术会议，在游戏世界举办ACAI 2020 Workshop，为严肃会议在虚拟世界举办打开了大门。

今年，作为第二届国际分布式人工智能学术会议（DAI2020）的主办方，南京大学也面临着线下疫情的问题。

南京大学一位老师找到网易，提出将活动搬到线上的想法，两人一拍即合。因此，依托最早版本的瑶台，将DAI2020搬上线。

由此，超过300位AI领域的学者参加了网易游戏《奶水寒》中的DAI2020大会。学者上传照片用AI自动捏脸，让线上学术会议线下更有真实感。

“除了外部需求，公司还有很多会议需求，比如公司年会、招聘会，还有一些远程研讨会等等。” 神秀告诉商业数据组。

“后来我们在游戏捏脸的基础上做了一次迭代，实现了完全重构的游戏捏脸算法，不依赖于游戏捏脸系统本身。这种尝试也让我们在更多的多场景应用中解锁了捏脸，比如作为网易旗下的沉浸式赛事平台瑶台，都是这个算法的实现。”

今年12月，网易云音乐在港交所上市，线上部分在瑶台进行。2000年29岁的丁磊和2021年50岁的丁磊，与线下真实的丁磊同时敲响上市铜锣，实现了三个“丁磊”的奇异景象跨越时空的对话。

（图：网易云音乐上市敲钟）

显然，从动森众的ACAI 2020 Workshop到网易云音乐的敲钟，再到最近百度发布的《喜让》，越来越多的活动开始选择在虚拟平台上举办，捏脸成为了热门选择对于虚拟世界中的人。建立意识和获得现实感的第一步。

“在不同的场景下，我们要展示不同的画面。” 从游戏到国际会议，伏羲捏脸产品经理楚涵对于捏脸在不同场景下的应用也有着自己的思考。

“比如社交、化装舞会、聚会，我们会需要一些有趣的画面，但在严肃的会议中，我们的画面必须和真人1:1或者80%相似，让参会用户更有沉浸感。”

如今，随着元宇宙概念越来越火，捏脸也在更多场景中被市场和行业看重。

“我理解的元宇宙是互联网从2D到3D的过程。” 神秀对我们说：“现在互联网传输更多的是2D数据、2D文本、2D视频，所以我们在社交媒体上。互联网上的图像是通过头像来展示的。但进入元宇宙后，我们在内容中并成为内容的一部分，我们还需要一个3D图像作为我们的“头像”，而捏合技术恰恰可以提供这样的服务。”

可以说，捏脸技术已经成为构建元宇宙的基础技术之一。虚拟会议平台作为捏脸技术的重要应用，也在拓展更多元的应用场景。

“目前，耀泰组织了很多在线会议，但未来我们不想局限于在线会议系统，希望它能给人们的生活带来更多改变。” 网易伏羲技术总监穆白说。

“未来，我们可能会尝试更多线上活动，包括展览系统、电影院、教室、婚礼等场景，让更多人通过虚拟平台体验更便捷、更有趣、更有仪式感的生活。”

回首过去，捏脸技术从萌芽到发展，参与其中的从业者不仅因为捏脸而改变了自己，也因为他们的“脸”，整个世界也在悄然发生着变化。

对于这些通常躲在办公楼或隔间高大落地玻璃后面的人工智能工程师来说，他们一边捏着脸一边塑造着世界。

*文中名字均为网易花名

感谢欣赏，以上是 www.zhaojl.com 找剑灵,带来的 格子间里的人工智能工程师，在塑造着元宇宙的世界信息，如果您喜欢我们，喜欢当前文章 格子间里的人工智能工程师，在塑造着元宇宙的世界 请复制传播更多人知道！