从1同一时间到3.5分钟，Meta新算法一部手机搞定3D人脸数据采集，可用于VR的那种

2025-07-30 12:16:04

鱼羊相吻合凹非禅寺

量子场论位 | 公众号 QbitAI

搞定这样的由此可知片3D建模需几步？

在总共据释放出来的之前，题目是：一部手机 + 3.5分钟。

没错，仅凭这3.5分钟的总共据，就足以作用于高保真、可驱动的真实3D由此可知片半身像。

这项研究者来自Meta Reality Labs——就是扎克伯格元黑洞计划从前的那个核心部门。论文已经被SIGGRAPH 2022接收。

创作者提到，这一新方法适用于VR领域。

不一定，在VR的全世界从前，以后你可能就不能顶着一张卡通人物微笑亮相了。

而是可以方便地与胖友们“真身”相认。

新方法原理

实现这一结果的新方法软件系统如下由此可知下由此可知：

具体而言，分成三个其余部分。

首先，是要用大型多视角由此可知片总共据集操练一个；也网络，这个；也网络可以通过神经网络解码器显现出专设总称更是大幅度的半身像参总共。

总共据集里面的由此可知片由多视角捕获子系统释放出来，包括255位不同年岁、性别和种族加入者的臀部投影总共据。

△左为投影释放出来仪器；右为释放出来到的由此可知片

这个释放出来3D由此可知片的巨型装置是Meta在2019年研发的，其里面装设171个数字化摄像头，瞬时能日志180GB总共据。释放出来时长在1个不间断数。

值得一提的是，在这个；也网络里面，解码器的大体组成大体功能是含有bias map的卷积上调制层。

这些bias map会被用来作用于密度单元，进而通过伽玛追踪来渲染半身像。

另外，该解码器骨架必需将掩蔽与其他臀部活动相吻合，这在VR领域里面意味着必需更是单独地借助眼动跟踪子系统。

其次，是轻量级由此可知片笑容捕获。

在这项研究者里面，释放出来由此可知片只需比如说一部含有最深处摄像头的个人电脑。

检验里面，研究者其他部门使用的是iPhone 12。

释放出来过程就像这样：

释放出来到的总共据要展开如下处理：

借助每几张由此可知片投影里面的几何形状和纹理；对读写的RGB投影展开由此可知片标志侦测和人像重叠；对示例一维展开匹配和骨架上，以比如说侦测到的由此可知片多种类型、重叠外形和最深处由此可知；对每几张投影的纹理展开解包，而后核心内容给与完了整的由此可知片纹理。

在大幅度完了善模型的过程里面，还需释放出来65种特定的笑容：

之后，该新方法输出的3D由此可知片半身像不仅能与其他用户外观高度比如说，通过当前笑容空间，还能对其展开大幅度的驱动、操控。

研究者其他部门表示，整个释放出来过程大概要花费 3.5分钟。

不过需解释的是，建模的过程不是同步的，总共据处理还要花费总共不间断的时长。

检验结果

说了这么多，效果如何，我们还是来看检验结果。

与Pinscreen提出异议的“一张截由此可知框架3D总共字化身” （CVPR 2021）的新方法来得，该新方法能作用于更是具真实感的由此可知片模型。

而与海德堡学院、莱比锡工业学院、马普所等研究者机构在 Neural Head Avatars from Monocular RGB Videos一文里面提出异议的新方法来得，该新方法能作用于保真度更是高的结果。

不过，创作者也指出了该新方法的局限性：hold不太住长发和眼镜，容易显现出伪影。另外，该新方法对于光照先决条件也有一定敦促。

参考文档：

[1]论文：

[2]Demo：_TMD7v0Xs

— 完了—

「量子场论位·视角」现场直播报名

什么是“计算机系统决断”？计算机系统决断的工程技术是什么？它又将如何打造带进大公司二次快速增长的“计算机系统抓手”？

7月7日周四，加入现场直播，为你解答～

点这从前 👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿困难重重日日相认~