虚拟主播怎么弄

关注：5 发布时间：2021-10-15 17:00:45

其实做3d虚拟主播无非是以下几点：

一个3d模型，一个中立者，还有一套支持3d虚拟偶像做真人动画的技术。

那么它们是如何结合的呢？

每个虚拟偶像的背后，都有一个负责做动作的表演者和一个负责配音的cv。当然，他们可以是同一个人。

1.动作表现表达式匹配

表演者需要佩戴动作捕捉设备。然后，每次做出动作时，动作捕捉背景都会记录表演者的动作数据。表演结束后，运动数据将保存在文件中。我们将这些运动数据与手动k-good表情数据合成，通过unity输出序列，此时的动作会携带表情。比较后，导出动作视频文件的绿色屏幕版本。这些动作都是我们看虚拟偶像节目时，虚拟主播所做的动作。

2.配音

要获取配音文件，可以单独在录音棚里观看动作素材配音，也可以在将声音传输到录音设备存储的同时，带上耳机做动作。这个音频文件是虚拟主播的配音。

好了~现在我们有了绿屏的动作视频文件，我也有了配音文件。通过ae或者pr编辑处理以上素材就是我们看到的虚拟偶像的日常视频~

————————

同理，虚拟偶像直播，只有上半身，主体是面部表情，按照传统方法，表情需要手动k帧。

但是，说到技术，并不是每个人都能一次性学会这些专业的美术工具。为了方便小白用户更好的解决这些技术问题，我们团队开发了一款工具，让小白用户在与其他做虚拟主播的小伙伴交流后，轻松制作3d虚拟主播——live 3d简单的通过傻瓜式的操作解决了上述各种复杂的技术问题。

1.首先提到了模型

(1)live3d有自己的云3d模型库，里面的模型可以免费使用

(2)支持用户自定义捏捏。通过捏脸功能(捏脸、换衣服、捏身体)可以得到一个新的模型。

(2)live3d支持导入外部3d模型，目前支持fbx、pmx、vrm格式。可以导入你的模型，开始虚拟主播之路。

2.其次，说到面部表情，之前的方法，比如“手动k帧”，难度大，耗时长，与个人能力有很强的联系。同样，面部表情需要结合动作，合成序列需要通过统一推导

面部表情：live3d解决方案-“面部捕捉”

人脸捕捉的实现方式

(1)电脑摄像头捕捉。

(iphonex及以上的相机拍摄。

具体过程：打开live3d人脸捕捉按钮——把相机对准你的脸——你做出什么表情，你做出什么表情对应live3d画面中的人物(包括眨眼、假唱、摇头)

ps:对唇的准确性可以达到你说的每一句话都能准确对唇。

3.动作捕捉数据需要unity，在比较终将动作数据和表情数据转换成可视视频之前，必须对unity有一定的熟悉度。

动作数据live3d的解决方案是：预制动作库动作捕捉接口，导入外部动作

(1)预制动作库中有海量的云动作数据。通过按下电脑键盘上的一个键(在键盘上设置一个键，将live3d上的动作拖到live3d上的键盘上)，角色就会做出相应的动作。

(2)目前动态捕捉界面支持一套动态捕捉设备和nioten hi5手套来捕捉详细的手部动作。用法：链接动态捕捉后，打开live3d上的noitom动态捕捉noitom hi5手套按钮。您可以在live3d上看到您使用动态捕捉所做的动作。做动作前录制屏幕，选择绿屏背景，就可以录制刚刚做的动作视频。绿屏的视频文件会直接出来，不像以前那样需要统一处理。

(3)导入外部动作。除了支持导入外部模型，我们还支持导入外部动作。可以将自己喜欢的舞蹈动作、日常生活动作、动态捕捉动作导入live3d，应用到直播和动画功能中。

大学生创新创业主播项目