无需绿幕,微软用AI为线上活动、AR/VR打造更自然虚拟舞台

2020-07-31 11:25:36 映维网 分享

查看引用/信息源请点击:映维网

或许虚拟舞台的虚拟活动将是我们迈向下一个时代的方式

映维网 2020年06月04日)如果你看了今年微软的Build大会,你可能在“舞台”中发现其中一项创新技术。剧透警报:这个舞台是假的。主持人都呆在安全的家里。利用华盛顿大学的背景抠图过程和和Azure Kinect传感器,微软制作出仿如真实存在的大会演讲。

日前,微软人工智能负责人大卫·卡莫纳(David Carmona)撰文介绍了这次创新背后的故事,下面是映维网的具体整理:

我最喜欢的游戏是《帝国时代》。我是在大约20年前通过同事入坑,而我现在依然与我的儿子一起对战,但他总是毫不留情地把我干翻。从封建时代到城堡时代再到帝国时代,升级文明是游戏的一个神奇时刻。每一个时代都带来了新的技术,并为你抵御对手和赢得战争的战略开辟了全新的途径。

我有时候认为我们现在的世界同样是介于这样一个过时期。就如同《帝国时代》一样,新的时代将带来新的技术,并允许我们用来应对外部干扰和重新规划我们的战略。对于Covid-19新冠肺炎,我们发现自己正处身于一个饱受干扰的时刻,而这迫使着我们重新思考应该如何行事。现场活动就是其中之一。

疫情使得用户无法亲临大型现场活动,所以我们一直在寻找全新的方式来与客户沟通。再说一次,如果你参加了Build大会,你已经亲身体验了我们微软全球活动团队是如何将一切转移到虚拟空间。

我们采用了一种实验性的方法来展示我们的内容,并且通过利用其他人的创新,我们构建了一种在“虚拟舞台”中展示活动环节的独特方式。

这个概念来自于2017年Adobe Research和华盛顿大学发表的两篇背景抠图论文。这种方法允许任何人使用人工智能模型预测主体周围需要抠图的元素。它基本上取代了背景,不需要绿幕。

所以, 我们利用我们的Azure Kinect传感器和一个基于华盛顿大学研究的人工智能模型,以背景抠图过程作为基础,并为我们的演讲者创造一种可以轻松在家录制演示内容并出现在虚拟舞台的全新方法。

Azure Kinect摄像头通过红外线捕获深度信息,这种数据有助于提高人工智能模型的精度。我们使用一个名为Speaker Recorder的应用程序来管理来自Azure Kinect摄像头的两个视频信号:RGB信号和深度信号。录制完成后,我们通过命令行工具应用AI模型。具体的细节请查看微软人工智能实验室。

我们使用的人工智能模型是基于华盛顿大学最近发表的研究成果。这所大学开发的一种深度神经网络可以拍摄两幅图像,一幅包含背景,另一幅包含人员。神经网络的输出是一个平滑的透明掩模。

声明:本站部分资源来源于网络,版权归平台彩票app所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。
编辑: