在参与GDC 2023的期间,小编有幸可以与PICO XR引擎和运行时工程主管Zhang Jian进行采访,并分享他在这个行业的心路历程。
Zhang Jian在主机游戏行业有10年的经验,在VR行业也有7年的经验。在他这段职业生涯中,他开发过《Call of Duty》、《Ghost Recon》等游戏。在他从事VR行业期间,他曾参与Oculus Rift、GearVR和Oculus Quest。在加入PICO公司之前,他还曾是Meta的技术负责人。他的专业领域包括XR图形、XR运行时间和游戏引擎。
考虑到XR、AR、VR和其他专业技术,PICO如何优先考虑对哪个领域给予更多关注?
Zhang Jian:PICO装置目前主要是以VR为主。然而,你可以看到这个行业有向混合现实(Mixed Reality)发展的趋势。我们最新的产品是PICO 4,它具有某种程度的MR能力,具有影片透视功能。如果你还没购买,不妨试试PICO 4,看看它的彩色透视功能。
你曾经为3A级游戏公司像是《Call of Duty》、《Ghost Recon》等工作过。那么PICO与发行3A级游戏公司相比有什么不同?
Zhang Jian:我认为这很不一样。制作3A游戏会像电影,需要很长时间才能完成。很多3A游戏是需要花费三年以上的时间才能完成。举个例子《Call of Duty》有三个工作室,每个游戏都想要花三年时间,而且这三个开发团队轮流制作的。有了非常明确的目标,你才能在某个时间完成某个项目。然而,技术在快速迭代,像PICO这样的科技公司节奏要快得多。
因此,以前我们只做一个产品,但现在作为一个平台,我们需要为很多开发者服务。我们让开发者为我们的平台制作游戏,而不是我们直接制作游戏,这就是最大的不同。
那你们作为一个平台,会与很多不同的开发者合作。那你们会给他们什么样的支持?
Zhang Jian:在GDC活动上,我们会谈论开发者方面的东西。对于我们的平台来说,当然还会有游戏引擎的支持以及SDK和开发者工具。
这里拿PlayStation或Nintendo做例子,在开发者利用他们的平台制作游戏时,他们会将有测试套件和调试套件送给开发者。那么你们会给开发者什么样的工具呢?
Zhang Jian:这就是非常有趣的部分,我在之前曾在主机行业工作,在你成为一个开发者之前,实际上是需要买非常昂贵的开发工具包。另外,即使想买也不是每个公司都能买到。有了PICO,基本上每个消费者都有能力非常容易创建自己的开发工具包。在我们的网站上有一些关于产品的软件说明,告诉你如何做到这一点。它只需要几个步骤,你可以启用装置的开发者模式。这本质上意味着每个消费者都有可能成为开发者。
成为一个开发者,首先要有VR套件。我认为对于VR来说,最大的挑战就是3D晕。那从工程的角度来看,你们是如何解决这个问题?
Zhang Jian:目前在VR中,你必须保证装置能运行非常流畅,达到72FPS或90FPS这样的帧率,对吗?这是非常难的部分,你必须保持在那个帧率,如果一直掉帧,你就会感觉到不舒服。
因此,我们在开发我们的装置时,优化我们的技术栈以提高性能。我们也和开发人员一起合作,给他们提供工具来解决这种问题。在我们的核心技术栈中,还有一个指标我们称之为延迟,它可以对VR的舒适度产生很大的影响,持续优化延迟是相当重要的。
你说FPS冻结或低FPS会造成3D晕,但小编在玩低FPS的游戏,没有遇到这个问题。但在玩某些高帧率的游戏中,反而会感到头晕。我不认为这只是帧率导致的,是否还有其他问题会导致3D晕?
Zhang Jian:另一个问题可能是光学方面的问题,像是失真。这是硬件方面的一个衡量标准。从开发方面考虑,我们可以控制的是更多的像FPS和延迟,所以我们开发了我们的工具来解决这个问题。我认为你提到了一个好的观点,就是当你玩平面的屏幕玩FPS游戏时,帧率在20左右是可以接受的,是吗?
我认为现实中的环境在你的视觉中是超级稳定的,但当你移动你的头时,你认为这个桌子应该是固定的,它不应该移动,但如果你的FPS很低,你会看到环境在空间位置方面其实并不完全固定。这就是让你头晕的部分,另外,当你的延迟很高时,环境就更不稳定了。
从设计的角度来看,还有另一种东西会影响3D晕。举个例子,如果你使用控制器移动,你会看到镜头会跟着移动。在这移动中的变化。其实会让你不舒服的。因为你的大脑告诉你「我没有在动」,但不知为什么在你的视觉上你在动。这是你的大脑和你看到的不一致,导致会让人头晕。
在设计主机或是掌机游戏的时候,开发者都不用将现实生活的空间考虑在其中,相对的在设计VR游戏就必须将这点考虑在其中。那你会如何帮助开发者将这点考虑在其中,像是他们需要什么样的空间?因为在某些游戏有跑步机制什么的,所以需要一个更大的空间来玩。你认为这些实际上会对游戏的开发方面会产生很大的影响吗?
Zhang Jian:我认为这更像是开发者的决定,他们想要开发怎样的游戏,对吗?当开发者出来的游戏是需要一个大的空间,但不是每个玩家都会有这样的空间。一些玩家就不会购买这个游戏,或者玩得不能很好。他们需要决定谁是他们游戏的主要目标。
假设开发者曾经在Andriod或iOS平台推出了两到三个游戏,然后他们想把这些游戏放倒PICO中体验。他们是需要设定全新的东西,或是可以直接体验了?
Zhang Jian:PICO是基于Andriod操作系统的,所以应用程序使用的是APK,与其他Andriod游戏完全一样。如果你有游戏,而且是在Unity或虚幻引擎中,那其实就很容易在PICO平台游玩,你只需要填写复选框,导入一些东西,然后就可以运行了。
Zhang Jian:是的,但要在VR中做出好的体验,你确实要付出很多努力。因为你的游戏是为手机设计的,可能没有考虑太多关于VR体验的问题,就像前面我们提到的3D晕。举个例子,你可能不会想架起VR摄像机并做出动画,这对VR的舒适度没有好处。
假设我是一个程序员,也是开发人员。我开发了一款横向2D动作游戏。但是,如果想用PICO游玩,我是否需要更多的时间移植到PICO平台上?
Zhang Jian:移植东西会很快的,但抛光和优化会需要一些时间。
之前的工作经验对你在PICO中有什么帮助吗?
Zhang Jian:我认为到这个行业目前为止是非常开放的。所以我们有一个开放的标准,叫做Open XR。很多VR制造商、开发者都在那里做出贡献,所以我们与他们交谈。当开发者有好的想法时,他们会分享blog post或tech notes,让大家可以学习。这就是行业里相互帮助的方式。
你还有什么有趣的东西想要告诉大家吗?
Zhang Jian:希望整个行业向前发展,规模变得更大,更多人想跳入这个空间,玩游戏和开发游戏。我们不仅希望自己成功,也希望每个人都能成功。
现今的大学生多数都只学习Unity和虚幻引擎,这条件是否能加入你们?
Zhang Jian:这取决于开放的职位,有些职位会要求有一定程度的计算机图形知识,这可能对一些人来说门槛有点高。但就像你所说的新生多数都学习这些应用程序,所以很多人都会将Unity应用在VR上运行。然而,我们还是会招聘大学毕业生的。
对于目前的产品,都是用眼睛和手来控制体验。你们是否有考虑过用不同方式来增加沉浸式的体验,在这方面有更多的未来计划吗?有什么可以和我们分享吗?
Zhang Jian:我们计划了很多东西,但现在不能透漏更多详细。但有一点是,我们目前开发者手部追踪,现在还处于早期阶段,我们将继续努力并改善它。
这里要感谢Zhang Jian抽出时间给我们做专访,也要感谢PICO安排这次采访啦!可以看到PICO不断地发展这个行业让更多玩家能体验到VR的乐趣。想要了解更多PICO产品的更多信息,可以到官方网站查看。
