在头戴式系统内产生增强虚拟现实场景的系统和方法
2020-01-05

在头戴式系统内产生增强虚拟现实场景的系统和方法

本发明描述用于使用减少的跃点在头戴式显示器内产生增强虚拟现实场景的系统和方法。所述头戴式显示器用于通过游戏云端系统玩游戏。所述头戴式显示器包括用于通过网络发送与游戏程序相关联的现实世界媒体的通信电路。现实世界媒体由所述游戏云端系统加以处理并且从所述通信电路直接串流传输到所述游戏云端系统。头戴式显示器进一步包括耦合到所述通信电路的游戏处理电路。游戏处理电路用于对通过所述网络从所述游戏云端系统接收到的计算机产生的交互式媒体进行解码。游戏处理电路通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上,来驱动与所述游戏程序相关联的交互性的一部分。计算机产生的交互式媒体基于所述现实世界媒体来产生。

在一些实施方案中,其它媒体数据包括由游戏云端102的一个或多个服务器产生的虚拟游戏对象数据,且包括通过网络110从HMD104接收到的现实世界环境数据。

游戏命令的传达任选地取决于命令的身份。通过用来向客户端610A提供音频或视频串流的不同路线或通信信道,从客户端610A任选地传达游戏命令。

在一些实施方案中,HMD能够接收并呈现来自计算机的视频输出。在各种实施方案中,HHC和/或HMD与计算机无线通信,因为这种无线通信与有线连接相比而言提供了HHC和/或HMD的更大行动自由。

本公开涉及用于使用减少的跃点在头戴式系统内产生增强虚拟现实场景的系统和方法。

自动确定可例如通过在客户端610A上执行代理程序和/或通过向客户端610A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令,如java脚本。代理程序任选地由客户端限定器660提供。在各种实施方案中,代理程序可发现:客户端610A的处理能力、客户端610A的解码和显示能力、客户端610A与视频服务器系统620之间的通信信道的滞后时间可靠性和带宽、客户端610A的显示器类型、客户端610A的上存在的防火墙、客户端610A的硬件、在客户端610A的上执行软件、客户端610A内的注册表项和/或类似物。

在接收到已编码现实世界环境数据的串流后,编码解码器112对已编码现实世界环境数据进行解码,且游戏云端102的一个或多个服务器对串流进行拆包。在一些实施方案中,从HMD104接收到的已编码现实世界环境数据的串流是由游戏云端102首先进行拆包然后进行解码。

图1C是根据本公开中描述的一个实施方案的系统的图,所述系统用于使用控制台来传达媒体数据并且用于使用或不使用路由器来传达输入数据和/或媒体数据和/或现实世界环境数据以便在HMD中产生增强虚拟现实场景。

基于内部数码摄像机278(图3)所捕获的注视的图像,微控制器268(图3)将显示屏321分成区域342、344和346。例如,在确定用户108(图1A至图1C、图2)注视着中间区域346时,微控制器268确定中间区域346具有高分辨率,确定外围区域342和344具有低分辨率,并且执行呈现程序286以便用高分辨率显示中间区域346且用低分辨率显示外围区域342和344。

处理器650用来执行本文中讨论的视频服务器系统620的各种部件内所包括的逻辑,例如软件。例如,处理器650可编程有软件指令,以便执行视频源630、游戏服务器625和/或客户端限定器660的功能。视频服务器系统620任选地包括处理器650的一个以上的实例。处理器650还可以编程有软件指令,以便执行视频服务器系统620所接收的命令或协调本文中讨论的游戏系统600的各种元件的操作。处理器650可包括一个或多个硬件设备。处理器650是电子处理器。

图10根据本公开中描述的一个实施方案的控制台的框图,所述控制台可兼容地与HHC和图3的HMD对接。

HMD是戴在用户头上或作为头盔的部分的设备,其具有位于用户的一只眼睛或每只眼睛前方的小型显示光学部件,例如透镜、玻璃等。在一些实施方案中,尽管对两只眼睛使用两个光学器件,但在HMD的显示屏上显示一个场景,例如虚拟场景、扩大的虚拟现实场景等。两只眼睛看见一个场景。

在头戴式系统内产生增强虚拟现实场景的系统和方法

本发明描述用于使用减少的跃点在头戴式显示器内产生增强虚拟现实场景的系统和方法。所述头戴式显示器用于通过游戏云端系统玩游戏。所述头戴式显示器包括用于通过网络发送与游戏程序相关联的现实世界媒体的通信电路。现实世界媒体由所述游戏云端系统加以处理并且从所述通信电路直接串流传输到所述游戏云端系统。头戴式显示器进一步包括耦合到所述通信电路的游戏处理电路。游戏处理电路用于对通过所述网络从所述游戏云端系统接收到的计算机产生的交互式媒体进行解码。游戏处理电路通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上,来驱动与所述游戏程序相关联的交互性的一部分。计算机产生的交互式媒体基于所述现实世界媒体来产生。

在一些实施方案中,游戏环境包括媒体数据116、或其它媒体数据、或下一个媒体数据或其组合。

在一些实施方案中,微控制器268的存储设备并不是闪存和随机存取存储器(RAM)。例如,微控制器的存储设备是缓冲器。在各种实施方案中,微控制器268的存储设备是闪存或RAM。用户输入电路262的实例包括陀螺仪、磁力计和加速计。WAC258的实例包括NIC。在一些实施方案中,WAC258在本文中被称为通信电路。

提供这些接口意味着控制台500潜在地也与其它外围设备兼容,所述其它外围设备如:数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、IP语音电话、移动电话、打印机以及扫描仪。

此外,计算机172的通信电路178从HMD104的通信电路接收现实世界环境数据。对现实世界环境数据做出响应,处理器176执行存储在计算机172内的游戏程序117的所述部分来产生其它媒体数据,将所述其它媒体数据从通信电路178发送到HMD104的通信电路。

在一些实施方案中,视频服务器系统620的一些地理上分布式实例用来向多个不同用户提供游戏视频。视频服务器系统620的这些实例中的每一个可与游戏服务器625的相同实例通信。

在一些实施方案中,描述一种用于通过游戏云端系统玩游戏的方法。所述方法包括通过网络发送与游戏程序相关联的现实世界媒体。所述现实世界媒体由所述游戏云端系统加以处理并且是直接串流传输到所述游戏云端系统。所述方法包括对通过所述网络从所述游戏云端接收到的计算机产生的交互式媒体进行解码。所述方法包括通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上,来驱动与所述游戏程序相关联的交互性的一部分。所述计算机产生的交互式媒体是基于所述现实世界媒体来产生。

视频源630用来提供视频串流,例如,串流传输视频或形成运动图片的一系列视频帧。在一些实施方案中,视频源630包括视频游戏引擎和呈现逻辑。

视频服务器系统620至少包括:视频源630、I/O设备645、处理器650,以及存储体655。视频服务器系统620可包括一个计算设备或分布在多个计算设备当中。这些计算设备任选地通过如局域网的通信系统连接起来。

在一些实施方案中,HMD250没有外部数码摄像机274且/或没有内部数码摄像机278。在这些实施方案中,HMD250的定位和运动是由游戏云端102的一个或多个服务器和/或由计算机172(图1C)的处理器176(图1C)基于输入数据来确定,所述输入数据是由用户输入电路262产生且通过网络110(图1A至图1C、图2)发送或通过路由器152(图1B至图1C、图2)和网络110发送或通过路由器152、计算机172和网络110发送。

编码解码器112的实例包括压缩器/解压缩器。例如,编码解码器112对媒体数据116进行编码/解码。压缩的实例包括有损压缩、无损压缩等。

在各种实施方案中,用户108将HHC356戴在他/她手上,并且在玩通过执行游戏程序117所显示的增强虚拟现实游戏期间抚摸虚拟的狗。虚拟的狗被叠加在现实世界公共公园图像上。触觉反馈机构向用户108提供触觉反馈,以便允许用户108感觉就好像用户108在抚摸真实的狗一样。当用户108举起虚拟的狗时,增重器用来允许用户108感觉就好像用户108在举起真实的狗一样。

应注意,在一些实施方案中,显示屏321为任何形状,例如,矩形、正方形、圆形、卵形、多边形、曲线形等。

HMD104通过无线连接(例如,蓝牙连接、Wi-Fi连接等)耦合到路由器152。此外,HHC106通过无线连接(例如,蓝牙连接、Wi-Fi连接等)耦合到路由器152。在一些实施方案中,路由器152通过有线连接耦合到网络110。