微软AR/VR专利探索解决近视处方镜片对眼动追踪的折射干扰

眼动追踪技术在注视点检测、眼睛姿态估计、面部分析与识别等领域都有广泛的应用。XR头戴式设备中的眼动追踪功能使用摄像头获取图像，从而确定人眼的运动。眼动追踪摄像头可以测量眼睛的方向，以确定佩戴者在真实或虚拟场景中注视点的位置。这样的测量可用于与XR应用进行交互。

在制造过程中，可以对透明显示器进行校准，以确保包括眼动追踪传感器的传感器的最佳测量。处方透镜可以与透明显示器一起使用，但这会干扰追踪摄像头的校准状态，从而影响眼睛方向的测量，因为来自眼睛的光线可能在到达摄像头之前由处方透镜折射。

所以在名为“Enhanced eye tracking using lens inverse transform”的专利申请中，微软介绍了一种应用与透镜的光学参数相关联的逆变换来校正透镜对光折射的方法。

在一个实施例中，逆变换可以通过用户输入处方设置编程到眼动追踪软件中，或者可以由眼动追踪摄像头基于处方透镜的标记获得。

系统可以对所述标记进行读取和解码，以获得处方参数，并用于访问左透镜和右透镜中的每个透镜的相应逆变换。在一个示例中，标记可以是对人类不可见，但可由具有IR功能的摄像头读取的红外IR标记。

图1是头戴式设备100的一部分的截面框图。框架110支持透明显示器115和间隔于透明显示器115的处方或视力矫正透镜120。显示器115可以是用于MR或AR头戴式设备100的透视显示器，并允许用户的眼睛125通过处方透镜120和透视115进行观察。

眼动追踪摄像头130可以支撑在透明115的边缘，例如在设备100的鼻垫内或附近，并用于在佩戴设备100的用户的鼻子上支撑设备100。所述摄像头130位于所述透视115和所述视力矫正镜头120之间。摄像头130的这个位置将它置于眼睛125视场的边缘，这样它就不会干扰组件120和组件115的视场。

在一个实施例中，摄像头具有安装在距视觉校正透镜小于2厘米处的物镜132。在一个示例中，摄像头130可具有至少70度的视场。

在一个实施例中，透镜120包含标记物135。所述标记物135可以是用红外墨水打印的红外标记物，所述红外墨水在照摄像头130可见但人眼不可见的红外范围内发出荧光。所述荧光可由位于所述透镜120和组件115之间的框架110的一个或多个红外发光二极管140提供的红外光引起。

在进一步的例子中，标记可以是丝印，印刷，或者以其他方式应用到透镜。可见标记135的位置和大小可以配置为最小化对用户视图的阻碍。

所述标记135可以是QR码或其他软件可识别的其他标记文本，所述标记可用于识别并获得逆变换以校正由从所述眼睛125接收的透镜120折射光产生的眼睛125的摄像头130图像。校正后的图像可用于眼动追踪。

QR码可以编码包含用于识别逆变换的视觉校正信息的信息。例如，QR码为4 mm×4 mm。

在一个示例中，标记对实际处方进行编码，指定光学校正参数，如球体、圆柱体和轴。参数中的每一个都可以引起光的折射，从而有效地改变眼睛光线照射到摄像头传感器的位置。相应的逆变换可用于基本上变换所产生的感测图像以对应于眼睛的图像，就好像来自眼睛的光没有被透镜折射一样。

所述参数可用于确定将最紧密地正确地将所述摄像头130所感测的图像转换为校正后的图像的逆变换。

在一个例子中，球体屈光度的每0.25增量可与一个不同的逆变换相关联。另外，每增加0.25个这样的球体屈光度可以与对应于圆柱分量和轴分量的不同值的多次逆变换相关联。在一个例子中，球体屈光度的每0.50增量可以与一个不同的逆变换相关联。

图2是具有由鼻垫225支撑的镜头210和摄像头220的头显200的一部分透视图。所述摄像头220可部分嵌入所述鼻垫225中，并支持通过所述透镜210具有用户眼睛的视场。摄像头220的物镜222可见。

在一个示例中，摄像头220的视场可约为70度。进一步示例中的视场足以在佩戴头显200时捕获所有可能的眼睛位置的眼睛位置，以及捕获由透镜210支持的任何标记。一个或多个发光二极管230可以由头显200支持，以提供对透镜210的标记物的红外照明，如图1在135处所示。

在另一个示例中，透镜120和210可以是用户所佩戴的单独眼镜的一部分。在这个进一步的示例中，摄像头定位为捕获摄像头的红外标记，而红外标记可以通过红外发光二极管照射。

图3是具有眼镜形状的头显300的透视图。头显300包括用于容纳一个或多个透明显示器和如上所述的可选视力校正透镜的框架310。所述框架310分别具有用于用户的右眼和左眼的开口315和320。每个开口都配置为容纳一个透明的显示屏。

在进一步的示例中，可以由框架310支持一个连续的透明显示屏幕，而不是由两个单独的屏幕支持。

框架310支持在325指示的一个或多个发光二极管，用于照亮框架310配置为支持的一个或多个视力矫正透镜的标记。在一个示例中，发光二极管可以发射红外光以通过具有红外光反射的标记进行反射。组件320配置成帮助支撑用户头的框架310。所述组件320向用户的耳朵方向延伸，以帮助将所述头显300支撑在适当的位置。

所述组件320可支持用于处理通过视觉校正透镜获得的图像的电路335，而电路使用逆变换函数来校正所述图像。

电路335同时对校正后的图像和与MR、AR和VR应用程序的进一步接口执行眼动追踪功能。其中，相关应用程序可以是本地或远程托管的，或远程和本地托管的组合。在一个示例中，电路335可包括具有针对用户处方的适当逆变换预编程的存储器。

图4是用于校正眼动追踪图像的计算机实现方法400的流程图。方法400从操作410开始，通过头戴式显示设备中的摄像头通过视觉校正透镜接收眼睛的图像。

在操作420，得到与视力矫正透镜相对应的逆变换。

在操作430，对接收到的图像进行逆变换以获得眼睛的未校正图像。未校正的图像是眼睛的图像是在没有视力校正透镜的情况下获得的图像。

在操作440，基于眼睛的未校正图像执行眼动追踪。

图5是用于利用标记获取校正信息以校正眼动追踪图像的计算机实现方法500的流程图。校正信息可以是或标识一个逆变换函数。

方法500从操作510开始，通过产生入射在视力矫正透镜上的光。在一个示例中，环境可见光可用于提供入射光。在另一个例子中，光可以是红外光。

在操作520，在图像中捕获的视觉校正透镜的光响应标记读取信息。在不同的例子中，标记可以反射可见光或红外光。

在操作530中，从标记读取的信息中识别逆变换。

在一个示例中，所述信息包括视力矫正镜片处方。逆变换可以通过索引查找表来标识，使用处方来标识相应的逆变换。

在进一步的示例中，可以从与头戴式显示器相关联的存储器中获得逆变换。在将头戴式显示器运送给用户之前，可以根据用户的处方将逆变换编程到存储器中。在进一步的示例中，用户可以通过从对应于各种处方的逆变换数据库中下载逆变换来获得适当的逆变换。

名为“Enhanced eye tracking using lens inverse transform”的微软专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。

需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。