Pokémon Go开发地理空间大模型，AR眼镜的高精地图？

两天前，知名AR厂商Rokid发布了新一代AR眼镜——RokidGlasses，通过摄像头、多模态大模型以及（玻璃衍射）光波导等技术，在一定程度上让AR眼镜实现了对真实世界的感知与理解，以及对用户的协同与展现。

然而就当下来说，AI或者说视觉大模型对真实世界的理解还远远不够，更多还是对二维照片的物体识别，很难像人类一样具备空间理解能力，也根本无法准确描述物体与物体、物体与人之间的空间关系。

而这个问题的答案，或许还是要从大模型技术中寻找解法。

稍早前，《PokémonGo》开发商Niantic对外宣布正在开发「地理空间大模型」（LargeGeospatialModel，简称LGM），将利用大规模机器学习来理解真实世界的空间，借助LGM模型实现「空间智能」。

LGM模型训练，图/Niantic用全球玩家数据打造的「地理空间大模型」

正如Niantic在新闻稿中提到的，即使是当今最先进的AI模型也难以可视化和推断场景中的缺失部分，或从新的角度想象一个地方。而在根本上，Niantic认为借助大语言模型训练的方式，我们已经能让AI实现比拟甚至超越人类空间理解能力的「空间智能」。

野心背后，Niantic的另一份底气在于，作为《PokémonGo》《Ingress》开发商，Niantic早就手握全球无数玩家贡献的海量真实影像和地图数据，并在过去五年中开发视觉定位系统（VPS），在手机上实现根据单个图像在3D地图中确定用户的方位。

事实上，2021年Niantic还发布过一项名为ManyDepth的技术，能够通过单个手机摄像头直接创建3D地图，利用机器学习将没有深度信息的二维图像转化为带有深度信息的三维图像，并且不依赖LiDAR或者其他深度传感器。

图/Niantic

而作为Niantic视觉定位系统的一部分，LGM模型目前已经训练了超过5000万个神经网络，拥有超过150万亿个参数，能够在超过100万个位置运行。Niantic首席科学家VictorPrisacariu还表示：

「利用我们的用户在玩Ingress和PokémonGo等游戏时上传的数据，我们打造了世界的高保真3D地图，其中包括3D几何形状（或事物的形状）和语义理解。」

最终，LGM模型的目标是在全球范围内实现对地理空间的共同理解，即便是那些没有被玩家扫描过的地方。

但LGM模型意义不仅是让设备「看懂」真实环境，提供精准的空间定位。更重要的是，只有让计算机能够更准确、高效地感知和理解物理空间，才能更深刻地改变人与机器之间基于物理世界的交互方式，进而推动AR眼镜以及智能机器人真正走进我们的生活。

左边是RokidGlasses，右边是特斯拉擎天柱，图/Rokid、特斯拉

不过具体到AR眼镜上，LGM模型的推出真的会如人们期待的那样，加速AR眼镜的普及吗？甚至成为AR行业的「一脚地板油」？这不是一个容易解答的问题。地理空间大模型，AR版的「高精地图」？

在AR眼镜中，准确的空间定位一直是重中之重，这一点相信早已不言而喻。问题在于，现行的SLAM（同步定位与建图）空间定位技术就像一位即兴作画的画家：通过摄像头等传感器，实时描绘周围环境的地图并确定自身的位置。

但要用这种「即看即建」的方式实现准确的空间定位，不仅依赖传感器支持，往往还需要较高的性能与续航开销，对于内部空间「寸土寸金」的AR眼镜来说，始终是不小的压力。AR厂商不是没想过新的解决方案，比如RokidARStudio上就实现了基于单目摄像头的空间定位和手势识别，也只是降低了硬件门槛和成本。

RokidARStudio，图/Rokid

而与之相对，LGM模型和SLAM技术可以理解为AR眼镜的「地图」和「指南针」：LGM提供了一幅全局性的高精度地图，为设备提供宏观层面的环境理解；SLAM则像指南针，帮助设备在未知或动态环境中快速调整和适应。

通过构建了一套全球性的高精度3D地图，LGM模型能够提供详尽的地理空间信息。对于AR眼镜来说，这种预先构建的地图意味着在已知环境中无需从零开始建图，而是可以直接利用LGM提供的全局地图进行精准定位，理论上可以在不影响准确性的前提下，大幅削减性能开销，尤其在室外场景。

想象一下，当你在一个陌生的城市中寻找餐馆，AR眼镜让导航箭头更准确地贴合地面，更精确地指向餐馆的入口，而不是像过去那样悬浮在半空，只能提供粗略的方向。这种视觉上的准确性不仅提高了便利性，也增强了用户对AR眼镜的信任感。

另一方面，LGM模型对空间的「语义理解」，对于AR眼镜的意义不只是识别环境，还在于「理解」环境。与SLAM只是绘制几何地图不同，LGM模型还能通过语义理解为空间中的物体赋予了具体意义，让AR眼镜能够理解环境的上下文，将虚拟的3D物体合理地放置在真实空间的方位中。

任天堂与Niantic合作的《皮克敏》AR手游，图/Niantic

这一点也与现有视觉模型依赖二维图像识别技术不同，视觉模型更多只能识别出眼前是「路」还是「树」，却无法理解这些物体在空间中的位置，自然也无从谈起虚拟内容在真实空间的合理放置。

不过众所周知，《PokémonGo》并未进入中国，中国市场也始终没有出现一款能够进入大众视野的AR+LBS游戏。类似LGM的地理空间大模型，在中国还没有出现成长的土壤。

但视觉大模型其实也有潜力从二维平面的物体识别进化到三维空间的理解，具备「空间智能」，甚至是视频生成模型也有可能。就像OpenAISora出现之初，以360创始人周鸿祎为代表的一部分人都认为Sora不仅是视频生成模型，还是能够最终理解物理世界的「世界模型」。

Sora，图/OpenAI

再有，Niantic的LGM目前仍在开发中，理论上的潜力是一方面，实际上的表现则是另一方面，还很难断言它的未来。AI大模型改变AR眼镜，一切才刚开始

在之前的报道，雷科技多次提到一个观点：最近一年多智能眼镜的关键转变在于大模型带来的自然理解能力大升级，带来了人机语音交互的质变，这是交互方式有限的智能眼镜能够爆发的前提条件。

这一点对于AR眼镜其实亦然。虽然包括Rokid、雷鸟创新都在尝试各种交互方式，比如Rokid基于单目摄像头的手势交互，雷鸟创新基于智能戒指的交互，但实际上主流产品线受限于性能、体验和成本等因素，语音和触摸交互，才是核心的交互方式。

雷鸟X2，图/雷鸟创新

从这个角度看，AI语音交互带来的质变也就不言自明了，可以明显改善AR眼镜在人机交互方式上的短板。而与此同时，大模型也在带来计算机视觉能力上的「基因突变」，决定着AR眼镜的未来方向。

诚然，目前AI视觉的价值才刚刚崭露头脚，比如基于周围环境的实时问答、直接翻译外文进行播报或文本呈现等，都能做到比以往更低的成本、更好的体验。另外，地理空间大模型、能够理解世界的视频生成模型，对于AR眼镜来说也还未真正达到可用。

但不管从交互体验，还是AR眼镜的「减重」来看，基于摄像头的AI视觉（端云混合）在理论上都有更高的潜力，不仅能降低空间交互的复杂度和门槛，也能减少传感器和传统计算开销，从而做到重量和成本的降低、续航的提升。

一言以蔽之，大模型改变AR眼镜的旅程，还远没有走到终点。