- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
哈佛大学与清华合作开发 语言搜索技术实现199倍提升
2024-01-02 12:43:49 作者：姚立伟
1月2日，清华大学与哈佛大学合作开发了一款名为LangSplat的全新AI系统，该系统能够在三维空间内高效、准确地搜索开放式词汇。LangSplat是第一个基于3DGS的3D语言场方法，引入了SAM和CLIP，在开放词汇3D对象定位和语义分割任务上优于最先进的方法，并比Lerf快199倍。
研究人员于2023年3月展示了语言嵌入式辐射场（LERF），将语言嵌入从现成模型（如CLIP）嵌入到NeRF中，从而在不需要专门培训的情况下，在三维环境中准确识别物体。例如，在书店的NeRF环境中，用户可以使用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。
不过LERF存在一些缺点，不适合实时搜索且准确率较低。为了解决这一问题，LangSplat使用3D Gaussians构建3D语言场，避免了NeRFs所需求的复杂渲染过程。在1440 x 1080像素的分辨率下，LangSplat比LERF快199倍。
具体来说，图像会被分解成边界清晰的不同物体掩码，而物体又会被进一步分解成整体、部分和子部分。然后，CLIP对学习到的遮罩进行处理，其嵌入会训练一个自动编码器，然后用于训练LangSplat的3D Gaussian Splatting。
通过测试发现，LangSplat在总体准确率方面达到了84.3%和93.4%，而LERF分别为73.6%和86.8%。 返回搜狐，查看更多
责任编辑：
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-01-02 18:45:05
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
