全球首创！清华类脑视觉芯片革新，实现每秒1万帧高速捕捉图像，助力自动驾驶

出品｜搜狐科技

作者｜郑松毅

让智能系统达到人类水平是一个长期而又复杂的过程，但也是一个被不断追求的目标。

想要在开放世界中达成这一目标，除了要求智能系统会学习和处理庞大数据，感知能力也是必不可少的，以使其能够通过视觉、听觉、触觉等多种方式理解和解释世界。

其中，视觉感知作为获取信息的核心途径，发挥着关键作用，对无人驾驶、机器人技术等领域有深远影响。

然而，在复杂多变且不可预测的环境中，实现高效且鲁棒（指系统在面对异常情况时仍能正常工作的能力）的视觉感知依然是一个艰巨的挑战。

以自动驾驶为例，当遇到隧道口的剧烈光线变化和夜间强闪光干扰时，传统视觉感知芯片由于受到功耗和带宽的限制，往往可能出现失真、失效或高延迟的问题，严重影响系统的稳定性和安全性。

为了克服挑战，近日，清华大学精密仪器系类脑计算研究团队提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。相关研究论文已被作为5月30日的《Nature》杂志的封面文章。

基于这一新范式，世界首款类脑互补视觉芯片——“天眸芯”，得以问世。

这是该团队继异构融合类脑计算“天机芯”后，第二次登上《Nature》杂志封面，标志着中国在类脑计算和类脑感知方向取得重要突破。

新范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。

研究中，为了评估“天眸芯”的整体性能，研究人员使用了一个综合的优值（FOM）作为标准，并与各种前沿传感器进行比对。

在传感器领域中，“FOM”通常指的是某个传感器在某一特定场景下的性能参数，例如传感器的灵敏度、分辨率、频带、动态范围等。通过比较和分析不同传感器的FOM，可以判断它们在不同应用场景中的实际表现和优劣之处。

可以看到，红色五角星符号标记的“天眸芯”在FOM测试中处于明显领先位置，性能表现超越了传统传感器，同时保持了低功耗和低带宽的消耗。

一句话总结，“天眸芯”的出现主要解决了功耗和带宽受限问题。

功耗相信不用过多解释，主要指的是芯片运行过程中消耗的电能，芯片的功耗直接影响到设备的电池寿命、系统稳定性和成本。

在数字通信和计算机科学中，带宽指的是单位时间内能够传输的数据量。好比车道宽度，车道越宽，能够同时行驶的车辆越多，交通流量越大。

但带宽受到物理介质（如铜线、光纤）和信号处理技术等因素影响，是有限的资源，因此在低带宽条件下实现芯片高效运行是被追求的。

研究人员测试结果显示，“天眸芯”在极低的带宽（降低90%）和功耗代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。在极端情况下，提高了系统的稳定性和安全性。

相信很多人会疑惑“天眸芯”的实用价值究竟如何体现？

从其功能特性角度来说，“天眸芯”的出现对具身智能实现和自动驾驶升级有很强的推动作用。

在人工智能领域，具身智能通常指的是设计能够感知环境、理解环境并据此做出反应的智能系统，比如机器人。

该智能系统不是被动地接收指令，而是能够主动地感知周围的世界，理解情况，并以一种智能的方式作出反应。就像人类和动物一样，它们能够通过身体与环境的互动来学习和适应。

想象一下，当你在公园散步时，看到一只小狗，你的大脑会迅速识别出这是一个活物，你在迈步时会刻意地避开它，以防不小心踩到。你的身体和大脑协同工作，让你能够智能地与环境互动。

"天眸芯"能够以每秒10000帧的速度捕捉图像，在多种极端场景下能够实现低延迟、高性能的实时感知推理，这种高速感知能力对于自动驾驶和具身智能系统至关重要。

另外，"天眸芯"采用的背照式图像传感器工艺和10bit色彩信息记录，提高了视觉感知的灵敏度和精度，能够更加精确地识别道路标志、行人、障碍物。

相信"天眸芯"与类脑计算芯片"天机芯"的强强联合，有助于构建一个更加完善的类脑智能生态系统，加速推动人工通用智能的发展。返回搜狐，查看更多

责任编辑：