锐思智芯创始人兼CEO邓坚：Hybrid Vision Sensor，变革智能感知时代｜硬氪·硬科技黄金时代大会

12月26日，36氪·硬氪在深圳前海召开了硬科技黄金时代大会。大会邀请了硬科技大量一线投资机构、科技公司、专家学者，共设立14个主题演讲、2个圆桌。主题涉及半导体投资、新材料投资、人民币投资、专精特新成长等多个热门赛道。

26日下午，锐思智芯创始人兼CEO邓坚先生进行了《Hybrid Vision Sensor:变革智能感知时代》的主题分享，以下为演讲内容：

非常感谢36氪给我们这个机会，我和大家分享的是传感器的变革，顺带也会把我们的传感器产品给大家介绍一下。

刚才听各位嘉宾的分享，感触很深。产业链的国产化，从材料到设计，再到系统，整个的变革的确是百年未有之大变局，传感器也是一样。

这是162年前的第一个影像出来的场景，当时是拍一匹马，是用化学曝光的图像进行连续播放形成黑白图片。这是咱们现在拍的，实际上它并不是真正的拍摄，而是一个普通的视频再加上chatGPT还原。现在图像的拍摄，它对画质的追求已经到了一个极致，不过这并不是图像传感器或者视觉传感器的全部。当前的图像和视觉传感器还承接了更多的工作，从拍照来说，比如手机和机器人，除了图像大家还想从那获得更多的信息，比如距离信息，光谱信息，还有另外一类信息也是非常重要的，就是运动信息。运动信息可以用来干什么呢？我们先说说缺少它会有什么样的现象。

162年前的第一个影像

第一，运动模糊。在拍照的过程中，我们有个曝光的时间，在这个曝光的时间，所有运动过程都被采集，但是它会合成一张图片进行输出，就变成了一个模糊的图像。

第二，冗余数据。比如我们拍照片是静态的图像，我们已经知道了它的信息，但是对于每张图片进行重复的拍摄，我们需要知道的只是其中的变化，也就是运动和变化，所有的静态信息是被反复获得的，它其实是因为没有办法区分动态和静态的信息，所以导致了冗余的数据量。

第三，在拍摄的时候，摄像头通过曝光，就有曝光时间，曝光时间是根据光的强度进行调整，但是人去看一样东西的时候没有这样的概念，所以我们会发现，图像在暗的时候需要的曝光比较长，亮的时候曝光比较短，但是实际应用场景中，会有明暗都存在的场景，现在的技术就用多张图像进行融合。在融合的过程中，这几张图片拍摄的时间点不一样，中间有误差、移动，合成之后就形成鬼影，这是帧与帧之间的图像信息丢失。

这个出现之后，大家一直在研究，对于新型传感器怎么样能够获取运动的信息。其中有一个技术，从90年代开始一直做研究，这个就是我们今天要介绍的事件传感技术，它是基于人眼的感知方式，只对变化敏感。所有的感知都是从像素实现，像素感知到光的变化信息，这个变化信息在像素内进行放大，然后在像素里进行比较，同时通过比较的信号，把变化的信息或者是运动的信息通过一个数字域的转换进行输出。直观来看，它输出的图像，就像我们看到的实际场景，它是一个小熊掉到水杯里的过程。对于事件感知，它不显示静态的信息，因为静态的信息不感知，它只感知变化，而且所有的处理都是连续的，所以帧率、效率都非常高。也就是说，它通过一种新的感知方式，把运动和变化的信息进行了非常好的提取。比如它与现在摄像头拍摄的图片来说，流畅度会有非常大的提升。

但是问题也很明确，如果我们不看实际的场景，只看这个事件感知输出的画面，没有静态信息，得到的信息量非常少。它能够在一些功能上，比如在帧率、数据量上有很高的提升，但是因为它缺乏了静态信息，所以它很难在一个场景里进行覆盖和提升。所以，虽然事件传感技术在2021年被索尼量产了，并且在工业领域有一些应用，但很多在座朋友在大部分场景都没有看到它在实际应用中落地。

事件传感技术的技术原理

在传统的消费电子领域、车载电子等领域，如果要用到事件传感技术，为了覆盖这个场景，需要把事件摄像头和传统的摄像头进行组合，同时输出事件和图像两个画面，再进行算法的匹配，这是双摄的方案。但问题是如何做更好的配准，机器上如何达到实际使用的需求。实际情况，手机这样的场景无法添加事件传感这么单一的摄像头，所以这个技术一直没有大规模应用的原因也是在于此。

我们提出的方案是，将事件和图像融合在一个传感器里面，它能够把事件的感知功能和图像的功能在一个像素里进行一个集成，这也是我们率先提出的概念，也是我们目前在量产的技术。这是我们给手机做的一款芯片，它就是传统的传感器一样的像素结构，通过堆叠工艺，把图像的功能和事件感知功能集成在一个像素里面，这个像素可以同时输出事件和图像两个图片，好处是解决了事件没有静态信息，图像没有运动信息的问题；它通过这样的一种结合，可以很好的把运动和静态进行一个互补，实现了对图像传感器的运动信息延拓。

融合式高端视觉传感器

这是我们做出来的方案，同时输出事件和图像能够得到的效果。这里需要提到的是我们做传感器就是做一件事情，传感器最关键的三个参数，帧率、数据量以及动态范围，我们做传感器一直在平衡这3个参数，在每一个场景去适配这3个参数的平衡，来达到匹配这个场景的目的。但是现在很多的一些应用里，比如车载，它没有办法再去找到这样的平衡，因为它既需要速度很快，对数据量的要求又非常极致，它在各种各样的光照环境下都要能够很好的工作。传统的传感器达不到，但是事件传感器就可以平衡这个，比如它的帧率，比如我们现在做到的将近1千万的像素，帧率可以做到4千帧每秒，这是非常高的速度。

对于传统的高速摄像头来说，这样的帧率会形成巨量的数据量，因为事件捕捉的只是变化，所以它的事件数据有效性非常高，它能够在帧率很高的同时，把数据量和功耗压制住，它的环境适应能力极强，可以把帧率、数据量、运动范围进行很好的提升，加上传统的图像传感器数据，拍照、机器视觉的功能就得到很大的增强。基于我们在传感器的积累，迭代了3次，现在开始实现消费电子（手机、安防、AIOT）领域大规模的应用，相信大家不久就能够看到基于Sensor做出来的产品。

我们公司成立4年，总部在深圳，在南京、北京、苏黎士都有分公司。我们有超过200多个发明专利，涵盖了从像素到数据结构、芯片架构、应用、算法等一系列的专利，所以这一块，在全球在融合视觉里布局专利是最多的。

在整个行业里，我们所处的这一细分行业还是挺受各个行业的重视。36氪也对我们有比较多的报道，我们也参与了很多评选。我们现在有两款芯片，一款是用于消费电子，是手机的应用，能够输出高质量图像的同时，能够非常好的输出运动的信息，实现特殊的功能；另外一款是是作为安防的高端芯片，能够实现暗光全彩，以及暗光下对运动物体的捕捉，而且通过低功耗的特性实现安防摄像头本地智能化，比如可以做事件的判断，当发生感兴趣的事件进行推送。

现在大家看到的是消费电子用的去模糊。左边的图片是实际拍摄的图片，拍摄一个运动的画面，它会有因为运动造成的模糊，模糊的去除是现在没有解决的问题，因为它需要知道在曝光过程中，每一个像素的拍摄无题运动轨迹，这是几乎不可能获得的。但是基于我们的传感器，因为可以快速捕捉变化，而且这个变化非常高效，通过这个能够获得整个特征点的运动轨迹，然后对它进行反推就能够形成特别清晰的图片。

这是慢动作，原理是在两帧之间通过技术变化，在任意时间点和原始图片加上变化的数据进行结合，重构，可以生成高速的图片出来。它实现了非常低成本又能够适应不同光照环境的高速摄像功能。

显示对比图

这是现在用到的传感器的典型问题，从隧道里出来，外面很亮，这个时候传感器是失效的，左边的图是通过事件感知拍摄出来的特征信息，它不会受到光照的影响，可以有非常稳定的输出。通过事件数据和图像数据可以重构出中间的视频，这个视频也就是在各种光照情况下输出的。

端侧智能

这是我们做的端侧智能，欢迎大家到我们的展台看，我们有1千帧的结构光，这是用于AR、VR，它可以实现超低功耗、超高速的3D视觉，比如手势识别、摔倒识别都可以通过很好的实现。我们也和一个大厂做眼动追踪，主要是通过事件高速的特征，和低功耗的特征，来实现非常灵敏、快速、非常准确的眼睛的运动追踪。我们还做了机器人的应用，这里不仔细讲。

在车的方面，有车内的DMS系统，在保护隐私的同时可以监控眼动、眨眼等快速细节的特征。在车上，也可以做电子后视镜。我们的传感器有一个特点，即适合给人观看，因为它能够带来非常优质的视频，而且不容易出现模糊或者是过曝等。它通过事件也可以给机器视觉提供非常高效的数据，能够满足后视镜对人看和对机器看的需求。其他的应用，包括光流、机器评测、转速评测等，这是一个底层器件。我们也和各个行业的巨头合作比较多，希望通过这样的生态，能够一起把新技术变成一个能改变大家生活的产品。

非常感谢大家！