小米新增超分辨率技术，仅限泊车场景，原因是算力所限？

小米在2023年底正式发布小米SU7，成为继华为之后第二个推出成品的的科技企业。不过此时小米需要做的不仅是打造一款产品力够高的车型，更是要以后发者的身份更快速地追上头部智驾车企。从昨天的发布会中可以发现，小米SU7采用双Orin-X芯片以及27个感知硬件组合，这套硬件组合在业界属于主流方案，小米在智能驾驶的技术创新几乎全在软件方面。

从发布会流出的信息来看，小米自研的智能驾驶技术创新点集中在感知、决策方面。虽然都是使用BEV大模型+占用网络方案，小米的创新点在于通过超分辨率技术实现感知精度的提升，并且提升BEV大模型的感知范围与精度。实质上，小米则是加强了Orin-X芯片的AI处理份额占比，用AI超分辨率计算做高精度感知。超分辨率占用网络，高精度得益于算法更新

在这次发布会中，小米公布了其智能驾驶感知模型为BEV+占用网络方案，小米的方案与小鹏、理想的感知模型相同，都是通过感知硬件获取周围空间模型的思路。但小米却加入了变焦BEV+超分辨率占用网络方案，占用网络模型精度有了不小的提升。

雷军在发布会上提到，小米的超分辨率占用网络模型精度达到了小于0.1m的水平，而特斯拉FSD的占用网络精度则为0.32m，国内智驾方案达到了0.2m。在模型精度方面，小米比特斯拉方案实现了3倍以上的提升幅度，着实让人很是惊讶。

但在硬件方面，小米使用的感知硬件从规模到硬件水平并没有质的提升。感知硬件规模方面，小米SU7上的感知硬件总量为27个，分别为1颗激光雷达、3颗毫米波雷达、11个高清摄像头与12个超声波雷达。前几日发布的问界M9上，也采用了1颗激光雷达、3颗毫米波雷达、12个超声波雷达的方案，发布会上虽然未公布具体摄像头数量，但大概率还是使用11个摄像头方案。小米智能驾驶方案与华为ADS2.0的感知硬件规模相同，这也侧面证明了小米在智能驾驶硬件选择方面更偏向成熟化的主流方案。

同样，小米SU7上使用的一体式激光雷达，硬件方面依旧为主流的128线雷达，根据153万点云/秒的数据与200米探测距离，大概率使用的是禾赛AT128（与理想L9上的那颗相同）。再加上小米SU7使用的双英伟达Orin-X智驾芯片方案，硬件方面的性能水平与华为、理想、小鹏几乎无差别。

那么小米是如何做到更高精度的呢？这方面得益于小米活用了基于NAS的图像超分辨率技术，来自于小米AI团队。小米的图像超分辨率技术流程为提取特征、非线性映射和重建，即通过现有低分辨率图像中提取目标物体的特征，之后用AI对特征映射、重建高分辨率图像。小米的超分辨率AI模型使用了深度卷积神经网络，优化了图片生成速度与多目标还原，从而生成更高质量的模型，比当前最优的超分辨率方法更快。在FLTOPS算力相当的前提下，深度卷积神经网络的超分辨率生成速度与效果都优于其他方法，或许这也是超分辨率技术能够上车的原因之一。

结合发布会给出的示例图像，小米的超分辨率矢量算法的计算逻辑分为四步：1、收集目标障碍物图像；2、障碍物图像与神经网络确认特征，与矢量图像库对撞其应该拥有的形状与细节；3、优化重构图像，还原高分辨率的图像；4、芯片根据图像生成体素，构建占用网络空间。

同样，由于超分辨率技术对画面的重构还原，雨雪天自动降噪功能则同样可以依靠类似逻辑实现，只不过在AI计算流程中需要着重处理现有画面与该障碍物应有画面进行对比，裁切雨雪天气所增加的矢量区域而已。由于超分辨率技术本身就需要对画面的细节进行比对，实际上并没有增加AI判断环节，从而保证了超分辨率技术的还原效率。

简单来说，小米的超分辨率占用网络，就是通过标准分辨率图像与AI大模型进行多次比对，生成符合常理的高分辨率画面（此时已经完成相应降噪工作），之后再进行占用网络搭建。

不过超分辨率技术的加入，对算力的要求明显提高了一个档次，或许这也是小米选择双英伟达Orin-X芯片的原因。小米在搭建占用网络时，大概率会调用1颗Orin-X芯片单独进行超分辨率计算，以减少因超分辨率技术的加入造成占用网络延迟。变焦BEV技术，为的是给汽车加入情景模式？

在占用网络之外，小米发布了变焦BEV技术，这也是小米针对不同场景化的使用需求进行的技术创新。实际上这也是基于超分辨率技术的一个延展应用，即根据不同级别的场景增加or减弱建模精度与范围，来满足不同场景下的使用需求。

小米在设计变焦BEV中设置了三个不同的使用场景，范围较小的泊车场景、范围中等的城市行车场景与范围更大的高速场景。其工作原理则是根据不同的场景有针对性的进行不同等级的硬件调用与建模调整。

从泊车场景来看，建模像素网格大小仅在0.05m，这也是上面超分辨率占用网络实现的最高精度。该模式下，小米会通过超分辨率技术加强视觉感应，从而实现0.05m的精度。但相应的代价就是该模式下感知范围是最小的，很明显小米在将Orin-X的计算力分配偏向于提高精度方面。

而城区与高速场景精度则维持在0.2m，不同之处在于城区左右识别范围达到了160m，而高速场景着重于加强前方侦测距离，达到250m。但有一个逻辑冲突，就是小米前向激光雷达最远检测距离为200m，车辆前方250m明显超过了激光雷达的检测范围。

而根据小米SU7的感知硬件分布，前向激光雷达之外也拥有一套双目高清摄像头组作为辅助，我们有理由联想小米在该模式下借助超分辨率技术放大前方细节，在雷达侦测范围之外用“看”来预测前方路况。而小米在发布会PPT上也明确写道“可实现前方150m突发事故减速变道”，这意味着小米智驾系统在决策层依旧使用了雷达点云的定位验证，在200m范围内进行精细感知、150m范围内开始决策。

不过让人很好奇的是，小米是如何判断车辆所处环境为哪种类型？大概率小米会使用一套场景认证机制，让现实场景与AI模型库进行对撞，来判定车辆所处场景。如检测到停车杆或停车线则判定为泊车场景，或系统判定道路情况确定城区或高速场景。小米如果能够实现这三个场景的识别与无缝衔接，这才是真正的“黑科技”。写在最后

从技术角度来看，小米这次智能驾驶的更新主轴在于提升精度，用高精度的占用网络和BEV鸟瞰图实现驾驶体验的更新。但很明显即使是500TOPS以上的双Orin-X芯片也无法同时进行超分辨率图像处理与毫秒级的智能驾驶决策判断，因此小米会使用变焦BEV调配系统算力调用，在重感知的泊车场景中提升精度、在城市/高速NOA场景中释放一部分算力保证决策。