中科慧眼CTO崔峰：车载双目视觉量产没有捷径

 

双目视觉是利用左右两个摄像机同步成像，再利用实际场景中远近物体在左右相机中成像的差异进行测距的视觉感知方法。近的物体，在左右相机中的成像位置差异较大，远的物体在左右相机中的成像位置差异比较小。

 

这种仿生视觉感知系统类似于公司观赏3D电影，通过偏光镜片，左眼看左相机的图像，右眼看右相机的图像，通过大脑理解视觉差异从而形成具有真实远近关系的立体感觉。

 

双目视觉要做的是仿生技术加人工智能计算、精密制造三位一体的工作。难度在于如何时时刻刻维持各种温度、各种场景下近乎完美的经过计算的每部双目相机的立体视觉几何模型，如果视觉几何模型发生变化，视觉推理计算的结果就可能不可控。

 

立体视觉的原理很简单，但稳定地实现起来却很难。

 

在三维立体视觉中，成像环境中的X、Y、Z三维信息都可以通过立体视觉的精确测距能力进行恢复。所有现实世界的每一点的X、Y、Z三维信息，都和两个摄像机之间的基线长度，每个镜头经过标定之后的焦距，以及该点在双目相机成像中对应的成像点对的视觉差异有关。

 

为什么说视觉测距有难度？通过立体相机测距，越近的物体的在左右相机的视觉差异，也即视差的区分度越大，越远的物体的视差区分度越小。也就是说做一个双目相机，随着稳定有效的测距距离达到50米以上、100米以上、150米以上，难度就会越来越大，测距精度和稳定程度较难保证。

 

可以说，双目视觉即可具有单目视觉的识别能力，又具有类似于激光雷达点云的精确测距能力的优势。性价比较高，应用前景比较广阔。

 

 

中科慧眼创始人/CTO崔峰博士在《2019高工智能电动汽车开发者大会（苏州站）》上表示，目前中科慧眼前装L4双目视觉传感器产品和后装双目AEB产品已批量出货，并以实现商用车的前装定点，预计在今年7、8月份，会有搭载公司前装产品的商用车型上市。

 

2019年会是国内做车载立体视觉公司的具有里程碑意义的一年，中科慧眼的目标是为L0到L5的智能驾驶需求全面赋能。

 

一、双目历史

 

从1999年最早量产车载双目系统的斯巴鲁，到2016年奔驰全系、2016年宝马全系、捷豹、路虎、2017雷克萨斯、大发，车载立体视觉在从高端车型至低端车型加速推广。

 

博世、大陆、日立、奥托立夫、麦格纳、采埃孚等一线Tier1也在采用或自主研发双目方案。而国际厂商的这一技术在国内的推广力度相对滞后。

 

从全球来看，就车载立体视觉应用的经验和指标而言，最成熟的是日本企业，比如日立、理光，而近几年进行车载双目视觉创业的公司，很多人才都来自于这些日本公司。

 

比如斯巴鲁的实吉敬二先生，在深圳、长春成立了分公司。理光也在中国寻找合作伙伴，双目的研发公司和车厂都在大力推广这些技术在中国的应用。

 

从芯片厂商来看，包括NXP SV32系列、Ambarella CV2AQ系列、Toshiba Visconti系列等新一代车载人工智能计算芯片，它们无一例外都包含了立体匹配的模块。

 

这表明，深度视觉加上深度学习，会有可能成为下一代车载智能传感器、计算当中非常重要的特征点。这方面技术的进入门槛会逐渐降低，从成本和方案都会更易用。

 

从国内来看，做车载立体视觉传感器的厂商有中科慧眼、元橡科技、华芯技研等，大家都在结合自身的技术特点、本地的需求、本地制造商的能力，力争实现立体视觉在车载应用上的突围。

 

目前，中科慧眼已经形成了较为成熟的自主知识产权的研发与制造能力，在全产业链都可以形成赋能。至今为止公司已经申请或者获得国内外专利近百项，人均专利项突出，并在持续增加申请中。

 

二、从学习到追赶

 

中科慧眼的一代立体相机平台到二代立体相机平台的演进，从距离点云分辨率、实际的测距能力、，测距准确度上来讲，有一个很大的提升，包括达到前装品质。二代平台的产品，基线长度比较短，测距范围比较远，从技术指标上形成了一个对国外标杆产品的追赶。

 

中科慧眼二代相机的典型配置对应的测距指标，从5米到100米，测距误差始终稳定的维持在3%以内。在100米以内的距离区间，可应用于ADAS、自动驾驶。

此外，中科慧眼提供基于密集匹配的方案与边缘匹配方案的全面支持。如图所示，道路从近到远延伸，立体测距的距离可以由近及远用伪彩色从红到蓝来表示。孤立的障碍物，在距离点云图上从形态上来讲比较孤立均匀，由距离点云的可以快速完成障碍物的分割，以及道路、路沿、树木，等驾驶环境的感知。

 

双目相机既有图像可以进行深度学习识别，又有点云可以进行分割与测距，融合了类激光雷达和机器视觉的综合能力。

 

将立体视觉的深度点云图和深度学习融合，也是立体视觉发展的趋势。比如，夜间同车道、对向车道的目标检测与测距精度都可以借助深度学习的能力得到加强。

 

将立体视觉和深度学习结合，可以为客户提供性价比更高、性能更强的智能视觉传感器，构成一个比较完备的边缘运算模块，直接将识别数据，3D-BOX，以及精确的测距距离信息等，输送给域控制器直接进行AEB刹车或者自动驾驶控制。

 

中科慧眼不仅仅局限于可见光的视觉，还将可见光相机和红外图像融合，得到一个可见光与多波段光信号融合的图像。

 

这样的视觉方案不仅可以在可见光下运作，融合红外光之后可以感知更加丰富的环境信息。大大降低夜间、雨雪雾天气对视觉系统的影响。

 

三、双目ADAS的量产

 

实现量产的车规级双目ADAS产品是猎户座。双目相机将精准测距与视觉识别融合可以实现ADAS常见的FCW、LDW、HMW等功能，还可以实现不依赖于识别能力的非标准障碍物的碰撞预警或者主动刹车等功能。

 

比如视频中演示的这些场景，一个平板车上有一个模型肢体，几个堆放的纸箱子也可以作为非标准障碍物被及时检测出来做主动刹车。

 

针对商用车的AEB产品，中科慧眼已经实现了量产出货。针对乘用车，中科慧眼研发了全金属外壳的全车规双目相机-岩石城。

 

 

目前，中科慧眼的全车规模组全面通过了第三方车规测试认证，并在工作环温测试、抛负载测试、辐射传导、静电放电指标上，全部通过了车规最高等级标准。

 

针对特殊的具有一定高度的车辆，像商用车、大卡车、双层大巴，房车在行驶中容易出现的对高处障碍物的刮蹭事故，中科慧眼开发了双目限高障碍物预警系统-大熊座，可以安装在相对较高的车辆上，对各类不规则或者是规则的限高障碍物，比如桥洞、天桥、隧道、限高杆的碰撞进行预警，帮助车厂提高客户体验，减少事故的发生概率。该产品目前已获得前装定点。

 

中科慧眼针对L0至L2的ADAS应用的产品主要是为了量产落地。针对相对比较复杂的L3至L4的自动驾驶需求，中科慧眼继续提供高性价比的多维视觉感知模块。

 

到目前为止，阿波罗生态系统当中大部分的自动驾驶车辆都装备了中科慧眼的立体视觉传感器，包括各种商用车辆，巴士、送货车、清洁车、巡逻车等等。还有一些自动驾驶的合作伙伴陆续会公开中科慧眼的产品。

 

为了服务于更多致力于立体视觉、视觉感知识别开发的用户，中科慧眼开发了一个双目视觉灵动平台，用户可以根据公司提供的SDK进行二次开发，为立体视觉或多目视觉的开花结果铺平道路。 

 

四、车规的试金石

 

崔峰表示，在车载双目视觉方面，技术指标上国内相比国外正在缩小差距，在产品应用上，国内要更激进一些。

 

但在国内做车载立体视觉，会受制于成本、供应商、材料、加工工艺、量产经验积累等方面的限制，需要克服诸多问题，产品能否通过第三方测试的车规验证，往往是衡量公司成色的试金石之一。

 

要做到这些，考验厂商的不只是技术的基本功，还有对供应商的管理、工艺的改进，生产方式等方面所做的探索等等。

 

崔峰坦言，对中科慧眼而言这些也是从零开始做，非常不容易。车规级产品的开发一定要过一些门槛，但磨刀不误砍柴工，所有的付出都是值得的。