专注用户体验 MINIEYE的五大场景解决方案

MINIEYE成立于2013年，核心团队是新加坡政府支持资助的第一个视觉感知以及ADAS相关的项目。目前团队总部在深圳，主要是负责公司的运营、生产、制造、硬件相关的研发测试；北京是深度学习和先进预研研发中心；南京是第一个研发中心。今年上半年MINIEYE成立了上海的研究院，主要负责L2以及以上规控相关技术。

MINIEYE起源于舱外的感知，拥有全视觉的感知算法，以及多传感器融合的方案。2017年，MINIEYE逐渐将自己的目光从舱外感知拓展到舱内感知，在2019年正式成立座舱事业部，其关注的不仅仅是驾驶员，还包括乘客以及所有座舱的相关交互物品以及环境。

市场关心的量产问题上，MINIEYE在2018年已经全面实现了乘、商用车的前装量产出货，目前整体前装量产的项目突破了90个，2021年全年前装的出货量同比增长了250%，从2013年成立到现在，得到了许多行业伙伴以及包括媒体的认可和支持。

软硬结合，专注用户需求体验

MINIEYE提取整个座舱使用者比较精确的人体视觉特征，通过这些特征去分析乘驾人员的状态、行为、意图，然后再去理解一些特定场景下，座舱使用者的需求。MINIEYE最终将这些需求形成的是一些主动式服务，全面地提升智能座舱交互体验。

在硬件方面，其具有大量ICS整体的交付能力或者交付产品方式，MINIEYE同时具备了软件算法能力和硬件能力，可以提供给客户全软件+摄像头模组、纯SDK的方式以及整套硬件三种不同产品。

作为汽车行业从业者，MINIEYE充分认识到了一些现实客观因素，MINIEYE在设计整套不管是软件还是硬件方案，以及在计算资源限制、车规级平台的限制、车规级摄像头模组的规格、未来的规划、内饰设计等方面都有非常严谨的考虑。

在软件上，MINIEYE提供给客户的是三层式架构的软件解决方案，底层是MINIEYE一些自研的IP，包括CNN的压缩架构和基于不同平台的加速结构。这样能够保证整个神经网络能在车规级平台上跑的更快更稳定。第二层称之为算法层，可以给出直接算法的检测结果，包括了视线的矢量和头部的坐标，能够帮助客户如果有自定义和呈现的需求能拿到算法层的直接结果进行渲染。上层是应用层，包含了应用的逻辑和报警机制。在这块根据经验打捞和总结了很多不同的应用逻辑，能让疲劳分身、视线交互等应用层级的功能实现更加稳定精确。

除此之外，有CNN加速器，其作为一个汇编级的指令，充分利用了平台的特点，能有效的减少资源占用。相同的CPU、GPU，利用它能跑出更高的网络，减少消耗更少的处理时间。针对高通8155新的CPU品牌上，可以使用自研的FP16自研推理框架。FP16比以前老版本的架构要节省一半以上的资源。

整体而言，ICS的算法优势有更小的算力占用，能够达到最优的解决方案，有更丰富的平台方案，不仅包含了很多国内外主流的座舱芯片，包括了像高通，以及国内地平线等等，同时可以支持CPU、GPU以及DSP的相关方案。算法对摄像头模组的成像效果方式会更包容。

定义五大场景 配适五种需求

第一个场景定义的是和L2+相关的自动驾驶系统相关的安全接管。在图中可以看到，在未来DMS更多关心的是驾驶员的注意力以及注视区域是否在L2及L2+以上的自动驾驶启动时可以做好相关的要求。目前MINIEYE的这一套视线系统能准确的将座舱里的区域进行分区，并且将视线的投落准确的划分出来。在MINIEYE以量产交付的项目中，有多到14块的视线注视的信息区域，图中左边MINIEYE正在看到的视频是自研实时的可视化3D的投射和可视化测试软件。这里面根据测试员视线的转动可以准确的看到视线弱点在整个座舱里的模拟。

第二个场景——个人时间。当驾驶员在疲劳通行上下班过程中，对座舱会有新的需求，来看一下ICS能做到什么。这个场景定义了几个重点的技术功能，第一个是关于疲劳分神的检测，以及在上下班通行情况下驾驶员情绪的识别。

首先是疲劳的检测，今年欧盟出台了新的疲劳量化的认测——DDAW，它首次推荐将KSS作为DMS的一个判断和量化的标准，这里面采取了一种和以前很多汽车相关的检测不太一样的逻辑，是个临床生理性的检测方式，通过敏感性和特异性相关的标准，对于系统和技术疲劳判断做出打分和量化，目前ICS是满足欧盟DDAW对疲劳检测推进的量化测试标准，MINIEYE在内部也进行了成功的摸底测试。

之所以ICS的疲劳检测能满足欧盟偏临床性的量化方案，是因为MINIEYE整个算法不仅仅是把它当成计算机视觉的任务在处理，而是通过了大量的真实交通案例和异常情况，将更真实的驾驶环境情况和数据考虑在内。MINIEYE的自研逻辑结合了多维度的不同生理指标，包括对于了头部姿态、眼睑开闭程度以及视线方向和眨眼频率等等行为进行了分析，并且进行了综合打包，能够给出更精确的疲劳分级以及疲劳预警判断。

目前现在有超过10万家的营运车队，包括了巴士物流卡车式搭配着DMS，他们当中有一些客户和MINIEYE有这样基于数据和KSS有深度的合作，每隔一段时间会针对一些难以解决的KSS进行为期半年到8个月的专案场景算法提升。

在DMS上自研了可视化的测试软件，图中视频可看到的，MINIEYE将所有中间算法结果开放给了客户，便于对算法进行检测。除此以外还打造综合逻辑，可以让客户更明确的感知到算法结果和真正的报警之间的有效性。

除此以外，还有一个重点技术，就是情绪识别，目前ICS做到了六大情绪识别，包括了开心、悲伤、惊讶等等，有别于其他传统的，可能是基于人脸分类的情绪识别，ICS基于的识别，能够准确定义面部肌肉的运动，识别力度能更细，并且能更加精确的回答，到底什么是开心或者悲伤的表情。

第三个场景——无缝入车

在ICS的构想里，希望未来的智能座舱或者拥有的智能汽车能够将人入车坐进和启动整个过程能更加无缝联系和更加顺畅，这里面有几个核心的技术。首先是Face ID人脸识别，目前ICS的防欺骗活体检测是能够规避掉，或者跳跃掉整个窗口期的时间，不需要任何动作的配合，即它可以更快更迅速的得出是否是活体的结论。从Demo当中可以看到，基本上人坐到摄像头里以后，大概在1.2秒-1.5秒左右，就能得出是活人的结论。即便是照片出现在画面中，也能在1.5秒给出非常明确的判断，这是一张照片。对于视频来讲，红外的摄像头以及天然的反光机，任何的LED屏在红外摄像头下都是呈现全黑的状态。

MINIEYE完成了整个Face ID云端存储的架构，也就是说Face ID可以在云端和本地两地进行整个产品架构的设计，并且已经完成了从移动端的彩图进行注册，车机端用黑白图进行识别整个闭环，算法能识别出彩图和黑白图当中的同一个人。并且任何的本地，或者远端、云端的存储都会将用户的照片转化至512维矢量的加密文件，所以并不会出现视频或者图片存储涉及到人隐私的相关问题。

提到Face ID有两个指标一定要说到错误拒绝率和错误接受率。目前MINIEYE可以将错误接受率，就是将A认成B这样比较严重的错误情况控制在10的-5次方以下。

第四个场景——儿童看护，

ICS现在能够通过多维度的儿童生理特征、人脸属性、人体比例，以及人体的骨骼比例以及身长的分析来多维度的判断儿童或者成人。

当座舱里出现了儿童以后，针对有成年人和无成年人两种场景，能够做到不同的技术和功能的提供，有成年人时会实时监测后排儿童的状态包括情绪是否入睡，来提醒车机进行空调和音乐相关的招呼，并且能够实时检测座椅的安全带以及肢体有没有后排攀爬的情况，以及安全区域的检测。

当座舱里仅剩有儿童时，MINIEYE会启动锁车门以及语音和短信通知驾驶员的方式，告诉他不要将儿童单独遗漏在座舱里面。除此以外还针对成年人和其他类型的乘客有更多的座舱监控功能，包括了年龄分析、性别识别、入坐情况等分析以及危险动作和安全带的监控。

MINIEYE可以将这些技术打包成不同的应用场景和功能。最后一个场景，也是非常有趣的——多人娱乐，现在的座舱对于很多人来讲是自驾旅游，出去玩是很重要的环境。MINIEYE的智能座舱感知技术能提供更多的潜力和功能。

这里面首先第一个技术就是关于遗落物品和宠物的检测，根据DEMO上MINIEYE可以看到，当人员离开座舱以后，像手机、钱包、笔记本等物品，MINIEYE能够及时识别出来，并且提醒驾驶员。

展望未来 座舱发展前景巨大

MINIEYE智能驾舱事业部负责人杨一泓

MINIEYE智能驾舱事业部负责人杨一泓认为，未来的智能座舱这里面有非常大的潜力，智能座舱会成为一个更私人、更独立的空间。在这个空间里面，MINIEYE认为更多模态的感知以及更多模态相结合的深度学习，会成为未来整个感知方向的主力军。

根据目前情况，MINIEYE发现，各个模态的技术是在单打独斗，车里面虽然同时具备了视觉技术和语音技术，但视觉技术和语音技术本身之间并没有产生任何结合和互动。未来MINIEYE希望能够有更多的生态伙伴

，将更多的技术能够融合整体，训练出一个更好用、更聪明的座舱感知技术，来给大家提供更好的交互体验。