设想如果有一天,你不用带车钥匙,也不用带手机,直接通过刷脸就能打开车门,启动自己的爱车,想听歌不用再和车机糟糕的语音识别系统费口舌,直接一个手势打开音响,这会是怎样的体验?如今,这些畅想已然成为了现实。近日,自动驾驶技术研发企业MINIEYE推出了其自主研发的MINIEYE I-CS(In-Cabin Sensing)座舱感知量产方案,并通过可视化的检测工具展示了该系统的精度和效率。其中摄像头取代了很多传统传感器,成为了串联大量场景的核心部件,并将此前诸如DMS、OMS、无钥匙进入系统以及手势识别等新兴场景,进行了更为简单顺畅的串联,一方面节省了大量的传感器,另一方面使系统内部的衔接效率大幅提高。
场景1:无缝入车,用FACE ID取代钥匙传感器
具体而言,I-CS方案基于计算机视觉技术与人工智能打造,包含驾驶员监测系统(DMS)、乘客监测系统(OMS)、物体识别与人车交互系统等功能,具有高精度、高效率、高鲁棒性等核心优势。那么I-CS具备是如何实现“三高”的“无感”主动式服务的呢?BAO师傅将通过五个场景分别说起。
这五大场景分别为:无缝入车、安全接管、疲劳监测、儿童看护以及多人娱乐。在这些场景中,I-CS降低了交互门槛和系统的学习成本,用户无需给出明确指令,即可感受到I-CS所带来的“无感”智能体验。
当用户靠近传感器时,无需动作配合,I-CS可以通过无感式身份识别与活体检测技术,可快速完成活体判断并进行身份识别,主动为用户打开车门,快速登陆车机系统。在现场演示时,系统对照片视频等非真人的“假象”可识别为“Fake”。除了支持2D及3D摄像头方案,该技术还支持RGB图片与IR图片的交叉身份验证。另外,该技术还将用户照片转化至512矢量加密文件进行存储,极大程度的规避了用户的隐私风险。
场景2:安全接管,感知精度可提升3倍
I-CS拥有两套视线方案,视觉感知精度可提升3倍,I-CS能准确识别驾驶员视线,并判断视线是否落在前方路面、中控、AI助手、内后视镜等7个注视区内。可为后续智能座舱的体验以及驾驶员疲劳监测提供依据,比如中控屏主动点亮等功能,提供更“无感”的主动服务。
同时,I-CS还可以准确识别到驾驶员可能会影响驾驶安全的动作,包括闭眼、打哈气、仰头、低头、打电话、吸烟、左顾右盼等动作,另外,驾驶员眼部被遮挡、摄像头被遮挡和驾驶员离开等情景也能够准确识别,为后续的提醒和警示提供依据。
场景3:疲劳监测,10万个样本的数据库保障
不同于一般的驾驶员疲劳监测,I-CS根据超过10万个样本数据打造了一套完善的且符合欧盟标准的疲劳监测系统,能够实时监测驾驶员头部姿态、眼睑开闭程度、视线方向以及眨眼频率等多维指标,并根据不同行为特征实现疲劳程度的量化分级。最终,I-CS可根据驾驶员不同的疲劳程度,采取不同的预警或操作,以更加合适的警示形式,来减少事故发生。
场景4:多人娱乐,摄像头直接取代独立手势感应器
这里需要简单解释一下,“多人娱乐”的场景并非狭义的“娱乐”,而是通过感知来实现多人状态和控制的识别,从而达到未来融入更多娱乐的可能性。比如多维感知能力可以为产品层面的多人KTV 和体感游戏等娱乐系统提供支持。
通过表情和状态的识别,I-CS可以为驾乘人员提供更主动的“无感”服务。比如在识别出难过、愤怒和困意的情况下,车辆可以主动播放舒缓情绪的音乐、与你聊天解闷以及开窗通风扫除困意等动作。
另外,通过人脸识别,I-CS可以对图片和视频进行实时美颜,除了常规的祛痘、瘦脸、增大眼睛、磨皮和美白功能外,还提供AR装饰和美妆效果。
通过躯干识别,I-CS同样可以识别出乘员的姿势和状态,进行自然的肢体和头部的动作交互,来实现监测和控制功能。
演示系统中,I-CS为我们展示了握拳、点赞、打电话、画圈、挥手和下滑等手势识别功能。不同于宝马等品牌车型中常见的独立感应器,OMS摄像头的识别范围更广,乘员并不需要在特定区域去做动作,理论上只要摄像头拍得到就可以识别出来。当然,为了节省算力,I-CS更推崇的还是以自然动作的区域为主要识别区域,也就是人体周边区域。
场景5:儿童看护,能够监测的不只是儿童
因为家长的照顾不周而导致儿童发生危险的是事故数不胜数,所以对于OMS系统来说,儿童看护一直都是监测的重点之一。不同于成年人,儿童的监测更具挑战性,需要更加细腻的识别能力以及更精准的计算方案,不然很难精准判断当前的状况。
I-CS通过综合分析人脸属性、人体骨骼比例以及身长信息,能够准确判断成人与儿童。当识别到儿童,系统将主动触发儿童看护功能,持续对儿童进行状态、行为监测,并实时反馈给前排家长,提醒其采取相应的措施。比如儿童哭闹会推荐家长播放歌谣或故事、儿童入睡提示家长升高车内温度等。
一旦有儿童被遗忘在车内,I-CS将禁止锁车门系统,并通过语音电话和短信通知等方式提醒驾驶员返回,若长时间无响应则立即报警,以保证儿童的安全。
在细腻感知方面,I-CS还拥有更多的可能性,包括手机和钱包等随身物品的遗落识别。而在儿童看护的基础上,未来对宠物进行识别和监测相信也是能够实现的。
高度可定制方案与MiniDNN加速器
在此次的演示系统中,车机系统配备了DMS(驾驶员监控系统)和OMS(乘员监控系统)摄像头的简单方案。而对于I-CS方案来说,不同的应用完全可以适配多摄像头模组并进行融合。通过现场的展示图可以发现,摄像头的位置可以在A柱、仪表内、方向盘管柱、中控台、内后视镜等多个位置进行安装。
而针对不同车企座舱中,摄像头位置的变化,或者是摄像头位置可变的座舱,I-CS可以凭借专利自标定系统Mini-Cali来进行坐标系的自动转换,来保证感知的准确性。比如装在方向盘上的摄像头会因方向盘的调节而导致位置变化,而自标定系统便可以进行自动转换。在硬件方面,I-CS会跟随客户不同的方案需求来适配与组合,方案多变灵活。
另外值得一提的是,I-CS采用自主研发的MiniDNN加速器。可以根据硬件特点,对其常用的神经网络模型进行优化,使其在有限的嵌入式平台资源上高效运行。相比同类产品,其在资源分配和算力占比上拥有明显的优势。
而节省出来的资源,可以用于其他智能座舱的运算。随着汽车新四化进程的不断发展,车内计算量越来越大,更低的运算负担无论是从安全角度还是成本考量,都将给整车的匹配带来便利。
四大优势与内外兼修
凭借多年来共交付22.8万套ADAS系统的经验,MINIEYE迅速形成了智能座舱的研发体系并落地量产,形成了自动驾驶与智能座舱的双线开花。打造出以高效率和高精度著称的I-CS座舱感知方案,并拥有自然身体语言交互、全栈自适应、高性能计算和开发工具链完备的四大优点。
自然身体语言交互:这是MINIEYE提出的自然身体语言(Intuitive Body Language)底层交互逻辑,将“人车交互应该像人与人交流一样自然流畅”的理念植入I-CS方案,充分利用直觉式肢体动作,形成自然用户界面,降低学习成本的同时,也提升了舱内的真实交互体验。也为日后拓展更多服务场景提供了良好基础。
全栈自适应:MINIEYE可根据主机厂与一级供应商的不同需求,提供不同封装的软件解决方案。可适配多摄像头模组及位置、支持CPU/GPU/DSP方案,并拥有移植不同嵌入式平台的成熟经验。
高性能计算:I-CS自主研发的加速器可以根据硬件特点,对其常用的神经网络模型进行优化,使其在有限的嵌入式平台资源上高效运行。这项自研技术对集成式座舱方案中的资源分配和算力占比更加友好,并为未来OTA升级奠定了良好基础。
开发工具链完备:基于成熟研发体系,MINIEYE建立起一套完备的自研开发工具链以及数据半自动标注平台,通过多项真值系统和可视化测试工具,为I-CS的定点量产和配套验收提供了完备的技术支撑。
近年来,凭借在自动驾驶、智能座舱两大领域的技术积累,以及大批量的交付经验,MINIEYE所提供的核心技术与配套服务,能够有效应对汽车行业的定制化需求,并支持舱内舱外多种应用场景。今年上半年,MINIEYE在ADAS领域的累计出货量已达到22.8万套,同比增长245%。
写在最后:
截至目前,MINIEYE I-CS方案已取得30多个乘用车车型的项目定点。虽然基于保密考量,我们还不能了解具体车型有哪些,但据官方介绍,这些车型将在不久的将来逐步面市。而在继ADAS系统后,智能座舱在近些年势必成为汽车品牌的必争之地,针对座舱的智能化变革也将由此展开。
{{item.mainInfo.fromUserName?item.mainInfo.fromUserName:item.fromUserName}}
{{item.mainInfo.createTime?item.mainInfo.createTime:item.createTime}}
{{item.mainInfo.content?item.mainInfo.content:item.content}}