datasheet

WPG大联大

文章数:759 被阅读:806510

账号入驻

【方案精选】汽车级全景智能监控,大联大推出基于NXP S32V234的疲劳监测、前方碰撞、车道偏离、全景监控方案

2018-12-20
    阅读数:


本方案采用恩智浦的 S32V234 作为方案主芯片,S32V234是恩智浦第二代视觉处理器系列,旨在支持图像处理的计算密集型应用,并提供了一个ISP(可以支持 1080P )、强大的3D GPU、双APEX-2(速率达 80GMACS)视觉加速器和安全性。

 

S32V234 适用于ADAS、NCAP前视摄像头、异物检测和识别、环视、机器学习和传感器融合应用S32V234专为汽车级可靠性、功能安全和安全措施而设计,以支持汽车和工业自动化。


▲点击可跳转大大通原新闻


1

方案说明


1. 疲劳检测算法基本思路如下

识别:Camera 输入的图像转换成灰度图像,通过进行人脸侦测,画出人脸 ROI ,在人脸 ROI 中侦测人的眼睛,画出人眼的 ROI ,计算眼睛 ROI 直方图,计算直方图平均值。

判断:根据人闭眼的程度,提前预设一个阈值,系统检测到人眼直方图的平均值,一旦超出阈值就会报警。

报警:报警通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。


▲1_1. 场景应用图_疲劳检测


▲1_2. 产品实体图_疲劳检测


▲1_3. 算法流程__疲劳检测


2. 前方碰撞(FCW)的算法基本思路如下

识别:Camera 输入的图像选择对应的 ROI ,进行高斯滤波,并进行图像灰度处理,然后对图像进行二值化,通过图像的膨胀、侵蚀动作,检测到车辆的坐标,并通过光流算法计算跟前车的相对速度,得出相对距离。

判断:当跟前车的距离低于预设的阈值时,系统会发出报警。

报警:报警可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。


▲2_1. 场景应用图_前方碰撞(FCW)


▲2_2. 产品实体图_前方碰撞(FCW)


▲2_3. 算法流程__前方碰撞(FCW)


3. 车道偏离(LDW)的算法基本思路如下

识别:Camera 输入的图像转换成灰度图像,通过对灰度图像进行二值化,转成鸟瞰视图,下一步进行 Sobel 滤波以及中值滤波,然后进行 Hough 算法,计算出车道线在图像中的坐标值。

判断:根据车道线的坐标,计算中心值,跟车辆的中心坐标进行比对,当车辆中心的坐标值位于车道线中心右侧时,代表车辆往右侧偏移,当偏离的距离超过一定的阈值时,发出报警。反之向左侧偏移,处理方式跟右侧一致。

报警:报警可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。


▲3_1. 场景应用图_车道偏离


▲3_2. 产品实体图_车道偏离


▲3_3. 算法流程_车道偏离


4. 全景监控的算法基本思路如下

鱼眼校正:选择黑白相间的棋盘图放于 Camera 的拍摄区,对拍摄到的棋盘图进行灰度处理,找到相应的角点,并进行校准,最后得出逆矩阵,并测试校正后的图像效果。

图像拼接:对校正后的 4 幅图像,根据需要进行 resize ,提取图像的相关特征,根据抓取的特征点进行特征匹配,然后进行波浪校正和缩放校正,获得图像的校正参数,接着进行图像的透视变换,获得鸟瞰图,最后进行曝光补偿,图像融合相关处理。

图像显示:经过拼接的图像通过 HDMI 传输到显示屏。


▲4_1. 场景应用图_全景监控


▲4_2. 算法流程__全景监控


图像数据流基本过程:首先 Camera 获取的每一帧图像经过 ISP 的初步预处理,然后 ISP 将图像存放到系统的 DDR 中,APEX 的调度程序从 DDR 获取对应的图像,由于 APEX 是并行计算单元,每一帧图像会被切割成一定的局部尺寸给 APEX 的每个 CU 进行计算,APEX 的128 个 CU 同时进行计算,APEX 主要负责特征检测、直方图计算功能。


2

方案图片

▲场景应用图


▲产品实体图


▲展示板照片


▲方案方块图


▲方案方块图_疲劳检测+ 前方碰撞+车道偏离


3

规格优势


核心技术优势

  1. 有人脸侦测及人眼分析技术,测驾驶员脸部特征,判断是否处于疲劳状态,测到疲劳驾驶时发出报警功能。

  2. 具有前车侦测及分析技术,检测前车的轮廓,并计算跟前车的距离,跟前车距离低于预设的阈值时,发出报警功能。

  3. 具有车道线识别分析技术,检测车辆行驶时,是否偏离车道线,当检测到偏离车道线时发出报警功能。

  4. 支持 4 路 1080p 的广角摄像头图像输入,可以将 4 路摄像头的图像进行拼接,实现 AVM 功能。

  5. 支持鱼眼校正功能,不同的摄像头校正参数会不一样。

  6. 可以将视频进行 H264 编码,并储存影像资料。


方案规格

  1. 供现成的 S32V EVM 板子,可以直接通过网站购买,方便客户快速入门。

  2. EVM 板预留 MIPI 接口,供客户搭配不同的摄像头进行效果测试。

  3. 提供基本的流程及实现思路,方便客户评估方案性能。

  4. 提供 APEX DEMO ,方便客户理解 APEX 开发流程,将算法移植到 S32V APEX 核。

  5. 提供基本的驾驶员疲劳检测算法、车道偏移预警算法、车道偏移预警算法、AVM 算法流程及实现思路,方便客户评估方案性能。



更多本方案技术文档请点击阅读原文跳转源新闻查看!


最新有关wpg_holdings的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved