智能驾驶需要怎样的ISP?

发布者:安静的夜晚最新更新时间:2024-09-03 来源: elecfans关键字:智能驾驶  ISP  延迟 手机看文章 扫描二维码
随时随地手机看文章

智能手机上,图像传感器的像素、色深越来越高,支持拍摄的视频分辨率、帧数越来越大,都需要更强大的ISP进行支撑。比如相机取景框的延迟、拍摄照片后的等待时间,都关系到ISP的性能。


不止于手机,实际上几乎任何需要用到图像传感器的场景都需要ISP对传感器获取到的信息进行处理。在智能驾驶领域,摄像头作为核心的传感器之一,也需要ISP对数据进行处理,再将摄像头数据提供给智驾的AI算力芯片等进行计算。智能驾驶技术快速发展的过程中,也对ISP性能有了新的需求。


智能驾驶的ISP需求

在智能驾驶应用中,相比消费或安防等应用最大的区别就是低延时的硬性要求。在一些低端智能手机上,或是一些家庭安防摄像头,我们往往可以看到画面与实际环境是有肉眼可见的延迟。


但如果在智能驾驶上,摄像头数据有1秒的延迟,那么从摄像头再到智驾芯片作出决策,车辆可能已经行驶超过30米,而智驾系统作出的决策实际是应对30米前的状况,这对行驶安全来说会是重大的隐患。


所以,为了保障智驾系统对路面环境的快速响应和及时反馈,ISP处理图像数据的延迟需要尽可能小,给后端感知算法和算力芯片留有足够的处理时间冗余。

除了延迟之外,ISP还负责对图像传感器的数据进行各种优化处理,汽车行驶环境复杂多变,与手机、安防等领域相比,汽车领域对图像质量低照度、动态范围和功能安全等多种要求都要更高。比如在进出隧道、地库等场景,明暗变化极大,需要图像传感器具备极高的动态范围以及ISP具备24bit甚至更高位宽的RAW数据处理能力。

智驾系统还对色彩还原和细节渲染有较高要求,比如识别红绿灯、识别道路标志、地面画线等,这些路面信息的颜色,在特殊的光照条件下,色彩的变化会给感知算法识别带来困难,需要ISP准确还原颜色,避免算法误判。

不过智能驾驶用到的ISP首要目标不是满足人眼的视觉感受,而是注重机器视觉的需求。辉羲智能曾表示,目前在智能驾驶用到的AI网络本身具备一定的鲁棒性,对于ISP的处理能力改进可能没有迫切需求。所以对于智能驾驶来说,会更加看重ISP的低延迟和信号保真两个方面。

信号保真的目的是保证感知算法能够获得与现实情况尽可能接近的信息,就像前面提到的色彩还原、高动态范围等。

黑芝麻还提到智能驾驶ISP会面临的一个问题,就是不同传感器的噪声差异。在实际智驾应用中,前视、侧视、后视等摄像头中,会采用不同的图像传感器,比如像素不同、型号不同等差异。而不同的图像传感器,在感光灵敏度等存在一定差异,在输出信息的噪声形态和强度都各不相同。

感知算法在处理图像信息时会对输入图像的信噪比有一定要求,所以ISP需要对不同传感器和不同类型噪声都具备相应的处理能力,使得不同的传感器输出的图像信息在信噪比上能够符合感知算法的要求。

智驾系统有可能去掉ISP?

ISP出现的目的是对图像信号进行处理,以让图像变得更加还原现实或是让人觉得更加“好看”,但对于机器视觉来说,是否真的需要经过处理后的图像,在业界也有一些讨论。尤其是ISP的处理需要时间,去掉ISP后甚至还能降低一点延迟。

这里的逻辑是,为了给人眼看到更好的画面,在ISP处理的过程中很多对机器视觉有用的数据也被处理掉了,如果省略了ISP的处理过程,那么所获得的信息量会增加。

马斯克曾表示,在自动驾驶系统中,图像信号不经ISP处理可以降低13毫秒的延迟,这是因为特斯拉整车有8个自动驾驶摄像头,每个摄像头经过ISP处理会产生1.5到1.6毫秒的延迟。

但目前来看,在智驾系统中ISP依然是必须的,包括特斯拉也并没有完全去掉ISP。有学者认为,现有的图像传感器去掉ISP后,会令算法识别造成很多困难,比如没有了色彩还原等。

至于延迟问题,辉羲智能认为可以借鉴智能手机领域的ISP,比如将图像切分成tile进行处理,将一帧图像切成4个tile,最高可以将延迟缩短至二分之一帧。


小结

在智能手机领域,为了让人眼看到更好看的图像,ISP经历了快速的发展。对于智能驾驶而言,ISP虽然也有很大程度的提升空间,但对于应用以及实际算法的需求,还需要行业继续探索。


关键字:智能驾驶  ISP  延迟 引用地址:智能驾驶需要怎样的ISP?

上一篇:特斯拉测试车搜集路面实况 遭爆装「光学雷达」
下一篇:深入了解基于CANoe的VIO系统应用

推荐阅读最新更新时间:2024-11-11 16:55

自动驾驶算力是不是越高越好?
引 言 汽车从诞生之初其主要的评价体系以马力为主,随着汽车工业百年的发展,汽车的属性也慢慢的从生产工具,转变成了第三空间。越来越多的新的功能上车,需要越来越多的芯片的支持。而随着电子电气架构的发展,芯片也从之前的单一功能发展到了目前的高性能SoC(System on Chip)阶段。之前的开“芯”课堂从工具链和应用角度做了介绍,今天我们就介绍下实现以上功能的基础——算力。 算力的定义以及分类 算力,简单来说就是计算的能力。一款SoC一般会包含CPU,GPU,NPU及DSP等算力单元。类似于学霸在语文,绘画,数学及理综的学习能力。CPU简单来说主要处理逻辑计算其单位DMIPS,GPU主打图像处理,其单位FLOPS,表示浮点运算能
[嵌入式]
自动驾驶算力是不是越高越好?
长三角G60科创走廊智能驾驶产业联盟揭牌成立
4月11日,长三角G60科创走廊智能驾驶产业联盟成立大会在苏州高铁新城举行。活动由长三角G60科创走廊联席会议办公室、苏州市人民政府联合主办,苏州市科技局、苏州市相城区人民政府承办。长三角G60科创走廊联席办主任、上海市松江区委常委、副区长高奕奕,苏州市人民政府副市长陆春云,相城区委书记顾海东,相城区委副书记、区长张永清等领导出席本次大会,同时活动也吸引了300多位来自智能驾驶产业链上下游企业、相关产业、高校、科研院所、金融机构等领域的嘉宾参与。 在长三角更高质量一体化发展的国家战略背景下,本次大会旨在打造G60科创走廊智能驾驶产业一体化发展平台,促进产业链上下游资源整合、人工智能与智能驾驶的深度融合、产业与智力资本的有效对接,从
[机器人]
STM32 SysTick定时器和delay延迟函数
一,什么是Systick定时器   Systick定时器也叫滴答定时器,是内核级别的24位倒计数简单定时器,常用做延迟和系统心跳时钟(如:UCOS)   优点:节省MCU资源,不需要浪费一个定时器,只要不清除Systick使能位,就不会停止,即使在睡眠模式下也能工作   捆绑在NVIC中断优先级管理,能产生Systick异常(中断),可设置中断优先级 二,Systick相关寄存器   CTRL: Systick控制和状态寄存器   LOAD: Systick重装载寄存器   VAL: Systick当前值寄存器   CALIB: Systick校准值寄存器   定时器工作方式:   每经过一个Systick时钟周期,VAL寄存
[单片机]
STM32 SysTick定时器和delay<font color='red'>延迟</font>函数
英特尔CEO反击3nm延迟传闻 Arrow Lake等项目都会在2024年亮相
根据 Digitimes 报道,有行业人士透露英特尔决定将之前在台积电那里下的 3nm 芯片订单推迟至 2024 年第四季度。因此,有用户认为基于 Intel 3 和台积电 N3 工艺的处理器新品会出现延期上市的情况。 英特尔 CEO 帕特・基辛格 (Pat Gelsinger) 现回应了有关“推迟使用 Intel 3 和台积电 N3 的产品”的传言。他强调,迄今为止所有已经公布的 3nm 项目都将在 2024 年发布。 到目前为止,英特尔已经披露了三款将使用 3nm 级制程的产品,包括 Arrow Lake、Granite Rapids 和 Sierra Forest 系列,预计这些处理器仍将会在 2024 年如期发布。
[半导体设计/制造]
智能驾驶“平民化” 消除道路安全隐患应向技术要潜力
  前方的可导航软目标台车突然停止后,实验车辆完成自动紧急制动。视觉中国供图       面对前方变速行驶的可导航软目标台车(GST台车),全新名爵6 20T自动Trophy超级运动互联网版接连完成自动加速、减速操作。当前车突然刹车时,这台全新名爵6迅速预警减速并主动制动,避免了一场眼看就要发生的追尾事故。   在中国汽车技术研究中心有限公司的实验场,如此惊险的一幕让不少人捏了一把汗,同时也让人们意识到 智能驾驶 辅助系统的强大威力。   “感谢中汽研创造了这样专业、严苛的测试条件,我们的MG PILOT智能驾驶辅助系统一定要经得起与用户实际使用场景相同的检测,才能让消费者更清晰地了解它在主动安全上的作用。”上汽乘用车公司副总经理
[嵌入式]
如何将安全LPC804 MCU芯片配置编程呢?仅可通过ISP模式么?
LPC804 MCU具有CRP(代码读取保护)功能。 该CRP位于地址0x0000 02FC,并且存在NO_ISP/CRP1/CRP2/CRP3这些不同的安全级别。 如何将安全配置编程呢?仅可通过ISP模式么? 也可以在项目工程,如下图 MCUXpresso IDE中配置, 使能 CRP: 在 MCUXpresso 工程里面配置CRP。 •定义设置适当的 CRP值 •使用自定义脚本配置链接器以将该常量放置在CRP内存地址(0x2FC),下面定义分配给其所需CRP级别的常量。attribute 指令确保链接器将常量(CRP_WORD)放置在内存的特殊“.crp”部分中,参考代码如下。 #define CRP_NO_CR
[单片机]
如何将安全LPC804 MCU芯片配置编程呢?仅可通过<font color='red'>ISP</font>模式么?
游狼采用Nordic的nRF52840 SoC和低延迟模式满足电子竞技高性能
键鼠外设公司 G-Wolves(游狼) 发布了一系列由 Nordic Semiconductor 驱动的双模(有线和无线)游戏鼠标,以轻巧的外形为用户提供超低延迟性能和低功耗。“Hati ACE”系列鼠标集成了 Nordic 的 nRF52840 高级多协议片上系统 (SoC),可在用户外围设备和 PC 之间提供 2.4 GHz 专有无线连接,从而在游戏和电子竞技应用中实现快速响应。 低延迟数据包模式 为确保快速稳定的响应时间,Hati ACE 系列鼠标采用蓝牙低功耗(蓝牙 LE)无线的低延迟数据包模式 (LLPM)。LLPM专为界面响应时间敏感的应用而设计,例如游戏鼠标、键盘或虚拟现实 (VR) 耳机等。 LLPM 已
[物联网]
智能驾驶谁最厉害 - 华为ADS?特斯拉FSD?
最近特斯拉的FSD爆出在国内已经拿到测试牌照,FSD 进入国内倒计时中;而国内的华为在智能驾驶方面也是老早就喊出了遥遥领先的口号,所以,如果让特斯拉 FSD 和华为的 ADS 在能驾驶方面比一次,到底是华为厉害还是特斯拉厉害? 所以,本文将结合我对智能汽车行业的认知和相关知识,从技术和产品角度分析在智能驾驶方面,到底是华为 ADS 厉害还是特斯拉 FSD 厉害?希望能给大家一些信息和启发。另外文末有调查看看大家认为谁最厉害,也欢迎大家留言讨论,补齐信息。 纯视觉方案的特斯拉FSD 特斯拉的智能驾驶FSD是纯视觉解决方案,我们之前文章《 视觉为王-小鹏以及特斯拉的自动驾驶方案 》中也分享了,特斯拉主要依靠8个摄像头
[汽车电子]
<font color='red'>智能驾驶</font>谁最厉害 - 华为ADS?特斯拉FSD?
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved