事件相机的工作原理和应用场景

来源:m6米乐在线入口    发布时间:2024-04-08 00:49:26

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  HTC 10最近在网络上频繁曝光,更不可思议的是渲染图浮出水面。不过,如果你以为这便是该机的“定妆照”,那么可能就错了。日前,根据HTC内部人士在微博上的说法,新的一批HTC 10要比曝光的谍照更薄,同时爆料人@upleaks也表示尚未见到新版的渲染图,所以也代表着现在曝光的HTC 10或许并非最终推出的正式版本。 新版或更薄 此前HTC 10不仅有渲染图在网络上曝光,并且泄露的真机谍照似乎显得机身较厚。为此,HTC内部人士在公司股票价格上涨的微博回复网友的询问时表示HTC 10并不厚,同时在于爆料人@upleaks的对话中,这位HTC高级经理则透露:“新的要薄一些,手感也更好”,似乎暗示HTC 10并不是最终设计的具体方案,新的版

  据外媒报道,上周时GameBeat的两位消息的人偷偷表示,Switch搭载的这颗Tegra处理器匹配的GPU是Maxwell。不过就在本周,Eurogamer又曝光了Switch的CPU和GPU核心频率。从目前的数据分析来看,Nintendo Switch的机能在主机形态下依然非常强劲,但手持状态下会有比较大的损失。 NS主机CPU和GPU频率曝光:掌机损失大(图片来源于于推特) 从目前曝光的配置来看,Switch的CPU频率为1020MHz,在手持状态下GPU频率为307.2MHz,在和底座连接的情况下则为307.2/768MHz,显存的频率为1331/1600MHz。在两种模式下CPU都不会打折扣,但GPU则会出现比较大的差别,

  在Galaxy Note Edge在德国发售之际外媒已经将视线聚焦到即将发布的下一代Galaxy S旗舰中,认为从Galaxy Round的小批量出货到Galaxy Note Edge的全球发售,说明弧形屏幕的量产问题已得到解决,所以Galaxy S6装备弧形屏幕的可能性非常大,而此前谣传设备的两侧都会装备弧形屏幕。 根据目前已经曝光的消息Galaxy S6的配置如下: 屏幕:分辨率为2560*1440,屏幕尺寸不确定 摄像头(后):1600万的像素,支持光学防抖和4K录制 摄像头(前):500万像素 处理器:美国地区为高通骁龙810处理器,别的地方为64位三星Exynos 7420八核处理器 操作系统:An

  工信部近期曝光新产品的频率有点高,除了高端机以外,也又有一些入门产品被网友扒了出来。近日有一款形似 OPPO R7s 的新品出现在工信部的数据库中,从图上看,这款 OPPO 新机采用金属机身设计,除了正面底部的 OPPO LOGO 外,和 R7s 基本无异。   事实上,工信部的信息数据显示该机名为 OPPO A53,它采用5.5英寸720p显示屏,搭载1.5GHz八核处理器,2GB RAM+16GB ROM,500万像素的前置摄像头+1300万后置摄像头,电池容量为2980mAh。与R7s相比, 它的配置可以可以称为低配版R7s了,预计售价大概会在2000

  北京时间3月25日晚,HTC终于发布了传闻已久的旗舰手机HTC One M8 (参数 论坛 软件) ,除了双后置镜头的精彩设计之外,该机刚发布就开卖的信息也颇为引人关注。要知道在预约、抢购狂潮的今天,这一做法来的真不易。 HTC One M8 此外,还有一条关于该机的新闻颇为需要我们来关注。据爆料大神“evleaks”称,HTC方面还将要推出HTC One M8 mini以及HTC One M8 Ace(max)两款手机。至于何时推出,evleaks并未给出具体时间。 evleaks推特截图 据早前的消息显示,HTC One M8将会采用4.5寸720p屏幕,搭载主频为1.4GHz的高通骁龙400四核处理器

  近日,Phanteks公布了一款GTX1080Ti水冷散热模组——Phanteks G1080,该款水冷散热模组为全透明设计,装入淡蓝色的冷凝液后,整体呈现淡蓝色风格,十分漂亮。 同时,该公司还制作了一个关于如何正确安装该款水冷散热模组的视频,视频内向大家展示了如和将水冷头安装在一块公版GTX1080Ti上。 不仅如此,视频内还向用户讲解了如何处理器GTX1080Ti显存及MOSFET的散热问题,包括涂抹硅脂、粘贴散热垫等等,同时还向用户展示了冷凝液如何流过水箱进入冷却头的过程。 至于上市日期、售价,国内是否发售等信息暂时还不清楚。

  在有关于苹果iPhone7的传言中,最令人关注的莫过于取消3.5mm耳机孔,与Lightning充电/数据接口共用,这在某种程度上预示着现在手中的3.5mm接口耳机有可能面临着吃灰的结局。因为如果iPhone7取消传统3.5mm耳机接口的话,要么是苹果直接配备Lightning接头的耳机,再要么是使用无线蓝牙耳机,最好的结局就是随机附赠一枚3.5mm转Lightning接口转换头。 日前,有微博用户曝光了一款疑似Lightning接口的苹果EarPods耳机,除了接口和现有的EarPods耳机有所区别,耳机的其它设 计基本和EarPods耳机保持一致。虽然图片看起来应该不是PS的,但是考虑到华强北地区人民超强的动手能力,不

  近日,据沃衍资本官方消息,北京科华微电子材料有限公司(以下简称“科华微电子”)获得1.7亿元的投资,投资方为沃衍资本、江苏盛世投资、紫荆资本、深圳市投控通产新材料创业投资企业、四川润资、北京高盟新材料等投资机构。 天眼查显示,此前,科华微电子也曾获得北工投资、诚和创投、南大光电、同华投资的数轮融资。 (图片来自:天眼查) 科华微电子成立于2004年8月,是集光刻胶研发、生产、检测、销售于一体的中外合资企业,也是国内唯一一家拥有高档光刻胶自主研发及生产实力的国家级高新技术企业。 据科华微电子官网介绍,该企业具有中高档光刻胶生产基地:2005年,建成百吨级环化橡胶系紫外负性光刻胶和千吨级负性光刻胶配套试剂生产线

  机的光刻胶企业,科华微电子获投资1.7亿 /

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  用RISC-V做GPU则不同,很多人都在尝试利用开源方式弥补GPU生态不足,同时通过开源方式为国产GPU提供开源知识产权保护。...

  Toradex推出公司首款Aquila系列模块系统(SoM),采用AM69 SoC,具有较小的外观尺寸和坚固耐用的约 400 引脚板对板连接器,面向医疗、工 ...

  音视频转换器怎样接电视将音视频转换器与电视连接的方法取决于音视频转换器和电视的接口类型。以下是一些常见的连接方法:1 HD ...

  冰箱慢慢的变成了目前很多中国家庭必备的家用电器之一。随着时下人们的不一样的需求,电冰箱的样式在多样化,功能也慢慢的变丰富。当然。电冰箱的 ...

  音箱矩阵是啥意思音箱矩阵是指将多个音箱组合在一起形成的一个音箱系统。这些音箱以特定的排列方式连接在一起,以产生更广阔的声 ...

  站点相关:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科

上一篇: 凸轮分割器作业原理图
下一篇: 凸轮分割器的作业原理蜗轮蜗杆

推荐阅读