芬兰：神经形态视觉传感器可识别和预测物体运动
一种新的仿生传感器可以从视频中在一帧内识别移动物体，并成功预测它们将移动到哪里。《自然通讯》的一篇论文中描述了这种智能传感器，它将在一系列领域成为一种有价值的工具，包括动态视觉传感、自动检测、工业过程控制、机器人制导和自动驾驶技术。
当前的运动检测系统需要许多组件和复杂的算法来进行逐帧分析，这使得它们效率低下且耗能高。受人类视觉系统的启发，阿尔托大学的研究人员开发了一种新的神经形态视觉技术，该技术将传感、记忆和处理集成在一个可以检测运动和预测轨迹的设备中。
他们技术的核心是一系列光调制器，这是一种响应光产生电流的电气设备。当光线关闭时，电流不会立即停止。相反，它会逐渐衰减，这意味着光调制器可以有效地“记住”它们最近是否暴露在光线下。因此，由光调制器阵列制成的传感器不仅像相机那样记录场景的即时信息，而且还包括先前瞬间的动态存储器。
领导这项研究的研究员谭宏伟解释道：“我们技术的独特之处在于它能够将一系列光学图像集成在一帧中。”每个图像的信息作为隐藏信息嵌入到以下图像中。换句话说，视频中的最后一帧也具有关于所有先前帧的信息。这让我们可以通过简单的人工神经网络只分析最后一帧来更早地检测视频中的运动。其结果是一个紧凑而高效的传感单元。
为了演示这项技术，研究人员使用视频一次显示一个单词的字母。因为所有单词都以字母“E”结尾，所以所有视频的最后一帧看起来都很相似。传统的视觉传感器无法判断屏幕上的“E”是否出现在“APPLE”或“GRAPE”中的其他字母之后。但光调制器阵列可以在最后一帧中使用隐藏的信息来推断之前的字母，并以接近100%的准确率预测单词是什么。
在另一项测试中，该团队展示了一个模拟人以三种不同速度移动的传感器视频。该系统不仅能够通过分析单个帧来识别运动，而且还能正确预测下一帧。
准确检测运动和预测物体的位置对自动驾驶技术和智能交通至关重要。自动驾驶汽车需要准确预测汽车、自行车、行人和其他物体的移动方式，以指导其决策。通过在光调制器阵列中添加机器学习系统，研究人员表明，他们的集成系统可以基于全信息帧的传感器内处理来预测未来的运动。
Sebastiaan van Dijken教授说：“我们紧凑的传感器内存和计算解决方案为自主机器人和人机交互提供了新的机会。我们在使用光调制器的系统中获得的帧内信息避免了冗余的数据流，从而实现了实时的节能决策。”
查看全文
作者最近更新
-
荧光氧气传感器用于煤矿下氧浓度检测感知实验室
2024-11-07 -
南砂晶圆旗下中晶芯源8英寸碳化硅衬底生产基地投产感知实验室2024-06-25
-
我国科学家研制出世界首款类脑互补视觉芯片“天眸芯”感知实验室2024-06-08
评论0条评论