可以学习和理解他们所看到的智能相机

AI视觉概念

由于布里斯托尔和曼彻斯特的大学之间的研究合作,智能相机可能是一个更接近的一步,他们开发了能够学习和理解他们所看到的相机的相机。

机器人和人工智能(AI)研究人员知道当前系统的感觉和过程如何存在问题。目前,它们仍然组合传感器,如用于录制图像的数码相机,具有图形处理单元(GPU)等计算设备,旨在加速视频游戏图形。

这意味着AI系统仅在录制和传输传感器和处理器之间的视觉信息后才感知世界。但是,可以看到的许多事情往往对手头的任务无关,例如作为自治车的路边树上的叶子细节。然而,目前所有这些信息都是由细致细节的传感器捕获的,并用无关的数据发送系统,消耗功率和处理时间。有必要采用不同的方法来实现智能机器的有效视觉。

来自布里斯托尔和曼彻斯特合作的两篇论文已经表明,可以将传感和学习组合起来为AI系统创建新颖的相机。

卷积神经网络

循环 - 5D视觉系统上的卷积神经网络(CNN)对每秒8,200帧的手势进行分类。信誉:布里斯托尔大学,2020年

Walterio Mayol-Cuevas,机器人,计算机愿景和移动系统教授布里斯托尔大学和主要的调查员(PI)评论:“创造有效的感知系统,我们需要推动到目前为止我们一直在遵循的方式之外的边界。

“我们可以从自然系统过程中的方式借用灵感来看视觉世界 - 我们不会察觉一切 - 我们的眼睛和我们的大脑共同努力,在某些情况下,在某些情况下,眼睛本身就可以加工,帮助大脑减少什么不相关。“

Scamp-5D视觉系统

Scamp-5D视觉系统。信贷:曼彻斯特大学,2020年

这是通过青蛙的眼睛具有探测器的探测器,将壁状物体的探测器直接处于感测图像的点。

由Laurie Bose博士和布里斯托尔的延安刘博士领导的论文揭示了这一目标的两种改进。通过实现卷积神经网络(CNNS),一种用于直接在图像平面上实现视觉理解的AI算法的形式。该团队的CNNS开发了可以将帧分类为每秒数千次,而不必录制这些图像或将它们发送到处理管道。研究人员考虑了分类手写数字,手势甚至对浮游生物进行分类的示范。

该研究表明了智能专用AI相机的未来 - 可视化系统,可以简单地将高级信息发送到系统的其余部分,例如相机前面发生的物体或事件的类型。这种方法将使系统更有效和安全,因为不需要记录图像。

由于Piotr Dudek,来自曼彻斯特大学和他的团队开发的Piotr Dudek开发的散步架构,这项工作已经成为可能。Scamp是该团队描述为像素处理器阵列(PPA)的相机处理器芯片。PPA具有嵌入在每个和每个像素中的处理器,该处理器可以彼此互相通信以以真正的并行形式进行处理。这是CNN和视觉算法的理想选择。

Scamp-5D硬件架构

Scamp-5D的硬件架构。它包含一个256 x 256 PPA的像素处理器阵列,每个像素处理器都包含光传感器,本地存储器寄存器和其他功能组件。信贷:曼彻斯特大学,2020年

Dudek教授说:“像素级别的传感,加工和内存的集成不仅能够实现高性能,低延迟系统,而且应该承诺低功耗,高效的硬件。

“可以使用类似于当前摄像机传感器的占地面积来实现静止设备,但能够在图像捕获点处具有通用的大型平行处理器。”

在布里斯托尔大学的飞行机械师高级讲师汤姆兰德森博士和该项目成员一直与轻量级无人机集成了散步架构。

他解释说:“关于这些相机的令人兴奋的是什么不仅是新兴的机器学习能力,而且是它们运行的​​速度和轻量级配置。它们绝对适合高速,高度敏捷的空中平台,可以直接学习!“

由工程和物理科学研究委员会(EPSRC)提供资金的研究表明,在设计AI系统时质疑存在的假设是重要的。和通常被视为理所当然的事情,如相机,可以朝着更高效的智能机器的目标改进。

参考文献:

Laurie Bose,Jianing Chen,Stephen J. Carey,Piotr Dudek和Walterio Mayol-Cuevas在欧洲电脑愿会议(ECCV)2020会议上展示了“完全嵌入了像素处理器阵列的快速卷积网络”

“通过像素处理器阵列的高速轻量级CNN推断”由延安刘,劳里Bose,Jianing Chen,斯蒂芬J. Carey,Piotr Dudek,Walterio Mayol-Cuevas,Walterio Mayol-Cuevas(BMVC)提供2020.

是第一个评论在“可以学习和理解他们所看到的内容的智能相机”

发表评论

电子邮件地址是可选的。如果提供的话,您的电子邮件不会发布或共享。