English | 英文

新闻资讯

机械视觉检测:从机械视觉系统开始您的算法开发


jxf祥瑞坊(中国)官网登录
 

开发基于相机的检测系统需要进行迭代 ,了解采样和清晰度对图像质量的影响 ,并使用数据集来评估系统性能。

WELINKIRT DaoAI首席科学家邓志伟
 

设计基于摄像头的检测系统的庞大任务可能会因诸如使用低本钱和资源受限的架构等要求而变得庞大。为了治理这种庞大性 ,使用视觉系统开始算法开发的Z佳实践应包括导航庞大性的开发要领 ,Z佳图像质量特征的起点以及设计和评估要领。
 

从视觉系统开始很重要 ,原因有两个。首先 ,算法性能受限于视觉系统爆发的图像质量。尽管增加算法的能力是可能的 ,但在某些时候它的性能受到图像质量的限制。其次 ,视觉系统很庞大 ,跨多个组件具有许多相互作用的参数 ,因此在开发周期后期更改参数很是腾贵。
 

WELINKIRT DaoAI首席科学家 ZhiWei Deng说 ,用户可以通过DaoAI稀疏聚合深度卷积神经网络的要害架构来设盘算法 ,盘算机视觉内部跳过连接的模式 ,用于聚集较早层的输出以供较深层使用。这种聚合关于以端到端的方法增进很是深层网络的训练至关重要。这是剩余网络获得广泛接纳的主要原因 ,剩余网络通过累积求和来汇总输出。在随后的事情中研究替代聚合操作(例如 ,级联)时 ,jxf吉祥坊机械人认知系统将重点放在一个正交问题上:该输出在网络的特定点处进行聚合。jxf吉祥坊机械人认知系统提出了一种新的内部连接结构 ,该结构聚合任何给定深度的一组稀疏的先前输出。jxf吉祥坊科技的实验标明 ,这种简单的设计更改提供了具有更少参数和更低盘算需求的优异性能。别的 ,jxf吉祥坊机械人认知系统证明了稀疏聚合可以使网络更稳健地扩展到1000层以上 ,从而为训练恒久运行的视觉历程翻开了未来的途径。
 

在本文中 ,基于摄像机的检测系统包括图1所示的以下组件:场景中的目标工具;场景成像的情况;视觉系统(图像传感器 ,镜头和光源);捕获的数字化场景 ,包括感兴趣的工具;以及识别场景内感兴趣工具的算法。
 

jxf祥瑞坊(中国)官网登录
 

图1:本文引用的基于摄像机的检测系统包括场景中的关注工具;场景成像的情况;视觉系统(图像传感器 ,镜头 ,光源);捕获的数字化场景 ,包括感兴趣的工具;以及识别场景内感兴趣工具的算法。
 

建立 ,权衡 ,学习–一种开发要领

在开发之初 ,通常保存一个“鸡照旧蛋”问题:检测算法的能力将驱动视觉系统要求 ,而视觉系统爆发的图像质量将驱动检测算法要求。乐成的设计是视觉系统和检测算法的功效协调一致 ,从而抵达业务目标的设计。在开发历程中 ,须同时考虑算法和视觉系统。为了做到这一点 ,需要U效的迭代。
 

一种灵活的 ,迭代的要领 ,称为“构建-丈量-学习”循环 ,它基于精益启动原理 ,为通过集中学习进行U效迭代提供了框架。要使用此要领 ,请在每次迭代开始时问以下三个问题:
 

1.我们需要学习什么?这应该基于以前的经验。

2.要了解这一点 ,我们需要丈量什么?

3.要权衡这一点 ,我们需要构建什么?然后 ,构建所需学习所需的内容。
 

例如 ,我们将构建丈量学习循环要领应用于低本钱 ,基于摄像头的线性条形码读取器的设计 ,该读取器可以在单个图像捕获中的较大视场中解码尽可能多的条形码。想象一下动态变革很大的情况 ,条形码阅读器可以在任何偏向快速移动。在整个情况中 ,差别巨细的条形码以种种角度和距条形码读取器的距离处于随机位置。
 

使用构建丈量学习循环要领 ,D 1步是学习图像传感器和镜头所需的“类别” ,这将设置基线硬件本钱目标(图2)。为了了解这一点 ,我们丈量了基准摄像机使用解码精度作为怀抱标准来生成高质量图像的能力。为了权衡这一点 ,我们使用了现成的镜头和图像传感器开发套件来构建相机。收集了一个小的数据集 ,并使用现成的?榭⒘薉 1个修订算法。
 

jxf祥瑞坊(中国)官网登录
 

图2:实际的build-measure-learn循环显示了设计低本钱 ,基于相机的线性条形码阅读器的示例。
 

D 1次迭代学习获得了所需的图像传感器和镜头 ,还获得了基线相机本钱估算。我们还了解到运动模糊是限制检测准确性的主要噪声源。
 

我们将这些学习进行到第二次迭代中 ,并专注于解决运动模糊问题。为了了解这一点 ,我们丈量了相机在快速运动场景中爆发高质量图像的能力。利用从迭代1中学到的知识 ,我们设计了一种使用较短的曝光时间和全局快门图像传感器来减少运动模糊的要领。使用现成的组件和全局快门传感器构建了新的相机。收集了另一个数据集 ,对算法进行了修改 ,并对图像质量和算法性能进行了评估。
 

从第二次迭代中获得的主要经验是 ,全局快门要领U效 ,并且进一步提高算法功效将可以使用本钱更低的图像传感器。随着更多迭代的进行 ,更多的学习指导了乐成的设计决策 ,包括具有定制镜头系统 ,现成镜头 ,全局快门图像传感器和性能高算法的乐成设计。使用这种构建怀抱学习循环要领有助于坚持对下一个重要学习的关注 ,并减少了非增值视察。它提高了迭代的效率 ,并导致设计抵达了业务目标 ,使视觉系统的功效与算法的功效坚持了一致。
 

采样和清晰度–起点

空间区分率可以说是Z有影响力的图像质量特征 ,因此在设计基于相机的检测系统时 ,这是一个合理的起点?占淝致式缢盗丝梢栽谕枷裰屑觳獾降腪小可能特征或工具的巨细 ,并且可以分为两个部分:采样和清晰度。
 

采样是给定区域上的像素数 ,通常以每英寸像素或每毫米像素体现。由于它是光学系统放大倍数的函数 ,因此随物距的变革而变革。采样缺乏会减少区分细节 ,并增加混叠失真。为了确定系统的采样要求 ,须知道区别特征的物理尺寸 ,Z大检测距离以及准确检测所需的像素数。
 

为了适应具有挑战性的情况 ,请在Z大的检测距离(放大倍率Z低)下 ,以4-5个像素的像素数开始区别特征。通常 ,一开始 ,不清楚区别特征是什么或将是什么 , 是在应用机械学习或深度学习时。首先 ,Z幸亏采样时过冲 ,因为可以比在软件中增加采样更容易地减少采样 ,从而允许使用算法进行实验以确定等效的Z小采样r 。
 

使用薄透镜方程 ,可以很容易地将采样要求驱动回视觉系统参数。关于具有Z小失真的光学堆叠尤其如此。Z终 ,采样要求将驱动图像传感器像素数 ,图像传感器像素巨细和镜头焦距。关于薄透镜方程式的令人兴奋的事情是 ,在购置图像传感器或透镜组件之前 ,可以在纸上盘算和评估这些参数。DaoAI使用这些薄透镜方程式创立了一个Excel事情表(图3)以进行快速迭代。
 

jxf祥瑞坊(中国)官网登录
 

图3: DaoAI使用薄透镜方程式创立了一个Excel事情表以进行快速迭代
 

如果光学系统的畸变率约为5%或更高 ,则薄透镜方程式无法对系统进行精确建模。将采样驱动回视觉系统参数变得更具挑战性–需要手头的组件和实验室丈量。
 

清晰度是图像空间频率的怀抱。通常 ,具有区别性的细节将具有高空间频率的内容。在评估影响锐度的视觉系统参数时 ,Z容易从两种差别的情况下进行视察:静态 ,牢固和动态。
 

在静态情况下 ,清晰度的前三个影响因素是情况 ,镜头和图像传感器:
 

情况中的雾气 ,灰尘和微;崾雇枷衲: ,因此请在系统中解决这些问题设计。
 

劣质镜头和镜头在图像传感器上的聚焦会引入模糊。其他因素包括温度和制造–由于制造而造成的模糊随温度的变革以及透镜之间的变革变异。
 

图像传感器通过像素串扰引入模糊。这随光谱波长而变革 ,大大都图像传感器供应商将在请求。
 

当有运动时 ,运动速度与曝光时间配合决定图像中的模糊水平。为了减少模糊 ,请限制Z大运动速度和/或Z小化曝光时间 ,这将影响许多其他视觉系统参数 ,例如图像亮度 ,照明强度以及更多。
 

评估系统性能
 

建立好系统后 ,评估数据集性能的一种好要领就是使用数据集。数据集用于训练机械学习和深度学习算法 ,当设计古板的盘算机视觉算法时 ,它们可用于提供见解。数据集还可以对系统性能进行频繁和 的评估 ,并提供有关解决计划是否按预期运行的名贵见解。
 

DaoAI使用一种称为算法开发框架的工具来收集数据 ,治理和处理数据以及U效地开发和评估。该框架分为五个部分 ,包括:视觉系统 ,数据集收集 ,地面实况或标签 ,算法开发和性能评估 ,如图4所示
 

jxf祥瑞坊(中国)官网登录
 

图4: DaoAI使用一种称为算法开发框架的工具 ,该工具使他们能够收集数据 ,治理和处理数据以及U效地开发和评估。


行准确的系统评估 ,须在具有代表性的情况中使用具有代表性的视觉系统收集数据集。理想情况下 ,视觉系统的Z终版本应用于收集数据集。如果无法做到这一点 ,请在设计视觉系统时收集具有代表性组件的小型开端数据集。
 

该算法应与数据集一起爆发的谜底是评估的要害。这被称为基本事实或标签。通常 ,地面实况视察需要人工解释 ,并且通常是一个腾贵的办法。可是 ,具有基本事实的数据集可以成为使产品生长的专有资产。
 

开发算法后 ,将使用数据集和基本事实来评估系统性能。性能评估需要界说一个怀抱来权衡系统性能。使用预先纪录的数据集评估系统性能可以加速开发速度 ,可是 ,解决计划的信心取决于数据集的内容。因此 ,将数据集设计为代表应用空间很是重要。
 

使用数据集评估系统性能就像软件世界中的黑盒测试一样。可是 ,有时须执行较初级别的“单位”测试。一种要领是通过对信号路径进行建模以了解噪声源及其对图像质量的影响。图5显示了基于摄像机的检测系统的主要组件。每个组件受差别噪声源的影响 ,并且每个噪声源在捕获的图像质量中都起着 的作用。在每个办法应用的来自每个组件的差别通报函数或噪声源都会影响原始信号。
 

jxf祥瑞坊(中国)官网登录

图5:对信号路径进行建模有助于开发人员了解噪声源及其对图像质量的影响。
 

对信号路径进行建?梢陨钊肓私夥敲飨缘脑肷匆约八鞘欠窬哂惺实钡慕饩黾苹。它还可以资助确定哪些噪声源需要进一步研究或实验。
 

当您从事设计基于嵌入式摄像头的检测系统的庞大任务时 ,请使用Z佳实践来启动视觉系统的算法开发。并记着要使用迭代开发要领 ,首先要获得Z佳的图像质量特征(采样和清晰度) ,并使用数据集来评估系统性能。
 

获得更多产品支持与培训

加入WELINKIRT

是否有任何疑问?

世界各地的WELINKIRT代表可以随时为您提供支持 ,满足您的视觉和工业读码需求。

联系jxf祥瑞坊
sitemap网站地图