-
让品牌有温度、有情感
专注品牌策划15年
视觉分拣机器人（视觉分拣机器人课程设计）
发布时间：2023-07-02 03:58:51
稿源：
创意岭 阅读：
903
大家好！今天让创意岭的小编来大家介绍下关于视觉分拣机器人的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
本文目录:
一、机器视觉检测带你走进工业4.0，体验人工智能新"视"界
工业4.0与智能制造密不可分，智能制造与机器视觉密不可分。机器视觉是近年来发展迅速的新技术，利用光学和机电一体化使机器具有视觉功能。机器视觉为工业自动化打开了一扇“新窗口”。在智能制造时代，机器视觉具有非常大的发展潜力。
机器视觉使机器能够了解世界
顾名思义，机器视觉是用机器代替人眼进行测量和判断。机器视觉的应用主要表现在四个方面：
1、导向和定位：装载和卸载使用机器视觉定位和引导机器人手臂准确抓握。
2、外观检查：检查生产线上的产品是否存在质量问题。这个环节也是取代劳动力最重要的部分。
3、高精度检测：部分产品精度高，达到0.01~0.02m甚至u，人眼无法检测到，必须用机器完成。
4、识别：数据可追溯性和收集，适用于 汽车 零件，食品，医药等其他应用。
以检测应用为例，简要介绍机器视觉的工作原理。使用工业相机收集被测设备的图像是机器视觉中最重要的部分。为了检测所有需要的功能，有必要不断调整光源和摄像机的参数，然后使用专业的图像处理软件将模拟信号转换为数字信号，然后计算出来，提取目标的检测特征，如颜色、器件表面是否有划痕、尺寸是否合格，表面涂层是否均匀等，然后输出结果，反馈到机械端对器件进行分检，将不合格器件挑选出来，即图像获取、信息处理和完成分拣三个过程。
在智能制造时代，机器视觉具有很大的发展潜力
全球机器视觉行业主要分布在北美，欧洲和日本，北美占62％，欧洲占15％，日本占10％。
中国的机器视觉相关产业起步较晚，但发展速度很快。自2009年以来，它已进入快速发展期，年增长率为15-20％。目前，中国已成为仅次于美国和日本的世界第三大机器视觉市场。 2015年，其市场规模达到22亿元，占全球的8.3％，增长率为22.2％，远高于全球平均水平。从2016年到2020年，中国机器视觉市场的增长率预计将保持在20％以上，这将达到10亿美元的市场空间。
中国的机器视觉系统仍主要用于半导体和电子制造领域。 2015年，它占总数的46.4％，特别是SMT贴片，AOI/AXI设备和连接器检测。下游机器视觉应用中 汽车 和医药也占很大比例，2015年分别达到10.9％和9.7％。
机器视觉系统的优点是提高所生产产品的质量和生产线的自动化。特别是在一些不适合手工作业或人眼难以满足要求的危险工作中，同时，在大规模的工业生产过程中，产品质量通过人工视觉检查，精度不高，机器视觉检测方法可以大大提高。提高生产效率和生产自动化。业界预计机器视觉的未来将进一步开放。
机器视觉技术的工业应用
目前，国内机器视觉技术广泛应用于电子和半导体制造， 汽车 制造，工业测试，药品检测和包装，食品包装，印刷和测试，铁路和公路测试，公共安全，金融，生物医学， 娱乐 ，军事，化学研究和其他领域。毫无疑问，工业领域是机器视觉应用的最大比例。重要原因是中国已成为全球制造，高需求零件加工的加工中心及其相应的先进生产线改造，使机械视觉产品在工业制造中得以实现。
基于机器视觉的工业机器人定位技术
机器人的智能程度影响整个行业的发展。传统机器人主要通过教学再现或预编程来执行各种操作，这极大地限制了机器人的应用。具有力感，机器视觉和各种传感器的机器人运动控制技术是灵活自动化制造技术的典范。通过机器人的视觉控制，不需要预先教导或离线编程工业机器人的运动轨迹，这可以节省很多钱，编程时间，提高生产效率和加工质量。
工业在线检测系统
机器视觉在工业在线检测的各种应用中非常活跃，例如：印刷电路板的目视检查，钢板表面的自动探伤，大型工件的平行度和垂直度测量，容器体积或杂质检测，自动识别和分类，机械零件几何尺寸测量等。
例如，ROVER（ 汽车 ）800系列车身轮廓尺寸精度的100％在线检测是工业检测中使用的机器视觉系统的典型示例。该系统由62个测量单元组成，每个测量单元由一个激光器和一个CCD摄像头组成，用于检测机身外壳上的288个测量点。检查系统每40秒检测一个车身的速度，并检测三种类型的车身。系统将测试结果与CAD模型中的尺寸进行比较，测量精度为±0.1 mm。
二、机器人视觉与计算机视觉：有什么不同
计算机视觉与机器视觉，首先是应用场景不一样，就像视远图像赵旭回答的那样：你把摄像头对着人就是CV，对着车间就是MV。
计算机视觉和机器视觉应用场景不同，就像拉货车和载客车是的，侧重点不同而已，一个侧重人工智能分支，一个侧重工业应用！简单说起来的话，计算机视觉偏重于深度学习并且偏向软件，机器视觉偏重于特征识别同时对硬件方面要求也比较高，不过随着对智能识别要求越来越高的发展，这两个方向毕竟会互相渗透互相融合，区别也仅仅限于应用领域不同而已。
其次，我感觉最大的区别，在于技术要求的侧重点不一样，甚至差别很大。
计算机视觉，主要是对质的分析，比如分类识别，这是一个杯子那是一条狗。或者做身份确认，比如人脸识别，车牌识别。或者做行为分析，比如人员入侵，徘徊，遗留物，人群聚集等。
机器视觉，主要侧重对量的分析，比如通过视觉去测量一个零件的直径，一般来说，对准确度要求很高。我记得以前接触过一个需求: 视觉测量铁路道岔缺口。哥刚毕业的时候在铁路上班，做过控制系统，还开过内燃机车，很清楚道岔缺口的重要性，这玩意儿你说要是测不准，呵呵:)
当然，也不能完全按质或量一刀切，有些计算机视觉应用也需要分析量，比如商场的人数统计。有些机器视觉也需要分析质，比如零件自动分拣。但，计算机视觉一般来说对量的要求不会很高，商场人数统计误差个百分之几死不了人的，但机器视觉真的会，比如那个道岔缺口测量。
既然要求这么高，是不是机器视觉就比计算机视觉难呢？也不是的，应该说各有各的难处。
计算机视觉的应用场景相对复杂，要识别的物体类型也多，形状不规则，规律性不强。有些时候甚至很难用客观量作为识别的依据，比如识别年龄，性别。所以深度学习比较适合计算机视觉。而且光线，距离，角度等前提条件，往往是动态的，所以对于准确度要求，一般来说要低一些。
机器视觉则刚好相反，场景相对简单固定，识别的类型少(在同一个应用中)，规则且有规律，但对准确度，处理速度要求都比较高。关于速度，一般机器视觉的分辨率远高于计算机视觉，而且往往要求实时，所以处理速度很关键，目前基本上不适合采用深度学习。
以上讨论的是技术，商业方面，计算机视觉的应用面更广一些，毕竟很多业务是跟人相关，比如人脸识别，行为分析等，很多垂直领域都有计算机视觉潜在需求，相对来说，更适合创业；
而机器视觉顾名思义，业务主要跟机器相关，而且对准确度甚至安全性要求很高，也就在资质品牌方面有较高的门槛，所以寡头垄断严重，一般来说，更适合上班而不是创业。
机器视觉（Machine Vision, MV） & 计算机视觉(Computer Vision, CV)
从学科分类上， 二者都被认为是 Artificial Intelligence 下属科目.
有几个分支：
一个是图像处理，主要是信号与系统，统计，优化
一个是求解景物与图像之间的关系，如立体视觉、三维重建，主要是几何
一个是模式识别，例如如何分割图像、识别目标，主要是人工智能
但实际提及时， 主观感觉上
MV 更多注重广义图像信号（激光，摄像头）与自动化控制（生产线）方面的应用。
CV 更多注重（2D, 3D）图像信号本身的研究以及和图像相关的交叉学科研究（医学图像分析，地图导航）。
三、机器视觉系统在机器人中主要有哪些功能？
机器视觉按照功能可以大致区分为识别、定位、测量、检测、引导五类。
（1）识别：机器视觉可以对图像进行处理、分析和理解，用于对一些一维码或二维 码的解码、光学字符的识别与确认、颜色及形状的识别等；
（2）机器视觉采用先进的图像视觉检测技术，对高速运动的工业产品进行实时全面 视觉定位分析，主要用于自动生产及装配；
（3）机器视觉可以在非接触的情况下，对产品尺寸进行高精度的测量，以确定产品 外观的尺寸是否存在误差；
（4）机器视觉可以用于产品表面的精密检测，包括目标方向及位置检测，检测产品 表面的压伤、破损、刮伤、脏污、变形等问题，及印刷表面的瑕疵检测等；
（5）机器视觉普遍应用于智能制造的工业机器人领域，当前工业机器人已经大范围 应用于自动化流水线，机器视觉系统可以在机器人操作过程中帮助机器人实时了解 工作环境的变化，相应的调整动作以保证任务的正确完成。【服务热线，贴心服务】
RegemMarr研祥金码业务主要涵盖新能源、锂电、半导体、电子元件、包装、家用电器、汽车、食品、医药、物流及自动化设备等领域。公司产品自上市以来，已在华为、京东方、海信、小米、创维、长虹、比亚迪、美的、大疆、富士康、元气森林等知名企业得到广泛应用，深受赞誉与信赖。
四、机器人抓取时怎么定位的？用什么感测器来检测
机器人抓取时怎么定位的？用什么感测器来检测
机械手动作是靠伺服电机上的编码器反馈到工控机处理中心讯号与预设定引数比较、修正再输出给伺服电机执行精确定位的。也就是说靠预先程式设计决定的，不是靠感测器定位的。程式设计可解决机械手三维空间动作精确方向、速度、执行时间…………
依靠定位点以及零点位置，机器手定期修正累加误差，抓取最高阶的是应用影象技术，配合物料定位点。
一般是照相定位的。感测器是COMS或者CCD。
用预先程式设计及其执行中该伺服电机轴尾的编码器反馈讯号至计算中心精确修整偏差定位的。
机器人家上了解到，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些不同：机器视觉的目的是给机器人提供操作物体的资讯。所以，机器视觉的研究大概有这几块：
物体识别（Object Recognition）：在影象中检测到物体型别等，这跟 CV 的研究有很大一部分交叉；
位姿估计（Pose Estimation）：计算出物体在摄像机座标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里；
相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机座标系下的座标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物 *** 姿转换到机器人位姿。
当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。
由于视觉是机器人感知的一块很重要内容，所以研究也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：
0. 相机标定
这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机座标系下的位姿，但是，机器人操作物体需要知道物体在机器人座标系下的位姿。所以，我们先需要对相机的位姿进行标定。 内参标定就不说了，参照张正友的论文，或者各种标定工具箱； 外参标定的话，根据相机安装位置，有两种方式：
Eye to Hand：相机与机器人极座标系固连，不随机械臂运动而运动
Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand）
只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机座标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 这样，我们就可以得到一个座标系环
而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放一个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成一个 的座标环。
1. 平面物体检测
这是目前工业流水线上最常见的场景。目前来看，这一领域对视觉的要求是：快速、精确、稳定。所以，一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段，减少系统变数。
目前，很多智慧相机（如 cognex）都直接内嵌了这些功能；而且，物体一般都是放置在一个平面上，相机只需计算物体的 三自由度位姿即可。 另外，这种应用场景一般都是用于处理一种特定工件，相当于只有位姿估计，而没有物体识别。 当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。
2. 有纹理的物体
机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。 当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。
幸好有一位叫做 Lowe 的大神，提出了一个叫做 SIFT （Scale-invariant feature transform）的超强区域性特征点： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of puter vision 60.2 (2004): 91-110. 具体原理可以看上面这篇被引用 4万+ 的论文或各种部落格，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。 因此，利用 SIFT 特征点，可以直接在相机影象中寻找到与资料库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。
对于不会变形的物体，特征点在物体座标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与资料库中物体之间的单应性矩阵。 如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机座标系下的位姿。
↑ 这里就放一个实验室之前毕业师兄的成果 当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。 而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。
3. 无纹理的物体
好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：
我们最容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？ 不幸的是，据我了解，目前没有这种特征点。 所以，之前一大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。
简单而言，这篇论文同时利用了彩色影象的影象梯度和深度影象的表面法向作为特征，与资料库中的模板进行匹配。 由于资料库中的模板是从一个物体的多个视角拍摄后生成的，所以这样匹配得到的物 *** 姿只能算是初步估计，并不精确。 但是，只要有了这个初步估计的物 *** 姿，我们就可以直接采用 ICP 演算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机座标系下的精确位姿。
当然，这个演算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。 针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。
4. 深度学习
由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。
首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别演算法。 然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物 *** 姿估计方面都还是使用比较简单、或者传统的演算法。似乎并未广泛采用 DL。 如 @周博磊 所说，一般是采用 semantic segmentation neork 在彩色影象上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。
当然，直接用神经网路做位姿估计的工作也是有的
它的方法大概是这样：对于一个物体，取很多小块 RGB-D 资料（只关心一个patch，用区域性特征可以应对遮挡）；每小块有一个座标（相对于物体座标系）；然后，首先用一个自编码器对资料进行降维；之后，用将降维后的特征用于训练Hough Forest。
5. 与任务/运动规划结合
这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供资讯，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模组相结合。
我们让机器人从冰箱中拿一瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。 我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。 所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。 当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。
机器作定位由先由工程式设计决定空前、左右、位置定位精度由伺服电机同轴尾端编码传器反馈讯号经伺服电机驱卡至处理处理再输作自微量调整
机器人多工位动作及其执行中定位全部由人工编写操作程式而决定的，此与感测器暂不搭界。若要根据生产工艺改进，则要重新编写程式，或在原程式中作修改调整。
机器人抓取定位是预先程式设计的，工控机输出带动伺服电机精确定位，包括伺服电机编码器反馈讯号经电机驱动卡直至工控机进一步调整。若用感测器检测定位误差极大，根本不可能细微修正定位精度。
机器人抓取目前最常用的是通过视觉定位，CCD/CMOS感测器拍摄当前视野内图片，找到MARK点，算出偏移的座标和角度，再通过网口或者串列埠将资料反馈到机器人，机器人作出相应修正
----------众合航迅科技有限公司 邓经理为您解答
机器人动作定位由先由人工程式设计决定它在空中前后、左右、上下位置的。定位精度由伺服电机同轴尾端编码感测器反馈讯号经此伺服电机驱动卡至处理中心处理后再输出作自动微小量调整
以上就是关于视觉分拣机器人相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
