文章来源：康耐视视觉检测系统（上海）有限公司

深度学习图像分析技术正在为各行各业开辟新的工厂自动化机会。从表面缺陷检测、可变元件分拣、最终装配检查、产品质量分级到棘手文本的读取，基于深度学习的视觉系统可以处理大量新型应用。

传统的或“基于规则”的机器视觉能够可靠地检测一致且制造良好的元件，并擅长于解决高精度应用。这些应用包括引导、识别、测量和检测，所有这些应用都能以超快的速度和高精度执行。这类机器视觉对于已知的变量非常有用：元件是存在还是缺失？这个物体与那个物体之间究竟相距多远？这个机器人需要在哪里拾取这个元件？这些任务易于部署在受控环境中的装配线上。但是，当情况不那么明确时，将会发生什么情况呢？

将深度学习技术集成到机器视觉中使用。深度学习技术使用基于示例的训练和神经网络来分析缺陷、定位和分类物体以及读取印刷标识。该技术基于一组带标记的示例教会神经网络什么是合格图像，考虑到一些预期的变化，它将能够区分合格元件与缺陷元件。

将深度学习技术成功整合到自动化战略中不仅可以节省成本、改进内部低效流程并使采用基于规则的视觉工具无法解决的复杂检测应用实现自动化，还有助于提高生产量。

然而，工厂管理者有理由犹豫，不愿意冒险用他们现有的合格流程来换取一项新技术可能带来的潜在回报。如果工厂管理者引进新技术，其提高了效率，公司将会受益。然而，如果他们引进了新技术，但其使生产线速度减慢，负面影响将是巨大的。

然而，将深度学习技术成功整合到自动化战略中不仅可以节省成本、改进内部低效流程并使采用基于规则的视觉工具无法解决的复杂检测应用实现自动化，还有助于提高生产量。

以下考虑因素可以帮助刚刚接触深度学习技术的工厂和制造商避免因前期失误而造成高昂的代价和浪费时间，同时获得组织支持以实现该技术的可观优势。如果实施得当，第一个项目的成功将可以促进在全公司范围内展开更加雄心勃勃的战略部署。在部署首个深度学习试点项目之前，需要考虑以下五个方面：

1、设定适当的期望

深度学习技术利用神经网络从图像库中对应用程序进行训练，以识别合格元件与不合格元件。深度学习项目可以将像人类一样的判断力优势与可编程机器视觉应用程序的规模和依赖性结合起来。

然而，跟任何新技术一样，深度学习技术也存在考虑因素和权衡取舍。虽然深度学习机器视觉有望解决许多复杂的工厂应用，但它绝不是万能的解决方案。

这就是为什么对深度学习技术可以做些什么设定适当的期望对任何项目而言都很重要的原因；事先了解一些权衡取舍是其中的关键。

经过良好训练的深度学习应用程序需要一组全面的训练图像，这些图像代表一系列缺陷和/或可接受的元件变化，以确保在生产中可靠地执行检测。此外，这些图像需要在制造照明和元件演示条件下采集。这对任何深度学习项目的成功至关重要。

此外，在采集图像之后，将需要对图像进行适当分级和标记。换句话说，在任何项目中，质量专家都需要从一开始就参与到项目中。

在这个示例中，分级是指针对每个元件作出的总体“合格/不合格”决定，而 “标记”则是图像中特定缺陷像素的标识。

最后，在系统开发完成之后，在进入生产环境之前需要对其进行测试。

有时，深度学习系统在实验室表现良好，但当部署到生产环境中之后却难以解决应用。通常，用户的挫折感来自于未充分理解深度学习解决方案与更为熟悉的基于规则的传统机器视觉系统之间的差异。

论证深度学习视觉解决方案的适用性涉及一个迭代过程，需要将此系统安装到生产线上进行测试。而且，不同于传统机器视觉系统的是，深度学习系统的图像训练和验证必须在开发阶段完成，不能等到工厂验收测试环节时进行。深度学习系统需要大量图像样本进行训练，这可能需要时间来采集必要的代表性图像集合，以对深度学习工具进行训练，从而确保工具性能的可靠性。

2、了解投资回报率

深度学习技术能够为我做些什么？这可能是任何公司或工厂管理者可能提出的最关键的问题。这个问题的真正含义在于投资回报率将是多少。深度学习系统的成本并不便宜，因此进行这样的投入必须能够带来切实的益处。

通常，我们可以通过降低成本同时维持与当前方法相似的成品率或者显著提高成品率同时保持成本不变来实现实际的项目回报。此外，处理量也是投资回报率的一个因素，尤其是在与人工检测流程进行比较时。

另一种考虑投资回报率的方式是从直接投资回报率和间接投资回报率的角度入手。

直接投资回报率很简单直接，因为您只需要将深度学习解决方案的成本与现有方法的成本进行比较即可。这包括软件和硬件成本、开发时间和成本、图像采集成本、人工成本和训练等所有方面。

除了简单的成本回收分析之外，间接投资回报率还衡量所有额外的益处。即使项目管理者无法确定间接益处所产生的精确货币数字，但它们也是重要的考虑因素。可追溯性、持续改进、上游流程控制和分析都是目前正在进行的工厂自动化和数字化转变所必需的。

3、资源规划和需求

对于任何深度学习项目而言，都有四项核心工作需要完成。虽然一名员工可以承担多个角色，但事先了解所需的专家类型是有帮助的。举例来说，虽然深度学习技术基于神经网络，但在工厂自动化设置中，并不需要真正的神经网络专家。相反，一名对深度学习技术的原理拥有基本了解的机器视觉专家就足够了。

以下是深度学习系统部署所需的必备技能组合：

视觉开发人员：开发人员负责实施深度学习视觉解决方案以及优化光源和成像。

质量专家：质量专家负责分析图像并对它们进行分级，这是指确定图像中元件的整体基本事实：通过/未通过、缺陷类 型等。我们不能低估图像分级的重要性，因为深度学习系统基于示例的学习方法依靠清晰且分级一致的图像对系统进行训练。

图像标记人员：标记是表明图像中的哪些区域定义缺陷或感兴趣特征的交互过程。标记是一个注重细节的精确过程，需要在训练图像集合中的每个图像上准确一致地完成。随着项目累积较大量的图像集合，可能需要在质量专家之外单独分配一名人员来执行此角色。

数据收集人员：数据收集人员需要记录和组织所有这些信息，包括图像、分级、标记和元数据。深度学习系统的优化将涉及基于这些不同的数据集合对其进行测试。如果目前采用人工检测程序，则数据收集人员可能还需要记录人工检测员的决策，以将其与某些图像集合相关联。

除了这些角色之外，任何深度学习检测计划都不需要安装基于Windows的强大PC系统及图形处理单元（GPU）。

4、从小型试点项目着手

在兴奋地应用新技术的过程中，从清单上难度最大、最具雄心的挑战开启应用旅程对于很多人而言可能非常具有吸引力。许多自动化管理者可能会认为，如果深度学习系统可以解决这个问题，那么它将可以解决任何问题。然而，这只会导致企业走上挫折和延误的道路，而原因与深度学习技术无关。

最具雄心的挑战可能本质上过于复杂或者不稳定；如果项目未能展现出较快的进度和投资回报率，其可能会被取消；或者更糟糕的是，即使其最终取得了成功，它也可能引导企业得出错误的结论。

相反，很重要的一点是必须从小型项目入手。选择一个具有明确回报的项目，该项目无法通过基于规则的传统视觉系统轻松解决，但也并非特别棘手以致难以在生产环境下实施。关注核心需求，培养核心竞争力，并了解深度学习系统在工厂自动化环境中能够做些什么和不能做什么。

深度学习试点项目应当具有两个主要目标：评估其更广泛的实用性，以实现更全面的自动化战略，并使根本无法完成或通过人工完成的检测或 验证流程实现自动化。

那么，如何确定首个合适的项目来进行部署呢？当然，这对每家公司而言都是独一无二的。然而，在大多数制造环境中，最合适的两个入门项目通常位于生产线末端以进行最终检测，或者是线上装配验证，以识别制造环节之间的问题。这两个应用适合作为首个试点项目，因为传统机器视觉系统在需要识别的潜在缺陷范围较大以及在存在照明、透视和元 件外观变化的情况下难以解决这些应用。深度学习技术是经论证能够解决这些变化的唯一视觉系统。通常，这些类型的检测也已经建立了明确的检测标准，从而消除了在实施自动化解决方案之前创建和进一步明确质量指标的需要。

5、采用分阶段项目方法

深度学习项目可以分为以下四个阶段。这四个不同的阶段如下所示：

1）、原型设计

- 了解当前流程，并确定深度学习系统是否是解决该应用的良好选择

- 采集较小的已分级和标记图像数据库

- 建立概念验证系统以测试此方法

2）、图像数据收集

- 将相机和光源系统集成到生产线上

- 开始收集和整理图像数据和人工检测结果

- 建立基本事实数据

- 优化并以一致的方式标记图像集合

3）、优化

- 这将是持续时间最长的阶段：改进深度学习解决方案，直至其实现性能目标

- 将深度学习检测结果与基本事实数据和人工检测结果进行比较

- 调整系统，必要时重新进行训练

4）、验证和部署

- 论证此解决方案的适用性，并开始将其运用到生产中

- 通过工厂验收测试，并锁定配置

- 集成到生产环境中并扩展至其他生产线

- 做好应对未来变话的准备，并建立持续监控和改进流程

采用深度学习系统取得成功

通过以明智的分阶段方法实施可管理的小型试点项目，自动化团队可以通过深度学习图像分析技术使自己和公司为取得长期成功做好准备。虽然基于规则的传统机器视觉应用经验为深度学习技术的实施提供了坚实的基础，但这两种技术在范围、执 行、要求和用例方面存在显著的差异。

然而，通过从切合实际的期望着手、积累经验并了解哪些应用更适合通过深度学习系统来解决，制造公司将开始了解深度学习技术能够为工厂自动化战略增添的力量。