AI和嵌入式视觉——下一代机器视觉技术

通过AI和嵌入式视觉，下一代数字图像处理技术能够提高机器视觉系统的效率，使设备能够适应不受控制的现实世界条件，并将持续学习带到现场的机器中。

数字图像处理极大地改变了我们用二维视角观察我们的世界和外面世界的能力。数字图像处理最初需要大量的计算能力来处理低分辨率图像，但在20世纪60年代，数字图像处理的新发展为我们提供了第一张月球图像，改变了我们对地球天然卫星的看法。

后来，传统数字图像处理技术的进步又为我们带来了从医疗可视化技术到工厂车间机器视觉系统等我们赖以生存的技术。尽管传统数字图像处理技术带来了许多创新，但可提升的空间有限。相反，人工智能(AI)和更复杂的嵌入式视觉技术的应用正在将数字系统图像处理推向了一个全新的水平。

与传统图像处理相比，基于AI的图像处理有哪些优势，如果不是AI专家，您该如何使用它?AI和嵌入式视觉在当前和未来都有哪些用途?本文将更深入地探讨这些问题。

01 AI与传统图像处理的对比

如果所有图像处理都是在受控环境中进行的，例如具有均匀照明、形状和颜色的室内空间，那么我们几乎不需要AI。但实际情况很少是这样，因为大多数图像处理都是在现实世界中进行的——在不受控制的环境中，如街景或工业环境中，不同形状和颜色的物体是常态，而不是例外。

AI可以容忍环境光线、视角、雨水、灰尘、遮挡和其他环境因素的显著变化，例如，如果您要在24小时内捕捉街道上行驶的汽车，那么光线和图像捕捉角度就会不断变化。

再举一个例子，假设你是一个大型西红柿种植者，你需要将西红柿包装成三包，以便分发到杂货店仓库。西红柿的形状和颜色必须均匀，以满足仓库客户的质量控制标准。只有基于AI的成像系统才能支持形状和颜色的高度变化，仅识别那些形状和颜色符合成熟度要求的西红柿。这听起来不错，但如果您既不是AI专家，也不是图像处理方面的专家，您如何实现这一目标?

02 基于AI的图像处理技术

自从支持AI的图形用户界面(GUI)工具可用于在2D图像上训练神经网络以来，已经有几年了。在取得这一巨大成就之前，训练用于机器视觉和检测或智能交通平台的神经网络需要在机器学习和数据科学方面拥有广泛的专业知识，这对任何公司来说都是一项昂贵且耗时的投资。幸运的是，随着时代的变化，AI工具也随之发生了变化。那么，AI图形用户界面工具应具备哪些功能?

· 灵活性：找到一个GUI工具，让您能够导入自己的图像样本并训练神经网络来执行分类、对象检测、分割和降噪，从而获得更大的灵活性和定制性带来的好处。

· 本地化：使用一种工具，让您无需连接到云，就可以在自己的 PC 上对训练数据进行建模，从而为您提供许多行业现在所需的更高级别的数据隐私。

· 导出以进行推理：选择一款允许您将模型文件导出到推理工具的工具，以便您可以在实时视频流上执行。

· 直观：使用数值指标和热图可视化模型性能。

· 利用预训练模型：使用软件包附带的预训练模型来减少训练工作量。

让我们看一个例子。您需要找到并识别特定的硬件零件、螺母、螺钉、钉子和垫圈，但这些零件挤在带有大量彩色标签的反光表面上(图1)。使用传统的图像处理实现所需的高鲁棒性将非常耗时，但AI工具可以提供一种对象检测算法，该算法只需使用几十个样本即可轻松训练。这种类型的软件工具将使您能够更快、更轻松地构建强大而准确的定位和检测系统，从而减少人工开发时间及其相关成本。

智能交通系统(ITS)也与AI图像处理系统完美匹配。从收费管理和交通安全监控到超速和闯红灯执法，AI软件可用于高精度地定位、分割和识别车辆和其他移动和静止物体。

03 AI软件工具的开发过程

AI软件工具到手后，开发过程通常有几个主要步骤。

首先，您需要创建数据，然后编辑和修改数据集。您需要获取训练图像，并提供与这些图像相对应的注释。一般来说，您会从远程位置的文件夹导入这些图像，或者从网络或PC上的文件夹获取这些图像。在此过程中，请记住模型的质量取决于模型中数据集的质量。您还需要选择一个具有足够功率的图形处理器 (GPU)，以管理图像处理。

接下来，您将通过训练引擎传递数据以创建模型。您需要使用结果进行模型测试。这包括使用混淆矩阵来显示假阳性和假阴性，以及可视化热图来显示神经网络的激活情况。模型经过训练和测试后，就可以导出为模型文件，用于图像处理应用程序。

04 即插即用的嵌入式视觉功能

作为一个话题，嵌入式视觉弥合了许多不同的解释。有多种不同的方案可供选择，包括带有内置 AI 的嵌入式视觉平台，每个用户在做出决定之前都应该权衡各种选项(包括成本)。

嵌入式视觉可能包括带有嵌入式处理器或现场可编程门阵列(FPGA)的摄像头、可编程视觉传感器或智能摄像头，或具有灵活嵌入式应用的通用机器。无论采用何种方式部署，嵌入式视觉应用都以其体积小、重量轻、功耗低等优点而著称。

嵌入式视觉应用还可以减少从相机到主机PC的数据量，从而减少通过管道的数据量。此外，它还具有其他优势，包括降低成本(因为嵌入式视觉应用不需要PC上昂贵的 GPU 卡)，以及可预测的性能、离线操作(不需要网络连接)和易于设置。如果您正在寻找一款易于设置和部署到现场的一体化产品，嵌入式视觉可以提供实实在在的好处。嵌入式视觉非常适合工业应用，例如在防错和识别过程中使用。

在防错过程中的应用

· 模式匹配，检查存在、位置;

· 特征或部件存在/缺失/计数;

· 特征或零件测量;

· 通过颜色进行零件或装配验证。

在识别过程中的应用

· 产品验证：读取产品代码以避免标签混淆;

· 标记验证：验证产品类型、批次、日期代码;

· 质量验证：检查标记、标签位置、特征存在/缺失;

· 装配验证：在制造的每个阶段跟踪装配历史记录;

· 物流：确保收货、拣选、分拣和运输的正常流程。

05  集成AI和嵌入式视觉

无论是单独使用还是一起使用，AI和嵌入式视觉都标志着数字图像处理的进化飞跃。例如，一款执行红灯和限速的交通应用软件使用嵌入式视觉系统以最有效的方式捕获图像。然后，它使用AI来帮助设备在不同的天气和照明条件下可靠地运行。是下雨还是下雪?光线是亮的还是暗的?AI的实现使设备能够适应不受控制的现实世界条件。

通过AI和嵌入式视觉，下一代数字图像处理技术可以确定汽车是否有足够的乘客进入拼车车道，驾驶员是否在车内使用手机，或者驾驶员和乘客是否系安全带。这种智能水平可以使驾驶员考虑得更周到，并且可以更安全地驾驶汽车。

虽然传感、处理和软件技术以及智能相机的进步，是我们在AI图像处理和嵌入式视觉系统方面取得进展的主要原因，但我们也不能忽视边缘AI的崛起。边缘AI降低了成本和带宽，因为大量数据不会持续发送到云端进行处理，同时还降低了延迟，从而提高了隐私性并提升了应用性能。

而这仅仅是利用这些较新的图像处理技术所能实现的目标的开始。一旦我们能够将“持续学习”带到现场的机器中，我们就会拥有在运行时自动学习的设备。通过使现有模型适应上下文变化，持续学习使开发团队无需在实验室中执行强制性的完整模型重新训练，从而节省了无数的人力时间。

这种方法的一个很好的例子是使用无人机在多个高度飞行进行交通监控。我们可以使用在单一高度(如 10 米)收集的图像来训练初始模型。一旦部署到现场，持续学习算法就会启动，当无人机在其他高度飞行时自动“调整 ”模型。

如果没有持续学习算法，无人机每达到一个高度，我们就必须重新训练模型，以获得准确的性能。但有了持续学习，模型就能对尺寸、距离以及飞行器视角的变化做出反应。图像处理技术中的这种即时学习方式极大地改进了应用性能。