边缘AI 2.0：机器视觉有大脑了！

随着人工智能（AI）和机器学习算法的不断发展，机器视觉作为智能制造的重要组成部分，同样经历了大数据、深度学习、边缘AI等多代发展迭代，当下已经来到边缘AI 2.0的时代。

与传统AI相比，边缘AI具有低算力、低延时、隐私定制、交互简洁等优势。根据使用场景的差异，边缘AI的模型架构又可分为终端为中心的混合AI、基于终端感知的混合AI、终端与云端协同处理混合AI。

边缘计算填补了传统的基于规则的机器视觉和全深度学习解决方案之间的应用空白。它的部署成本较低，学习所需的图像更少，训练时间也更短。由于训练和生产都在同一台设备上进行，因此边缘AI能实现更高的生产效率和更快的产品转换。

在最初的边缘AI方案中，需要在传感器等设备中内置AI模型。这种方法的挑战在于需要用不同的数据集来训练不同的模型，而其中的负样本难以采集，离群情况也很难处理。这一过程非常耗时，因此需要适应性更强、通用性更好的AI解决方案。随着生成式AI的兴起，由基础视觉语言模型（VLM）提供支持的边缘AI 2.0开始步入行业的视野。

为机器视觉赋能，多企业推出边缘AI 2.0解决方案

今年6月，NVIDIA在IGX平台上线了集成NVIDIA Holoscan功能的NVIDIA AI Enterprise-IGX系统。该系统简化了AI驱动的运营和AI应用的大规模部署。传感器处理平台NVIDIA Holoscan可以提供实时洞察，为工业边缘带来强大的AI计算能力、灵活的传感器集成、实时性能和功能安全，从而降低各行各业开发先进AI解决方案所需的时间和成本。

稍早几个月，NVIDIA还发布了与麻省理工学院共同开发的VILA高性能视觉语言模型系列。最大的模型约有400亿参数，最小的模型约有30亿参数，且完全开源（包括模型检查点、训练代码和训练数据）。通过视觉编码器、LLM（大语言模型）和投影仪，VILA使用视觉编码器将图像或视频编码为视觉token【1】，然后将这些视觉token作为外语输入LLM。理论上可以处理任意数量的交错图像-文本输入。

安提国际（Aetina）也于今年5月推出了全新的AIP-KQ67边缘AI产品。该产品属于MegaEdge PCIe系列，采用Intel第12/13代Core™ i9/i7/i5处理器，通过了NVIDIA NCS认证，搭载NVIDIA A2 Tensor Core GPU，支持高性能的NVIDIA RTX系列GPU卡和高速I/O连接。通过弹性扩展PCIe x16显示卡的支持，提供了更灵活的边缘应用算力配置，为智慧工厂AI制造瑕疵检测提供了更高效的解决方案。

此外，预测性维护（PdM）也是边缘AI的一大应用场景。边缘AI系统能实时监测工业设备和系统的健康状况和性能，主动且精确地识别潜在的故障，降低设备中断的风险。

在PdM应用上，意法半导体STM32为机器视觉提供了软、硬件双平台。通过NanoEdge Studio平台创建模型工具，用户不需要增加额外的传感器，快速、准确地构建将算法部署在资源受限的边缘计算设备上。或只需增加必要的检测盒子，即可借助NanoEdge AI库在终端设备上进行渐进式学习，通过传感器（振动、超声、温湿度、气压传感器和加速度计）以高精准度实时检测设备的偏移异常。

硬件方面，N6是STM32首款集成自研硬件NPU神经网络硬件处理单元的通用微控制器。其算力达0.6TOPS（每秒0.6万亿次运算），同时集成了MIPI CSI摄像机、机器视觉图像信号处理器（ISP）、H.264视频编码器和支持时间敏感网络（TSN）端点的千兆以太网控制器等一系列视觉外设。

2.0时代带来了哪些新技术和变化？

缺陷检测是传统机器视觉主要的工业应用之一，尤其迈入边缘AI 2.0时代后，良品学习、缺陷数据生成、视觉大模型等关键技术成为机器视觉发展的重点。

良品学习算法只需利用少量良品图像，就能够对所有已知和未知的缺陷进行像素级别的检测和整图分类，即除良品以外全是瑕疵品，从而实现快速上线验证。适用于良品率较高，加工技术较稳定的生产线上。但对于小缺陷场景还有进步的空间。

在传统机器视觉算法中，需要花费大量的时间用于搜集缺陷样本训练模型。更换产品型号后，需要重要搜集样本，且很难覆盖长尾缺陷。一种解决方案是，利用人工智能，生成大量缺陷数据用于模型训练。比如阿丘科技的Stable Diffusion框架，通过描述基于预训练模型和具体场景的缺陷特征，就能生成大量真实缺陷的仿真图像。缺陷类别包含了复杂结构缺陷、背景变化、缺陷边缘处理等多样场景。从而帮助机器视觉算法在缺乏实际缺陷样本的情况下，也能训练和优化模型，显著提高了模型的泛化能力与适应性。

最终，当训练集累积到一定程度，形成具备领域泛化能力的工业视觉大模型。能满足生产企业单场景的规模复制和多场景模型的泛化迁移需求，可以有效降低AI算法开发、训练的成本。

新技术、新应用、新场景

对机器视觉来说，边缘学习可以简化现有的规则，并部分降低昂贵的图像采集组件（如远心光学系统、照明或零件处理系统）成本，节省对成像、固定或复杂图像处理方面的需求，从而实现较低成本的配置。

AI的加入，使得自动化系统能在生产过程控制中接管原本人类的任务。国际市场中，已经有企业使用边缘AI+机器视觉来捕获加工过程中的飞溅物或孔隙等缺陷。

图：主动接缝检测（图片来源：Scansonic）

德国Scansonic公司为激光焊接质量检测开发了ALO4光学系统以及用于焊缝过程监测的相机系统。在汽车激光焊接质量检测应用中，自适应激光光学系统遵循3D轮廓进行加工。机器视觉系统将实时图像发送到神经网络，AI跟踪所有微小的细节，对焊缝过程进行评估，并识别每一个偏差。通过自动检测后，可以实时将任何点或模糊分类为孔隙、孔洞或良好的焊缝。当零件焊接完成后，激光加工单元自动移至下一个加工点位。

 在这一案例中，生产企业为训练检测模型提供了约5000张良品图像及2000张瑕疵图像，得益于边缘AI 2.0的加持，这些图像训练出的模型不仅实测通过了质量检测标准，只需要更新少量新图像就可以将良好的模型迁移到其他过程。二次训练时，仅需要几百张新图，钎焊过程中缺陷的识别率就可以达到95%以上。即便更换了钎焊的材料和工艺参数，也只需要少量图像进入训练，就能换到良好的识别效果。

写在最后

总的来说，AI边缘计算用于工业机器视频场景，能有效地改善性能、减少操作成本和保障数据安全。在生成和使用数据时，边缘AI能结合机器视觉中的图像数据在本地终端进行处理和存储分析，省去了上传云、云计算、结果反馈花费的时间和带宽要求。把应用场景从以往的质量监测拓展为实时监测。还保证了数据的完全性和实时性，系统响应更及时，成本更低。未来通过AI与边缘计算在工业视觉识别系统中的深度结合，生产自动化水平、装备的使用效率、可靠性及稳定性将大幅度提升。

【1】Token：在计算机身份认证中是令牌（临时）的意思，在词法分析中是标记的意思。一般作为邀请、登录系统使用。（百度百科释义）

来源：荣格-《智能制造纵横》

原创声明：
本站所有原创内容未经允许，禁止任何网站、微信公众号等平台等机构转载、摘抄，否则荣格工业传媒保留追责权利。任何此前未经允许，已经转载本站原创文章的平台，请立即删除相关文章。