Canonical x Lenovo：在边缘运行AI workloads

从制造业中的预测性维护，到医疗保健行业中的虚拟助手，再到最偏远地区的电信路由器优化，AI正在各种边缘环境中掀起新浪潮，带来新机遇。但为了支持这些几乎随处运行的AI工作负载，公司需要具备快速、安全且高度可扩展的边缘基础架构。

开源工具——例如用于轻量级Kubernetes编排的MicroK8s和用于ML机器学习工作流的Charmed Kubeflow——可以为边缘AI部署提供更高的灵活性和安全性。如果配合加速计算堆栈使用，这些解决方案可以帮助专业人员更快地交付项目，降低运营成本，以及确保更可预测的结果。

今天这篇博客探讨为什么企业正逐渐在边缘AI领域转向开放式基础架构解决方案，并介绍如何部署一个专门构建的优化版堆栈，以大规模交付变革性的智能项目。

开放式基础架构堆栈为何适合边缘AI

世界各地的企业组织都拥有大量的边缘数据，但是将AI功能应用到偏远崎岖基地数据源的最佳方式又是什么呢？Canonical、英伟达NVIDIA和联想Lenovo可以提供帮助。

为了确保边缘AI的专用性能，可以考虑开源解决方案架构，其中包含在Lenovo ThinkEdge服务器上运行的Canonical Ubuntu、用于轻量级Kubernetes编排的MicroK8s，以及用于ML工作流管理的Charmed Kubeflow。NVIDIA EGX平台为该架构提供了基础，可以实现用于AI工作负载的强大GPU加速计算能力。

使用这种经预先验证的架构具有以下主要优点：

更快的迭代和试验速度：数据科学家可以更快地迭代AI/ML模型并加快试验过程；

可扩展性：该架构已经完成了各种MLOps工具选项测试，从而能够快速扩展AI项目；

安全性：AI工作负载受益于Canonical Ubuntu提供的安全基础架构和定期更新，从而确保持续的保护和可靠性；

AI工作负载优化：该架构专为满足AI工作负载的特定需求而构建，这意味着它可以在优化的硬件和软件堆栈上高效处理大型数据集；

端到端堆栈：该架构利用NVIDIA EGX产品和Charmed Kubeflow来简化整个机器学习生命周期；

再现性：该解决方案提供了明确的指南，供整个组织的专业人员使用，以望得到一致的结果。

Canonical的开源基础架构堆栈

对于边缘计算，Canonical与Lenovo共同致力于堆栈，让认证硬件具备最佳性能。每个云基础架构都有非常明确的实现选择方案。不过，这些选择方案中的多数都可以标准化和自动化，以帮助降低操作风险。

经预先验证的基础架构则是以Ubuntu操作系统为基础。Ubuntu已然受到AI/ML开发人员的接纳，因此它为生产环境增加了熟悉度和效率。Ubuntu Pro对标准的Ubuntu发行版进行了扩展，提供来自Canonical的10年安全维护，以及选择性的企业级支持。

Canonical MicroK8s是由云原生计算基金会（CNCF）认证的Kubernetes发行版。其提供简化的Kubernetes容器管理方法，这些容器对于可重复云部署而言至关重要。MicroK8s会安装NVIDIA GPU操作符，实现对GPU资源的高效管理和利用。

Charmed Kubeflow是Kubeflow的企业级发行版，Kubeflow则是专为Kubernetes环境构建的热门开源ML工具包。Canonical开发的Charmed Kubeflow可以简化AI工作流的部署和管理，提供对整个工具和框架生态系统的访问。

最后，Canonical基础架构与众不同的地方在于通过Juju实现的自动化，Juju是一个用于将基础架构组件和应用程序供应、管理和维护自动化的开源编排引擎。

用于边缘AI的Lenovo ThinkEdge服务器

如果没有合适的硬件，即使是最好的开源基础架构软件也无法充分发挥其潜能。使用NVIDIA EGX平台的Lenovo ThinkEdge服务器可以在边缘实现针对AI工作负载的强大性能。

特别是专门为狭小空间设计的ThinkEdge SE450服务器，非常适合部署在传统数据中心之外的位置。这些服务器旨在虚拟化传统IT应用程序以及新的变革性AI系统，为最新的边缘工作负载提供所需的处理能力、存储、加速和网络技术。

从边缘AI的验证设计开启入门之旅

Canonical、联想Lenovo和英伟达NVIDIA正在共同努力，确保所有行业都可以使用数据科学技术。借助经预先验证的参考架构，开发人员和研究人员可以快速实现其AI项目的价值。

部署过程从在ThinkEdge SE450服务器上安装Canonical软件组件开始。用户通过Charmed Kubeflow仪表板，可以获取并使用NVIDIA Triton推理服务器创建一个AI实验。Triton为高效且有效的模型服务提供一个专用环境。这种端到端的AI工作流在成本和性能方面都进行了优化。