Canonical x Lenovo: 在边缘运行 AI workloads

by Canonical on 4 December 2024

携手 Canonical 和 Lenovo，在边缘运行 AI 工作负载

从制造业中的预测性维护，到医疗保健行业中的虚拟助手，再到最偏远地区的电信路由器优化，AI 正在各种边缘环境中掀起新浪潮，带来新机遇。但为了支持这些几乎随处运行的 AI 工作负载，公司需要具备快速、安全且高度可扩展的边缘基础架构。

开源工具 —— 例如用于轻量级 Kubernetes 编排的 MicroK8s 和用于 ML 机器学习工作流的 Charmed Kubeflow —— 可以为边缘 AI 部署提供更高的灵活性和安全性。如果配合加速计算堆栈使用，这些解决方案可以帮助专业人员更快地交付项目，降低运营成本，以及确保更可预测的结果。

今天这篇博客探讨为什么企业正逐渐在边缘 AI 领域转向开放式基础架构解决方案，并介绍如何部署一个专门构建的优化版堆栈，以大规模交付变革性的智能项目。 

获取 Edge 参考设计中的 AI

开放式基础架构堆栈为何适合边缘 AI

世界各地的企业组织都拥有大量的边缘数据，但是将 AI 功能应用到偏远崎岖基地数据源的最佳方式又是什么呢？Canonical、英伟达 NVIDIA 和 联想 Lenovo 可以提供帮助。 

为了确保边缘 AI 的专用性能，可以考虑开源解决方案架构，其中包含在 Lenovo ThinkEdge 服务器上运行的 Canonical Ubuntu、用于轻量级 Kubernetes 编排的 MicroK8s，以及用于 ML 工作流管理的 Charmed Kubeflow。NVIDIA EGX 平台为该架构提供了基础，可以实现用于 AI 工作负载的强大 GPU 加速计算能力。 

使用这种经预先验证的架构具有以下主要优点：

• 更快的迭代和试验速度：数据科学家可以更快地迭代 AI/ML 模型并加快试验过程。
• 可扩展性：该架构已经完成了各种 MLOps 工具选项测试，从而能够快速扩展 AI 项目。
• 安全性：AI 工作负载受益于 Canonical Ubuntu 提供的安全基础架构和定期更新，从而确保持续的保护和可靠性。
• AI 工作负载优化：该架构专为满足 AI 工作负载的特定需求而构建，这意味着它可以在优化的硬件和软件堆栈上高效处理大型数据集。
• 端到端堆栈：该架构利用 NVIDIA EGX 产品和 Charmed Kubeflow 来简化整个机器学习生命周期。
• 再现性：该解决方案提供了明确的指南，供整个组织的专业人员使用，以望得到一致的结果。

Canonical 的开源基础架构堆栈

对于边缘计算，Canonical 与 Lenovo 共同致力于堆栈，让认证硬件具备最佳性能。每个云基础架构都有非常明确的实现选择方案。不过，这些选择方案中的多数都可以标准化和自动化，以帮助降低操作风险。

经预先验证的基础架构则是以 Ubuntu 操作系统为基础。Ubuntu 已然受到 AI/ML 开发人员的接纳，因此它为生产环境增加了熟悉度和效率。Ubuntu Pro 对标准的 Ubuntu 发行版进行了扩展，提供来自 Canonical 的 10 年安全维护，以及选择性的企业级支持。 

Canonical MicroK8s 是由云原生计算基金会（CNCF）认证的 Kubernetes 发行版。其提供简化的 Kubernetes 容器管理方法，这些容器对于可重复云部署而言至关重要。MicroK8s 会安装 NVIDIA GPU 操作符，实现对 GPU 资源的高效管理和利用。

Charmed Kubeflow 是 Kubeflow 的企业级发行版，Kubeflow 则是专为 Kubernetes 环境构建的热门开源 ML 工具包。Canonical 开发的 Charmed Kubeflow 可以简化 AI 工作流的部署和管理，提供对整个工具和框架生态系统的访问。 

最后，Canonical 基础架构与众不同的地方在于通过 Juju 实现的自动化，Juju 是一个用于将基础架构组件和应用程序供应、管理和维护自动化的开源编排引擎。 

用于边缘 AI 的 Lenovo ThinkEdge 服务器

如果没有合适的硬件，即使是最好的开源基础架构软件也无法充分发挥其潜能。使用 NVIDIA EGX 平台的Lenovo ThinkEdge 服务器 可以在边缘实现针对 AI 工作负载的强大性能。 

特别是专门为狭小空间设计的 ThinkEdge SE450 服务器，非常适合部署在传统数据中心之外的位置。这些服务器旨在虚拟化传统 IT 应用程序以及新的变革性 AI 系统，为最新的边缘工作负载提供所需的处理能力、存储、加速和网络技术。 

从边缘 AI 的验证设计开启入门之旅

Canonical、联想 Lenovo 和 英伟达 NVIDIA 正在共同努力，确保所有行业都可以使用数据科学技术。借助经预先验证的参考架构，开发人员和研究人员可以快速实现其 AI 项目的价值。 

部署过程从在 ThinkEdge SE450 服务器上安装 Canonical 软件组件开始。用户通过 Charmed Kubeflow 仪表板，可以获取并使用 NVIDIA Triton 推理服务器创建一个 AI 实验。Triton 为高效且有效的模型服务提供一个专用环境。这种端到端的 AI 工作流在成本和性能方面都进行了优化。

如需深入了解参考架构和关于在边缘运行 AI 的分步指南，请点击下方按钮阅读 Lenovo 的白皮书。 

阅读 Edge 参考设计中的 AI