利用开源机器学习基础架构加速 AI 发展

by Canonical on 13 June 2025

人工智能技术在迅速发展，对稳健强大且可扩展的基础架构具有迫切需求。为应对这些挑战，我们精心打造了一套全面的参考架构（RA），充分利用了开源工具与尖端硬件的强大功能与性能。这套架构基于 Canonical 的 MicroK8s 和 Charmed Kubeflow 构建，运行于 Dell PowerEdge R7525 服务器之上，并借助NVIDIA NIM 微服务实现加速，为部署和管理机器学习工作负载提供了一个简便高效的途径。

为数据科学家与工程师赋能

该解决方案旨在为数据科学家和机器学习工程师赋能，使其能够实现更快迭代、无缝扩展以及强有力的安全保障。对于基础架构构建者、解决方案架构师、DevOps 工程师以及首席技术官（CTO）而言，这套参考架构提供了一条畅通无阻的途径，既能推进人工智能项目，又能应对大规模部署所带来的复杂性问题。

这套架构的核心在于 Canonical 与 NVIDIA 之间的协同合作。我们通过合作确保从 Ubuntu Server 和 Ubuntu Pro 到 Charmed Kubeflow 的整个软件栈，都针对 NVIDIA 认证系统进行优化。这样的集成可以实现卓越的性能和可靠性，使企业组织能够提升其 AI 运行效率。

Dell PowerEdge R7525：高性能 AI 的硬件基础

Dell PowerEdge R7525 服务器在这套架构中起着至关重要的作用，其为处理高要求的 AI 工作负载提供了稳健可靠的硬件基础。这是一款 2U 机架式服务器，专为高性能计算、虚拟化以及数据密集型任务而设计。

R7525 配备双插槽 AMD EPYC 处理器，具备出色的可扩展性、高级的记忆功能以及灵活的存储选项。因此，它非常适合必须要处理大规模数据集和复杂模型的 AI 和机器学习环境。R7525 的设计可以确保企业组织能够在运行变革性 AI 系统的同时对传统 IT 应用程序进行虚拟化处理，为多样化的工作负载提供一个统一的平台。

利用 NVIDIA NIM 和 A100 GPU 之优势

这套架构利用 NVIDIA AI Enterprise 软件平台随附的 NVIDIA NIM 微服务，可以实现安全可靠的 AI 模型推理。再结合 NVIDIA A100 GPU 的强大功能，能够为高要求的 AI 工作负载提供所需的计算能力。通过在 Charmed Kubeflow 平台上部署基于 NVIDIA NIM 的 LLM，企业组织可实现从模型开发到生产的无缝衔接。

Canonical 的开源组件

Canonical 推出的 MicroK8s 是一款 CNCF 认证的 Kubernetes 发行版，可提供一个轻量高效的容器编排平台。Charmed Kubeflow 可以简化 AI 工作流的部署与管理，并且提供一个庞大的工具和框架生态系统。二者结合可以确保机器学习生命周期流程的顺畅高效运转。

架构的主要优点

这套架构具有迭代速度更快、可扩展性提升以及强有力的安全保障等众多优点。NVIDIA 与 Canonical 产品的深度集成，确保了该解决方案开箱即用的无缝运行体验，以及更快的漏洞修复速度和及时的安全更新。此外，Ubuntu 提供的硬件基础还可以提供安全稳定的运行环境。

这套参考架构不仅是一纸蓝图，更是一套实用性指南。文档中包含硬件规格、软件版本以及关于使用 NIM 部署 LLM 的分步教程。文档中还介绍了设备集群监测与管理，为用户呈现系统运行的全貌。

解锁新机遇

凭借 Canonical、Dell 和 NVIDIA 三方专业技术的强强联合，企业组织可在各自的领域中解锁新机遇。该解决方案可以提升数据分析能力，优化决策流程，并彻底改变客户体验。

即刻行动

这套参考架构可为部署 AI 工作负载奠定坚实基础。凭借 Canonical、Dell 和 NVIDIA 三方专业技术的强强联合，企业组织能够提升数据分析能力，优化决策流程，并彻底改变客户体验。综上所述，企业组织可放心采用这一解决方案，推动创新进程，加速 AI 应用进程。

准备好推动您的 AI 项目迈向新高度了吗？