使用 MicroCeph 实现边缘存储

by Canonical on 20 February 2024

随时、随地—— MicroCeph 让边缘存储变得简单

数据无处不在，不仅存在于大型的集中式数据中心，而且还存在于较小的前哨，如零售店、远程或分支机构、拍摄地点甚至汽车。边缘存储的用例包括本地处理、在高网络延迟情况下无法进行的内容协作以及数据摄取（即对本地创建的内容进行捕获、保护，然后提供给其他系统）。

所有这些场景都有两个共同点：生成的数据至关重要，以及这些位置通常带宽有限。

从历史数据来看，其中部分用例会使用单板计算机，但随着时间的推移，数据的重要性提高，现在对性能和冗余有了更高的要求。而使用边缘存储即可满足这些新需求。

边缘存储解决方案允许在创建数据的地方安全存储并有效处理数据，无需将其传输到集中位置进行处理。这种方法可以实现安全、高性能的数据处理，不受延迟和带宽限制所影响。

在今天的博客中，笔者将介绍为什么要使用边缘存储解决方案，并演示如何使用 MicroCeph 轻松启动和运行存储集群。 

使用边缘存储维护局部性

在一些边缘环境中，例如零售商店，将结果发送到中央存储库之前，在该位置对销售和库存数据进行初步处理和分析会更加高效。这种易损坏的数据可用作其他流程的输入数据，并且可以在数百或数千个位置生成。

另一个用例是自动驾驶汽车，其每天可以生成高达 6TB 的数据。这些数据需要在本地进行实时处理，并且必须保持其完整性，因为这些数据将用于决策和自动驾驶算法的优化。

这些类型的用例需要高性能和冗余存储，而这在传统的单板计算机系统中是无法满足的。诸如 Ceph 的可扩展存储解决方案可以帮助实现性能和冗余目标。使用多个节点意味着存储数据的多个副本，这在单个节点或磁盘出现故障时可以减少数据丢失。Ceph 的横向扩展架构意味着添加额外节点可提高性能和容量。

分布式数据处理不仅可以减少对企业网络和数据中心的需求，而且还能减少获得结果的延迟。

使用边缘存储保护内容

图形和视频等内容类型的远程协作范围因文件大小而有限，因此数据需要临时存储在本地。例如，平均一集电视剧的原始素材可以消耗 100TB。 

此外，在远程拍摄地点，可能没有网络连接，无法将内容安全传输到集中式数据存储中心，因此必须先安全存储在本地，稍后再进行处理。在这种情况下，数据丢失可能会给制作公司带来巨大的财务损失。

全磁盘加密允许用户确信其数据在磁盘或节点丢失时不会暴露。通过 CephX 对所有不同的存储协议进行强大的客户端授权意味着只有经过批准的各方才能访问存储在集群上的数据。

简化的边缘存储

边缘存储系统必须提供简化且轻松的部署体验，并将持续维护开销降至最低。这是因为这些系统可能位于可能没有可用存储专家的远程或离线位置。标准的 Ceph 集群难以在边缘部署和操作，但 MicroCeph 可以解决这种复杂性难题。

我们重新设计了 MicroCeph，可以为非专家人群提供可靠和弹性的存储解决方案，无论他们选择将其部署在何处。它是一种高度可扩展的基于快照的解决方案，仅在三个节点上运行即可提供冗余和高可用性，但也可以进行扩展以满足多个 PB 级的需求。MicroCeph 与其所有依赖项一起进行容器化，并在底层主机上完全沙盒化运行，以最大限度地降低安全风险。软件更新过程轻松且无干扰，能够满足正在运行的 Ceph 集群的操作需求。

MicroCeph 支持所有的数据访问协议——块、文件和对象，并且可以结合全磁盘加密进行部署，因此无需担心硬件丢失。

让所有人轻松使用 Ceph

试试 MicroCeph 吧。只需要少数命令和几分钟时间，即可启动并运行一个功能性的 Ceph 集群。首先，使用以下命令安装 MicroCeph 快照，创建具有 3 个基于环回的 OSD 的单节点 Ceph 集群。不建议在生产环境中使用这种配置，但可以对 MicroCeph 轻松上手。

sudo snap install microceph --channel quincy/edge

然后从第一个节点启动集群：

sudo microceph cluster bootstrap

接着，添加一些将用作 OSD 的磁盘：

sudo microceph disk add loop,4G,3

验证集群状态：

microceph.ceph status

microceph.ceph osd status

了解更多

请前往 snapcraft 页面了解关于 MicroCeph 的更多信息。

更多资源

• 什么是 Ceph？
• 博客：使用 MicroCeph 实现边缘云存储
• MicroCeph 文档
• 白皮书【优化云存储的成本】— 如何利用现成的硬件与公共云数据中心附近的开源 Ceph 相结合，将每 GB 的成本降低 60%