存储基础设施对人工智能的要求

享存储在使用可用容量和将工作负载更均匀地分配给计算节点方面效率更高，组织仍愿意牺牲这些效率来消除计算节点和共享存储创建之间的网络延迟。

NVMe光纤网络(NVMe-oF)是明确设计用于基于内存的存储设备(如闪存和非易失性内存的下一代网络。它提供的延迟几乎与DASNVMe相同。NVMe的深度命令和队列深度使其也非常适合高度并行化的工作负载，并且人工智能/机器学习可能是所有工作负载中最并行的。NVMe-oF可能是专门为内存存储而设计的，但它也是为人工智能/机器学习量身定制的。

要求2：共享存储

如果NVMe-oF可以解决计算和存储之间的延迟问题，那么它将启用第二个要求，即共享存储。通过NVMe-oF连接的共享存储解决方案，工作负载可以受益于共享存储的所有自然属性。首先，所有节点都可以访问所有数据，这意味着工作负载可以更均匀地分配其计算负载。这也意味着具有图形处理单元(GPU)的节点可以访问所有数据。由于图形处理单元(GPU)的价格比CPU贵得多，因此让图形处理单元(GPU)处于繁忙状态是当务之急，而共享存储则使这变得更加容易。

在衡量数十个甚至几百PB的工作负载容量需求时，存储效率的任何提高都可以节省大量成本。在每个计算节点都有专用驱动器的群集中，IT部门无法轻松地将可用存储容量重新分配给群集中的其他节点。直接连接存储(DAS)模型中缺乏资源池，这也意味着组织无法有效使用制造商推向市场的大容量驱动器。现在，具有双重用途的节点(计算和存储)可以安装12个或更多16TB以上闪存驱动器或18TB以上硬盘驱动器，而单个节点可能无法有效使用。如果人工智能/机器学习存储体系结构从专用服务器中池化那些相同的硬盘，则可以对其进行更精细的分配。人工智能/机器学习工作负载不仅需要扩展以满足容量需求，而且还必须可以直接访问存储节点以满足性能需求。

要求3：多层存储

考虑到人工智能/机器学习数据集的大小，分层几乎是必须的，因为数十PB的闪存太昂贵了。公平地说，某些人工智能工作负载不遵循80/20规则，在任何给定时间，80%的数据都是不活动的。这些工作负载可以从100%休眠状态变为100%活跃状态。尽管如此，它们是高度并行的，并且数百个性能较低的硬盘驱动器可同时满足工作负载的需求，从而可以提供这些工作负载所需的性能。如果没有，他们可以在当前网络技术允许


 

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!