增强型固态硬盘支持人工智能工作负载
Enhanced SSDs support AI workloads
多伦多——关于人工智能(AI)和机器学习工作负载所需的内存和架构已经有很多讨论,而Micron技术最新的高性能和高容量固态硬盘(SSD)将flash牢牢地放在其中。
该公司刚刚发布了其9300系列,该系列使用NVM-Express(NVMe)协议,针对数据密集型应用,读写吞吐量均为3.5gbps。
Micron的产品线经理Cliff Smith告诉EE Times:“在企业和云计算领域,延迟变得越来越重要,因为应用程序的响应时间非常重要,因此您的基础设施可以在给定的服务器存储平台上响应更多的用户请求。”。
总的来说,这就是9300系列的目标市场。除了性能外,这类客户的其他卖点包括功耗比公司上一代NVMe SSD低28%,容量高达15.36 TB,有32个NVMe命名空间,以尽可能高效地使用存储空间。
但更具体地说,9300系列的性能和容量使其能够满足人工智能和机器学习的需求。史密斯说,吞吐量和容量使固态硬盘能够快速接收大数据集。“当你为学习算法加载工作负载时,你只是在写。我们将能够非常迅速地写出这些数据。”。一旦数据集被放入,学习算法就接管了,这就是不断的阅读和训练。“开发训练有一个诀窍,让它不断地读取数据集。”
Micron仍在努力完善的一项能力是并行化提取、转换和加载(ETL)过程,在这种情况下,可以将大量的信息从数据池移动到更快的SSD,然后再转移到GPU复合体中。这将加快学习和生成一个可以投入生产进行推理的模型。然而,史密斯数据公司说,由于并行处理,科学家们不能长时间地喝咖啡休息。“这两个过程在今天是连续的,因为性能原因,归根结底是由于软件原因。”
今天,机器学习顺序作为ETL过程缓存数据集到SSD,然后到GPU,但Micron认为在不久的将来,这可以并行完成
Micron的高级技术营销经理Jason Echols说,nvme9300系列的延迟和吞吐量使数据能够超快速地传送到gpu上的高吞吐量和低延迟的专用内存,例如3D-Xpoint。“你越是能让那些并行的核心继续工作,你就越能让所有这些并行的核心保持供电。”
ForwardInsights首席分析师Gregory Wong表示,9300系列可以解决两个与人工智能相关的工作负载—机器学习和推理。对于前者,它可能在大数据集中翻腾,那里有“成吨”的面孔可供学习。面部识别是推断的一部分,这是一个例子,人工智能的工作量可能需要在边缘发生。“这台机器已经从这个庞大的数据集中学习到了,现在他们必须将其投入使用,”他说,如果这是一个监控应用程序,你希望这种推断能够快速、现场地进行——系统不能查询云端进行人脸匹配。
Wong说,Micron9300系列的容量和非常低的延迟是AI工作负载所必需的,尽管延迟低于基于Intel Optane的SSD所能提供的。但考虑到Optane对于大型数据集来说价格太高,Micron的产品在有大量数据需要处理时非常有意义。
在某些情况下,高容量可能是一个缺点,因为如果遇到问题,重建需要很长时间——你不会希望过大的固态硬盘在自动驾驶车中进行推理,而且你不能将数据传送到云端并返回以进行实时决策,即使使用5G网络,因为总有可能出现延迟甚至停机。“汽车必须能够做出反应,因为这不仅仅是延迟,还有连接质量。”
我们还需要几年的时间才能在公路上实现自主驾驶,同时,黄说,在需要即时推理的情况下,数据中心和边缘的各种内存和存储技术都需要处理大量的人工智能工作负载,包括固态硬盘。