◎ 科技日报记者 王延斌 通讯员 王昱岩
8月5日,全球权威AI性能评测组织公布最新的MLPerf® Storage v2.0基准测试结果,由国家超级计算济南中心与华为技术有限公司协同研发优化的高性能存储系统,在三项核心性能指标上均刷新世界纪录,位列全球第一。
在3D U-Net训练测试中,单台存储设备的数据传输速度高达每秒698GiB/s,相当于1秒钟传完近700部高清电影;
单位机架空间的传输能力达到每秒108GiB/s,也就是说同一个机架上的所有计算单元可以同时满速获取所需数据,不需排队等待数据;
单个客户端的传输速度突破每秒104GiB/s,即便是一台计算设备单独工作,也能享受到全球最快的数据供应速度。
这意味着,在人工智能时代最核心的数据存储与传输能力上,我国自主研发的技术已经走在了世界最前列。
国家超算济南中心主任王英龙表示,除了“跑得快”,更难得的是,这套系统还解决了一个长期困扰大模型训练的“瓶颈”——断点续训,也就是AI学习中途“存档”和“读档”的能力。在Llama3_70B模型训练测试中,单客户端的读写速度分别达到68.8GiB/s和62.4GiB/s,比国际同类技术快了6.7倍,相当于让加油站的油枪数量和加油速度实现了跨越式提升,让“加油”几乎不再成为瓶颈,大幅缩短了大模型训练时间,也降低了算力和运维成本。