中国计算机团队夺得2023年世界超算存储500强排行榜第一

牛财金
2023-05-28

近日,在德国汉堡召开的国际超算大会ISC2023发布了2023年IO500最新榜单,中国计算机团队在IO500榜单包括总榜单和10节点榜单两类排行榜都名列第一。


什么是IO500?

IO500作为最权威的世界级存储排行榜,主要针对存储系统性能进行排名,包含带宽和元数据性能测试两大部分。IO500榜单包括总榜单和10节点榜单两类,其中10节点榜单将计算节点个数限制为10。


“10节点榜单”将基准性能测试统一规定为10个计算节点,可以准确反映存储系统为实际程序提供的I/O(输入输出)性能,便于用户横向对比。IO500涵盖带宽和元数据两项基准测试,并据此计算整个存储系统的性能总评分。


国际超级计算大会ISC和全球超级计算机大会SC是世界公认的顶级高性能计算大会。


IO500实际上是HPC存储的基准测试标准。自2017年开始,IO500榜单在这两个会议上半年一次交替发布,是国际数据存储界最具权威性的榜单。


IO500full.jpg


图1. 2023年IO500榜单总榜单前10排名。


io500-10.jpg


图2.   2023年IO500榜单10节点榜单排名前10名。


在2023年IO500榜单总榜单排名中,中国鹏城实验室的SuperFS文件系统排名第一,第二名是济南超级计算技术研究院和华中科技大学并行数据存储实验室的OceanFS2文件系统,第三名是鹏城实验室的MadFS文件系统。2023年IO500榜单总榜单前10名中,中国团队占据了7位,清华大学计算机系存储实验室排第十,而前十中,鹏城实验室占据5位,成绩亮眼。


2023年IO500榜单10节点榜单排名中,济南超级计算技术研究院和华中科技大学并行数据存储实验室的OceanFS2文件系统排名第一,鹏城实验室的SuperFS文件系统排名第二,清华大学排名第五,华为存储HPDA Lab名列第七。清华大学2022年曾经排名第一。


鹏城实验室,又称深圳网络空间科学与技术省实验室,是中央批准成立的突破型、引领型、平台型一体化的网络通信领域新型科研机构,始建于2018年3月,主要从事该领域战略性、前瞻性、基础性重大科学问题和关键核心技术研究,是国家战略科技力量的重要组成部分。实验室总部位于广东省深圳市。主要研究方向是网络通信、网络空间和网络智能。主要使命任务是聚焦服务国家宽带通信和新型网络战略,服务国家粤港澳大湾区和深圳中国特色社会主义先行示范区建设。


华中科技大学并行数据存储实验室(HUST-PDSL)联合华为分布式存储和济南超级计算技术研究院研发的OceanFS2超算文件系统,运行在配备了华为OceaStor Pacific分布式存储硬件的国家超级计算济南中心(JNIST)Cheeloo-1超级计算机上,以突破性技术取得骄人成绩,勇夺IO500(超算存储500强)的“Research10节点榜单”总分第一、带宽性能第一和元数据性能第一,并将IO500世界记录提高15倍以上。这是HUST-PDSL实验室第二次获得该奖项。



华中科技大学并行数据存储实验室(Parallel Data Storage Lab, PDSL)对超算存储的文件系统进行了长期的创新研究,并在去年德国举行的ISC2022上以FlashFS文件系统运行在国家超级计算济南中心的山河超级计算机上,获得IO500世界10节点冠军。为了使高校的创新技术能真正应用到我国企业产品之中,而不只是停留在打榜夺冠层面,实验室此次在获奖的文件系统基础上,联合华为分布式存储研发了OceanFS2新一代并行分布式超算文件系统,在多个关键技术上进行了重要的创新。


测试环境基于10个客户端与OceanStor Pacific 分布式存储硬件组合,采用了最新一代国产化存储底座和互联架构构建的OceanFS2,经过IO500国际组织规定的12项苛刻的场景测试,取得了2439.37 GiB/s的带宽和7,705,448.04 (KIOP/S)的元数据访问性能,结果表明OceanFS2性能十分优异,以遥遥领先的优势夺冠。


华中科技大学并行数据存储实验室(PDSL)主要研究方向包括分布式大数据存储系统结构、分布式文件系统、智能存储系统研究等,其团队成员为来自武汉光电国家研究中心和计算机学院的教师和学生,教师有万继光教授、谢长生教授、谭志虎教授和李国宽副教授,参与OceanFS2研发的核心骨干包括华中科技大学武汉光电国家研究中心硕士生杨豪迈、计算机学院本科生陈奕骁(已保研到武汉光电国家研究中心)、武汉光电国家研究中心博士生鲁凯。


人工智能、大数据和云计算的快速发展,对算力的需求激增,而存储始终是高性能计算机系统的性能瓶颈所在,提升存储性能(存力)是当务之急。现有的并行文件系统不能够充分发挥硬件的性能。因此,发展全新的分布式超算文件系统意义重大。


“将论文写在祖国大地上”是华中科技大学坚持的一贯理念,也是华中科技大学数据存储研究团队的特色之一。在从事科技前沿研究的同时,团队对十分重视与我国企业的合作,其目的是促进我国存储产业从底层打牢基础,掌握核心技术,从根基上提升我国数据存储产业的技术创新能力。早在20多年前,谢长生教授就带领团队与华为合作,联合开发成功了该公司存储部门起步时的第一台存储产品样机,万继光当时作为学生骨干参加了开发。当年的学生如今已成为广受学生喜爱的教授,仍然坚持学术研究服务产业的优良传统,将大量学术研究成果应用于骨干企业,还培养出“华为天才少年”这样的高端人才。此次国际顶级赛事以极为亮眼的成绩夺冠,是华中科技大学产学研结合的又一成功范例。



相关阅读

妥协!白宫和共和党达成一项临时债务上限协议以避免美国违约



分享