科技动态
近日,中国科学院上海高等研究院(上海光源科学中心)Alessandro Sepe博士应国际晶体学会(International Union of Crystallography, IUCr)的邀请,在IUCr Newsletter发表专题文章The Big Data Science Center at the Shanghai Synchrotron Radiation Facility: the dawn of the scientific superfacilitie,向国内外同行介绍了中国科学院上海高等研究院上海光源用户数据中心所取得的成果及后续展望。
大型科学设施实验所产生的数据量正在急剧增长,这种数据洪流效应是全球光源类大科学装置正在面临的至关重要的挑战。当前在大科学装置中,我们正处在人工智能、机器学习和机器人自动化等前沿技术获得应用的起始阶段,并见证着其在PB量级甚至EB量级跨学科数据的智能处理、管理、分析和可视化方面所带来的深刻影响和改变。上海光源用户数据中心是国家“十二五”重大科学基础设施建设项目上海光源线站工程的重要建设内容,是国际领先的同步辐射光源专用数据中心,已于2019年底正式投入运行。数据中心旨在通过最先进的科学计算基础设施,包括高性能计算集群、统一存储系统、和先进的软件平台,为上海光源光束线站和国内外用户提供国际一流的数据服务。
专题文章中Alessandro Sepe博士详细介绍了上海光源数据中心同步辐射大数据科学平台的建设理念、方案设计、以及研究团队目前所取得的成果。上海光源同步辐射大数据科学平台将依托上海光源实验装置和用户数据中心,将最先进的大数据科学技术、人工智能、物联网、实时无人远程控制实验、机器人自动化、高性能计算、云/雾计算和大规模并行计算等技术汇聚融合在一起,覆盖用户全实验流程和科学数据的全生命周期,大幅提高数据处理自动化水平、提高数据分析处理效率、降低专业门槛,从而有效地提高用户和装置的科学产出。经过前期的开发、部署与应用,数据中心对部分线站数据处理效率的提升已接近60倍。
上海光源(SSRF)用户数据中心为同步辐射用户在线实验提供全方位的实时数据服务,支持移动客户端无缝接入。
专题文章中还利用纪录片的形式以上海光源生物大分子晶体学线站(原BL17U1/现BL02U1)为例,展示了从用户开始实验准备直至获得实时可视化分析结果的整个实验流程,以及与数据中心和同步辐射大数据科学平台的交互,包括对用户数据进行分析处理和计算作业的实时监控。
专题文章同时对上海光源数据中心的未来进行了展望。未来上海光源同步辐射大数据科学平台将进一步遵循现有建设理念与方案设计,全面支持上海光源所有线站,提高装置的科学技术生产力,并促进向大数据+AI新型科学研究范式的转变与深入发展。此外,数据中心还将开展国内国际合作,借助低延时网络进一步扩大科学计算能力,并推动国内先进光源开展同步辐射大数据领域的协同攻关研究。