摩尔线程官方近日宣布与清华系AI系统软件领域的佼佼者清程极智正式建立战略伙伴关系。这一强强联合旨在加速国产大规模GPU智算集群的产业化步伐,为AI算力生态的蓬勃发展注入强劲动力,特别是在大模型行业中,提供前所未有的强大、灵活且高效的基础设施支持。
摩尔线程在GPU智算集群领域取得了显著进展,其从千卡到万卡的全功能扩展方案展示了其在高性能计算领域的雄心壮志。与清程极智的合作更是聚焦于万卡级超大规模GPU智算集群的深入开发与优化,预示着未来AI计算能力的又一次巨大提升。
清程极智作为AI系统软件的佼佼者,凭借自主研发的智能编译器IntelliGen和高效并行训练系统FastMoE,成功实现了对Transformer类模型及混合专家MoE模型处理速度的显著加速,部分模型性能提升高达15-20倍。这些核心技术已全面适配摩尔线程的MUSA平台,进一步巩固了双方在AI算力优化领域的领先地位。
摩尔线程还宣布与北京智源人工智能研究院合作,成功完成了基于Triton语言的高性能算子库FlagGems在MUSA架构上的适配工作。双方仅用一个多星期的时间就完成了近60个算子的功能验证,不仅精度达标,还实现了对Bert-large模型的全面支持。这标志着MUSA架构在兼容性和扩展性方面迈出了重要一步,为开发者提供了从CUDA到MUSA的无缝迁移体验。
智源研究院的FlagGems算子库作为高性能通用算子库的典范,利用Triton编程语言的独特优势,为PyTorch框架提供了强大的算子支持,有效加速了模型的推理与训练过程,降低了新算法的开发门槛。在MUSA架构上,FlagGems算子库更是展现出了接近手写算子的卓越性能,持续的性能优化将进一步加速开源大模型在摩尔线程全功能GPU上的部署速度。
0
0