天数智芯支持智源研究院首次完成大模型异构算力混合训练，突破异构算力束缚
2023-11-30
14:52:31
来源: 互联网
点击
11月29日，北京智源人工智能研究院副院长兼总工程师林咏华在2023人工智能计算大会上宣布，正式开源700亿参数大模型Aquila2-70B-Expr（异构先驱版），这是首个基于英伟达混合资源及天数智芯混合资源完成训练的大模型。这也是智源研究院与天数智芯合作取得的最新成果，再次证明了天数智芯通用GPU产品支持大模型训练的能力，以及与主流产品的兼容能力。
据林咏华副院长介绍，为了解决异构算力混合训练难题，智源研究院开发了高效并行训练框架FlagScale，支持异构算力混合训练，并在10月开源了FlagScale v0.1版本。此次基于FlagScale v0.2分别在英伟达混合资源（A100集群+A800集群）、天数智芯混合资源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型训练工作。
天数智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院开展了70亿参数大模型训练。在此基础上，双方进一步深化合作。天数智芯首先搭建了128节点的BI-V100集群环境，支持智源研究院开展Aquila2-70B-Expr完整训练。训练到20万步，导出模型并完成总计11项性能指标的评估，涉及常识推断、多任务语言理解、真实性回答等场景，将基线实验和对比实验送到真实数据集上进行评测，计算差异在0.28%，在精度上与国际主流集群训练的权重文件水平相当。
同时，天数智芯基于新一代天垓产品搭建了16节点集群环境，用于智源研究院混合并行训练研究。智源研究院利用120节点BI-V100集群加上8节点BI-V150集群进行Aquila2-70B-Expr大模型混合训练，混合集群性能达到上界（理想合池理论峰值）的85.3%。测试结果显示，在天数智芯产品上异构训练，对模型性能影响甚微。
这一成果极具商业价值和应用前景，有助于解决智算中心换代升级、增容后新旧计算卡并用难题，为智算中心高效运行提供了新方案。
据林咏华副院长介绍，为了解决异构算力混合训练难题，智源研究院开发了高效并行训练框架FlagScale，支持异构算力混合训练，并在10月开源了FlagScale v0.1版本。此次基于FlagScale v0.2分别在英伟达混合资源（A100集群+A800集群）、天数智芯混合资源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型训练工作。
天数智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院开展了70亿参数大模型训练。在此基础上，双方进一步深化合作。天数智芯首先搭建了128节点的BI-V100集群环境，支持智源研究院开展Aquila2-70B-Expr完整训练。训练到20万步，导出模型并完成总计11项性能指标的评估，涉及常识推断、多任务语言理解、真实性回答等场景，将基线实验和对比实验送到真实数据集上进行评测，计算差异在0.28%，在精度上与国际主流集群训练的权重文件水平相当。
同时，天数智芯基于新一代天垓产品搭建了16节点集群环境，用于智源研究院混合并行训练研究。智源研究院利用120节点BI-V100集群加上8节点BI-V150集群进行Aquila2-70B-Expr大模型混合训练，混合集群性能达到上界（理想合池理论峰值）的85.3%。测试结果显示，在天数智芯产品上异构训练，对模型性能影响甚微。
这一成果极具商业价值和应用前景，有助于解决智算中心换代升级、增容后新旧计算卡并用难题，为智算中心高效运行提供了新方案。
责任编辑：sophie
相关文章
-
- 半导体行业观察
-
- 摩尔芯闻
最新新闻
热门文章 本日 七天 本月
热门评论
©2023 半导体行业观察
Copyright©2023 上海爱思尔教育科技有限公司 皖ICP备19011903号-2 皖公网安备 34019202000656号