突破大算力瓶颈：华为支持超万亿参数大模型训练 等效于18000张卡
2023-09-23 08:02:16互联网资讯
快科技9月22日消息，在华为全联接大会2023期间，华为正式发布全新架构的昇腾AI计算集群——Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。
华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛介绍，新集群采用全新的华为星河AI智算交换机CloudEngine XH16800，借助其高密的800GE端口能力，两层交换网络即可实现2250节点（等效于18000张卡）超大规模无收敛集群组网。
新集群同时使用了创新的超节点架构，大大提升了大模型训练能力。
此外，发挥华为在计算、网络、存储、能源等领域的综合优势，从器件级、节点级、集群级和业务级全面提升系统可靠性，将大模型训练稳定性从天级提升到月级。
为了加速大模型创新，华为发布了更开放、更易用的CANN7.0，不仅全面兼容业界的AI框架、加速库和主流大模型，还深度开放底层能力，让AI框架和加速库可以更直接地调用和管理计算资源，使能开发者自定义高性能算子。
汪涛表示，随着人工智能进入大模型时代，大算力正在成为人工智能发展的核心引擎。华为改变传统的服务器堆叠模式，以系统架构创新打造AI集群，实现算力、运力、存力的一体化设计，突破大算力瓶颈。
版权声明：本文由CRM小助手整理收集与网络，仅供学习交流使用，不代表CRM论坛观点。如有侵权,请联系我们,我们将及时删除处理。
CRM论坛投稿：投稿地址
CRM论坛（CRMBBS.COM）始办于2019年，是致力于CRM实施方案、免费CRM软件、SCRM系统、客户管理系统的垂直内容社区网站，CRM论坛持续专注于CRM领域，在不断深化理解CRM系统的同时，进一步利用新型互联网技术，为用户实现企业、客户、合作伙伴与产品之间的无缝连接与交互。
