China Telecom develops country’s first MoE models trained entirely on Huawei’s AI chips | 中国电信研发国内首个全用华为AI芯片训练的门控专家模型

中国电信开发了国内首个采用混合专家（MoE）架构的人工智能模型，全部在华为的先进芯片上进行训练。这是中国开发者首次公开验证仅使用华为芯片训练具有大规模参数的MoE架构AI模型的可行性。该模型系列包括从1050亿到数万亿参数的TeleChat3模型，全部在华为的Ascend 910B芯片和开源深度学习框架MindSpore上完成训练。

华为的芯片和技术架构成功满足了训练大规模MoE模型的“严苛需求”，为国内计算生态提供了完整的技术解决方案。此次由中国电信发起的项目，彰显了中国企业在自主研发芯片和AI模型训练方面的努力，特别是在受到美国限制的背景下，推动了国产芯片在AI领域的应用和发展。

via SCMP Full Text Feed