突破！摩尔线程发布 MTT S4000 国产大语言模型专用加速卡、并宣布 KUAE 纯国产大模型训练平台

国产显卡领军者摩尔线程发布了 MTT S4000 加速卡，并宣布全国首个千卡、千亿模型训练平台问世，叫“摩尔线程 KUAE ” 智算中心。
这意味着，国内首个以国产 GPU 为基础的大规模算力集群正式落地，对于国内 AI 研究和市场，具有里程碑意义。
先来了解下摩尔线程 MTT S4000 。这是一款国产大语言模型专用加速卡，采用第三代 MUSA 内核，配备 48GB 显存，拥有 768GB/s 大带宽，支持 PCIe 5.0 x 16 通道，单卡最多支持 96路1080p 硬件级解码，支持多种加密算法。
至于算力，单卡拥有 25 TFLOPS FP32、50 TFLOPS TF32 以及 200 TOPS INT8算力，另外，自研 MTLink1.0 技术，支持多卡互联，助力千亿大模型的分布式计算加速。
重点是，借助摩尔线程自研 MUSIFY 开发工具，MTT S4000 计算卡可以充分利用现有 CUDA 软件生态，实现 CUDA 代码零成本迁移到 MUSA 平台。
至于 KUAE 智算平台，包括以 KUAE 计算集群为核心的基础设施、KUAE Platform 集群管理平台以及 KUAE ModelStudio 模型服务，该方案可实现开箱即用，大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，实现快速投放市场开展商业化运营。
基于摩尔线程 KUAE 千卡集群，可以实现 70B 到 130B 参数的大模型训练，线性加速比均可达到 91%，算力利用率基本保持不变。以 2000 亿训练数据量为例，智源研究院 700 亿参数 Aquila2 可在 33 天完成训练；1300 亿参数规模的模型可在 56 天完成训练。
此外，摩尔线程 KUAE 千卡集群支持长时间连续稳定运行，支持断点续训，异步 Checkpoint 少于 2 分钟。
最后，摩尔线程联合中国移动北京公司、中国电信北京分公司、联想、世纪互联、光环新网、中联数据、数道智算、中发展智源、企商在线、北电数智北京数字经济算力中心、紫光恒越、瑞华产业控股（山东）、赛尔网络、中科金财、中耘智算、金舟远航（排名不分先后）等十余家企业，共同宣布“摩尔线程PES – KUAE智算联盟”成立。联盟将大力建设和推广从底层硬件到软件、工具到应用的全国产智算平台，旨在实现集群的高利用率，以好用、易用的全栈智算解决方案成为大模型训练首选。
另外，摩尔线程携手360、飞桨、京东言犀、智谱AI、超对称、无问芯穹、滴普科技、网易、清华大学、复旦大学、浙江大学、北京理工大学、凌云光、瑞莱智慧、南威软件（排名不分先后）等多家大模型生态伙伴，发起并成立“摩尔线程PES – 大模型生态联盟”。摩尔线程将以MUSA为中心的软硬一体化大模型解决方案，积极与广泛的生态伙伴开展兼容适配及技术调优等工作，共同推动国产大模型生态的全面繁荣。
扩展