摩尔线程大模型智算加速卡MTTS4000发布-配备48GB显存
摩尔线程大模型智算加速卡MTTS4000发布,配备48GB显存。摩尔线程KUAE智算中心揭幕,发布KUAE全功能GPU集群解决方案。大模型智算加速卡MTT S4000可无缝迁移CUDA代码至MUSA平台,支持多卡互联加速、图像渲染和多媒体等应用,线性加速比可达91%。
摩尔线程新闻详情
摩尔线程今天宣布,首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京成功举办,标志着国内首个以国产全功能GPU为基础的大规模算力集群正式建成,同时也发布了大模型智算加速卡MTT S4000。
以下是MTT S4000的参数:
摩尔线程大模型智算加速卡MTT S4000采用第三代MUSA内核,单卡支持48GB显存和768GB/s的显存带宽。基于摩尔线程自研MTLink1.0技术,MTT S4000可以支持多卡互联,提供千亿大模型的分布式计算加速。同时,MTT S4000还具备先进的图形渲染能力、视频编解码能力和超高清8K HDR显示能力,助力于AI计算、图形渲染、多媒体等综合应用场景。而通过摩尔线程自研MUSIFY开发工具,MTT S4000可以无缝迁移现有CUDA软件生态中的CUDA代码至MUSA平台,实现零成本迁移。
摩尔线程KUAE智算中心解决方案以全功能GPU为基础,是软硬一体化的全栈解决方案,包括以KUAE计算集群为核心的基础设施、KUAE Platform集群管理平台和KUAE ModelStudio模型服务。该解决方案旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案支持开箱即用,大大降低了传统算力建设、应用开发和运维平台搭建的时间成本,实现了快速商业化运营。
摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale等主流分布式框架,并融合了多种并行算法策略,包括数据并行、张量并行、流水线并行和ZeRO。此外,为了实现高效的通信计算并行和Flash Attention,还进行了额外的优化。目前,摩尔线程KUAE支持各类主流大模型的训练和微调,包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等。在摩尔线程KUAE千卡集群的支持下,70B到130B参数的大模型训练的线性加速比可达91%,算力利用率基本保持不变。以2000亿训练数据量为例,智源研究院的700亿参数模型Aquila2可以在33天内完成训练;1300亿参数规模的模型可在56天内完成训练。另外,摩尔线程KUAE千卡集群支持长时间连续稳定运行,支持断点续训,异步检查点时间少于2分钟。
- 苹果iPhone15Pro系列机型-最高配备8GB内存1TB存储[09-12]
- 苹果iPhone16与Plus手机将配备8GB内存-并支持Wi-Fi6E[01-16]
- GDDR7显存标准正式发布-带宽达GDDR6两倍AMD英伟达均将支持[03-07]
- 蔚来NOMIGPT端云多模态大模型正式上线[04-14]
- 魅族MYVUAR眼镜今日首销-搭载FlymeAI大模型到手价2499元[12-05]
- 文心大模型日调用量超5000万次-三星荣耀等企业与百度达成合作[02-29]
- 消息称拼多多已杀入大模型领域-年薪百万招兵买马[11-22]
- 小冰公司宣布获得大模型备案-小米OPPO等召唤小冰功能将切换服务[01-05]
- 英伟达发布最强AI加速卡BlackwellGB200-今年发货[03-19]
- 消息称苹果今年发布5款机型-苹果15Ultra顶配8GB内存2TB存储[09-06]
-
1
-
2
-
3
-
4
-
5
-
6
-
7
-
1
-
2
-
3
-
4
-
5
-
6
-
7