当前位置：主页聚焦 > > 正文

MosaicML发布300亿参数的MPT-30B语言模型，训练成本大幅降低环球新要闻

时间： 2023-06-25 16:11:29 来源： ITBEAR

(资料图片仅供参考)

【ITBEAR科技资讯】6月25日消息，AI 创业公司MosaicML近日发布了一款名为MPT-30B的语言模型，该模型拥有300亿参数，训练成本远低于其他竞争对手，有望推动AI模型在更广泛领域的应用并逐步降低训练成本。

MosaicML首席执行官兼联合创始人Naveen Rao表示，MPT-30B的训练成本仅为70万美元(约502.44万元人民币)，远低于类似产品如GPT-3所需的数千万美元训练成本。该模型由于成本低、体积小，可以更快速地进行训练，并且更适合在本地硬件上部署。

据ITBEAR科技资讯了解，MosaicML采用了Alibi和FlashAttention技术来优化模型，这些技术可以实现更长的文本长度和更高的GPU计算利用率。MosaicML还是少数几个能够使用Nvidia H100 GPU的实验室之一，相较于以往的成果，他们的每块GPU吞吐量提高了2.4倍以上，从而可以更快地完成训练过程。

除了使AI技术更易获取外，MosaicML还专注于提高数据质量并提升模型性能。他们目前正在开发一款工具，可以在预训练过程中逐步引入特定领域的数据，以确保训练中包含多样化且高质量的数据组合。

MosaicML表示，将模型参数扩展到300亿只是第一步，接下来他们将以降低成本为前提，推出更大体积、更高质量的模型。

需要注意的是，开发者可以从Hugging Face下载并使用开源的MPT-30B基础模型，还可以使用自己的数据在本地硬件上进行微调。

关键词：

行业资讯

知名品牌

高通公司孟樸：以5G赋能千行百业助推数字经济高质量发展

MosaicML发布300亿参数的MPT-30B语言模型，训练成本大幅降低环球新要闻

相关文章