语言模型简单来说就是一串单词的概率分布，它的主要功能是为长度为m的文本确定一个概率分布p，表示这个文本存在的可能性。

你可能之前或多或少听过OpenAI最新的语言模型GPT-3，它被称为表面上最强的语言模型，也被视为革命性的人工智能模型。除此之外，还有一些重量级产品如BERT、Switch Transformer等，行业内其他企业也在尝试推出自己的车型。

微软和NVIDIA今天宣布了由DeepSpeed和威震天驱动的威震天-图灵自然语言生成模型，这是迄今为止训练出来的最大、最强大的解码语言模型。

IT之家了解到，作为图灵NLG 17B和威震天-LM的继承者，这个模型包含了5300亿个参数，MT-NLG的参数数量是GPT-3的3倍，是同类中现存最大的模型，在：等一系列广泛的自然语言任务中表现出无与伦比的准确性。

完整的预测。

阅读理解

常识推理

自然语言推理

词义消歧

基于105层转换器的MT-NLG在零样本、单样本和少样本的设置上改进了最先进的模型，并为两个模型的大规模语言模型设定了新的标准和质量。

据悉，模型训练是在基于NVIDIA DGX superpad的塞勒涅超级计算机上混合精度完成的，该超级计算机由560台DGX A100服务器支持，与HDR InfiniBand以完整的胖树配置连接。每台DGX A100都有8个NVIDIA a100 80gb tensorcore GPUs，它们通过NVLink和NVSwitch完全连接在一起。微软Azure NDv4云超级计算机采用了类似的参考架构。

更多信息请参考微软和NVIDIA官方说明：

微软

显卡

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。