亿参数！或将月日发布迄今最强大模型

不到两周后，我们可能就会见到迄今为止最强大的开源Llama3模型。

美东时间7月12日周五，媒体援引一名MetaPlatforms的员工消息称，亿参数！或将月日发布迄今最强大模型Meta计划7月23日发布旗下第三代大语言模型（LLM）Llama3的最大版本。这一最新版模型将拥有4050亿参数，也将是多模态模型，这意味着它将能够理解和生成图像和文本。该媒体未透露这一最强版本是否开源。

Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。

去年7月Meta发布的Llama2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama3有8B和70B两个版本。

MetaCEO扎克伯格当时称，大版本的Llama3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama3开源，当时它还在接受训练。

对比前代，Llama3有了质的飞跃。Llama2使用2万亿个token进行训练，而训练Llama3大版本的token超过15万亿。

Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。在推理、代码生成和指令跟踪等功能方面，Llama3相比Llama2有极大改进，使Llama3更易于操控。

4月Meta展示，8B和70B版本的Llama3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude3。8B和70B版本的预训练Llama3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。

当时社交媒体的网友评论称，根据基准测试，当前的Llama3模型不完全是GPT-4级别的，但仍在训练中的较大尺寸的模型将达到GPT-4级别。

英伟达高级科学家JimFan认为，Llama3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。

从JimFan分享的基准测试可以看出，Llama3400B的实力几乎媲美Claude“超大杯”以及新版GPT-4Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。

此后有消息称，研究人员尚未开始对Llama3进行微调，还未决定Llama3是否将是多模态模型；正式版的Llama3将会在今年7月正式推出。

不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral等竞争对手也发布了免费的AI模型。

Llama3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama3、Mixtra，刷新了全球最大开源模型的纪录。

Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoEMLP组成，并在3.5万亿个token上进行了训练。相比Llama38B和Llama270B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。（李丹）