内容预览
【Llama31开源大模型引领AI领域全新变革】Meta发布的Llama3.1是其迄今为止体量最大的开源AI模型，在多项基准测试中表现卓越。
Llama3.1包含8B、70B和405B三个参数规模，适用于多语言代理、复杂推理和编码助手等多种场景。其上下文窗口从8k增加到了128K，扩大16倍，同时支持英、德、法等八种语言。405B版本模型在超过15万亿个token上进行训练，使用了1.6万块H100的GPU。该模型采用标准的仅解码器Transformer架构并加以细微调整，通过迭代的post - training流程提升性能。
在150多个基准测试中，Llama3.1的405B版本追平甚至超越了GPT - 4o和Claude3.5Sonnet等闭源模型，标志着开源模型在性能上首次超越闭源模型。405B版本的模型在常识、可操纵性、数学、工具使用和多语言翻译等方面展现出超越现有顶尖模型的能力，8B和70B升级版本与同等参数下的顶尖模型能力基本持平。
Llama3.1的发布具有重要意义，它使开发者可以自由使用其“蒸馏”输出来训练小众模型，加快专业领域的创新和部署周期。Meta承诺继续推动开源人工智能发展，随着Llama3.1的发布，开源AI有望成为行业新标准，与全球开发者和合作伙伴一起造福全人类。