Meta Llama-3-70B 中文 | 免费 AI 工具

引言：Meta-Llama-3-70B 简介

在自然语言处理领域,大型语言模型(LLM)的发展令人叹为观止,这些模型能够以前所未有的准确性和流畅度来理解和生成类人的文本。在这场革命的前沿地位就属Meta,这家开拓性的公司一直在不断推进人工智能的极限。

今天,Meta推出了其最新、最具雄心的项目:Llama 3,这是一款革命性的大型语言模型,代表了自然语言处理领域的一个重大飞跃。凭借其突破性的架构、大规模训练数据和创新的扩展技术,Llama 3有望重新定义语言模型的能力,并开启AI驱动应用的新领域。

Meta-Llama-3-70B 突破性的性能表现

70B参数的Llama 3模型为其规模的大型语言模型确立了新的最高水准,在广泛的基准测试和真实世界用例中,它都超越了GPT-3.5和Claude Sonnet等先前模型。

Meta进行了12个关键用例的人工评估,包括:

• 寻求建议
• 头脑风暴
• 分类
• 闭卷问答
• 编码
• 创作写作
• 提取
• 扮演角色/人物
• 开放式问答
• 推理
• 重写
• 总结

这项评估涉及1,800个提示,结果突出了Llama 3在真实场景中与同等规模的竞争模型相比的卓越表现,人工注释员的偏好排名如下:

Llama 3的预训练模型在8B和70B规模上也确立了大型语言模型的新标准,在各种基准测试中超越了先前的模型,包括:

• 常识问答
• STEM问答
• 代码生成 (HumanEval)
• 历史知识

大规模多样化训练数据

Llama 3卓越表现的关键因素之一就是其训练数据的规模和多样性:

• 超过15万亿个标记,是Llama 2训练数据集的7倍
• 代码数据比Llama 2多4倍
• 超过5%的预训练数据是覆盖30多种语言的高质量非英语数据

Meta采用了一系列数据过滤流程来确保训练数据的最高质量,包括:

• 启发式过滤器
• 非正当内容过滤器
• 语义去重方法
• 预测数据质量的文本分类器

有趣的是,Meta利用Llama 2本身来生成用于Llama 3文本质量分类器的训练数据,这展示了该模型自我改进的能力。

扩展预训练规模

Meta为下游基准评估开发了详细的扩展规律,使他们能够选择最佳的数据组合,并就如何最有效利用训练计算资源做出明智决策。

在Llama 3的开发过程中观察到的扩展行为显示:

• 即使在训练了高达15万亿个标记之后,模型性能仍在持续对数线性提高,远远超过了8B参数模型的Chinchilla最佳训练计算量。
• 像70B这样的大型模型可以用更少的训练计算就与小型模型的性能相当,但小型模型在推理期间通常更高效,因此更可取。

为了训练Llama 3的最大型号,Meta结合了三种并行化方法:

• 数据并行化
• 模型并行化
• 流水线并行化

他们最高效的实现在同时使用16,000个GPU进行训练时,每个GPU的计算利用率超过400 TFLOPS,这是一项了不起的工程壮举。

指令微调和负责任使用

要在聊天用例中充分发挥Llama 3预训练模型的潜力,Meta在指令微调方面进行了创新。他们的方法结合了监督式微调(SFT)、拒绝采样、近端策略优化(PPO)和直接策略优化(DPO)。

在SFT中使用的提示质量和在PPO和DPO中使用的偏好排名对于对齐模型的性能影响重大。通过仔细策划这些数据并对人工注释员提供的注释进行多轮质量保证,模型质量获得了一些最大的改进。

通过PPO和DPO从偏好排名中学习也极大提高了Llama 3在推理和编码任务上的表现,使模型能够学会如何选择正确的推理路径或代码解决方案。

Meta还采用了系统级方法来负责任地开发和部署Llama 3,包括:

• 广泛的红队测试,评估与化学、生物、网络安全和其他风险领域相关的滥用风险。
• 新的信任和安全工具,如Llama Guard 2、CyberSec Eval 2和Code Shield(用于过滤LLM生成的不安全代码的推理时防护栏)。
• 更新负责任使用指南(RUG),为负责任地开发LLM提供全面框架。

部署和未来计划

Llama 3即将在所有主要平台上推出,包括:

• 云供应商
• 模型API提供商
• 等等

Meta的基准测试显示,改进的标记器和GQA的添加有助于保持与Llama 2 7B相当的推理效率,尽管70B模型的参数多出10亿。

虽然8B和70B模型标志着Llama 3发布的开端,但Meta正在开发更大的模型,计划在未来几个月内推出多模态、多语种能力、更长的上下文窗口和更强的整体性能。一旦Llama 3的训练完成,也将发布详细的研究论文。

Meta致力于开放式人工智能生态系统的持续发展,坚信开放有利于打造更好、更安全的产品,加速创新,并促进整个市场的健康发展。Meta以社区为先的方式推出Llama 3,旨在为AI技术的下一波创新在整个技术栈上拉开序幕,从应用到开发者工具、评估到推理优化等等。

结论

Meta Llama 3及其突破性的70B参数模型,代表了大型语言模型发展的一个重要里程碑。其卓越的性能、大规模多样化的训练数据、创新的扩展技术以及负责任的开发方法,使其成为自然语言处理领域的一个游戏规则改变者。随着Meta不断推进LLM的极限,开放的人工智能生态系统必将从Llama 3带来的创新和进步中获益。