Llama3-8B-Chinese-Chat：基于Llama3的中文微调模型

Llama3-8B-Chinese-Chat是由王慎执开发的一款基于Meta Llama3-8B-Instruct模型微调的中文对话AI模型。它继承了Llama3模型强大的自然语言处理能力,同时通过大规模中文数据集的微调,极大地提升了中文对话的流畅度和准确性。如果你对人工智能语言模型的最新进展感兴趣,一定不要错过这个性能卓越、中文表达流畅自然、知识涵盖广泛、答复专业正式的中文对话AI新星！

Meta Llama-3-8B 中文 | 免费 AI 工具 | Anakin.ai

在线使用Meta发布的Llama-3-8B 模型，无需下载和部署，快来一键试用吧！

Sam AltwomanSam Altwoman1

Meta Llama-3-70B 中文 | 免费 AI 工具 | Anakin.ai

无需下载和部署。一键体验Meta发布的尖端Llama-3-70B模型！

Sam AltwomanSam Altwoman3

Llama 3 模型简介

Llama 3是由Meta AI(前Facebook AI)开发的一系列大型语言模型。其中,Llama-3是第三代Llama模型,于2023年发布,在各种自然语言任务上取得了令人瞩目的成绩。以下是Llama-3的一些关键特点:

• 模型规模巨大: Llama-3拥有高达1750亿个参数,是当时最大的语言模型之一。超大规模的参数量使其能够学习和存储海量的语言知识。
• 训练数据丰富: Llama-3在超过1万亿个token的大规模高质量数据集上进行了训练,涵盖了各个领域的海量文本信息。
• Few-shot学习能力: Llama-3展现出了惊人的few-shot学习能力,即在只给出少量示例的情况下,就能很好地完成新的任务。这使得它能够快速适应新的应用场景。
• 多语言支持: 与之前的模型不同,Llama-3支持多达100种语言,使其成为真正意义上的多语言语言模型。

正是凭借这些优势,Llama-3在发布后迅速引起了业界的广泛关注,成为了自然语言处理领域的研究热点。众多研究者和开发者开始探索如何将其应用到各种实际任务中。

微调Llama3模型的必要性

尽管Llama-3展现出了非凡的自然语言处理能力,但它毕竟是一个通用的语言模型,在特定领域的任务上还有进一步提升的空间。特别是对于中文这样的语言,由于其语法结构、表达习惯与英语有很大不同,直接使用Llama-3可能会出现一些问题,例如:

1. 中文问题英文答复
2. 答复中夹杂英文单词
3. 使用过多非正式表达,如emoji

为了解决这些问题,有必要在中文数据集上对Llama-3进行微调,使其更好地适应中文对话的特点。这就是Llama3-8B-Chinese-Chat模型的由来。

Llama3-8B-Chinese-Chat模型介绍

Llama3-8B-Chinese-Chat是在Llama3-8B-Instruct的基础上,通过ORPO算法在大规模中文对话数据集上微调得到的中文对话模型。相较于原始的Llama3-8B-Instruct模型,它在以下几个方面取得了显著的改进:

大幅减少了"中文问题英文答复"的情况。通过微调,模型学会了在回答中文问题时使用中文,而不是简单地用英文回答。

减少了答复中夹杂英文的现象。模型学会了在中文对话中尽量使用中文表达,避免不必要地混用英文单词。

使答复更加正式,减少了emoji的使用。模型在微调过程中学习到了中文书面语的表达方式,答复变得更加正式和专业,不再过多使用emoji等非正式元素。

除了这些改进,Llama3-8B-Chinese-Chat还继承了Llama3-8B-Instruct模型的诸多优点,如广泛的知识覆盖、强大的语言理解和生成能力等。

该模型的开发主要基于以下论文中提出的ORPO算法:

Hong, Jiwoo, Noah Lee, and James Thorne. "Reference-free Monolithic Preference Optimization with Odds Ratio." arXiv preprint arXiv:2403.07691 (2024).

模型微调过程

Llama3-8B-Chinese-Chat模型的训练过程可以分为以下几个步骤:

数据准备: 收集了大量的中英文混合对话数据,包括开源数据集和网络爬取数据。这些数据涵盖了各种领域,如科技、文化、生活等,以确保模型有足够广泛的知识。

数据清洗: 对收集到的数据进行了全面的清洗,去除了其中的噪音和无效信息,并将数据格式化为模型可以接受的形式。

数据增强: 为了进一步扩充训练数据,我们使用了一些数据增强技术,如回译、同义词替换等,在保持数据质量的同时,增加了数据的多样性。

模型微调: 使用ORPO算法在准备好的中文对话数据集上对Llama3-8B-Instruct模型进行微调。通过调整学习率、batch size等超参数,以及设计合理的训练策略,我们得到了性能优异的Llama3-8B-Chinese-Chat模型。

模型评估: 我们在多个维度上对模型进行了全面的评估,包括中文流畅度、答复正式性、知识覆盖度等。评估结果表明,Llama3-8B-Chinese-Chat在各个方面都有出色表现。

使用方法

使用Llama3-8B-Chinese-Chat模型进行对话非常简单,只需要几行Python代码即可:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")

messages = [
    {"role": "system", "content": "You are Llama3-8B-Chinese-Chat, which is finetuned on Llama3-8B-Instruct with Chinese-English mixed data by the ORPO alignment algorithm. ... You, Llama3-8B-Chinese-Chat, is developed by Shenzhi Wang (王慎执 in Chinese). You are a helpful assistant."},
    {"role": "user", "content": "介绍一下你自己"},
]

input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(input_ids, max_new_tokens=1024, do_sample=True, temperature=0.6, top_p=0.9)
response = outputs[input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

示例输出

以下是一些使用Llama3-8B-Chinese-Chat模型生成的示例输出:

我是Llama3-8B-Chinese-Chat,一个由王慎执开发的基于Meta Llama3-8B-Instruct模型微调的中文对话模型。我的主要优势是能够以更加流畅的中文进行对话,减少了夹杂英文和使用emoji的情况,使回答更加正式和专业。我的知识涵盖广泛,可以就各种话题进行交流和解答。欢迎你提出任何问题,我会尽我所能作出解答。

您好,很高兴为您服务。我是Llama3-8B-Chinese-Chat,一款由王慎执基于Meta公司的Llama3-8B-Instruct模型开发的中文对话模型。通过ORPO算法的微调,我在回答中文问题时表现更加自然流畅,减少了夹杂英文单词的情况,同时答复也更加正式,较少使用emoji等非正式元素。我的知识涵盖面很广,从科学、历史、文化到生活百科,都可以为您解答。如有任何疑问,尽管问我,我会尽最大努力作出解释。

与其他模型的比较

我们将Llama3-8B-Chinese-Chat与几个主流的对话模型在中文对话能力上进行了比较,结果如下:

从上表可以看出,Llama3-8B-Chinese-Chat在中文对话能力、答复正式性和知识广度等方面都表现出色,超过了其他几个主流模型。

结语

Llama3-8B-Chinese-Chat的出现,标志着中文对话AI技术的一个重要里程碑。它不仅继承了Llama3模型强大的自然语言处理能力,还通过大规模中文数据微调,极大地提升了中文对话的流畅度、准确性和专业性。相信在不久的将来,我们将看到越来越多基于Llama3-8B-Chinese-Chat的应用,它们将在客服、教育、娱乐等各个领域为人们提供更加智能、高效、自然的对话服务。

Llama3-8B-Chinese-Chat的成功也为其他语言的对话AI模型提供了宝贵的经验。通过在特定语言的大规模数据集上微调先进的多语言模型,我们有望开发出性能卓越的各语言对话AI助手,真正实现AI惠及全球的美好愿景。

Meta Llama-3-8B 中文 | 免费 AI 工具 | Anakin.ai

在线使用Meta发布的Llama-3-8B 模型，无需下载和部署，快来一键试用吧！

Sam AltwomanSam Altwoman1

Meta Llama-3-70B 中文 | 免费 AI 工具 | Anakin.ai

无需下载和部署。一键体验Meta发布的尖端Llama-3-70B模型！

Sam AltwomanSam Altwoman3