Baichuan-13B 保姆级微调范例
AI魔法学院
2023-08-13
分享海报

干货预警:这可能是你能够找到的最容易懂的最完整的适用于各种NLP任务Baichuan-13B-Chat的finetune教程~

Baichuan-13B是百川智能于2023年7月11日发布的开源中英双语LLM,各项指标经评测在开源LLM中同尺寸模型中位居前列。

Baichuan-13B包括Baichuan-13B-Base和Baichuan-13B-chat两个不同模型。前者仅仅是预训练模型,后者在前者基础上增加了SFT,RLHF等偏好对齐过程。

本范例微调的模型是Baichuan-13B-Chat,我们使用非常简单的,外卖评论数据集来实施微调,对一段外卖评论区分是好评还是差评。

可以发现,经过微调后的模型,相比直接 3-shot-prompt 可以取得明显更好的效果(0.89->0.90)。

虽然Baichuan-13B-Chat是一个百亿级的LLM,但由于我们使用非常节约显存的QLoRA微调算法,具备32G左右显存的GPU即可实施本过程。

值得注意的是,尽管我们以文本分类任务为例,实际上,任何NLP任务,例如,命名实体识别,翻译,聊天对话等等,都可以通过加上合适的上下文,转换成一个对话问题,并针对我们的使用场景,设计出合适的数据集来微调Baichuan-13B-Chat.

注,本教程是 ChatGLM2-6b保姆级微调范例 的兄弟版本~ 😋

出自:https://mp.weixin.qq.com/s/2wgQgApJpG_UfCNWMRKpIg

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip