原文地址：https://zhuanlan.zhihu.com/p/634180659

· 

关于认知

· 

1. 

知识来自于pretrain阶段，指令微调通常只不过是为了让LLM显示地输出已具备知识。

2. 

延申下来，可以理解Llama（原生）是一个会听不会讲中文的人，用中文语料做指令微调，实际上更多是教他“说中文”。换句话说，指令微调可以教他”用中文写文章“，但不会教他“写文章”本身。

3. 

模型一但学会中文后，一些指令微调数据集里没见过的中文词汇它竟然也可以理解和输出，这里有些惊奇。

4. 

但这并不意味着指令微调除了教模型”更好地说话“以外没有其他作用，事实上在这个阶段模型也能学到一定的知识。例如用高质量领域数据集进行微调，模型可以学会很多本身不具备的新技能。

5. 

如果说指令微调是为了让模型“能说会说”，那RLHF更多是让模型“说得更符合心意”。

6. 

尽管RLHF阶段的LOSS设计会驱使模型的输出不要偏离SFT太多，但仍可能会造成NLU能力的损失。

7. 

指令微调并不是数据量越多越好，可能10k左右就够了。数据质量可能更重要，太大的数据量有可能“阉割”掉模型原有的base能力

8. 

多TASK或者多语言混合微调可能会有更好的效果，TASK不足的情况下考虑增加目标任务的数据量

9. 

目前的LLM如GPT、Llama、chatGLM等都可以理解为是一个“办公助手”的角色，想真正做到拟人，其实还是要靠角色扮演prompt。但情感链接这块，和真人还是有很大差距。换句话说，你时刻都能感觉到自己是在和AI对话，而不是一个“有情感”的机器人。

关于训练

1. 

Lora框架peft需要torch>=1.13.1，torch1.13.1可能需要cuda11.7，安装环境够让人头疼一会了。

2. 

Lora配合int8可以大幅度降低显存，但deepspeed不支持int8。如果想同时使用，要么float16，要么换accelerate包

3. 

int8推理太慢了！

4. 

指令微调可以理解是【Q+A】文本拼接，其中Q部分没必要计算loss，设置ignore_index即可。参考alpaca

5. 

实测chatGLM的tokenizer中文分词其实做的挺一般的，如果想做第4点，数据处理时需要格外注意，它有可能把拼接的位置切错

6. 

中文指令微调需要注意max_length，别傻傻照抄256/512

7. 

一般情况下lr选择9e-6到1e-5即可

8. 

据说batch size大一点性能会更好，但这个还真没实验过

9. 

拿中文对话数据集在Llama（中文）上训了一次，结果很捞，没想通为啥。可能真人对话数据和指令微调数据（偏书面）差距太大了，模型学懵了

------------------------------------------------

0606更新：

关于认知

10. 假设有一道多选题，那答案的设置最好是ABCD而不是1234，对于模型来说可能这几个数字没有太大区别，尤其是底座模型能力相对比较弱的情况下。

11. 一个很玄学的东西，相对于人类语言，模型可能更容易理解“模型语言”。解释起来就是：有时候人精心写的prompt或few shot，可能还不如模型自己生成的case（尽管这些case可能是错的），参考auto CoT

12. pretrain阶段，可能数据量+质量的优先级大于epoch。且pretrain使用过的语料，微调阶段没必要再用一次，几乎没有提升了。

关于训练

10. 微调时候，prompt和output尽量别重复，否则真的会在这个句式上过拟合的

一些猜想

1. 

领域微调，尤其是做一些特殊任务时，模型参数越大可能越难训。可以理解数据是一个“撬棍”，模型是一个“巨大的火车头”，想让“火车头”朝着你指定的方向行驶，要么靠原有的“铁轨”（即模型本身就有这个能力），要么靠微调数据这个小棍子。当这个车头太重且撬棍很小时，其实很难掰动车头的

2. 

总感觉现在这些模型的多轮对话做的有问题，只是简单的把上一轮对话扔进下一轮的input里，时间久了max_length和显存爆炸，chatGPT就没这个问题。可能把历史对话做一个摘要或embedding映射更合理一点？

3. 

0626补充：chatGLM2出来了，max_length起飞，方法不变。事实证明是我想多了

4. 

接3。GLM2改动还是挺多的，仔细看了一下源码，受益匪浅。之前的回答是我太浅薄了～

5. 

到底Llama是咋看懂中文的呢？怀疑预训练数据清洗时没有洗干净，输入里掺杂了一些中文或翻译任务

出自：https://mp.weixin.qq.com/s/enZ0yV6-DtH8qHYMMqBpcQ