关于混合微调的数据格式

[zyzyyy123]

您好，请问关于混合微调阶段，预训练数据和指令微调数据放在一起训练，数据格式是怎么统一组织的呢？我理解预训练的数据格式是一段text，而指令微调有instruction和output

[ShomyLiu]

任务都是next token prediction，在数据组织的时候，label有所区分即可，指令数据值计算output的loss，其他部分可以设置为-100，从而用Cross Entropy函数可以自动忽略， 对于文本数据的话，就正常计算即可。