【论文复现】InstructorEmbedding

[shiyutang]

背景

INSTRUCTOR同时具有数量级更少的参数，最先进的性能，平均与以前相比提高了3.4%
在70个不同的数据集上获得最佳结果。我们的分析表明，INSTRUCTOR对指令的更改具有鲁棒性，并且该指令微调减轻了在不同的数据集上训练单个模型。这种Instruction在多任务训练的方法也跟现在的LLM的sft训练相契合，后续具有很大的潜力。

解决步骤:

1. 根据开源代码进行网络结构、评估指标转换。代码链接：https://github.com/HKUNLP/instructor-embedding
2. 结合论文复现指南，进行前反向对齐等操作，达到论文Table.2中的指标，训练代码使用paddlenlp的trainer实现。（其中基础模型例如goundingdino等可以参考ppnlp和paddlemix）
3. 参考PR提交规范提交代码PR到paddlenlp中。
   数据集：
   medi-data，参考官方readme。
   

[shiyutang]

qiuwenbogdut 已报名