LLM大模型: DPO原理和源码解析

 　　1、前段时间国外某大学反向抄袭国内某团队的大模型闹得沸沸扬扬，国内被抄袭的大模型是MiniCPM，详细资料：https://github.com/OpenBMB/MiniCPM ； 能被国外同行抄袭，必定有过人之处，粗略看了一下https://github.com/OpenBMB/MiniCPM/blob/main/model/modeling_minicpm.py 模型文件，发现整个结构和llama类似，没啥特别的，如下：

         

 　  既然模型整体的结构和llama接近，没啥特别的，效果好就看整个训练策略了！作者详细介绍了训练策略：https://shengdinghu.notion.site/MiniCPM-c805a17c5c8046398914e47f0542095a  主要是从这5个方面优化的：

• Hyper-parameters
• Batch size
• Learning Rate
• Learning Rate Scheduler
• Data Strategy

　　所以要想大模型效果好，有个大的改进方向：

• 改模型细节：比如llama用旋转位置编码代替绝对位置编码、采用flashAttention等
• 改训练策略：比如MiniCPM

　   MiniCPM训练策略介绍的文章中指出：采用DPO对齐后，MiniCPM的得分甚至超过了llama2-70b-chat，效果很好啊！这个DPO又是啥了？

   

 　 2、目前市面上主流LLM，界面上都有反馈功能：觉得好的点赞，绝不不好的点倒赞！背后用的就是强化学习！现成已经实现的库在这里：https://github.com/huggingface/trl

     

 

 

 

参考：

1、https://www.bilibili.com/video/BV1vy4y1P7GT/?spm_id_from=333.788&vd_source=241a5bcb1c13e6828e519dd1f78f35b2   强化学习TRL包源码解读S2——PPO

2、https://shengdinghu.notion.site/MiniCPM-c805a17c5c8046398914e47f0542095a    MiniCPM：揭示端侧大语言模型的无限潜力

3、https://zhuanlan.zhihu.com/p/686664720  如何从零开始训练大模型（minicpm分享&讨论）

4、https://www.bilibili.com/video/BV1Lt421V7K6/?spm_id_from=333.337.search-card.all.click&vd_source=241a5bcb1c13e6828e519dd1f78f35b2    MiniCPM-2B-dpo-bf16MiniCPM-2B-dpo-fp32gradio webdemo演示系统及GPU占用情况