如何评估SFT训练性能

[2402227288]

对于SFT训练，除了可以看他的mean_token_accuracy是否稳定0.9左右，怎么判断是否训练好了，能否进行强化学习了，是否需要通过pass@k这种形式进行进一步的测验呢，想请教下作者当时是如何评估的

[tulerfeng]

Hi
我们当时没有进行sft 的消融和评估，只是直接取 1 epoch的 checkpoint进行RL 训练。

如何判断SFT要多少step，没有一个公认的标准。最简单的方法就是，拿不同steps的SFT checkpoint进行 1000步的RL，看哪些checkpoint表现好。