DITTO

人类的教育方式，对大模型而言也很适用。养育孩子时，古往今来人们都会谈到一种重要方式：以身作则。也就是让自己成为孩子师法进修的范例，而不是单纯地告诉他们应该怎么做。在训练大语言模型（LLM）时，我们或许也能采用这样的方式 —— 向模型进行示范。近日，斯坦福大学杨笛一团队提出了一种新框架 DITTO，可通过少量示范（用户提供的期望行为示例）来将 LLM 与特定设置对齐。这些示例可以从用户现有的交互日志…