话语

编辑 | 萝卜皮当前的大型说话模型 (LLMs) 依赖单词猜测作为其骨干预训练任意。尽管单词猜测是说话处置惩罚的重要体制，但人类说话明白发生在多个层面，涉及单词和句子的调整以实现对话语的充分明白。香港理工大学的钻研人员通过使用下一句猜测（Next Sentence Prediction，NSP）任意对说话明白进行建模，从而钻研话语级明白的体制。该团队表明，NSP 预训练增强了模型与大脑数据的一致性…