据google民间新闻稿,google近日推出了一项名为 Cappy 的模型打分框架,该框架以 RoBERTa 谈话模型为基础,主要用于检测模型输入的实质,并为相干实质打分,之后相干分数将会作为参考基准让模型学习,从而让模型更聪明。▲ 图源 google民间新闻稿(下同)此外,Cappy 框架也可以作为大谈话模型的“候选机制”,该框架可以内置在模型中,并对模型预输入的实质生成分数,并选择分数最高的回应作为最终输入,以提高大谈话模型输入实质的正确性。研究职员提到,相对于业界其他方案,Cappy 框架的 RAM 用量更低,这是由于相干框架无需
据google民间新闻稿,google近日推出了一项名为 Cappy 的模型打分框架,该框架以 RoBERTa 谈话模型为基础,主要用于检测模型输入的实质,并为相干实质打分,之后相干分数将会作为参考基准让模型学习,从而让模型更聪明。
▲ 图源 google民间新闻稿(下同)
此外,Cappy 框架也可以作为大谈话模型的“候选机制”,该框架可以内置在模型中,并对模型预输入的实质生成分数,并选择分数最高的回应作为最终输入,以提高大谈话模型输入实质的正确性。
研究职员提到,相对于业界其他方案,Cappy 框架的 RAM 用量更低,这是由于相干框架无需会见模型参数,因此该框架也能够兼容各种闭源大模型,包括仅支持通过 Web API 会见的模型。
IT之家从陈诉中得知,研究职员使用 PromptSource 的 11 项谈话理解分类任务中测试 Cappy 框架,该框架虽然仅拥有 3.6 亿参数,但陈诉显示该框架的实际纠错性能优于规模更大的 OPT-175B 和 OPT-IML-30B 模型,因此具有一定前瞻意义。