专门开发大言语模型(LLM)评价东西的 Patronus AI 日前发布了一款名为“CopyrightCatcher”的 API,可用来检测大言语模型的输入结果中是否含有侵权实质,目前相干东西 DEMO 已经放出,感兴趣的小伙伴可以点此访问下载。
▲ 图源 Patronus AI 官方新闻稿
Patronus AI 表示,市面上常见的大言语模型的训练数据中经常含有受到版权保护的实质,因此这些模型很容易输入相应版权实质,从而为部署相干模型的企业带来重大法律风险,因此他们推出了 CopyrightCatcher API,旨在解决相干侵权问题。
据介绍,为了检查大言语模型输入数据是否含有侵权实质,Patronus AI 钻研职员从 Goodreads 书平台中抽取了一批受到版权保护的笔墨样本对模型进行对抗性训练,并基于这些书建立了 100 则暗示语段。
IT之家从报告中得知,相干语段中有 50 则要求模型“生成书的第一段”,另外 50 则要求模型生成书中的笔墨片段,钻研职员根据上述语段整理汇总而成 CopyrightCatcher API,号称可用来检测大言语模型如何“精确地从原始训练数据复制实质”,同时还能评价模型输入侵权实质的概率。
钻研职员使用 OpenAI 的 GPT-4 、Mistral 的 Mixtral-8x7B-Instruct-v0.1、Anthropic 的 Claude-2.1,以及 Meta 的 Llama-2-70b-chat 进行测试,最终发现 GPT-4 最容易生成侵权实质,Claude-2.1 最难生成侵权实质:
GPT-4:44%
Mixtral-8x7B-Instruct-v0.1:22%
Llama-2-70b-chat:10%
Claude-2.1:8%