纽约大学的一项研究揭示了大型语言模型（LLM）在医学信息训练中的潜在风险。研究表明，即使训练数据中仅含有 0.001% 的错误信息，也可能导致模型输出不准确的医学答案。
数据“投毒”是一个相对简单的概念。LLM 通常通过大量文本进行训练，这些文本大多来自互联网。通过在训练数据中注入特定信息，可以使模型在生成答案时将这些信息视为事实。这种方法甚至不需要直接访问 LLM 本身，只需将目标信息发布到互联网上，便可能被纳入训练数据中。例如，一家制药公司只需发布几份针对性文件，便可能影响模型对某种药物的认知。
据AI在线了解，研究团队选择了一个常用于 LLM 训练的数据库“The Pile”作为研究对象。该数据库包含大量医学信息，其中约四分之一的来源未经人工审核，主要来自互联网爬取。研究人员在三个医学领域（普通医学、神经外科和药物）中选择了 60 个主题，并在“The Pile”中植入了由 GPT-3.5 生成的“高质量”医学错误信息。结果显示，即使仅替换 0.5% 至 1% 的相关信息，训练出的模型在这些主题上生成错误信息的概率也显著增加，且这些错误信息还会影响其他医学主题。
研究人员进一步探讨了错误信息的最低影响门槛。以疫苗错误信息为例，即使错误信息仅占训练数据的 0.01%，模型生成的答案中就有超过 10% 包含错误信息；当错误信息比例降至 0.001% 时，仍有超过 7% 的答案是有害的。研究人员指出，针对拥有 700 亿参数的 LLaMA 2 模型进行类似攻击，仅需生成 4 万篇文章（成本低于 100 美元）便可。这些“文章”可以是普通的网页，可以把错误信息放置在网页中不会被正常浏览到的区域，甚至可以通过隐藏文本（如黑色背景上的黑色文字）来实现。
研究还指出，现有的错误信息问题同样不容忽视。许多非专业人士倾向于从通用 LLM 中获取医学信息，而这些模型通常基于整个互联网进行训练，其中包含大量未经审核的错误信息。研究人员设计了一种算法，能够识别 LLM 输出中的医学术语，并与经过验证的生物医学知识图谱进行交叉引用，从而标记出无法验证的短语。虽然这种方法未能捕捉所有医学错误信息，但成功标记了其中大部分内容。
然而，即使是最好的医学数据库（如 PubMed）也存在错误信息问题。医学研究文献中充斥着未能实现的理论和已被淘汰的治疗方法。
研究表明，即使依赖最优质的医学数据库，也无法保证训练出的 LLM 完全免受错误信息的影响。医学领域的复杂性使得打造一个始终可靠的医学 LLM 变得尤为困难。
