知识

如何向大模型注入知识?达摩院通义对话模型SPACE系列探索

如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式,将对话领域的少量有标数据和海量无标数据一起进行预训练,从而把标注数据中蕴含的知识注入到预训练模型中去,打造了 SPACE 1/2/3 系列模型。SPACE-1:注入对话策略知识,AAAI 2022 长文录用;SPACE-2:注入对话理解知识,COLING 2022 长文录用,并获 best paper award 推荐;SPACE-3:集对话理解 对话策略 对话生成于一体的模型, SIGIR 2

达观电网故障知识图谱,三大功能全面提升电网故障处置效率

达观推出电力故障模式知识图谱,借助自然语言处理、深度学习、图计算等智能化技术从非结构化的故障处置文档中抽取出故障相关知识,并将这些知识组织成结构化、可视化的表示形式。

服务量化投资,基于知识图谱的事件表征框架研究入选SIGIR

瞰点科技和上海交大的研究团队提出了一种服务于量化投资的基于知识图谱的事件表征框架,称为 Knowledge Graph-based Event Embedding Framework(KGEEF)。通过在真实股票市场上进行的大规模实验表明,本文提出的方法显著有助于量化投资的策略提升。

刷新50多个NLP任务基准,并登顶SuperGLUE全球榜首,百度ERNIE 3.0知识增强大模型显威力

百度 ERNIE 3.0 不仅一举刷新 54 个中文 NLP 任务基准,而且进一步挖掘大规模预训练模型的潜力,首次在百亿级预训练模型中引入大规模知识图谱。