检索 - AI在线

大模型检索增强生成之向量数据库的问题

作为技术人员我想大家或多或少应该都接触过数据库技术，数据库技术的历史可以说是由来已久了；但数据库的发展也是一路曲折，特别是随着互联网体量的快速增加，对数据库的要求也变得越来越多。而且为了适应各种不同的业务场景，数据库系统也是紧跟潮流发展出多种类型的数据库；比如说传统的关系型数据库，缓存数据库，以及大数据处理的数据库；直到今天的向量数据库。关系型和缓存数据库就不用说了，今天我们就来聊聊向量数据库系统。

RAG：让大模型知道更多东西

虽然我们说大模型的特点之一是知识丰富，但这里的知识仅限于通用的知识，也就是网上能够很容易找到的知识。对于一些特定的知识，比如你所在业务领域的知识，它就一无所知了。个中缘由，不言而喻，大模型训练时，根本不可能拿到你们公司的数据。

解读GraphRAG

RAG 结合了大型语言模型和信息检索模型的力量，允许它们用从大量文本数据中提取的相关事实和细节来补充生成的响应。事实证明，这种方法在提高模型输出的实际准确性和总体质量方面是有效的。图片然而，随着 RAG 系统得到更广泛的采用，它们的局限性开始浮出水面，具体而言：平面检索: RAG 将每个文档作为一个独立的信息。

LightRAG: 港大黄超团队打造简单高效的RAG系统, 大幅降低大模型检索增强成本

项目地址：: ，结合了图结构与双层检索机制，显著降低了大模型检索增强的成本，同时提升了信息检索的准确性和效率。首先，通过引入图结构，LightRAG能够更好地捕捉实体之间的复杂依赖关系，实现全面的信息理解。其次，其双层检索策略允许系统同时处理具体和抽象的查询，确保用户获得既相关又丰富的响应。

有望发力搜索领域，OpenAI 收购数据库分析公司 Rockset

当地时间 6 月 21 日，OpenAI 宣布完成了对数据库检索和分析公司 Rockset 的收购。公司将整合 Rockset 的技术和人员，强化各项产品的检索基础设施。OpenAI 在新闻稿中强调，AI 将有机会改变人们组织、利用自身数据的方式，这便是公司收购 Rockset 的原因。后者是一个提供“世界级”的数据索引、查询功能的实时分析数据库。据悉，Rockset 将使用户、开发人员和企业能够更好地利用自己的数据，并在使用 AI 产品和构建更智能的应用程序时访问实时信息。OpenAI 首席运营官 Brad Li

内置10000+Github 热门代码库，百度正式发布Comate代码知识增强2.0

5月18日，iTechClub华北区第七届互联网技术精英高峰论坛举行，百度工程效能部总监臧志带来“迈向人机协同的AI原生研发新范式”主题演讲。他重磅发布了百度智能代码助手Comate最新成果——Comate代码知识增强2.0，这是国内首个支持实时检索的智能代码助手，内置超过10000个Github 热门代码库，这为全球开发者带来了前所未有的编程体验。作为本次大会的亮点之一，Comate代码知识增强2.0受到与会者极大关注。智能代码助手Comate是基于百度文心大模型打造的一款代码智能补全和推荐工具。它通过深度学习和

狂奔一年后的向量数据库，何去何从？｜对话 MyScaleDB

2023 年可以说是大模型元年，借着大模型的东风，向量数据库也迎来了大爆发，被带到了更高的关注度上。一方面，向量数据库和 RAG 得到广泛的关注和认可，是因为他们的确可以解决一些短期内大模型无法攻克的难题，比如模型幻觉问题等。同时，在尝试用向量数据库和 RAG 做场景落地的时候，效果也还不错。不过另一方面，我们也无法回避对他们普遍的困惑与争议，比如向量数据库是否已经凉了，以及如今势头正盛的 RAG 是否会被长文本杀死等等。那此刻距离 ChatGPT 的发布已经有一年多的时间，站在当下的这个时间点上来看，向量数据库和

Snowflake 开源 Arctic embed，号称全球最实用的检索文本嵌入 AI 模型

Snowflake 公司近日发布新闻稿，宣布在 Apache 2.0 许可下，推出开源 Arctic embed 系列模型。根据 MTEB（衡量文本嵌入模型的评估指标合集）的检索（Retrieval）排行榜，Arctic embed 系列最大模型参数只有 3.34 亿个，是唯一一个平均检索性能超过 55.9 的模型。感兴趣的用户目前可以访问 Hugging Face 使用 Arctic embed 系列模型，后续也可以访问 Snowflake 的 Cortex 嵌入功能（目前处于私人预览阶段）中使用。Arctic

ICCV 2023 | 重塑人体动作生成，融合扩散模型与检索策略的新范式ReMoDiffuse来了

来自南洋理工大学和商汤科技的研究者联合提出了一种全新的文本驱动动作生成框架——ReMoDiffuse。

语言模型悄悄偷懒？新研究：上下文太长，模型会略过中间不看

语言模型：太长我不看。

对抗图像变换攻击，腾讯OVB-AI技术中心获NeurIPS2021图像相似度挑战赛季军

近日，在 AI 顶会 NeurIPS 2021 的图像相似度挑战赛中（Image Similarity Challenge），来自腾讯在线视频 BU-AI 技术中心的团队，在 Matching Track 赛道战胜来自全球 1000 多支队伍，荣获季军。

参数量仅为4%，性能媲美GPT-3：开发者图解DeepMind的RETRO

构建越来越大的模型并不是提高性能的唯一方法。

ACL 2021 | 腾讯AI Lab、港中文杰出论文：用单语记忆实现高性能NMT

在 ACL 2021 的一篇杰出论文中，研究者提出了一种基于单语数据的模型，性能却优于使用双语 TM 的「TM-augmented NMT」基线方法。自然语言处理（NLP）领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿，其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文（含 9 篇 findings）。在不久之前公布的获奖论文中，腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Tra

淘宝推荐、视频搜索背后的检索技术：深度揭秘达摩院向量检索引擎Proxima

淘宝搜索推荐、视频搜索背后使用了什么样的检索技术？非结构化数据检索，向量检索，以及多模态检索，它们到底解决了什么问题？今天由阿里达摩院的科学家从业务问题出发，抽丝剥茧，深度揭秘达摩院内部技术，向量检索引擎 Proxima，以及相关领域的现状、挑战和未来。

检索