轻松建立聊天机器人、准确性新SOTA，RAG有了更强大的AI检索器
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]黄志恒拥有爱丁堡大学博士和加州大学伯克利博士后研究经历。志恒曾在微软…- 4
- 0
Ilya参与，OpenAI给GPT-4搞可注释，提取了1600万个特色，还能看它怎么想
大模型也可注释了？大模型都在想什么？OpenAI 找到了一种办法，能给 GPT-4 做「扫描」，告诉你 AI 的思路，而且还把这种要领开源了。大说话模型（LLM）是当前 AI 领域最热门的探索方向，吸引了洪量的关注和研讨投入。它们强大的说话理解能力和生成能力在各种应用场景中都表现出巨大潜力。虽然我们见证了大模型迭代后性能上的显著提升，但我们目前对模型中的神经活动仍然只是一知半解。本周四，OpenA…- 6
- 0
ACL 2024 | 让纯LLM实现类人的标记逻辑推理能力，开源框架SymbCoT来了
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]徐俊东，本文第一作家。本科毕业于伦敦大学学院（UCL），硕士就读于新…- 2
- 0
这个团队做了OpenAI没Open的手艺，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其机能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的手艺是根据人类反馈的强化进修（RLHF）。但是，随着模型越来越大，RLHF 通常需要维持多个模型以及越来越复杂的进修流程，这又会导致内存和计算资源需求增长。举个例子，近端策略优化（PPO，这是 RLHF 常用的一种算法）需要在训练过程中维持四个…- 22
- 0
ICML 2024 Oral｜内部带领的深度聚类新范式
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文作者李云帆，四川大学计算机学院 2020级直博研究生。在导师彭玺…- 8
- 0
黎曼料想显著突破！陶哲轩强推MIT、牛津新论文，37岁菲尔兹奖得主参与
最近，被称为千禧年七大难题之一的黎曼料想迎来了新突破。黎曼料想是数学中一个非常重要的未处理题目，与素数漫衍的精确性质有关（素数是那些只能被 1 和自身整除的数字，它们在数论中扮演着基础性的角色）。在当今的数学文献中，已有超过一千条数学命题以黎曼料想（或其推广形式）的成立为前提。也就是说，黎曼料想及其推广形式一旦被注明，这一千多个命题将被确立为定理，对数学领域产生深远的影响；而如果黎曼料想被注明是错…- 7
- 0
腾讯混元、北大发现Scaling law「浪涌现象」，解决进修率调参难题
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实行室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]过去十年间，基于随机梯度降落（SGD）的深度进修模型在许多领域都取得…- 27
- 0
分歧数据集有分歧的Scaling law？而你可用一个紧缩算法来预计它
一般而言，训练神经网络耗费的盘算量越大，其性能就越好。在扩大盘算规模时，必须要做个决定：是增多模型参数目还是提升数据集巨细 —— 必须在固定的盘算预算下权衡此两项因素。Scaling law 告诉我们：只要能适当地分配参数和数据，就能在固定盘算预算下实现性能最大化。之前已有不少研究探索过神经说话模型的 Scaling law，而这些研究通常得出的结论是参数和训练 token 数应当一比一地扩展。但…- 11
- 0
高效、可泛化的高斯重修框架，只需3张视图即可快速推理，45秒便可完成优化
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected] 重修和新视图分解技术在虚拟现实和增强现实等领域有着广泛的应用。…- 6
- 0
单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率
乘法和排序也有效。自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，一直稳站 C 位。但所有钻研者都不得不承认的是，Transformer 在算数任务中表现非常糟糕，尤其是加法，这一缺陷在很大程度上源于 Transformer 无法跟踪大范围数字中每一个数字的确切位子。为了处理这个课题，来自马里兰大学、CMU 等机构的钻研者向这一课题发起了挑战，他们通过在每一个数…- 7
- 0
2D头像生成3D假造人开视频会，google新作让人难绷
未来人与人的交流，难道是这个样？开视频长途聚会的时候，很多人都不喜欢打开摄像头。即使开了，在界面上大家也都被框在不同的窗口里。虽然这种形式操作起来很方便，但总是缺乏点临场感。最近，google提出了一项钻研旨在解决这个问题，这个名叫 ChatDirector 的技术可以使用静态的 2D 头像生成 3D 假造人，让大家一同「坐在聚会室里」开会，只是看起来样子有点夸张： …- 13
- 0
3D财产生成领域福音：自动化所、北邮团队联合打造材质生成新范式
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]在当今数字化时代，3D 财产在元宇宙的建构、数字孪生的实现以及虚拟现…- 11
- 0
不影响输入品质还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
AIxiv专栏是机器之心发布学术、技术实质的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇实质，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文通讯作者为马里兰大学计算机系的博士生胡正冕，其导师为 Heng …- 7
- 0
全面超越DPO：陈丹琦团队提出容易偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些优化难题，其中涉及到训练一个嘉奖模型，然后优化一个方略模型来最大化该嘉奖。近段时间已有一些研究者探索了更容易的离线算法，其中之一便是直接偏好优化（…- 40
- 0
ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文介绍了香港科技大学（广州）的一篇关于大模型高效微调（LLM PE…- 8
- 0
用前提模型辅导特性传递，首个泛化型图象婚配器OmniGlue搞定未见过域
第一个以「泛化」才能为核心设计原则的可学习图象婚配器来了！对于想要获取两张图象之间的细粒度视觉对应关系而言，全部图象特性婚配技术是高不错的 xuanz，对于实现准确的相机姿态估计和 3D 重建至关重要。过去十年见证了从手工制作到鉴于学习的图象特性的演变。最近，研究社区又提出了新颖的可学习图象婚配器，在传统基准上实现了功能的不断矫正。尽管已经取得了长足的进步，但这些进展忽略了一个重要方面：图象婚配模…- 7
- 0
蚂蚁团体金融多智能体框架正式开源
5月25日，第七届数字中国建设峰会上，蚂蚁团体正式开源多智能体框架agentUniverse，这是行业首个开源的金融领域多智能体手艺框架，该框架核心提供了多智能体协调编排组件，同意开发者对多智能体协调形式举行开发定制，可帮助开发者加快大模型手艺在金融场景的落地研发。（图说：蚂蚁团体财富保障事业群智能服务部总经理陆鑫，发布首个开源的金融场景多智能体框架）智能体可简化用户与大模型的互动，同意用户只需指…- 21
- 0
内置10000+Github 热门代码库，baidu正式发布Comate代码常识加强2.0
5月18日，iTechClub华北区第七届互联网技术精英高峰论坛举行，baidu工程效能部总监臧志带来“迈向人机协同的AI原生研发新范式”主题演讲。他重磅发布了baidu智能代码帮忙Comate最新成果——Comate代码常识加强2.0，这是国内首个撑持及时检索的智能代码帮忙，内置超过10000个Github 热门代码库，这为全球开发者带来了前所未有的编程体验。作为本次大会的亮点之一，Comate…- 8
- 0
从Claude 3中提取数百万特性，首次详细理解大模型的「思维」
刚刚，Anthropic 宣布在理解人工智能模型里面运作机制方面取得重大进展。Anthropic 已经确定了如何在 Claude Sonnet 中表征数百万个观念。这是对现代生产级大型言语模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全性，具有里程碑意义。钻研论文：，我们通常将人工智能模型视为一个黑匣子：有东西进去就会有呼应出来，但不清楚为什么模型会给出特定的呼应。这使人们很难相信…- 7
- 0
简单通用：视觉根本网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级尝试室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文作者王语霖是清华大学自动化系 2019 级直博生，师从吴澄院士…- 4
- 0
李飞飞「空间智能」系列新进展，吴佳俊团队新「BVS」套件评价计算机视觉模型
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]在不久之前的 2024 TED 演讲中，李飞飞详细解读了 空间智能（…- 29
- 0
WOT大会日程上线：我们找来数十位大模型试验企业现身说法
这两天的技巧圈里，估计大家都在摩拳擦掌等待体验OpenAI的GPT-4o（o为Omni缩写，意为“全能”）有多“全能”吧。我们无意给市场泼冷水，只是要提醒大家，想要让大模型真正落地，市场的热，并不意味着使用试验的成熟。尤其在企业级场景中，为什么大模型落地理想很丰满现实很骨感？为什么很少有企业能把大模型用在核心业务中？是不想用、还是用不好？在即将于6月21-22日在北京召开的WOT全球技巧创新大会上…- 15
- 0
数据更多更好还是品质更高更好？这项研讨能帮你做出选择
当计较估算低时，反复运用高品质数据更好；当不差钱时，运用大量数据更有利。对基础模型从事 scaling 是指运用更多数据、计较和参数从事预训练，简单来说就是「范围扩张」。虽然直接扩张模型范围看起来简单粗暴，但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研讨都认可扩大神经模型范围的做法，所谓量变引起质变，这种观点也被称为神经扩张律（neural scaling laws）。近段时间，又有不…- 11
- 0
在对齐 AI 时，为什么在线方法总是优于离线方法？
在线和离线对齐算法的本能差别根源何在？DeepMind实证剖析出炉在 AI 对齐问题上，在线方法似乎总是优于离线方法，但为什么会这样呢？近日，Google DeepMind 一篇论文试图通过基于假如验证的实证钻研给出解答。论文标题：Understanding the performance gap between online and offline alignment algorithms论文地…- 4
- 0
工程
扫码打开当前页
- ￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×