用60%成本干80%的事,DeepSeek分享沉淀多年的高性能深度学习架构
硬件发展速度跟不上 AI 需求,就需要精妙的架构和算法。根据摩尔定律,计算机的速度平均每两年就会翻一倍,但深度学习的发展速度还要更快,如图 1 和 2 所示。可以看到,AI 对算力的需求每年都以 10 倍幅度增长,而硬件速度每两年增长 3 倍、DRAM 带宽增长 1.6 倍、互连带宽则仅有 1.4 倍。而大模型是大数据 大计算的产物,其参数量可达千亿乃至万亿规模,需要成千上万台 GPU 才能有效完…- 2
- 0
北大领衔,多智能体强化学习研究登上Nature子刊
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]近日,由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「…- 1
- 0
超级Prompt:几行乱码让大模型获得科学思维,这个神奇的提示词突然火了
再等等,作者会解释。起猛了?不过两三天的时间,仅有两个 Markdown 文件的 GitHub 项目为何竟能收获 2k star?仔细一看,其中一个 Markdown 文件是一个流程图,另一个 Readme 文件的主要内容则是一大篇大模型提示词(prompt。而如果你细读这个 prompt,却发现里面仅有寥寥数句人类能懂的话,其余都是一些奇怪的 XML 标签、符号与函数定义。大模型也要有自己的 M…- 2
- 0
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]单元测试是软件开发流程中的一个关键环节,主要用于验证软件中的最小可测…- 3
- 0
鬼手操控着你的手机?大模型GUI智能体易遭受环境劫持
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本文第一作者马欣贝是上海交通大学计算机系四年级博士生,研究方向为自主…- 2
- 0
防AI换脸视频诈骗,中电金信联合复旦提出多模态鉴伪法,还入选顶会ACM MM
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]该论文作者来自复旦大学、中电金信及上海智能视觉计算协同创新中心团队,…- 3
- 0
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分,实现了更好的上下文理解。然而,注意力机制的缺点是计算开销大,会随输入规模而二次增长,Transformer 也因此难以处理非常长的文本。前段时间,Mamba 的出现打破了这一局面,它可以随上下文长度的增加实现线性扩展。随着 Mamba 的发布,这些状态空间…- 4
- 0
KDD2024最佳学生论文解读,中科大、华为诺亚:序列推荐新范式DR4SR
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本工作由认知智能全国重点实验室 IEEE Fellow 陈恩红团队与…- 2
- 0
当奖励成为漏洞:从对齐本质出发自动「越狱」大语言模型
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本文第一作者为香港大学博士研究生谢知晖,主要研究兴趣为大模型对齐与强…- 2
- 0
情感分析的终极形态:全景式细粒度多模态对话情感分析基准PanoSent
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]罗盟,本工作的第一作者。新加坡国立大学(NUS)人工智能专业准博士生…- 4
- 0
深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重,另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。最近,一篇发表在《nature》杂志上的研究论文《Loss of plasticity in deep continual learning》证明:标准的深度学习方法在持续学习环境中会逐渐失去可塑性(…- 14
- 0
牛津光计算论文登Nature正刊,分析帕金森患者步态准确率达92.2%
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本文第一作者为牛津大学 Harish Bhaskaran 院士课题组…- 3
- 0
统一transformer与diffusion!Meta融合新方法剑指下一代多模态王者
本文引入了 Transfusion,这是一种可以在离散和连续数据上训练多模态模型的方法。一般来说,多模态生成模型需要能够感知、处理和生成离散元素(如文本或代码)和连续元素(如图像、音频和视频数据)。在离散模态领域,以预测下一个词为目标的语言模型占据主导地位,而在生成连续模态方面,扩散模型及其泛化形式则是当前最先进技术。研究者一直试图将语言模型与扩散模型结合,一种方法是直接扩展语言模型,使其能够利用…- 3
- 0
ECCV 2024 | 引入DiT的原生3D通用框架,适用任意神经场、秒级生成
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]论文一作兰宇时为南洋理工大学(NTU)博士生,导师为 Chen Ch…- 4
- 0
ECCV 2024 | 机器遗忘之后,扩散模型真正安全了吗?
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本文第一作者为密歇根州立大学计算机系博士生张益萌,贾景晗,两人均为O…- 1
- 0
如何让等变神经网络可解释性更强?试试将它分解成「简单表示」
神经网络是一种灵活且强大的函数近似方法。而许多应用都需要学习一个相对于某种对称性不变或等变的函数。图像识别便是一个典型示例 —— 当图像发生平移时,情况不会发生变化。等变神经网络(equivariant neural network)可为学习这些不变或等变函数提供一个灵活的框架。而要研究等变神经网络,可使用表示论(representation theory)这种数学工具。(请注意,「表示」这一数学…- 6
- 0
用AI自动设计智能体,数学提分25.9%,远超手工设计
基于 ADAS 所发现的智能体的性能大大优于最先进的手工设计的基线。基础模型 (FM) 如 GPT 和 Claude ,正在成为通用智能体的强有力支持,被越来越多的用于多种推理和规划任务。然而,在解决问题时,需要的智能体通常是具有多个组件的复合智能体系统,而不是单片模型查询 。此外,为了使智能体能够解决复杂的现实世界任务,它们通常需要访问外部工具,例如搜索引擎、代码执行和数据库查询。因此,人们提出…- 3
- 0
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活的输入信号,以便人们可以以更多样化的方式与模型交互。而更长的上下文使模型处理的信息更多,例如长文档、长视频,这种能力同样为更多现实世界的应用程序提供了所需的功能。然而,目前面临的问题是一…- 4
- 0
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]随着大模型研究的深入,如何将其推广到更多的模态上已经成为了学术界和产…- 6
- 0
浙大李玺团队:指代表达理解新方法,ScanFormer粗到细迭代消除视觉冗余
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]该论文作者均来自于浙江大学李玺教授团队,论文第一作者为博士生苏伟同学…- 1
- 0
大模型终端部署新趋势:硬件直接支持混合矩阵乘法
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]在人工智能领域,模型参数的增多往往意味着性能的提升。但随着模型规模的…- 8
- 0
机器人策略学习的Game Changer?伯克利提出Body Transformer
过去几年间,Transformer 架构已经取得了巨大的成功,同时其也衍生出了大量变体,比如擅长处理视觉任务的 Vision Transformer(ViT)。本文要介绍的 Body Transformer(BoT) 则是非常适合机器人策略学习的 Transformer 变体。我们知道,物理智能体在执行动作的校正和稳定时,往往会根据其感受到的外部刺激的位置给出空间上的响应。比如人类对这些刺激的响应…- 4
- 0
给RAG系统做一次全面「体检」,亚马逊开源RAGChecker诊断工具
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]亚马逊上海人工智能研究院成立于 2018 年,已成为深度学习研究领域…- 8
- 0
Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]本篇工作发表在《Nature Computational Scien…- 3
- 0
工程
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!