资讯列表
Sigmoid注意力一样强，苹果开始重新审视注意力机制
注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数有时会导致注意力集中在少数几个特征，而忽略了其他信息。近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如 ReLU 和 sigmoid 激活函数。最近，来自苹果的研究者重新审视了 s
ECCV 2024 | 探索离散Token视觉生成中的自适应推理策略
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文第一作者倪赞林是清华大学自动化系 2022 级直博生，师从黄高副教授，主要研究方向为高效深度学习与图像生成。他曾在 ICCV、CVPR、ECCV、ICLR 等国际会议上发表多篇学术论
强化学习成为OpenAI o1灵魂，速来学习下Self-play增强大模型
在机器学习尤其是强化学习领域，自我博弈（Self-play）是一种非常重要的学习策略。即使 AI 或者智能体没有明确的对手或者没有外部环境提供额外信息，也能通过自己与自己的博弈来学习并获得提升，这常见于游戏场景。AlphaGo 就是采用自我博弈策略的典型代表，通过自己与自己对战，持续掌握和积累围棋知识和比赛经验，最终击败顶级人类棋手。随着大语言模型的发展，自我博弈因其能够充分利用计算资源和合成数据成为提升模型性能的方法之一。 最近发布的 OpenAI 发布的 o1 模型再次震撼了科技圈，o1 能像人类一样「思考」复
金山办公：目前 AI 会员、大会员累计年度付费用户数合计已超百万
金山办公今天在上证 e 互动答投资者问时透露，公司目前 AI 会员和大会员累计年度付费用户数合计已超百万。目前，WPS AI 已接入公司全线产品。金山办公在投资者平台还表示，公司与华为共同合作，已推出 WPS 鸿蒙版。目前，WPS 鸿蒙版已在全端流畅运行，还能实现多平台账号统一、跨端调用、跨屏协同等功能。本月初，WPS Office 官网上线了 WPS Office for Linux 12 个人版，新增了 AI 帮我写、帮我改等功能，以及 AI 写公式、AI 生成 PPT 等。据AI在线此前报道，今年 7 月的
研究显示美国青少年热衷生成式 AI，家长大多不知情
最新研究显示，美国青少年中七成以上曾使用生成式 AI 工具，但超过半数家长对此一无所知。图源 Pexels一项由 Common Sense Media 发布的新报告揭示了美国青少年使用生成式 AI 工具的频率和方式，以及家长们对这一情况的认知程度。调查结果显示，美国七成青少年曾使用过生成式 AI 工具，其中超过一半的学生使用过 ChatGPT、Gemini 等 AI 文本生成器和聊天机器人，以及带有 AI 生成结果的搜索引擎。约三分之一的青少年使用过 DALL-E 等图像生成器，四分之一使用过视频生成器。AI在线注
上海 AI 气象大模型提前 6 天预测“贝碧嘉”台风登陆浦东，已实现多次精准预测
今天下午，据澎湃新闻报道，上海科学智能研究院院长、复旦大学浩清教授漆远在接受采访时介绍，从 9 月 10 日晚间“贝碧嘉”台风在西北太平洋洋面上生成起，伏羲气象大模型就一直在跟踪预测它的路径，每 6 小时一次持续预报“贝碧嘉”的移动路径。9 月 10 日 23 时，伏羲气象大模型预测的路径显示“贝碧嘉”将在上海浦东新区登陆。9 月 15 日一早，预测结果进一步调整并正式确认，“贝碧嘉”将极大概率在上海浦东新区正面登陆。漆远表示，“除成功预报此次台风‘贝碧嘉’的移动轨迹之外，从今年汛期降水实时预报结果来看，伏羲大模型
字节跳动豆包大模型 9 月 24 日发布视频生成模型
字节跳动今日宣布，豆包大模型将于 9 月 24 日发布视频生成模型，并带来更多模型家族的能力升级。9 月 24 日 14:30，2024 火山引擎 AI 创新巡展・深圳站将于深圳举行，字节跳动将在大会上公布火山引擎整体介绍及豆包大模型进展，还有火山引擎 AI 产品最新进展和多个行业企业 AI 落地实践分享。目前快手、智谱等国内厂商已推出视频生成模型，阿里通义也将在 2024 云栖大会（9 月 19 日至 9 月 21 日）期间发布视频生成大模型。AI在线附 2024 火山引擎 AI 创新巡展・深圳站大会议程如下：
沙特阿美同 AI 芯片创企 Groq 签署备忘录，将在沙特建设全球最大推理数据中心
据 AI 芯片设计企业 Groq 官网当地时间本月 12 日新闻稿，这家创企已同石油巨头沙特阿美的数字与技术子公司 Aramco Digital 签订谅解备忘录，将一同在沙特阿拉伯建设全球最大规模的推理数据中心。AI在线获悉，Aramco Digital-Groq 沙特阿拉伯大型数据中心的优势在于当地能源价格较低、有足够建设空间，同时与全球近一半人口的网络时间距离不超过 100ms ping。参考彭博社报道，该数据中心将于今年年底建成投运，初期将包括 19000 个 Groq 的 LPU 语言处理器，每天可处理数以
AI在用 | 吵架又没发挥好？7个AI大佬帮你自救
机器之能报道编辑：Sia以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何使用。因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能使用案例，来具体介绍AI使用方法，并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。投稿邮箱：[email protected]这届情侣（「 80 后」~「 00 后」）有多爱吵架？36kr 做过一个小调查，三个月热恋期一旦结束，近三分之一的情侣每周都会吵架！如果按「每月一吵」算， 情侣比例立刻飙升到 67
调查显示英国 28% 成年人经历过“AI 拟声”骗局，46% 对此一无所知
随着 AI 技术发展，电信诈骗分子也开始通过 AI 换脸、AI 拟声等手段试图骗取受害人的钱财。如今，这一新型骗局已经成为全球多国需要面对的问题。当地时间 18 日，据 Metro 报道，Starling 银行面向英国 3000 多人进行的一项调查显示，“拟声”诈骗现已成为当地的一个普遍问题，该技术能够利用 AI 从短短三秒的音频中“创造”出受害者亲友的声音。图源 Pixabay最新数据显示，超过四分之一的英国成年人（28%）表示，他们在过去一年中成为了高科技声音克隆骗局的目标。更令人担忧的是，近一半的人（46%）
EA 首席执行官：AI 现在是“我们业务的核心”
感谢EA 今天召开了投资者大会，其高管们对各种形式的生成式 AI 表达了极大的支持。生成式 AI 在游戏行业是一个越来越具有争议的话题，也是导致视频游戏演员罢工的一个主要原因。AI在线注意到，EA 首席执行官 Andrew Wilson 表示：“AI 以各种形式一直是我们创意之旅的核心。我们都记得和 AI 对战的情景，它已经发展成为今天的生成式 AI 创新。这项卓越的技术对我们来说不仅仅是一个流行语，它是我们业务的核心。”Wilson 称：“目前，我们在三个战略类别中有超过 100 个活跃的新型 AI 项目：效率、
新型蛋白质大语言模型即将登陆Google Cloud
编辑 | KX9 月 17 日，领先的细胞编程和生物安全平台 Ginkgo Bioworks 公司宣布了两项新产品，将助力制药和生物技术公司更容易开发新药，这是在去年与 Google Cloud 宣布的合作伙伴关系的基础上推出的。与 Google Cloud 合作构建的蛋白质大型语言模型 (LLM)，是业内首创之一，它将使个人研究人员和企业公司能够利用 Ginkgo 私人数据的见解开发药物。其次，Ginkgo 正在推出其模型 API，这是一种强大的工具，旨在将生物 AI 模型直接带给机器学习科学家。该 API 现已
大语言模型如何助力药物开发? 哈佛团队最新综述
作者 | 莫纳什大学郑伊圳编辑 | ScienceAI大语言模型因其展现出类人般的推理、工具使用和问题解决能力而备受瞩目，此外，它在化学、生物学等专业领域也展现出深厚的理解能力，进一步提升了其应用价值。近日，哈佛大学、莫纳什大学和格里菲斯大学（Griffith University）组成的研究团队，发表最新综述《Large Language Models in Drug Discovery and Development: From Disease Mechanisms to Clinical Trials》。论文
单图就能解锁全景视角，北大 / 港中文 / 腾讯等推出 ViewCrafter 开源项目
随便给张图就能从更多视角查看全景了？！话不多说，先看一波效果，单视角输入 be like：难度升级，接下来换成双视角，看起来衔接也非常丝滑。以上来自 ViewCrafter，由北大、港中文、腾讯等机构的研究人员提出，可以从单张或稀疏输入图像生成精确相机可控的新视角视频。还支持场景级文生 3D、图生 3D、以及稀疏视角重建等应用。目前论文和代码均已开源，并提供了在线 Huggingface demo 供用户使用。ViewCrafter：一种新视角生成方法传统的新视角生成方法，如 NeRF 和 3D-GS 等技术，存在
实测 | GPT-o1：学会了思考，也学会了偷懒
我可能是全网第一个花钱向 GPT-o1 提问，人在深圳靠一条网线横跨太平洋到美国硅谷让 OpenAI 最强大模型 GPT-o1 模型思考 38 秒之后、宕机了半小时选择拒绝回答问题并收了我2.5块（一瓶肥宅快乐水）的韭菜...... （因为这个模型只支持订阅使用并且一个月只回复120条内容，plus会员订阅费1个月20美刀，约等于1.25软妹币1条回答......）OpenAI 今天凌晨突击更新 GPT-o1，早上起来全网都在开香槟，大意就是突破了LLM极限，新模型能力在生物、物理比肩甚至超越人类博士生。 另一个特性就是 o1 模型会用更长的时间思考以此来尽可能完善的回答问题。
马斯克的脑机接口让盲人看到世界？专家：为时尚早
Neuralink 的 Blindsight 还有一些根本性的问题需要克服。「刚靠前足以见到这么多的幸福，那么，如果能看见，我会发现多少更美好的东西啊！」《假设给我三天光明》的作者海伦·凯勒曾写过下这样的句子。在大众方向科研中，让盲人重见光明是一个充满挑战和希望的领域。如今，大脑放松的 Neuralink 脑机接口公司正在向这个问题发起挑战。而且，他们研发中的新设备——Blindsight 刚刚获得美国食品药品监督管理局（FDA）颁发的「突破性设备」认定。在转发该消息的同时，若有，只要视力表层缺失无损，该设备就能让
Yoshua Bengio、姚期智、张亚勤：AI安全是“全球公共产品”，全球合作刻不容缓
AI安全国际对话发起人，从左到右依次是Stuart Russell，姚期智，Yoshua Bengio，张亚勤图灵奖得主Yoshua Bengio图灵奖得主姚期智在为期三天的会议中，与会科学家们共同达成了一份具有重要意义的共识声明，其核心观点强调了AI安全作为“全球公共产品”的重要性，建议各国应将AI安全纳入学术与技术合作的核心领域。 共识指出，人工智能系统的滥用或失控可能给全人类带来灾难性后果。 然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。
易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？
一、行业背景2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿个 Token，这对显卡等算力提出了极高的要求，也带来了能源消耗的激增。据斯坦福人工智能研究所发布的《2023 年 AI