资讯列表
视频里有前男友？谷歌最新AI视频生成器 Lumiere，轻松让他消失
机器之能报道编辑：SIA最喜欢的视频里有前男友？现在，你可以轻松将他删除了。事实再次证明，AI 生成视频技术的发展速度令人瞠目。过去几个月，我们一直挣扎在 AI 生成的威尔·史密斯吃意大利面的尴尬场景里，以至于一段再正常不过的吃面场景被视为视频生成领域的“图灵测试”。今天，谷歌又研发出全新的时空扩散模型 Lumiere，将 AI 视频生成水准推向新高度。法语里， Lumiere 意思是启蒙者。Lumiere 几乎集齐了常见视频生成和编辑功能，也是迄今为止我们所见过的最先进的视频生成器。Lumiere 会根据用户自然
AI国际顶会ICLR 2024结果揭晓，蚂蚁集团11篇论文入选
近日，人工智能顶会之一ICLR 2024录用结果揭晓，蚂蚁集团有11篇论文被收录，其中1篇为Oral，3篇为Spotlight，7篇为Poster，蚂蚁集团在AI学术领域的进展受到关注。（图：蚂蚁集团的《长视频中的多粒度噪声关联学习》被收录为Oral论文）ICLR组委会今年共收到了7262篇论文投稿，录用率约为31%。其中，1.2%被录用为Oral论文，作者获得10分钟的口头演讲，5%被录用为Spotlight论文，获得4分钟的聚光灯展示；Poster论文则以海报形式展示。论文的重要性按此三类递减。每年，ICLR
《幻兽帕鲁》爆火，大厂坐不住了：这游戏是AI设计的？
疑似用 AI 卷设计，遭同行炮轰。最近，很多社交网络平台都被一款开放世界生存游戏刷了屏。《幻兽帕鲁》（Palworld）是当下最热门的话题之一，它在 1 月 19 日于 Steam 上线抢先体验版本，24 小时之内销量就超过了 200 万份，几天之内就突破了 600 万。在 1 月 23 日，幻兽帕鲁的 Steam 历史在线峰值就达到了 185 万人，超越了《CS 2》，成为了 Steam 历史在线玩家峰值第二的游戏。在幻兽帕鲁的游戏世界中，玩家可以自由收集神奇的生物「帕鲁」，派他们进行战斗、建造、采矿，工业生产等
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一瓶颈是自回归解码的顺序性所固有的，其中每次前向传递都需要将完整的模型参数从
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
如果有个这样的机器人，你几点回家？「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。最近，纽约大学、Meta 研发出的一款机器人学会了这个技能。你只需要对它说，「把桌子上的玉米片拿到床头柜上」，它就能自己找到玉米片，并规划出路线和相应的动作，顺利完成任务。此外，它还能帮你整理东西或扔垃圾。这个机器人名叫 OK-Robot，由来自纽约大学、Meta
首个通用双向Adapter多模态目标追踪方法BAT，入选AAAI 2024
能够有效实现多模态交叉提示跟踪。目标跟踪是计算机视觉的一项基础视觉任务，由于计算机视觉的快速发展，单模态 (RGB) 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性，我们需要引入多模态图像 (RGB、红外等) 来弥补这一缺陷，以实现复杂环境下全天候目标跟踪。然而，现有的多模态跟踪任务也面临两个主要问题：由于多模态目标跟踪的数据标注成本高，大多数现有数据集规模有限，不足以支持构建有效的多模态跟踪器；因为不同的成像方式在变化的环境中对物体的敏感度不同，开放世界中主导模态是动态变化的，多模态数据之间的主导相关
画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了
现在，通过文本提示和一个 2D 边界框，我们就能在 3D 场景中生成对象。看到下面这张图了没？一开始，盘子里是没有东西的，但当你在托盘上画个框，然后在文本框中输入文本「在托盘上添加意大利面包」，魔法就出现了：一个看起来美味可口的面包就出现在你的眼前。房间的地板上看起来太空荡了，想加个凳子，只需在你中意的地方框一下，然后输入文本「在地板上添加一个矮凳」，一张凳子就出现了：相同的操作方式，在圆桌上添加一个茶杯：玩具旁边摆放一只手提包统统都可以：我们可以从以上示例看出，新生成的目标可以插在场景中的任意位置，还能很好地与原
Yann LeCun：生成模型不适合处理视频，AI得在抽象空间中进行预测
AI 理解视频不能依靠在像素空间中预测。在互联网文本数据即将枯竭之际，很多 AI 研究者将目光转向了视频。但如何让 AI 理解视频数据成了新的难题。在 2024 世界经济论坛的一次会谈中，图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 被问到了这个问题。他认为，虽然这个问题还没有明确的答案，但适合用来处理视频的模型并不是我们现在大范围应用的生成模型。而且新的模型应该学会在抽象的表征空间中预测，而不是在像素空间中。一起参与讨论的还有斯坦福大学教授、Coursera 联合创始人 Daphne Kolle
纪念碑谷式错觉图像都被「看穿」，港大、TikTok的Depth Anything火了
人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。近日，一种可有效利用大规模无标注图像的新 MDE 模型 Depth Anything 凭借强大的性能在社交网络上引起了广泛讨论，试用者无不称奇。甚至有试用者发现它还能正确处理埃舍尔（M.C.Escher）那充满错觉的绘画艺术（启发了《纪念碑谷》等游戏和艺术）：从水上到水下，丝滑切换：更好的深度模型也得到了效果更好的以深度为条件的 Contr
MoE与Mamba强强联合，将状态空间模型扩展到数百亿参数
性能与 Mamba 一样，但所需训练步骤数却少 2.2 倍。状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。近期也有一些研究者在探索将 SSM 和 Mamba 与其它方法组合起来创造更强大的架构，比如机器之心曾报告过《Mamba 可以替代 Transformer，但它们也能组合起来使
有了这块活地板，成为VR届的「街溜子」
给 VR 系统加了新维度。还记得电视剧《三体》里面汪淼他们用来打游戏的 V 装具吗？和最近苹果发布的 Vision Pro 相比，这套近未来的虚拟现实（VR）设备还多了感应服和「跑步机」等一些组件。很明显的是，除非脑后插管，只有进行从头到脚、所有感官全覆盖，你才能在 VR 设备里充分感受模拟世界的乐趣。然而在可预见的未来，所有此类解决方案都将存在一些不可忽视的缺点。价格是最大的挑战，单买一个 Apple Vision Pro 就要花费 2.5 万人民币，其他可以预见的问题还包括占地面积和噪音。不过在此之前，我们得先
无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用
随着人工智能技术的发展，以 GPT-4 为代表的大语言模型依靠其强大的能力正在对社会产生深远的影响。与此同时，大模型本身的安全性问题也变得尤为重要。如何确保大语言模型可以和人类的价值、真实的意图相一致，防止模型被滥用、输出有害的信息，这是大模型安全治理的核心问题。之前的大多数对齐方法需要收集新数据重新训练模型，然而对训练数据质量要求高以及优化模型参数耗时耗力是对齐中的痛点。除此之外，待对齐的价值观可能是动态变化的，这进一步给大模型价值观对齐带来了挑战。有鉴于此，上海交通大学生成式人工智能实验室 GAIR 迅速采取行
ICLR2024 | Harvard FairSeg: 第一个研究分割算法公平性的大型医疗分割数据集
作者 | 田宇编辑 | 白菜叶近年来，人工智能模型的公平性问题受到了越来越多的关注，尤其是在医学领域，因为医学模型的公平性对人们的健康和生命至关重要。高质量的医学公平性数据集对促进公平学习研究非常必要。现有的医学公平性数据集都是针对分类任务的，而没有可用于医学分割的公平性数据集，但是医学分割与分类一样都是非常重要的医学 AI 任务，在某些场景分割甚至优于分类，因为它能够提供待临床医生评估的器官异常的详细空间信息。在最新的研究中，哈佛大学（Harvard University）的Harvard-Ophthalmolo
AI4Science还是伪命题吗？两年后workshop组织者重新审视AI4Science
DALL⋅E 想象的 2023 年 AI for Science（与AI4Science目前的发展类似：图像不完美，许多单词拼写错误）。作者 | AI4Science workshop组织者编辑 | ScienceAI2021年，一群热血青年提出了要把AI4Science（AI for Science）带入机器学习顶会NeurIPS。什么？AI4Science是一门学科吗？是不是靠着AI蹭热点？各种质疑声接踵而来。这些质疑和不解也反映在了第一届AI4Science workshop的较为平淡的群众参与度上。时过境迁
和特斯拉竞速、能站立、会开门...... 明星四足轮腿机器人要商业化了
机器之能报道编辑：吴昕大部分轮腿结合的机器人仍然只活跃在研究领域，目前也只有少数轮腿机器人平台，能够进入商业化阶段的更是凤毛麟角。提到四足机器人，很多人首先想到的是波士顿动力的 Spot 机器人狗。实际上，基于苏黎世联邦理工学院机器人系统实验室（ Robotic Systems Lab，RSL )技术的四足机器人一直不输于波士顿动力。比如，已经商业化的 ANYmal 四足机器人。已经商业化的ANYmal 四足机器人正在某工厂执行自主检查任务。该机器人已经部署到了马来西亚国家石油公司、壳牌石油、西门子能源、巴斯夫等公
2023京东零售技术年度盘点
过去一年，围绕开放生态建设、低价心智等主要方向，京东零售技术团队持续攻坚。从百亿补贴、调整流量分配机制为用户提供低价品质好货，到简化商家进驻流程、优化商家体验，带动商家数量增长和平台生态活跃，再到将大模型结合到内部大量业务场景，探索效率提升……快速响应、助力业务的同时，京东零售技术团队继续夯实增强自身能力、探索创新。我们选取了11项有代表性的技术成果，与大家分享。供应链创新技术入围行业最高奖项 京东长期致力于通过前沿的数智化技术和算法，提高供应链效率。2023年，智能供应链团队提出并应用了端到端库存管理技术和可解释
SD WebUI 中也能用上实时绘画了！支持接入PS/Blender 等设计工具
大家好，这里是和你们一起探索 AI 绘画的花生~
之前为大家介绍过 AI 绘画工具 Krea，它可以根据手绘的草图实时生成完整的画面，可以让我们更精准地控制图像效果，对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式，今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介
SD WebUI 的实时绘画功能需要借助一个插件实现，这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出，支持文生图、图
IP-Adapter！让AI绘画垫图效率提高10倍的新一代神器
都是“垫图”，谁能还原你心中的图
“垫图”这个概念大家肯定都不陌生，此前当无法准确用 prompt 描述心中那副图时，最简单的办法就是找一张近似的，然后 img2img 流程启动，一切搞定。
更多垫图干货：可 img2img 简单的同时，也有它绕不过去的局限性，比如对 prompt 的还原度不足、生成画面多样性弱，特别是当需要加入 controlnet 来进行多层控制时，参考图、模型、controlnet 的搭配就需要精心挑选，不然出图效果常常让人当场裂开…
但现在，我们有了新的“垫图”神器——IP-Adapter