模型
智象未来多模态大模型3.0全球首发，创始人兼CEO梅涛演讲实录来了
2024年12月28日，智象未来科技有限公司在安徽省人工智能产业先导区启动仪式中，宣布智象多模态生成大模型3.0与智象多模态理解大模型1.0同时发布。 上海电影集团、中国移动咪咕音乐、科大讯飞等企业参加。 加拿大工程院外籍院士、智象未来创始人兼CEO梅涛进行现场演讲。
全新模型RoboVLMs解锁VLA无限可能，真实机器人实验交出满分答卷
本文作者来自清华大学、字节跳动、中科院自动化所、上海交通大学和新加坡国立大学。 作者列表：李兴航、李沛言、刘明桓、王栋、刘济榕、康炳易、马骁、孔涛、张翰博和刘华平。 第一作者李兴航是清华大学计算机系博士生。
字节整活！1.58比特FLUX：手机也能流畅运行的顶尖AI画图神器来了
自字节跳动和POSTECH的研究团队发布了一项名为“1.58-bit FLUX”的突破性研究成果，该成果成功将最先进的文本到图像（T2I）生成模型FLUX.1-dev的权重参数量化至1.58比特，同时保持了生成1024x1024图像的质量，为在资源受限的移动设备上部署大型T2I模型开辟了新的道路，这项研究成果已发布在arXiv上，并配有开源代码库（代码目前还没有上传）AI画图模型也能“减肥”？ 简单来说，就是把 FLUX(由Stable Diffusion作者团队成立的黑森林实验室Black Forest Lab推出) 的超强AI画图模型进行了“压缩”。 大家都知道，现在的AI画图模型，像DALLE 3、Stable Diffusion 3、Midjourney等，展现出强大的图像生成能力，在现实应用中潜力巨大。
微软论文意外「走光」，OpenAI参数全泄密！GPT-4o仅200B，o1 300B
谁能想到，微软在一篇医学领域的论文里，竟然把OpenAI模型的参数全「曝光」了！ GPT-4参数约1.76万亿GPT-4o参数约2000亿GPT-4o mini参数约80亿o1-preview参数约3000亿o1-mini参数约1000亿Claude 3.5 Sonnet参数约1750亿研究人员：参数均为估算值让所有人难以置信的是，GPT-4o系列的参数如此少，mini版甚至只有8B。 有网友猜测，4o mini是一个大约有40B参数的MoE模型，其中激活参数为8B。
优于FCOS：在One-Stage和Anchor-Free目标检测中以最小的成本实现最小的错位
一、前言Non keypoint-based的目标检测模型由分类和回归分支组成，由于不同的任务驱动因素，这两个分支对来自相同尺度级别和相同空间位置的特征具有不同的敏感性。 point-based的预测方法，在基于高分类置信点具有高回归质量的假设上，导致错位问题。 我们的分析表明，该问题进一步具体由尺度错位和空间错位组成。
GitHub 7.5k star量，各种视觉Transformer的PyTorch实现合集整理好了
近一两年，Transformer 跨界 CV 任务不再是什么新鲜事了。 自 2020 年 10 月谷歌提出 Vision Transformer (ViT) 以来，各式各样视觉 Transformer 开始在图像合成、点云处理、视觉 - 语言建模等领域大显身手。 之后，在 PyTorch 中实现 Vision Transformer 成为了研究热点。
潞晨尤洋：视频生成的GPT-4时刻，3年后可以见证 | MEET 2025
奥特曼说，Sora代表了视频生成大模型的GPT-1时刻。 从开年到现在，国内外、初创独角兽到互联网大厂，都纷纷投入视频生成领域，带来一个个新鲜模型的同时，视频、影视行业也随之发生巨变。 不可否认，当下的视频生成模型还遇到诸多问题，比如对空间、对物理规律的理解，我们都期待着视频生成的GPT-3.5/4时刻到来。
世界模型再进化！DrivingWorld：通过视频GPT构建自动驾驶世界模型（港科技&地平线）
写在前面 & 笔者的个人理解最近自回归（AR）生成模型的成功，如自然语言处理中的GPT系列，促使人们努力在视觉任务中复制这一成功。 一些工作试图通过构建能够生成逼真的未来视频序列和预测自车状态的基于视频的世界模型，将这种方法扩展到自动驾驶。 然而，先前的工作往往产生不令人满意的结果，因为经典的GPT框架旨在处理1D上下文信息，如文本，并且缺乏对视频生成所必需的空间和时间动态进行建模的固有能力。
黄仁勋自掏腰包50亿，开源英伟达GPU管理工具
离2025年只剩十几个小时，黄仁勋拿出50亿真金白银给大家发红包了！ 他刚花7亿美金（51亿RMB）收购了一家初创公司，专门做GPU管理工具的。 并且立刻就宣布：开源所有平台和技术，买了英伟达GPU就能免费用。
ViT作者飞机上也要读的改进版Transformer论文，花2个小时详细批注解读分享出来
ViT核心作者Lucas Beyer，长文分析了一篇改进Transformer架构的论文，引起推荐围观。 他前不久从谷歌跳槽到OpenAI，这次是在飞机上阅读论文并写下了分析。 这篇论文被他简写为DiffTranformer，不过不是Sora底层架构的那个Diffusion Transformer，而是不久前来自微软的Differencial Transformer。
2024年AI编程有多强？谷歌工程主管揭秘残酷真相
2024年，AI编程已然渗透了各行各业，影响着软件的整个生命周期。 那么问题来了，AI coding用过都说好，但我们平时用的软件咋感觉没啥进步呢？ 近日，Addy Osmani，谷歌的工程主管，同时也是一位亚马逊畅销书作家，为我们揭示了AI辅助编码在一线开发中的真实情况。
中科院最新DrivingGPT：利用多模态自回归方法统一驾驶世界模型和规划双任务！
写在前面&笔者的个人理解目前，驾驶世界模型已获得了来自工业界和学术界的广泛关注，因为基于模型的搜索和规划被广泛认为是实现人类级智能的重要途径。 这些模型有多种用途，包括训练数据增强、稀有场景生成。 大多数当前世界模型都是通过微调现有的扩散模型来开发的，利用视频生成基础模型的泛化能力。
沙利文发布权威报告：商汤科技GenAI技术栈市场综合能力位居国内第一
创新实力强、应用落地广，GenAI（生成式AI）技术栈领域，商汤科技位居国内榜首！ 近日，权威研究机构弗若斯特沙利文（Frost & Sullivan, 简称“沙利文”）联合头豹研究院发布《2024年中国GenAI技术栈市场报告》，商汤科技在11个GenAI厂商中超越阿里云、百度智能云和华为云，增长指数和创新指数均排名国内第一，在全球排名中仅次于亚马逊云科技。 报告认为，商汤积极投入技术创新，致力于为用户提供行业领先的自研模型与高性能国产化的推理引擎，同时建立了包含机器与人工审核、安全评测与内容安全策略迭代升级等在内的完整性安全管理方案，是GenAI技术栈领域的领导者。
AAAI 2025 | 用于韦伯区位问题的去奇异性次梯度方法
暨南大学通用机器学习课题组由网络空间安全学院和信息科学技术学院的多名青年教师、博士生、硕士生和本科生共同组成，研究方向包括通用逼近理论、分布外泛化、非凸优化、稀疏学习、深度学习框架的基础模块开发、优化器开发、隐私保护与增强等。 自 2024 年 4 月至 12 月，课题组作为第一单位已获得所有 CCF A 机器学习国际顶级会议 ICML（2 篇）、NeurIPS 和人工智能国际顶级会议 IJCAI、AAAI 录用论文共 5 篇。 本文第一作者为课题组负责人赖兆荣，通讯作者为博士生李程，其他合作作者为课题组教师吴小天、方良达、陈子良。
港科大开源VideoVAE+，视频重建质量全面超越最新模型
港科大团队重磅开源 VideoVAE ，提出了一种强大的跨模态的视频变分自编码器（Video VAE），通过提出新的时空分离的压缩机制和创新性引入文本指导，实现了对大幅运动视频的高效压缩与精准重建，同时保持很好的时间一致性和运动恢复。 论文地址：： 模型大幅超过最新模型包括英伟达在 2024.11 发布的 Cosmos Tokenizer，同时也超越一众方法包括腾讯在 2024.12 发布的 Hunyuan Video，CogvideoX VAE，WF-VAE，CV-VAE，Open Sora，Open Sora Plan, Easy Animate-VAE。 什么是 VideoVAE 模型VideoVAE 模型（Video Variational Autoencoder）是一种基于深度学习的生成模型，用于对视频数据进行压缩、重建和生成，讲视频从 RGB 像素空间投影到低维度的 latent 空间。
稚晖君开源百万机器人真机数据集
年末大礼包，稚晖君他又双叒来开源了！ 百万真机数据集开源项目AgiBot World，也是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。 该项目由稚晖君具身智能创业项目智元机器人，携手上海AI Lab、国家地方共建人形机器人创新中心以及上海库帕思联合发布。
九大基准全面领先，性能暴涨10.8%！视觉价值模型VisVM成「图像描述」新宠
在现代多模态视觉语言模型（VLM）的发展中，提高图像描述的准确性和细节丰富性始终是一个挑战。 尽管基于大规模数据的训练极大推动了模型性能，但在实际应用中，模型仍面临识别细微图像区域和减少「幻觉」现象的问题。 推理时搜索（inference time search）作为一种提升响应质量的有效方法，已在大型语言模型中展现出巨大潜力。
26年前老年机跑Llama2，每秒39个token：你的AI PC，也可以是Windows 98
让 Llama 2 在 Windows 98 奔腾 2（Pentium II）机器上运行，不但成功了，输出达到 39.31 tok / 秒。 这台 PC 可能比你的年龄还大，要知道它已经是 26 年前的硬件了，配备英特尔奔腾 2 CPU 和 128MB 的内存。 该项目是一个名为 EXO Labs 组织的一次大胆尝试，其证明了如果 Llama 模型能在 26 年前的硬件上跑通，那么它可以在任何地方运行。