模型

57天，人类和AI合作搞定了4694个等式之间22028942个蕴含关系！ 大神陶哲轩激动宣布：等式理论计划，成功。 “等式理论计划”，由陶哲轩本人在2024年9月25日发起，目的是探索按蕴含关系排序的原群（magma）等式理论空间。

随着 ChatGPT 的横空出世，大语言模型能力开始在各项领域（传统 NLP、数学、代码等）得到广泛验证，目前已经深刻影响到腾讯混元团队日常生活的方方面面。 腾讯混元团队长期致力于大语言模型的探索之路，大模型生产的各个环节开展研究创新以提升其基础能力，并将混元大模型的能力跟业务做深度结合，让生成式 AI 成为业务增长的放大器。 大语言模型的设计、训练和优化是一项复杂的系统工程，涉及到模型结构创新、…

在纯文本大模型取得进展的同时，其他模态数据，如语音与文本结合的语言模型（SpeechLMs）也成为了一个热门的研究领域，但现有的模型要么在仅包含语音的数据上进行训练，要么是关注特定任务，如文本转语音（TTS）、自动语音识别（ASR）或翻译，在其他模态数据和任务上的泛化能力十分有限。 在大型语言模型（LLM）性能不断提升的情况下，一个常用的方法是先用ASR模型将语音转录成文本，然后用文本模型来生成新…

在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。 而基于Rectified Flow的模型（如Stable Diffusion 3及其衍生版本）则在视觉生成方面取得重大突破。 能否将这两种简单的技术范式统一到单一模型中？

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。

谷歌和OpenAI又杠上了。 在新版GPT-4o刚登顶竞技榜后1天，立马发布最新试验版模型Gemini-Exp-1121夺回冠军宝座。 图片要知道，一周前上一版模型Gemini-Exp-1114才发布。

？ ？ 一直低调行事的国内初创公司，旗下模型悄悄地跃升成国内第一、世界第五（仅排在o1系列和Claude 3.5之后）！

新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。 近日，淘宝天猫集团的研究者们提出了中文简短问答（Chinese SimpleQA），这是首个全面的中文基准，具有“中文、多样性、高质量、静态、易于评估”五个特性，用于评估语言模型回答简短问题的真实性能力。 研究人员表示，中文简短问答能够指导开发者更好地理解其模型的中文真实性能力，并促进基础模型的发展。

论文地址：：，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。 如下是之前我们分享的基于Transformer的目标检测新技术！ 链接：ResNet超强变体：京东AI新开源的计算机视觉模块！

混合专家模型（MoE, Mixture of Experts）是一种通过动态激活网络的部分结构来提升计算效率的架构，可以在保持相对稳定的计算成本的前提下大幅增加参数量，从而有效提升模型性能。 这一特性使得MoE能够兼顾模型的规模与效率，已广泛应用于各种大规模任务。 然而，MoE模型通常需要在大型数据集上预训练以获得理想性能，导致其对时间和计算资源的需求极高，这也限制了其在深度学习社区中的普及性。

官方表示，该系列模型在数学、代码以及各种复杂逻辑推理任务上，取得了媲美 o1-preview 的推理效果，并为用户展现了 o1 没有公开的完整思考过程。

在这篇文章中，我们将探讨如何使用Hugging Face的transformers库来使用零样本目标检测在冰箱图像中识别物体。 这种方法允许我们在不需要针对这些物体进行特定预训练的情况下识别各种物品。 以下是如何工作的代码的逐步指南。

作者 | BiomedParse团队编辑 | ScienceAI生物医学图像解析在癌症诊断、免疫治疗和疾病进展监测中至关重要。 然而，不同的成像模式（如MRI、CT和病理学）通常需要单独的模型，造成资源浪费和效率低下，未能充分利用模式间的共性知识。 微软团队最新发布的基础模型BiomedParse，开创性地通过文本驱动图像解析将九种成像模式整合于一个统一的模型中，通过联合预训练处理对象识别、检测与…

AI 能否拥有意识？ 针对这个问题，大家已经争论了很多年。 「我认为，从物理学的角度来说（如果物理学是正确的），我们的宇宙诞生之初几乎只有氢。

11月19日，2024年世界互联网大会领先科技奖在乌镇发布，腾讯Angel机器学习平台凭借其卓越的技术积累、创新的关键技术和广泛的应用场景，荣获本年度领先科技奖。 腾讯Angel 机器学习平台，突破了万亿级模型分布式训练和推理以及大规模应用部署等难题，率先实现大模型技术从底层硬件到关键软件技术的自主研发，在业务场景广泛应用，显著推动实体产业和数字经济发展，提升社会效率。 世界互联网大会领先科技奖由…

国产大模型，最近有点卷。 这不，刚在写代码这事儿上刷新SOTA，Qwen2.5系列又双叒突然更新了——一口气读三本《三体》不费事，并且45秒左右就能完整总结出这69万token的主要内容，be like：还真不是糊弄事儿，“大海捞针”实验显示，这个全新的Qwen2.5-Turbo在100万token上下文中有全绿的表现。 也就是说，这100万上下文里，有细节Qwen2.5-Turbo是真能100%…

北大等出品，首个多模态版o1开源模型来了——代号LLaVA-o1，基于Llama-3.2-Vision模型打造，超越传统思维链提示，实现自主“慢思考”推理。 在多模态推理基准测试中，LLaVA-o1超越其基础模型8.9%，并在性能上超越了一众开闭源模型。 新模型具体如何推理，直接上实例，比如问题是：减去所有的小亮球和紫色物体，剩下多少个物体？

用AI大模型一键解析MRI、CT和病理学等九大生物医学成像模式。 不仅复杂、不规则形状对象能高精度识别：而且通过对象识别阈值建模，模型能够检测无效的提示请求，并在图像中不存在指定对象时拒绝分割。 用户更是无需手动进行标注或边界框操作——只需通过简单的临床语言提示指定目标对象，例如“肿瘤边界”或“免疫细胞”，便能让AI准确识别、检测并分割图像中的相关区域。

利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。 来自人大&港科大的研究人员提出安全概念激活向量（SCAV）框架，通过精确解读大模型的安全机制来指导攻击。 基于SCAV的攻击方法能够生成嵌入级和提示级的攻击，自动调整扰动参数，并显著提升了攻击成功率和响应质量。

4-bit量化，能让现有反学习/机器遗忘技术失灵！ 也就是大模型在人类要求下“假装”忘记了特定知识（版权、私人内容等），但有手段能让它重新“回忆”起来。 最近，来自宾夕法尼亚州立大学、哈佛大学、亚马逊团队的一项新研究在reddit、Hacker News上引起热议。

无论是面试找工作、还是自学创业，甚至想要在圈子内讨论一下AGI的潜力，但凡想要深度参与到AI浪潮中，不可避免的就是学习大型语言模型（LLM）的底层原理。 但AI发展这么多年，论文、学习资料多如牛毛，并且更新换代极快，如何快速入门，学习到那些真正的基础知识，对于新手来说都是一个难题。 最近，一位AI从业者在网上分享了自己的学习过程，仅用14天就学完了LLM所需要的核心知识，学习笔记在GitHub上斩…

就连「量化」也不管用，scaling law真的要终结了吗？ 一提scaling law，人们重点关注的是参数规模、数据量等因素，却忽视了「精度」这一关键变量。 哈佛斯坦福MIT等机构研究人员竟发现，低精度训练会降低模型的「有效参数量」！

在提升大型语言模型（LLM）在数学推理方面的能力时，一个常用的方法是训练一个奖励模型（reward model）或验证器（verifier），也可以利用强化学习在测试阶段（test-time）对所有解决方案进行重排序。 通常情况下，验证器的预测是整个推理过程的结果，即结果奖励模型（ORM，outcome reward models），但这种奖励信号过于稀疏，模型难以从中学习，并且搜索过程的效率也不…

LLM究竟是否拥有类似人类的符合理解和推理能力呢？ 许多认知科学家和机器学习研究人员，都会认为，LLM表现出类人（或「接近类人」）的语言能力。 然而，来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学、巴塞罗那自治大学的研究者却提供了一些最全面的证据，表明目前它们基本没有！