优化
从自我进化视角出发,全面解析LLM的推理能力技术演进路径
论文标题:A Survey on LLM Complex Reasoning through the Lens of Self-Evolution论文链接::. 引言在人工智能领域,大型语言模型的复杂推理研究正成为学术界和工业界关注的焦点。 随着 OpenAI 的 O1 以及后续 DeepSeek R1 等突破性成果的发布,这一领域的研究热度持续升温,引发了广泛的学术讨论和实践探索。
REVOLVE:响应演化驱动的智能优化框架,破解传统AI优化瓶颈
iDreamer 致力于打造一个激发科研热情的全球中心。 我们帮助教授将愿景变为现实,为学生照亮塑造未来的道路。 在这里,没有资源的壁垒,没有思想的界限,只有团结一心追求卓越。
一个半月内加速药物设计,浙大侯廷军团队提出深度先导化合物优化AI新方法
编辑 | 萝卜皮通过系统性改造来优化有前途的候选药物的化学结构,以提高药效和物理化学性质,这是药物发现过程中至关重要的一步。 与成熟的从头生成方案相比,专门针对先导化合物优化的计算方法仍未得到充分探索。 先前的模型通常仅限于解决特定的子任务,例如生成二维分子结构,而忽略了三维空间中至关重要的蛋白质-配体相互作用。
月之暗面开源改进版Muon优化器,算力需求比AdamW锐减48%,DeepSeek也适用
算力需求比AdamW直降48%,OpenAI技术人员提出的训练优化算法Muon,被月之暗面团队又推进了一步! 团队发现了Muon方法的Scaling Law,做出改进并证明了Muon对更大的模型同样适用。 在参数量最高1.5B的不同Llama架构模型上,改进后的Muon算力需求仅为AdamW的52%。
新手必看:用DeepSeek轻松产出爆款,三分钟掌握自媒体全流程
今天来分享如何利用 DeepSeek 高效创作自媒体文章,自媒体账号的打造和内容创作是一个系统性工程。 本文将详细拆解如何利用 DeepSeek 完成从账号定位到爆款内容创作的全流程,帮助你快速脱颖而出。 一、账号定位与赛道分析:知己知彼,精准切入1.
PNAS顶刊 | 抗体中和活性提升1000倍,百奥几何生成式AI高效反击病毒新变种
编辑丨Science AI近日,百奥几何(BioGeometry)携手上海交通大学药学院朱建伟团队,基于生成式 AI 驱动的抗体优化策略,在短时间内精准优化 8G3 抗体,实现其对最新病毒变异株 JN.1 的中和活性 1000-1500 倍的跃升。 相关研究成果已正式发表在国际顶级期刊《美国国家科学院院刊》(PNAS)上【1】,继 CR3022 抗体、肿瘤抗原 5T4 纳米抗体【2】等多个优化案例后,再次证明了生成式 AI 驱动抗体工程的广泛适用性和变革潜力。 论文地址: AI 抗体工程:精准优化 8G3 抗体,中和活性提升 1000-1500 倍由于病毒基因组的快速进化和新变种的不断产生增加了治疗的复杂性,大多数早期开发的抗体已无法精准识别并有效结合目标,导致中和能力大幅下降。
Yandex 开发并开源 Perforator,这款开源工具每年可为企业节省数十亿美元的服务器基础设施成本
全球领先的科技公司 Yandex 开发并开源了 Perforator,这是一款用于对服务器和应用程序进行持续实时监控和分析的创新工具。 Perforator 帮助开发人员识别最占资源的代码部分,并提供详细的统计数据,以便进行后续优化。 通过识别代码中的低效部分并支持基于配置文件的优化,Perforator 提供了准确的数据,使企业能够手动优化其应用程序,根据公司规模,降低基础设施成本最多可达 20%。
AI加速优化求解,达摩院连续两年获求解器全国赛事冠军
以“AI 优化求解器”助力能源绿色转型,达摩院自研“敏迭”求解器连续获得权威赛事冠军。 1月17日消息,达摩院自主研发的“敏迭”求解器在工信部产业发展促进中心组织的第二届能源电子产业创新大赛上,再次斩获“国产求解器技术专题赛”冠军。 这是继近期入选工信部“人工智能赋能新型工业化”典型应用案例后的又一殊荣。
中科大&vivo最新深度估计DepthMaster:泛化能力、细节保留超越其他基于扩散方法
本文经3D视觉之心公众号授权转载,转载请联系出处。 单目深度估计的瓶颈单目深度估计(Monocular Depth Estimation, MDE)因其简单、低成本和易于部署的特点,受到了广泛关注。 与传统的深度传感技术(如LiDAR或立体视觉)不同,MDE仅需要一张RGB图像作为输入,因此在自动驾驶、虚拟现实和图像合成等多个应用领域中具有很高的吸引力。
推动智能决策,AutoML技术在腾讯广告推荐场景的探索与应用
广告推荐系统的表现直接影响用户体验和商业收益,如何在海量数据中精准捕捉用户需求并提供个性化推荐,成为广告推荐场景面临的重要挑战。 为了解决该场景中的数据稀疏、冷启动等问题,腾讯机器学习平台部对 AutoML 相关技术进行了深入的研究,发表了一系列具有创新性的学术论文。 一、AutoML 技术背景AutoML 自动化机器学习,是一个旨在简化和自动化机器学习模型开发过程的领域。
审稿人直呼简洁,单点PageRank终极版!人大STOC论文让复杂度优化至「理论最优」
在信息爆炸的互联网时代,应如何根据重要性对搜索得到的网页进行排名并呈现给用户? 这个问题困扰了无数早期的搜索引擎。 破局者来自Google,创始人Sergey Brin和Lawrence Page提出的网页排名算法PageRank为这个难题提供了一个开创性的解决方案:为每个网页都计算了一个重要性得分,即PageRank得分,得分越高表示该网页质量越好,在信息检索时的重要性越高。
克服奖励欺骗:Meta 发布全新后训练方式 CGPO 编程水平直升 5%,打破 RLHF 瓶颈
CGPO 框架通过混合评审机制和约束优化器,有效解决了 RLHF 在多任务学习中的奖励欺骗和多目标优化问题,显著提升了语言模型在多任务环境中的表现。 CGPO 的设计为未来多任务学习提供了新的优化路径,有望进一步提升大型语言模型的效能和稳定性。 近年来,随着大规模语言模型(LLMs)的发展,特别是通用大模型的应用场景愈发广泛,RLHF 逐渐成为调整和优化语言模型输出的主流方法。
PyTorch 架构优化库 torchao 正式发布,可大幅提升 AI 模型效率
据 PyTorch 新闻稿,PyTorch 旗下架构优化库 torchao 现已正式发布,该优化库主要专注于模型的量化和稀疏性优化,能够在保证性能的同时降低模型的计算成本和 RAM 用量,从而提升模型运行效率,AI在线附 GitHub 页面地址(点此访问)。据介绍,torchao 提供了一系列优化工具集,可以帮助 LLaMA 3 等流行的 AI 模型提升性能,其支持 float8、int4 等低精度数据类型,能够有效减少硬件开销和 RAM 用量。官方举例,在 LLaMA 3 70B 模型的预训练中,torchao
易用性对齐 vLLM,推理效率提升超200%,这款国产加速框架什么来头?
一、行业背景2022 年 10 月,ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮,全球科技企业纷纷加入大语言模型的军备竞赛,大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型(Large Language Model,简称 LLM 大模型)指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数,训练时需要处理数万亿个 Token,这对显卡等算力提出了极高的要求,也带来了能源消耗的激增。据斯坦福人工智能研究所发布的《2023 年 AI
击败25个分子设计算法,佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO
作者 | 佐治亚理工学院王浩瑞编辑 | ScienceAI分子发现作为优化问题,因其优化目标可能不可微分而带来显著的计算挑战。进化算法(EAs)常用于优化分子发现中的黑箱目标,通过随机突变和交叉来遍历化学空间,但这会导致大量昂贵的目标评估。在这项工作中,佐治亚理工学院、多伦多大学和康奈尔大学研究者合作提出了分子语言增强进化优化(MOLLEO),通过将拥有化学知识的预训练大语言模型(LLMs)整合到进化算法中,显著改善了进化算法的分子优化能力。该研究以《Efficient Evolutionary Search Ov
AI小分子药物发现的「百科全书」,康奈尔、剑桥、EPFL等研究者综述登Nature子刊
作者 | 康奈尔大学杜沅岂编辑 | ScienceAI随着 AI for Science 受到越来越多的关注,人们更加关心 AI 如何解决一系列科学问题并且可以被成功借鉴到其他相近的领域。AI 与小分子药物发现是其中一个非常有代表性和很早被探索的领域。分子发现是一个非常困难的组合优化问题(由于分子结构的离散性)并且搜索空间非常庞大与崎岖,同时验证搜索到的分子属性又十分困难,通常需要昂贵的实验,至少是至少是模拟计算、量子化学的方法来提供反馈。随着机器学习的高速发展和得益于早期的探索(包括构建了简单可用的优化目标与效果
量子计算新进展,腾讯量子实验室设计新算法进行量子近似优化
编辑 | 白菜叶组合优化问题普遍存在,并且通常在计算上很难解决。量子近似优化算法(QAOA)是最具代表性的量子经典混合算法之一,旨在通过将离散优化问题转化为连续电路参数上的经典优化问题来解决组合优化问题。QAOA 目标景观因普遍存在局部最小值而臭名昭著,其可行性很大程度上依赖于经典优化器的功效。在最新的研究中,腾讯量子实验室(Tencent Quantum Laboratory)的研究人员为 QAOA 设计了 double adaptive-region Bayesian optimization(DARBO)。测
基于Transformer和注意力的可解释核苷酸语言模型,用于pegRNA优化设计
编辑 | 紫罗基因编辑是一种新兴的、比较精确的能对生物体基因组特定目标基因进行修饰的一种基因工程技术。先导编辑(Prime editor, PE)是美籍华裔科学家刘如谦(David R.Liu)团队开发的精准基因编辑系统,PE 是一种很有前途的基因编辑工具,但由于缺乏准确和广泛适用的方法,有效优化先导编辑 RNA(prime editing guide RNA, pegRNA)设计仍然是一个挑战。近日,来自重庆医科大学、西北农林科技大学、云南民族大学、浙江大学医学院和中国科学院数学与系统科学研究院生物信息学中心(B