优化

在信息爆炸的互联网时代，应如何根据重要性对搜索得到的网页进行排名并呈现给用户？ 这个问题困扰了无数早期的搜索引擎。 破局者来自Google，创始人Sergey Brin和Lawrence Page提出的网页排名算法PageRank为这个难题提供了一个开创性的解决方案：为每个网页都计算了一个重要性得分，即PageRank得分，得分越高表示该网页质量越好，在信息检索时的重要性越高。

CGPO 框架通过混合评审机制和约束优化器，有效解决了 RLHF 在多任务学习中的奖励欺骗和多目标优化问题，显著提升了语言模型在多任务环境中的表现。 CGPO 的设计为未来多任务学习提供了新的优化路径，有望进一步提升大型语言模型的效能和稳定性。 近年来，随着大规模语言模型（LLMs）的发展，特别是通用大模型的应用场景愈发广泛，RLHF 逐渐成为调整和优化语言模型输出的主流方法。

一、行业背景2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿…

作者 | 佐治亚理工学院王浩瑞编辑 | ScienceAI份子发明作为优化问题，因其优化宗旨可能不可微分而带来显著的计算挑战。退化算法（EAs）常用于优化份子发明中的黑箱宗旨，通过随机突变和交叉来遍历化学空间，但这会导致大量昂贵的宗旨评价。在这项工作中，佐治亚理工学院、多伦多大学和康奈尔大学研究者合作提出了份子说话增强退化优化（MOLLEO），通过将拥有化学知识的预训练大说话模型（LLMs）整合到…

作者 | 康奈尔大学杜沅岂编辑 | ScienceAI随着 AI for Science 受到越来越多的关注，人们更加关心 AI 如何解决一系列科学问题并且可以被成功借鉴到其他相近的领域。AI 与小份子药物创造是其中一个非常有代表性和很早被探索的领域。份子创造是一个非常困难的拉拢优化问题（由于份子布局的离散性）并且搜寻空间非常庞大与崎岖，同时考证搜寻到的份子属性又十分困难，平时需要昂贵的实行，至少…

编辑 | 白菜叶拉拢优化题目普遍存在，并且通常在计算上很难处理。量子近似优化算法（QAOA）是最具代表性的量子典范混合算法之一，旨在通过将离散优化题目转化为连续电路参数上的典范优化题目来处理拉拢优化题目。QAOA 目标景观因普遍存在局部最小值而臭名昭著，其可行性很大程度上依赖于典范优化器的功效。在最新的钻研中，腾讯量子实验室（Tencent Quantum Laboratory）的钻研人员为 QA…

编写 | 紫罗基因编写是一种新兴的、比较精确的能对生物体基因组特定目标基因进行修饰的一种基因工程技术。先导编写（Prime editor, PE）是美籍华裔科学家刘如谦（David R.Liu）团队开发的精准基因编写系统，PE 是一种很有前途的基因编写工具，但由于缺乏准确和广泛适用的方法，有效优化先导编写 RNA（prime editing guide RNA, pegRNA）安排仍然是一个挑战。…

范例博弈（specification gaming）是一种满足了方向的字面范例，但没有实现预期结果的现象。

Speed Is All You Need：google提出针对 Stable Diffusion 一些优化建议，生成图片速度快速提升。Stable Diffusion 在图象生成领域的知名度不亚于对话大模型中的 ChatGPT。其能够在几十秒内为任何给定的输入文本创建逼真图象。由于 Stable Diffusion 的参数量超过 10 亿，并且由于设施上的算计和内存资源有限，因而这种模型主要运转…

编辑 | 萝卜皮开发高能高效电池技术是推进交通和航空电气化的关键方面。然而，电池创新大概需要数年时间才能实现。在非水电池电解质溶液的情况下，选择多种溶剂、盐及其相对比例的许多设想变量使得电解质优化既费时又费力。为了克服这些问题，卡内基梅隆大学（Carnegie Mellon University）的钻研团队提出了一种试验设想，将机械人技术（一个名为「Clio」的定制自动化试验）与机械学习（一个名为…

主讲人：严恩勖墨芯人工智能联合创始人 & 首席科学家卡内基梅隆大学 机器学习博士神经网络动态茂密算法发明者视频简介：10年前，AI算计优化大多提防在优化算法的算计复杂度上，近年来随着AI产业化，AI算计优化更多注重在硬件的算力提拔上。当前，硬件所能带来的算力提拔已贴近限度，AI优化算计的将来将是算法与硬件架构的配合优化，以及建立相应的软件生态。茂密化算计，带来数量级的算力提拔，将成为将来A…

本文提出一种利用生成模型作为图片先验的梯度进击步骤GGL，由来自美国田纳西大学，美国橡树岭国家尝试室，和谷歌共同完成，论文已被 CVPR 2022 接收。

这周我们简单介绍一个高效份子优化的方法。该工作由UIUC的Jimeng Sun组合MIT的Connor Coley组合作完成，对应的文章题目是Differentiable Scaffolding Tree for Molecule Optimization[1]，被2022年ICLR接受，主要的代码和数据发布在。内容：思路：基于梯度的份子优化份子的可微分骨架树类梯度上升的优化算法优化效果测试由可微…

编辑 | 萝卜皮份子优化是药物开发中的关键步骤，可通过化学润饰改善候选药物的预期特征。来自俄亥俄州立大学（The Ohio State University）的研讨人员，在份子图上开发了一种新颖的深度生成模型 Modof，用于份子优化。Modof 通过展望份子处的单个断开位点以及在该位点去除和/或添加片断来润饰给定的份子。在 Modof-pipe 中实现了多个相同 Modof 模型的管道，以改动多…

2016 年发表的《在线凸优化导论》第一版已成为领域内典范册本。