llm

编辑 | 萝卜皮人工智能（AI）的一个关键挑战是：如何创建能够通过「探索新领域」、「识别复杂模式」和「揭示海量科学数据中隐藏的联系」来自主推进科学理解的系统。在最近的工作中，麻省理工学院（Massachusetts Institute of Technology）原子与分子力学实验室（LAMM）的研究人员提出了 SciAgents，一种可以整合利用三个核心概念的方法：（1）使用大规模本体知识图谱来…

编辑 | KX9 月 17 日，领先的细胞编程和生物安全平台 Ginkgo Bioworks 公司宣布了两项新产品，将助力制药和生物技术公司更容易开发新药，这是在去年与 Google Cloud 宣布的合作伙伴关系的基础上推出的。与 Google Cloud 合作构建的蛋白质大型语言模型 (LLM)，是业内首创之一，它将使个人研究人员和企业公司能够利用 Ginkgo 私人数据的见解开发药物。其次，…

一、行业背景2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿…

前些天，OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，给 o1-mini 发送 50 条消息。实在是少！为了降低 LLM 的使用成本，研究者们已经想出了各式各样的方法。有些方法的目标是提升模型的效率，…

在 AI 领域，几乎每个人都在谈论大型语言模型，其英文全称为 Large Language Models，简写为 LLM。因为 LLM 中有「Language」一词，因此，大家默认这种技术和语言密切相关。然而，知名 AI 大牛 Andrej Karpathy 却对此有着独特的见解：「大型语言模型（LLM）名字虽然带有语言二字，但它们其实与语言关系不大，这只是历史问题，更确切的名字应该是自回归 Tr…

编辑 | ScienceAI近日，上海交通大学、上海 AI Lab、中国移动等机构的联合研究团队，在 arXiv 预印平台发布文章《Towards Evaluating and Building Versatile Large Language Models for Medicine》，从数据、测评、模型多个角度全面分析讨论了临床医学大语言模型应用。文中所涉及的所有数据和代码、模型均已开源。Git…

OpenAI 警告说，跟人工智能语音聊天可能会产生「情感依赖」。这种情感依赖是怎么产生的呢？MIT 的一项研究指出，这可能是「求仁得仁」的结果，无怪乎连软件工程师也会对 AI 着迷。「请不要爱上我们的人工智能聊天机器人。」这个月，OpenAI 在发布的官方报告中，特意提到，不希望用户与 ChatGPT-4o 建立情感联系。OpenAI 的这种担心并不是多余的，对一百万个 ChatGPT 交互日志的…

Nature 的一篇文章透露：你发过的 paper，很可能已经被拿去训练模型了！有的出版商靠卖数据，已经狂赚 2300 万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗？全球数据告急，怎么办？论文来凑！最近，Nature 的一篇文章向我们揭露了这样一个事实：连科研论文，都被薅去训 AI 了……据悉，很多学术出版商，已经向科技公司授权访问自家的论文，用来训练 AI 模型。一篇论文从酝酿 …

Meta 公司为了缓解自然语言处理（NLP）技术依赖人类注释评估 AI 模型的问题，最新推出了“自学评估器”（Self-Taught Evaluator），利用合成数据训练 AI。NPU 技术挑战NPU 技术的发展，推动大型语言模型（LLMs）高精度地执行复杂的语言相关任务，实现更自然的人机交互。不过当前 NPU 技术面临的一个重要挑战，就是评估模型严重依赖人工注释。人工生成的数据对于训练和验证模…

适逢 Llama 3.1 模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或 RAG 系统的微调生成合成数据。Epoch AI 上个月刚刚发文预言「数据墙」迫近，结果英伟达转头就甩出了 340B 开源巨兽 Nemotron。真实数据稀缺可能不再是问题了，Nemotron 9T token 的预训练预料中，98% 都是合成数据。也许你还对合成数据存在顾虑…

据《金融时报》今日报道，摩根大通开始在公司内部推出一款生成式 AI 产品，并告诉员工这款“自有版本的 ChatGPT”可以完成研究分析师的工作。▲ 图源摩根大通报道援引摩根大通内部备忘录称，该公司已经向其资产和财富管理部门的员工提供了一个名为 LLM Suite 的大型语言模型平台。高管们告诉员工，LLM Suite 可以通过访问第三方模型帮助他们撰写、生成创意和总结文件。LLM Suite 被描…

感谢AI在线从上海市第六人民医院官方公众号获悉，上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队与上海交通大学电院计算机系 / 教育部人工智能重点实验室盛斌教授团队，携手清华大学黄天荫教授团队与新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM，成果于 2024 年 7 月 19 日在 Natur…

编辑 | 白菜叶「计算机，分析。」在科幻小说中，人物不需要编程技能来从数据中提取有意义的信息，他们只是简单地提出要求而已。现在，越来越多的公司正尝试利用大型语言模型 (LLM) 将这一幻想变成现实。这些功能强大的人工智能（AI）工具让研究人员能够用自然语言询问数据问题，例如「对照组和实验组有什么区别？」。但与科幻小说中的人工智能不同，这些人工智能给出的答案仍然需要谨慎对待，并经过仔细检查才能安全使…

由佐治亚理工EIC实验室与Nvidia公司联合举办的LLM4HWDesign@ICCAD 2024大赛正式启动！此次比赛旨在推动大语言模型（LLM）在辅助硬件设计中的性能，诚邀各界精英踊跃参与，共同探索自动化数据生成、收集、清洗和标注的方法，构建一个开源、大规模、高质量的硬件代码数据集，实现LLM辅助硬件设计领域的革命性变革。竞赛目标大赛的主要目标是通过探索构建和标注数据集的方法，来提升LLM在辅…

大模型幻觉还分内在、外在了 ——OpenAI 科学家翁荔最新 Blog，提出 LLM 外在幻觉（extrinsic hallucination）。有别于代指模型生成与现实不符、虚构、不一致或者毫无意义的内容，翁荔将 LLM“幻觉”问题具体化为模型输出内容是虚构的，并且不基于所提供的上下文或世界知识。由此，幻觉有两种类型：上下文内幻觉：模型输出应该与上下文中的源内容一致（出现上下文内幻觉时，输出与源…

GPT-2 是 OpenAI 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 GPT-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。据 Tom's Hardware 今日报道，前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT…

三星确认 Bixby 将很快获得人工智能升级。在 Galaxy Z Flip 6 和 Galaxy Z Fold 6 发布后，三星移动部门 CEO TM Roh 在接受 CNBC 采访时表示，公司将在今年晚些时候发布升级版 Bixby，并由三星自家的大语言模型（LLM）提供支持。Roh 表示：“我们将通过应用生成式人工智能技术来提升 Bixby 的能力。”几个月前，三星推出过名为“Samsung …

编辑 | 萝卜皮OpenAI 的 GPT 和 Meta AI 的 Llama 等大型语言模型 （LLM），因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些 LLM 还能够将 SMILES 字符串解码为矢量表示。加拿大温莎大学（University of Windsor）的研究人员比较了 GPT 和 Llama 与 SMILES 上的预训练模型在…

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文是对发表在计算经济学顶级会议ACM Conference on …

编辑 | 萝卜皮通常，矩阵乘法 (MatMul) 在大型言语模型（LLM）总体盘算成本中占据主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这方面的成本只会增加。加州大学、LuxiTech 和苏州大学的钻研职员声称开发出一种新格式，通过消除过程中的矩阵乘法来更有效地运行人工智能言语模型。这从根本上重新设计了目前由 GPU 芯片加速的神经网络操作方式。钻研职员描述了如何在不使用 MatMu…

作者 | 佐治亚理工学院王浩瑞编辑 | ScienceAI份子发明作为优化问题，因其优化宗旨可能不可微分而带来显著的计算挑战。退化算法（EAs）常用于优化份子发明中的黑箱宗旨，通过随机突变和交叉来遍历化学空间，但这会导致大量昂贵的宗旨评价。在这项工作中，佐治亚理工学院、多伦多大学和康奈尔大学研究者合作提出了份子说话增强退化优化（MOLLEO），通过将拥有化学知识的预训练大说话模型（LLMs）整合到…

Meta 前天推出了一款名为“LLM Compiler”的模型，该模型基于 Meta 现有的 Code Llama 打造，主打代码优化，目前相干模型已登陆 Hugging Face，提供 70 亿参数及 130 亿参数两个版本，允许学术及商业应用，IT之家附项目地址如下：点此访问。Meta 认为，尽管业界各大谈话模型已在各种编程代码使命中展现了出色的能力，但此类模型在代码优化还有进步空间，目前推出…

编辑：桃子乔杨【新智元导读】LLM 能否解决「狼-山羊-卷心菜」经典过河难题？最近，菲尔兹奖得主 Timothy Gowers 分享了实测 GPT-4o 的过程，模型在最简单的题目上竟然做错了，甚至网友们发明，就连 Claude 3.5 也无法幸免。在经典的「狼-山羊-卷心菜」过河题目上，如今所有的 LLM 都失败了！几天前，菲尔兹奖得主、剑桥大学研究主任 Timothy Gowers 直接拿 G…