llm

感谢Meta 官方在 X 平台宣布推出 LLM 编译器，这是一个基于 Meta Code Llama 构建的模型家族，具备额外的代码优化和编译器功能。这些模型可以模拟编译器，预测代码巨细的最佳传递，并可反汇编代码，可以针对新的优化和编译器恣意进行微调。Meta 在 HuggingFace 上公开了 LLM 编译器的 7B 和 13B 模型，采用宽松的许可协议，允许用于研究和商业用途。IT之家附链接…

随着人工智能的迅猛发展，尤其是在自然语言处理（NLP）畛域，大型语言模型（LLM）展现了硕大的变革后劲。这些模型正在改变我们的工作和交流方式，并在各种计算装备上展现出广泛的运用前景。然而，LLM硕大的模型给它在智能手机、物联网装备和车载系统等边沿装备上的运用带来了不小的寻衅。我们的比赛旨在鞭策LLM在资源受限的边沿装备上的机能、效率和多任务处理能力的极限。比赛背景：虽然LLM具有硕大的运用后劲，但…

自 ChatGPT 发布以来，庞大言语模型（LLM）已经成为推动人工智能发展的关键技术。近期，机械进修和 AI 研究员、畅销书《Python 机械进修》作者 Sebastian Raschka 又写了一本旧书 ——《Build a Large Language Model (From Scratch)》，旨在讲授从头开始构建庞大言语模型的整个过程，包括如何创立、训练和调整庞大言语模型。最近，Seb…

近年来，人工智能蓬勃发展，谈天机器人等运用逐渐普及，人们可以通过简单的指令从这些谈天机器人（例如 ChatGPT）获取信息。然而，这些谈天机器人依然容易出现“幻觉”成绩，即提供错误的谜底，有时甚至是危险的信息。图源 Pexels造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过，牛津大学的钻研职员另辟蹊径，在最新出版的《自然》杂志上详细介绍了一种他们新开发的要领，…

【新智元导读】「AI 教父」Geoffrey Hinton 在最近的采访中表达了自己对 AI 智能的了解 ——LLM 并不是简单的统计模型，已经具备了了解能力。与此同时，网友翻出了去年 12 月的「过期」视频，惊奇地发现 Hinton 早就「叛变」了，竟然对超等 AI 代替人类的未来意味支撑。最近，半退休的「AI 教父」Geoffrey Hinton 频频出现在各种采访中，输出他关于 ASI 的各…

编辑 | 萝卜皮医生和科学家如果想开发一种新的疗法，这将是一个漫长且昂贵的恣意，需要满足许多不同的标准，而能够加快这一过程的人工智能模型将是无价之宝。然而，目前大多数人工智能方法只能解决一组定义狭窄的恣意，通常局限于特定领域。为了弥补这一差距，Google 团队提出了 Tx-LLM，这是一种通用大型言语模型（LLM），由 PaLM-2 微调而成，可编码有关各种医治方式的学问。仅使用一组权重，Tx-…

跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用对象，用于增强 GPU 通讯并减少 LLM 训练中的内存运用量，与 FSDP 相比，其训练速率晋升最高可达 26%，具体取决于架构和参数数量。通过运用 YaFSDP 减少 LLM 的训练时间可以浪费高达 20% 的 GPU 资本。Yandex 承诺为寰球人…

编辑 | X金属有机框架（MOF）因其孔隙率大、表面积大和出色的可调性而用于许多化学应用。然而，在利用 AI 深入探索 MOF 设想与机能优化的研究征途中，科学家们正面临着前所未有的挑战。去年 3 月，韩国科学技术院（Korea Advanced Institute of Science and Technology，KAIST）的研究人员提出的 MOFTransformer 模型经过一百万个假设…

让谈话模型「轻装上阵」。一直以来，矩阵乘法（MatMul）稳居神经网络操纵的主导地位，其中很大原因归结为 GPU 专门针对 MatMul 操纵进行了优化。这种优化使得 AlexNet 在 ILSVRC2012 挑战赛中一举胜出，成为深度进修崛起的历史性标志。在这当中，有个值得注意的点是，AlexNet 利用 GPU 来提高训练速度，超越了 CPU 的能力，至此，GPU 的加入使得深度进修仿佛赢得了…

感谢IT之家网友 刺客 的线索投递！在基准尝试上频频屠榜的大模型们，竟然被一道简单的逻辑推理题打得全军覆没？最近，钻研机构 LAION 的几位作者共同发表了一篇文章，以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理成绩，揭示了 LLM 基准尝试的盲区。一道简单的逻辑成绩，竟让几乎所有的 LLM 全军覆没？对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的尝试并不算很难 ——「爱丽丝有 N 个弟兄…

据 NewAtlas 报道，研讨职员操纵自决协作的 GPT-4 机器人小组成功入侵了一半以上的尝试网站，这些机器人可以自决调和行动并根据需要生成新的“帮手”。更令人吃惊的是，他们操纵的是以前未知的、现实世界中从未公开的“零日”破绽（zero-day vulnerabilities）。图源 Pexels早在几个月前，同一批研讨职员就发表了一篇论文，声称他们能够使用 GPT-4 自动操纵“N day”…

【新智元导读】LLM 有影象本领吗？有，也没有。虽然 ChatGPT 聊天时好像可以记着你以前说的话，但实际上，模型在推理时记不住任何实质，而且它们在训练时的影象体例也不像我们想象的那么简单。Django 框架的创始人之一、著名开发者 Simon Willison 最近发表了一篇博客文章，核心观点是 —— 虽然很多 LLM 看起来有影象，但本质上是无状态函数。文章地址： 和 FireFox 的联合…

【新智元导读】GPT-4 在为人类选股时，显露竟然超越了大部分人类阐明师，和针对金融训练的专业模型？在没有任何上下文的情况下，它们直接就成功阐明了财务报表，这一发现让许多业内大咖震惊了。然而好景不长，有 AI 大牛指出钻研中的 bug：之所以会这样，很大概是训练数据被污染了。最近，各位业内大咖都被芝大的一篇论文震惊了。钻研者发现，由 GPT-4 帮忙选择的股票，直接击败了人类！同时也 pk 掉了许…

【新智元导读】为训练 AI 模型，纽约州立大学的一名教授 Brenden Lake，竟让自己不到 2 岁女儿头戴相机收集数据！要知道，Meta 训 Llama 3 直接用了 15 万亿个 token，如果 Lake 真能让 AI 模型进修人类幼崽，从有限的输入中进修，那 LLM 的全球数据荒岂不是解决了？为了训练 AI 模型，一位纽约州立大学的教授，竟然把类似 GoPro 的相机绑在了自己女儿头上…

一、简要介绍 本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相干工作。基于transformer的大语言模型（LLM）中的软留神很容易将上下文中的不相干信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正这些成绩，论文引入了System 2 Attention（S2A），它利用LLM的能力…

由多方企业和机构组成的日本联合研讨团队昨日发布了 Fugaku-LLM 大模型。该模型的最大特色就是其是在 Arm 架构超算“富岳”上训练的。Fugaku-LLM 模型的开发于 2023 年 5 月启动，初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研讨所（理研）。而在 2023 年 8 月，另外三家合作方 —— 名古屋大学、CyberAgent（也是游戏企业 Cyga…

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上兑现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 说话 / CUDA，不必要 245MB 的 PyTorch 或 107MB 的 cPython。例…

【新智元导读】Anthropic 发现了大模型的惊人马脚。经过 256 轮对话后，Claude 2 逐渐被「灌醉」，开始疯狂逃狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。大模型又被曝出宁静题目？这次是长上下文窗口的锅！今天，Anthropic 发表了自己的最新研讨：如何绕过 LLM 的宁静限度？一次逃狱不够，那就多来几次！论文地址： Claude3 一家叫板 OpenAI 之余，A…

作者 | 裴启智随着大模型和 AI4Science 的蓬勃发展，越来越多的工作开始关注生物份子（Biomolecule）与自然说话（Language）的共同建模。这种方法行使文本数据中所包含的生物份子的丰富、多方面的描述，巩固模型对其的了解，提高生物份子属性预计等下游使命的效果，为全面表现和分析生物份子开辟了新的途径。近日，人大高瓴共同微软、华科、中科大等机构发布了综述文章：《Leveraging…

机器之能报道编辑：SiaMistral 目前法国科技界的骄傲和喜悦，也是开源力量的代表。它的初期失败要归功于能巧妙地将AI手艺与政事结合起来。问题是Mistral能否将这种诱人的手艺与政事混合优势转化为实实在在的利润。这家法国 AI 首创的崛起就像西北风一样轻快，这也是它名字 Mistral 的由来。Mistral 翻译过来是密史脱拉风，法国南部罗纳河谷一带特有的强风，干寒强烈，持续时间长。据说，…

编辑 | X大型谈话模型 (LLM) 已成为增强自然谈话理解的变革力量，代表着通用人工智能的重大进步。LLM 的应用超越了传统的谈话界限，涵盖了迷信范畴各学科中开发的专业谈话系统。这也导致了迷信 LLM 的出现。作为迷信人工智能（AI for Science）范畴的一个新兴范畴，迷信 LLM 值得片面索求。然而，目前缺乏系统的、最新的观察来介绍它们。近日，来自浙江大学的研讨团队，系统地描述了「迷信…

随着大型说话模型（LLM）技术日渐成熟，提示工程（Prompt Engineering）变得越来越重要。一些研究机构发布了 LLM 提示工程指南，包括微软、OpenAI 等等。最近，Llama 系列开源模型的提出者 Meta 也针对 Llama 2 发布了一份交互式提示工程指南，涵盖了 Llama 2 的快速工程和最佳实践。以下是这份指南的核心内容。Llama 模型2023 年，Meta 推出了 …

编辑 | 白菜叶医学的核心在于医患对话，熟练的病史采集为准确的诊疗、有效的管理和持久的信任铺平了道路。能够举行诊疗对话的人工智能（AI）体系可以提高护理的可及性、一致性和质量。然而，学习临床大夫的专业知识是一个巨大的挑战。Google Research 和 Google DeepMind 的 AI 团队开发了 AMIE（Articulate Medical Intelligence Explore…

作者 | 凯霞2023 年，人工智能畛域最具影响的莫过于 GPT-4、ChatGPT 了。ChatGPT 凭一己之力掀起了 AI 畛域的热潮，火爆全球，似乎开启了第四次工业革命。ChatGPT 入选《Nature》2023 年度十大人物（Nature’s 10），这是有史以来第一次「计算机程序」——首个非人类实体入选。《Nature》表示这一做法旨在认可模仿人类言语的 AI 系统在迷信发展和进步中…