训练

感谢AI在线网友 刺客 的线索投递！用 AI 生成的数据训练 AI，模型会崩溃？牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了 Nature 封面。如今，LLM 已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的，我们用网络数据训练出的 GPT-n，会发生什么？论文地址：，如果在训练中不加区别地使用 AI 产生的内容，模型就会出…

据蓝鲸新闻今晚报道，近期有不少网文作者发帖称，字节跳动网文平台“番茄小说”的签约协议中增加了“AI 训练补充协议”，要求作者同意给平台“喂”作品，用于“内容开发”。觉察到这一情况的作者前往同为字节系的“豆包”AI 进行验证，不少人通过和豆包的对话获得了自己已发表作品的故事梗概和大纲。抖音集团方对此回应称，豆包是基于公开搜索结果呈现作品及概述，不存在盗用信息行为。番茄小说对于已经签署补充协议、或签约…

据 Wired 报道，包括苹果在内的一些科技巨头未经 YouTube 视频创作者同意，就使用了他们视频的字幕文件来训练人工智能模型。AI在线注意到，此次事件影响到的创作者包括知名科技博主 MKBHD (Marques Brownlee)、MrBeast、PewDiePie、以及脱口秀主持人斯蒂芬・科尔伯特、约翰・奥利弗和吉米・坎摩尔等。这些被用于训练 AI 的字幕文件相当于视频的文本转录内容。调查…

GPT-2 是 OpenAI 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 GPT-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。据 Tom's Hardware 今日报道，前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT…

据“上海金融官微”公众号，国内首个人形机器人银行大堂经理场景训练基地在建行上海浦东分行正式启用。银行大堂经理场景训练基地是业内首个商业银行场景应用训练基地，其首次采用开放式的创新训练模式，有助于加快提升人形机器人的能力，推动关键技术、重点产品和重点场景应用。据介绍，此次参训的机器人拥有高度仿生的躯干构型和拟人化的运动控制，结合视觉、听觉、语音等人工智能技术，科学家可以通过具身智能的推理和规划等对其…

批评不仅能让人进步，也能让大模型的能力提升。OpenAI 就用这个思路造了个“找茬模型”CriticGPT。非常巧合的是，就在 CriticGPT 放出的前几天，北大联合千问等团队以类似的思路设计出了“数学专用版”CriticGPT。在无需训练的设置下，验证器能够在推理时辅助模型在 GSM8K 上的准确率从 86.6% 提升到 88.2%。在 GSM8K 数据集上，它可以让模型的准确率从 86.6…

据 Tom's Hardware 今日报道，AI 初创公司 Anthropic 的首席执行官 Dario Amodei 近期接受播客节目采访时表示，目前像 GPT-4o 这样的模型训练成本约为 1 亿美元，而目前正在开发的 AI 大模型训练成本可能高达 10 亿美元（AI在线备注：当前约 72.94 亿元人民币）。当然，10 亿美元还不是“终点”。Dario Amodei 作出预测，未来…

感谢AI在线网友 刺客 的线索投递！ChatGPT 早已成为世界耗能大户：一天用掉超 50 万度电，相当于 1.7 万个美国家庭的用电量！然而，大模型对能源的吞噬，远不仅如此。国际能源署（IEA）预测，从 2022 年到 2026 年，数据中心的用电量将翻一番。随着 AI 计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从 2021 年到 22 年飙升了 34%，ChatGPT 每处理…

感谢据美联社报道，巴西国度数据保护局本地时间周二（2 日）认定，拥有 Facebook、Instagram、WhatsApp 等平台的交际搜集巨头 Meta 将不得应用来自巴西的数据来训练其生成式 AI 模型。Meta 短期革新了隐衷政策，允许公司可将人们的暗地帖子用于训练其模型。根据巴西国度数据保护局的公报，Meta 此举将会对受影响数据主体的基本权利造成严重的、不可挽回的或难以修复的损害，此次…

很翔实的一篇教程。OpenAI 的 Sora、Stability AI 的 Stable Video Diffusion 以及许多其他已经发布或未来将出现的文本生成视频模型，是继大语言模型 (LLM) 之后 2024 年最流行的 AI 趋势之一。在这篇博客中，作者将展示如何将从头开始构建一个小规模的文本生成视频模型，涵盖了从理解理论概念、到编辑整个架构再到生成最终结果的所有内容。由于作者没有大算力…

跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用对象，用于增强 GPU 通讯并减少 LLM 训练中的内存运用量，与 FSDP 相比，其训练速率晋升最高可达 26%，具体取决于架构和参数数量。通过运用 YaFSDP 减少 LLM 的训练时间可以浪费高达 20% 的 GPU 资本。Yandex 承诺为寰球人…

近些年，说话建模范围进展非凡。Llama 或 ChatGPT 等许多大型说话模型（LLM）有才智解决多种不同的使命，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的才智。如果能将视觉与说话打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型说话模型扩展到了视觉范围，但视觉与说话之间的连接尚…

近日，在全球瞩目的AAMAS 2024 Computational Economics Competition（计算经济学挑战赛）上，卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军，展现出其在计算经济学和人工智能范畴的强大竞争力。冠军证书亚军证书AAMAS 2024 是第23届国际自主智能…

2024年6月14日-15日，第6届北京智源大会将以线下与线上结合的形式召开，线下会场设在中关村国家自主创新示范区会议中心。2024智源大会再次以全球视野，汇聚年度杰出工作研讨者，交流新思想，探讨新思路，引领新前沿。目前已正式开放报名渠道。大说话模型 论坛丨6月14日下午近年来，大说话模型取得了重要的手艺进展，成为了人工智能范围最受社会关注的研讨方向之一，其应用范围逐渐覆盖了信息产业的多个范围。对…

【新智元导读】LLM 有影象本领吗？有，也没有。虽然 ChatGPT 聊天时好像可以记着你以前说的话，但实际上，模型在推理时记不住任何实质，而且它们在训练时的影象体例也不像我们想象的那么简单。Django 框架的创始人之一、著名开发者 Simon Willison 最近发表了一篇博客文章，核心观点是 —— 虽然很多 LLM 看起来有影象，但本质上是无状态函数。文章地址： 和 FireFox 的联合…

感谢福布斯报导称，随着对人工智能机器人投资的升温，OpenAI 正式重启其先前保持的机器人团队，OpenAI 随后确认了这一消息。OpenAI 成立初期，机器人技术就是其主攻方向之一，团结创始人沃伊切赫・扎伦巴领导的团队最初试图打造一个“通用机器人”。2019 年，十多位 OpenAI 研究人员团结发表了一篇论文，描述了他们如何训练神经网络使用单只机械手复原魔方，并声称这是朝着训练机器人系统执行各…

编辑 | 绿罗了解湍流平流粒子的统计和几何特点是一个拥有挑战性的问题，对于许多应用的建模、预测和控制至关重要。例如燃烧、工业混合、污染物分散、量子流体、原行星盘吸积和云形成等。尽管过去 30 年在理论、数值和试验方面做出了很多努力，但现有模型还不能很好地再现湍流中粒子轨迹所表现出的统计和拓扑特点。近日，意大利罗马第二大学（University of Rome Tor Vergata）的研究人员，提…

据《金融时报》报导，近日，英国政府文化大臣露西・弗雷泽发表将加快制订有关人工智能透明度的法规，以帮助保护实质创作者。她表示，这些法规的出台将意味着 AI 公司必须更加公开、透明地披露训练模型所用的数据情况，用户也可以自己选择哪些数据可被 AI 公司用来训练，作品被用于训练模型的创作者也将获得酬劳。图源 Pexels不仅仅是英国，欧盟当前也正在根据其人工智能法案制订类似的法规。根据该法案，AI 开发…

感谢根据彭博社的一份新报告，索尼音乐集团正在通知各大 AI 公司不得“未经授权应用公司旗下的资产进行模型训练”。IT之家获悉，索尼音乐目前已经向 700 多家公司发送了函件，以保护其知识产权，索尼提到，任何 AI 公司未经明确许可，不得应用索尼旗下的专辑封面艺术、音乐作品和歌词等内容。在 AI 模型的训练上，版权一直是一项令人“头大”的问题，如今业界举着牌子声称“某某模型侵犯原始作者版权”的事件已…

编辑 | 萝卜芯预训练语言模型在阐发核苷酸序列方面显示出了良好的前景，但应用单个预训练权重集在不同工作中表现出色的多功能模型仍然存在挑战。百度大数据实验室（Big Data Lab，BDL）和上海交通大学团队开发了 RNAErnie，一种基于 Transformer 架构，以 RNA 为中心的预训练模型。钻研人员用七个数据集和五个工作评价了模型，证明了 RNAErnie 在监视和无监视学习方面的优…

【新智元导读】为训练 AI 模型，纽约州立大学的一名教授 Brenden Lake，竟让自己不到 2 岁女儿头戴相机收集数据！要知道，Meta 训 Llama 3 直接用了 15 万亿个 token，如果 Lake 真能让 AI 模型进修人类幼崽，从有限的输入中进修，那 LLM 的全球数据荒岂不是解决了？为了训练 AI 模型，一位纽约州立大学的教授，竟然把类似 GoPro 的相机绑在了自己女儿头上…

在 WWDC24 之前，苹果在 Hugging Face 平台上颁布了一个“具有开源训练和推理框架的高效谈话模型”，名为 OpenELM。当然，这是一项开源谈话模型，其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。IT之家将官方简介翻译如下：大型谈话模型的可重复性和透明性对于推进封闭研讨、确保结果的可信度以及调查数据和模型偏差以及潜在风险至关重要。为此，我们颁布了 OpenEL…

过去几年来，散布模型强大的图象合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务：视频生成。近日，OpenAI 安全系统（Safety Systems）负责人 Lilian Weng 写了一篇关于视频生成的散布模型的博客。                              Lilian Weng机器之心对这篇博客进行了不改变原意的编译、整理，以下是博客原文：视频生成任务本身是图…

新智元报道  编辑：Aeneas 好困【新智元导读】2026 年的数据荒越来越近，硅谷大厂们曾经为 AI 训练数据抢疯了！它们纷纷豪掷十数亿美圆，希望把犄角旮旯里的照片、视频、聊天记录都给挖出来。不过，如果有一天 AI 忽然吐出了我们的自拍照或者隐私聊天，该怎么办？谁能想到，我们多年前的聊天记录、社交媒体上的陈年照片，忽然变得价值连城，被大科技公司争相疯抢。现在，硅谷大厂们曾经纷纷出动，买下所有能…