字节跳动

戳此链接，下载奖学金申请表（建议PC端打开）

本周学术界瞩目的焦点，无疑是在泰国曼谷举行的 ACL 2024 顶会。这场盛会吸引了全球众多杰出的研究者，大家汇聚一堂，共同探讨和分享最新学术成果。官方公布的数据显示，本届 ACL 共收到近 5000 篇论文投稿，其中 940 篇被主会录用，168 篇工作入选大会口头报告（Oral），录取率低于 3.4%，这当中，字节跳动共有 5 篇成果中选 Oral。在 8 月 14 日下午的 Paper Aw…

伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日，字节跳动豆包大模型团队与香港大学联合提出了 ByteCheckpoint。这是一个 PyTorch 原生，兼容多个训练框架，支持 Checkpoint 的高效读写和…

在 ChatGPT 走红之后，本着「打不过就加入」的心态，很多职场人学起了 AI。但遗憾的是，不少人走了弯路，甚至还被某些「199」的课程割了韭菜。其实，学 AI 这事儿并不难。读文章、看视频、啃论文都是很好的学习方式。当然，还是有不少读者吐槽，学 AI 就像当年学英语一样，总会遇到一些让人头疼的「生词」，读论文比做阅读理解还麻烦，视频课程也不知道哪个适合自己，浪费了不少时间。AI 学习路上遇到的…

无论是语速超快、发音复杂的绕口令，还是精妙绝伦的文言文，又或是充满即兴和灵感的随意聊天，模型都能流畅自然地给出准确而地道的翻译结果。近年来，人工智能（Aritificial Intelligence, AI），尤其是以大语言模型（Large Language Models, LLMs）为代表的 AI 正以惊人的速度发展，这些模型在多种自然语言处理任务中展现了卓越的能力。然而，尽管在许多领域取得了突…

今日融资快报李飞飞旗下AI初创企业World Labs估值已超10亿美元英国《金融时报》报道，著名华裔计算机科学家李飞飞创办的World Labs估值已经赶超10亿美元。 该创企主要利用类似人类的视觉数据处理技术，使AI具备高级推理能力。 据知情人士透露，从今年4月成立至今，World Labs已经进行了两轮融资，投资方包括顶级科技投资者Andreessen Horowitz和AI基金Radica…

字节跳动大模型团队成果 Depth Anything V2 现已被苹果官方收入 Core ML 模型库。本文介绍了 Depth Anything 系列成果的研发历程、技术挑战与解决方法，分享了团队对于 Scaling Laws 在单一视觉任务方面的思考。值得一提的是，Depth Anything V1 与 V2 两个版本论文一作是团队实习生。近日，字节跳动大模型团队开发的成果 Depth Anyt…

Seed-TTS 是字节跳动豆包大模型团队近期发布的语音生成大模型成果。它生成的语音几乎与真人完全一样，连发音瑕疵也能生成出来，尤其在学习模仿人类说话方面，相似性和自然度均有很好表现。举例来说，将一段语音提供给 Seed-TTS，它就能按文本生成全新语音，且带上原素材的声响特征。原素材（Prompt）：Seed-TTS 生成的中文语音： 突然，身边一阵笑声。我看着他们，意气风发地挺直了胸膛，甩了甩…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected] 在生成式模型的迅速发展中，Image Tokenization 扮…

通过高保真分解语音与真人语音无异。首先来听一段《凡人修仙传》：你猜的没错，这段有声书并非来自某个专业制作团队，而是一个 AI 模型 Seed-TTS，而这个模型则是来自字节跳动的 Seed Team。TTS 是指文本转语音，这是一种具备诸多妙用的技术，像是让个人智能助理谈话、为视频或游戏配音、辅助视障人士、制作有声书等等。对于 TTS 技术研发者来说，流畅自然的表达一直以来都是值得追求的重要目标。…

AIxiv专栏是机器之心发布学术、技术实质的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇实质，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]当前主流的视觉说话模型（VLM）主要鉴于大说话模型（LLM）进一步微…

实时 Pk、“蒙面“ 对垒、大众点评、定期排名...... 就问敢不敢揭榜？字节版 GPTs “扣子”上线后，五年级小学生都能创建自己的英语外教。“扣子”有一个相当大的优势，就是支持国内知名大说话模型作为底座，还免费，许多 “AI bot" 孕育而生。不过，无限续杯也有烦恼。“学霸”这么多，挑谁最合适？看跑分？不太懂，也飘渺。要不，大家现场"全开麦“ PK一下？“扣子”已经把舞…

2024 年初，字节跳动 CEO 梁汝波在年会中提到，公司层面的半年度技术回顾里，2023 年才出现 GPT 相关讨论。 作为对比，业内做得比较好的大模型创业公司基本在 2018 年到 2021 年之间已经创立。 简而言之，这场由 Open AI 在 2022 年底发布 ChatGPT 3.5 而掀起的“大模型”盛宴，字节没有成为最早的“入场嘉宾”。

大模型的性价比之战已经来到了新的阶段。5月15日，2024火山引擎FORCE原动力大会上，火山引擎总裁谭待宣布，字节跳动内部自研的豆包大模型正式在火山引擎上对外开放服务。豆包大模型在价格上主打“极致性价比”：豆包通用模型pro-32k版，推理输入价格0.0008元/千tokens，较行业价格低99.3%。一元钱能买到豆包主力模型的125万tokens，相当于三本《三国演义》的输入量。谭待认为，降低…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实行室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成…

最近，集中模型（Diffusion Model）在图象生成领域取得了显著的进展，为图象生成和视频生成任务带来了前所未有的发展机遇。尽管取得了令人印象深刻的结果，集中模型在推理流程中天然存在的多步数迭代去噪特性导致了较高的计算成本。近期出现了一系列集中模型蒸馏算法来减速集中模型的推理流程。这些方式大致可以分为两类：i) 轨迹保持蒸馏；ii) 轨迹重构蒸馏。然而，这两类方式会分别受到动机天花板有限或者…

短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技巧和钻研一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和实质重点分歧，揭示出与横屏视频数据分歧的特点。针对这一分歧，字节跳动技巧团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技巧点以及一个初始规划。这项钻研对准确的竖屏视频理解和基础技巧架构有较为重要的意义，论文已入选 CVPR2024。视频 demo 揭示、数…

2024 开年，OpenAI 就在生成式 AI 规模扔下了重磅炸弹：Sora。这几年，视频生成规模的技能迭代持续加速，很多科技公司也公布了相关技能进展和落地成果。在此之前，Pika、Runway 都曾推出过类似产品，但 Sora 放出的 Demo，显然以一己之力抬高了视频生成规模的标准。在今后的这场竞争中，哪家公司将率先打造出超越 Sora 的产品，仍是未知数。国内这边，目光聚集于一众科技大厂。此…

编辑 | 萝卜皮鉴于神经网络的变分蒙特卡罗（NN-VMC）已成为一种有前途、有潜力的重新算计量子化学的尖端技术。然而，现有办法的高算计成本，阻碍了它们在现实化学问题中的应用。字节跳动与北京大学团队介绍了 NN-VMC 的最新钻研进展，它实现了显著的加速率，从而极大地将 NN-VMC 的适用性扩展到更大的零碎。该团队的关键设计是一个名为 Forward Laplacian 的算计框架，它通过有效的前…

大玩家终于正式下场。在持续一年的大模型热潮之后，「智能体」成为了科技公司们新的押注方向之一。近日，字节跳动正式推出「Coze 扣子」AI Bot 开发平台。任何用户都可以疾速、低门槛地搭建自己的 Chatbot，且平台支援用户将其一键宣布到飞书、微信公众号、豆包等渠道。链接：，除了可以创造自己的 Chatbot，Coze 官方还供给了 Bots 商店和插件。如以下按照热度精选的 Bots，包含娱乐…

没想到，字节的大模型项目是被这样曝光的。上周末，有外媒报道称，字节跳动在运用 OpenAI 技能开发自有大语言模型时，因违背 OpenAI 效劳条目从而遭账号禁用。据 The Verge 报道，字节跳动里面正在研发的大语言模型项目名为「种子打算」（Project Seed）。由于训练大模型需要大量问答知识，该项目被曝出一直在秘密运用 OpenAI 的技能来充实数据集。在大模型领域，利用其他 AI …

如何让 LLM “遗记” 学到的无害实质？随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生无害复兴？如何快速简略训练数据中的版权保护实质？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下，对于 LLM 的安全可信部署至关重要。目前业界的主流解决方案为 LL…