AI在线 AI在线

字节跳动

闷声狂奔一年，字节大模型的进阶之路

闷声狂奔一年，字节大模型的进阶之路
2024 年初，字节跳动 CEO 梁汝波在年会中提到，公司层面的半年度技术回顾里，2023 年才出现 GPT 相关讨论。 作为对比，业内做得比较好的大模型创业公司基本在 2018 年到 2021 年之间已经创立。 简而言之，这场由 Open AI 在 2022 年底发布 ChatGPT 3.5 而掀起的“大模型”盛宴，字节没有成为最早的“入场嘉宾”。
5/20/2024 6:51:00 PM
代聪飞
大模型价格进入“厘”时代，豆包大模型定价每千tokens仅0.8厘

大模型价格进入“厘”时代，豆包大模型定价每千tokens仅0.8厘
大模型的性价比之战已经来到了新的阶段。5月15日，2024火山引擎FORCE原动力大会上，火山引擎总裁谭待宣布，字节跳动内部自研的豆包大模型正式在火山引擎上对外开放服务。豆包大模型在价格上主打“极致性价比”：豆包通用模型pro-32k版，推理输入价格0.0008元/千tokens，较行业价格低99.3%。一元钱能买到豆包主力模型的125万tokens，相当于三本《三国演义》的输入量。谭待认为，降低成本是推动大模型快进到“价值创造阶段”的一个关键因素。过去一年时间中，许多企业已经从探索尝试大模型，到成功将大模型与核心
5/15/2024 5:47:00 PM
机器之心
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16

字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。近日，字节跳动语音团队推出一个全新的量化思路，抛弃传统的量化范式，从数学
5/13/2024 2:47:00 PM
机器之心
加速扩散模型，最快1步生成SOTA级图片，字节Hyper-SD开源了

加速扩散模型，最快1步生成SOTA级图片，字节Hyper-SD开源了
最近，扩散模型（Diffusion Model）在图像生成领域取得了显著的进展，为图像生成和视频生成任务带来了前所未有的发展机遇。尽管取得了令人印象深刻的结果，扩散模型在推理过程中天然存在的多步数迭代去噪特性导致了较高的计算成本。近期出现了一系列扩散模型蒸馏算法来加速扩散模型的推理过程。这些方法大致可以分为两类：i) 轨迹保持蒸馏；ii) 轨迹重构蒸馏。然而，这两类方法会分别受到效果天花板有限或者或输出域变化这两个问题的限制。为了解决这些问题，字节跳动技术团队提出了一种名为 Hyper-SD 的轨迹分段一致性模型。
4/25/2024 11:53:00 AM
机器之心
还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024

还得是抖音，字节推出竖屏视频理解数据集，入选CVPR2024
短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初始方案。这项研究对准确的竖屏视频理解和基础技术架构有较为重要的意义，论文已入选 CVPR2024。视频 demo 展示、数据特性演示以及竖屏视频类别分类，请见 ：，对视频内容的分类、特征提取，以及推荐等有着重要的作用。竖屏视频是目前社交媒体平
4/3/2024 2:30:00 PM
机器之心
被误解的「中文版Sora」背后，字节跳动有哪些技术？

被误解的「中文版Sora」背后，字节跳动有哪些技术？
2024 开年，OpenAI 就在生成式 AI 领域扔下了重磅炸弹：Sora。这几年，视频生成领域的技术迭代持续加速，很多科技公司也公布了相关技术进展和落地成果。在此之前，Pika、Runway 都曾推出过类似产品，但 Sora 放出的 Demo，显然以一己之力抬高了视频生成领域的标准。在今后的这场竞争中，哪家公司将率先打造出超越 Sora 的产品，仍是未知数。国内这边，目光聚集于一众科技大厂。此前有消息称，字节跳动在 Sora 发布之前就研发出了一款名为 Boximator 的视频生成模型。Boximator 提
3/12/2024 3:12:00 PM
机器之心
加速量子化学计算，字节&北大团队量子蒙特卡罗研究新进展登Nature子刊

加速量子化学计算，字节&北大团队量子蒙特卡罗研究新进展登Nature子刊
编辑 | 萝卜皮基于神经网络的变分蒙特卡罗（NN-VMC）已成为一种有前途、有潜力的从头计算量子化学的尖端技术。然而，现有方法的高计算成本，阻碍了它们在现实化学问题中的应用。字节跳动与北京大学团队介绍了 NN-VMC 的最新研究进展，它实现了显著的加速率，从而极大地将 NN-VMC 的适用性扩展到更大的系统。该团队的关键设计是一个名为 Forward Laplacian 的计算框架，它通过有效的前向传播（forward）过程来计算与神经网络相关的 Laplacian（这是 NN-VMC 的瓶颈）。然后，研究人员证明
2/27/2024 3:55:00 PM
ScienceAI
刚刚，字节版GPTs「扣子」上线了

刚刚，字节版GPTs「扣子」上线了
大玩家终于正式下场。在持续一年的大模型热潮之后，「智能体」成为了科技公司们新的押注方向之一。近日，字节跳动正式推出「Coze 扣子」AI Bot 开发平台。任何用户都可以快速、低门槛地搭建自己的 Chatbot，且平台支持用户将其一键发布到飞书、微信公众号、豆包等渠道。链接：，除了可以创建自己的 Chatbot，Coze 官方还提供了 Bots 商店和插件。如以下按照热度精选的 Bots，包含娱乐、创意、学习等各类产品，甚至我们注意到还有「马歇尔音箱粉丝」这个选项。机器之心挑选了一些已有的 Bot 试了试，看看上手
2/1/2024 2:45:00 PM
机器之心
字节自研大模型，却因用ChatGPT被封号惹争议？官方回应了

字节自研大模型，却因用ChatGPT被封号惹争议？官方回应了
没想到，字节的大模型项目是被这样曝光的。上周末，有外媒报道称，字节跳动在使用 OpenAI 技术开发自有大语言模型时，因违反 OpenAI 服务条款从而遭账号禁用。据 The Verge 报道，字节跳动内部正在研发的大语言模型项目名为「种子计划」（Project Seed）。由于训练大模型需要大量问答知识，该项目被曝出一直在秘密使用 OpenAI 的技术来充实数据集。在大模型领域，利用其他 AI 生成的内容用于训练的「取巧」行为虽然并不少见，但经常会被认为是一种超出底线的行为。在 ChatGPT 上，滥用 AI 生
12/18/2023 4:25:00 PM
机器之心
用RLHF 2%的算力让LLM停止有害输出，字节提出LLM遗忘学习

用RLHF 2%的算力让LLM停止有害输出，字节提出LLM遗忘学习
如何让 LLM “忘记” 学到的有害内容？随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下，对于 LLM 的安全可信部署至关重要。目前业界的主流解决方案为 LLM 对齐 (alignment)，即通过建立对比数据（正样本和负样本）用强化学习的方式来对 LLM 进行微调 (Fine
12/13/2023 1:27:00 PM
机器之心