Meta
科技巨头争夺 AI 人才战况白热化，谷歌创始人亲自出马
感谢科技巨头们为了争夺顶尖人工智能 (AI) 人才，战况日益激烈，甚至使得一些大佬亲自出马。图源 Pexels据 The Information 报道，谷歌联合创始人谢尔盖・布林（Sergey Brin）曾亲自给一位考虑跳槽到 OpenAI 的谷歌员工打去电话，试图劝说他留下来，布林的电话攻势以及额外的薪酬承诺最终让这名员工决定留在谷歌。报道指出，人才争夺战是科技巨头间愈演愈烈的趋势之一。目前顶尖 AI 人才储备有限，而对这类人才的需求却达到了历史最高水平。各大科技公司纷纷出手，挖角彼此的顶尖人才，并提供令人咋舌的
消息称 Meta 正积极开展 AI 人才战：候选人无需面试，小扎亲自“摇人”
据 The Information 北京时间今晚报道，为了在争夺人工智能研究人员方面取得更大优势，Meta 正在采取一系列“非常规举措”，进一步加大了这场 AI 人才战的火药味。图源 Pexels报道称，这一系列的举措包括在不面试候选人的情况下向他们提供工作机会等，更为此前威胁离职的员工增加薪资 —— 在此之前，Meta 的“长期做法”是不加薪。另据两位查看过 Meta 相关邮件的人士透露，公司首席执行官马克・扎克伯格亲自写信给谷歌 DeepMind 部门的研究人员，想要将其纳入麾下，表明这家社交媒体公司“非常重视
Meta 推出 SceneScript AI 视觉模型，利用可编程语言实时预测建立 3D 场景
据 Meta 公司官方新闻稿，该公司开发了一款名为“SceneScript”的视觉模型，该模型号称能够使用可编程语言来快速“建立”场景，实时推断房间几何形状，并将相关数据转换为建筑学层面的近似值。▲ 图源 Meta 公司官方新闻稿（下同）Meta 声称，相关方法能够高效且轻量地建立室内 3D 模型，号称“只需要数 KB 的内存即可生成清晰且完整的几何形状”，并且相关形状数据具有“可解释性”，用户可以轻松阅读和编辑这些数据表示。IT之家注意到，开发人员借鉴了大语言模型“预测单词”的方法来开发 SceneScript，
Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3
感谢Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群，该公司正希望通过英伟达的 GPU，在以 AI 为重点的开发中脱颖而出。据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包含声音或图像识别）中进行 AI 研究和大语言模型的开发，每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练。两座新建的数据中心集群都具有 400Gbps 互联功能，其中一个集群采用了 Meta 基于 Arista 7800 自主开发的 Fabr
专为训练Llama 3，Meta 4.9万张H100集群细节公布
只想知道 Llama 3 何时能来？生成式大模型给人工智能领域带来了重大变革，人们在看到实现通用人工智能（AGI）希望的同时，训练、部署大模型的算力需求也越来越高。刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 Meta 为人工智能的未来做出了一笔重大的投资。这是 Meta 雄心勃勃的基础设施路线图中的一步。Meta 会持续扩大基础设施建设，到 2024 年底将包括 350000 个 NVIDIA H100 GPU，其计算能力将相当于近 600000 个 H100。Met
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
只用 24G 显存，消费级 GPU 就能搞定大模型了。上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。他们合
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？在这一命题上，最近的一项研究 VisionLLaMA 取得了进展。VisionLLaMA 在图像生成（包含 Sora 依赖的底层的 DIT）和理解（分类、分割、检测、自监督）等多个主流任务上相较于原 ViT 类方法提升显著。论文标题：VisionLLaMA: A Unified LLaMA Interfac
LLaMa 3或将推迟到7月发布，剑指GPT-4，从Gemini吸取教训
LLaMa 3 正寻找安全与可用性的新平衡点。过去的图像生成模型常被人们诟病人物主要以「白人」为主，而谷歌 Gemini 正在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差，让用户们瞠目结舌。谷歌表示，该模型变得比开发者预期的更加谨慎。这不仅体现在生成图片的问题上，还体现在常常将一些提示认作敏感提示，从而拒绝回答。在此事不断发酵时，这项安全与可用性如何平衡的难题也给 Meta 提出了巨大挑战。LLaMA 2 是开源领域的「强中手」，更是 Meta 的招牌模型，一经发布即改变了大模
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
Meta 推出 MobileLLM 系列，一款适用于移动设备上的「小」模型。「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases 》，在众多作者中也有我们熟悉的来自 Meta FAIR 田渊栋。田渊栋表示：「我们的 MobileLLM 预
后Sora时代，CV从业者如何选择模型？卷积还是ViT，监督学习还是CLIP范式
如何衡量一个视觉模型？又如何选择适合自己需求的视觉模型？MBZUAI和Meta的研究者给出了答案。一直以来，ImageNet 准确率是评估模型性能的主要指标，也是它最初点燃了深度学习革命的火种。但对于今天的计算视觉领域来说，这一指标正变得越来越不「够用」。因为计算机视觉模型已变得越来越复杂，从早期的 ConvNets 到 Vision Transformers，可用模型的种类已大幅增加。同样，训练范式也从 ImageNet 上的监督训练发展到自监督学习和像 CLIP 这样的图像 - 文本对训练。ImageNet 并
吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速
MAGNeT 有望改变我们体验音乐的方式。在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT，一种在掩码生成序列建模方法，可以直接在多个音频 tokens 流上直接运行。与以往工作最大的不同是，MAGNeT 是由单阶段、非自回归 transform
扎克伯格分红7亿刀，Meta股价大涨14%，开源大计成了？
Meta 正在走出阴霾。伴随着 Meta 的股价周四盘后上涨近 14%，升至历史新高，这家公司宣布了有史以来的首次股息派发。最近一次财报电话会议公布内容显示，Meta 公布的 2023 全年营收为 1349 亿美元，较 2022 年增长 16%；净利润为 391 亿美元，同比增长 69%。其中，第四季度营收为 401 亿美元，超出预期的 391.8 亿美元，同比增长 25%。从 3 月份开始，Meta 将按季度向 A 类和 B 类普通股派发现金股息 50 美分。根据彭博社汇编的数据，首席执行官扎克伯格持有约 3.5
小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制
功能更强大的 Code Llama 70B 模型来了。今天，Meta 正式发布 Code Llama 70B，这是 Code Llama 系列有史以来最大、性能最好的型号。我们正在开源一个全新的改进版 Code Llama，包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明，编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪，并期待着将这些进展纳入 Llama 3 和未来的模型中。Code Llama 70B 提供与之前发布
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
如果有个这样的机器人，你几点回家？「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。最近，纽约大学、Meta 研发出的一款机器人学会了这个技能。你只需要对它说，「把桌子上的玉米片拿到床头柜上」，它就能自己找到玉米片，并规划出路线和相应的动作，顺利完成任务。此外，它还能帮你整理东西或扔垃圾。这个机器人名叫 OK-Robot，由来自纽约大学、Meta
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
人工智能的反馈（AIF）要代替 RLHF 了？大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。在新方法中，作者对 Llama 2 70B 进行了三个迭代的微调，生成的模型在 AlpacaEval 2.0 排行榜上优于一众现有重要大模型，包括 Claude 2、Gemini Pro 和 GPT-4。因此，论文刚刚发上 arXiv 几
扎克伯格宣战AGI：Llama 3训练中，今年要囤35万块H100，砸近百亿美元
「事情越来越明确了，各大科技公司的下一代服务会构建在通用 AI 之上。」为了通用人工智能（AGI）的宏大目标，扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。本周四，Meta 首席执行官马克・扎克伯格宣布，他的公司正在致力于为人工智能助手构建「通用智能」并「负责任地开源」，Meta 正在将其两个主要研究小组（FAIR 和 GenAI）合并在一起以实现这一目标 。为此，Meta 将准备屯集业内最为强大的 AI 算力。扎克伯格表示，公司将购买超过 35 万块英伟达 H100 GPU—— 这是目前业界构建生
试了试Meta的最新语音生成器，逼真得有点毛骨悚然
机器之能报道编辑：吴昕这段《小红帽》故事中的所有音频都是 AI 生成的，你能听出来吗？机器之能报道编辑：吴昕这段《小红帽》故事中的所有音频都是 AI 生成的，你能听出来吗？试听地址： Audiobox Maker，你可以在 Meta 刚刚发布的一个新的交互式网站 audiobox.metademolab 上找到它。有了它，仅用几分钟的时间，机器之心也随意生成了关于五月天假唱热搜的对话：试听地址： Audiobox Maker ，即使是小白用户也可以设计、生成不同人物（比如小红帽、大灰狼和外婆）的声音文件，同时添加不
逼真到头发丝，光线可调，Meta推出实时3D头像合成方法
Meta 一直没放弃元宇宙。2021 年，Facebook 将「元宇宙（metaverse）」作为公司主营业务，并将公司名称更改为 Meta。然而，这一年，随着 ChatGPT 的横空出世，生成式 AI 成为一个新的研究趋势，很多科技公司都将生成式 AI 作为公司重要研发业务。但 Meta 一直没有停止 VR/AR 的研究步伐。最近，Meta 的 Codec Avatars Lab 提出了一种高保真、光线可调节的虚拟头像合成方法 ——Relightable Gaussian Codec Avatars。论文地址：：