资讯列表
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
大语言模型(Large Language Models, LLMs)在过去两年内迅速发展,涌现出一些现象级的模型和产品,如 GPT-4、Gemini、Claude 等,但大多数是闭源的。研究界目前能接触到的大部分开源 LLMs 与闭源 LLMs 存在较大差距,因此提升开源 LLMs 及其他小模型的能力以减小其与闭源大模型的差距成为了该领域的研究热点。LLM 的强大能力,特别是闭源 LLM,使得科研人员和工业界的从业者在训练自己的模型时都会利用到这些大模型的输出和知识。这一过程本质上是知识蒸馏(Knowledge,
马斯克 xAI 宣布正在开源 Grok-1 模型,体量 3140 亿参数号称“全球最大”
感谢马斯克旗下 AI 初创企业 xAI 今天发布新闻稿,宣布正在开源 3140 亿参数的混合专家模型 Grok-1,该模型遵循 Apache 2.0 协议开放模型权重和架构,号称是“迄今为止全球参数量最大的开源大语言模型”。截至IT之家发稿,官方已经在 GitHub 中发布了 Grok-1 论文源代码,但还未开源模型主体。就在本月,马斯克宣布起诉 OpenAI 及其 CEO 阿尔特曼,声称 OpenAI 及其 CEO 阿尔特曼违背了公司成立的协议,该协议旨在推动 AI 技术朝着造福人类而非牟利的方向推进。马斯克对
北京近期将发布第一代通用开放人形机器人本体
据北京青年报报道,年初,目标规模 100 亿元的北京机器人产业发展投资基金注册落地经开区,将助力北京打造世界领先的人形机器人产业发展高地。最近,北京人形机器人创新中心传来好消息,近期将发布第一代通用开放人形机器人本体。▲ 图源公众号“北京亦庄”报道称,人形机器人集成人工智能、高端制造、新材料等先进技术,有望成为继计算机、智能手机、新能源汽车后的颠覆性产品,深刻变革人类生产生活方式,重塑全球产业发展格局。作为人形机器人行业的聚合高点,2023 年年底,北京人形机器人创新中心有限公司正式成立,由人形机器人行业领军企事业
消息称英伟达 Blackwell“B100”GPU 将配 192GB HBM3e 显存,B200 配 288GB 显存
感谢英伟达将在明日举行 GTC 2024 主题演讲,黄仁勋预计将宣布名为 Blackwell 的下一代 GPU 架构。据 XpeaGPU 爆料称,明天推出的 B100 GPU 将采用两个基于台积电 CoWoS-L 封装技术的芯片。CoWoS(晶圆基片芯片)是一项先进的 2.5D 封装技术,涉及将芯片堆叠在一起,提高处理能力,同时节省空间并降低功耗。XpeaGPU 透露,B100 GPU 的两个计算芯片将连接到 8 个 8-Hi HBM3e 显存堆栈,总容量为 192GB。值得注意的是,AMD 已经提供了 192GB
第二波!2024年3月精选实用设计工具合集
大家好,这是 2024 年 3 月的第 2 波干货合集!这一期干货合集提供了 2 个颇为不错的灵感网站,一个是 404 网站内容合集,另一个则是一个专业的产品设计网站,此外这次合集当中还推荐了一款非常独特的配色工具,一款在线图片包装工具,一款在线 3D 服装设计工具,以及一项经过深入调教的 AI 角色生成服务。
当然,在此之前记得看看往期干货中有没有你感兴趣的素材:下面我们具体看看这一期的干货:
1、优质 404 页面大合集网站
页面算是网页设计当中绕不开的一个组件。用户打开一个不存在的链接,404 页面会告诉用
AI 程序员 Devin 卧底工作群修 bug!和 CTO 聊技术,网友:顶级码农水平
首个 AI 程序员 Devin,现身明星创业公司内部群。为解决一个技术问题,Devin 借用了其创造者的账号,与客户公司的 CTO 交流,并根据回复调整了代码方案。对话之专业,围观者看了直呼这个世界太疯狂。事情发生在办公软件 Slack,截图中的 akshat 是 AI 基础设施创业公司 Modal Labs 的 CTO Akshat Bubna。Modal Labs 也是 Devin 开发商 Cognition 的首批客户之一。此时 Devin 正披着他的创造者之一、IOI 金牌得主 Steven Hao 的马甲
谷歌推出 Cappy “打分”框架,可评估 AI 准确性“教模型更聪明”
据谷歌官方新闻稿,谷歌近日推出了一项名为 Cappy 的模型打分框架,该框架以 RoBERTa 语言模型为基础,主要用于检测模型输出的内容,并为相关内容打分,之后相关分数将会作为参考基准让模型学习,从而让模型更聪明。▲ 图源 谷歌官方新闻稿(下同)此外,Cappy 框架也可以作为大语言模型的“候选机制”,该框架可以内置在模型中,并对模型预输出的内容生成分数,并选择分数最高的回应作为最终输出,以提高大语言模型输出内容的正确性。研究人员提到,相对于业界其他方案,Cappy 框架的 RAM 用量更低,这是由于相关框架无需
ChatGPT 参数规模被扒:只有 7B
ChatGPT 惨遭攻击,参数规模终于被扒出来了 —— 很可能只有 7B(70 亿)。消息来自南加州大学最新研究,他们使用一种攻击方法,花费不到 1000 美元就把最新版 gpt-3.5-turbo 模型的机密给挖了出来。果然,OpenAI 不 Open,自有别人帮他们 Open。具体来说,南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度(embedding size)为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral,嵌入向量维度 4096 的时候
中国电动汽车百人会2024丨毫末顾维灏:自动驾驶3.0时代,大模型重塑汽车智能化路线
“以大模型、大算力、大数据为代表的自动驾驶3.0时代已经到来,这些都是智能汽车新质生产力关键要素。毫末将以技术领先的‘极致性价比’智驾产品,助力车企智能化革命。”2024年3月17日,毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛(2024),并在现场发表主题演讲《自动驾驶3.0时代,大模型重塑汽车智能化路线》。顾维灏透露,毫末第二代HPilot极致性价比无图NOH智驾产品,已陆续进入交付状态。顾维灏出席中国电动汽车百人会论坛(2024)本届中国电动汽车百人会论坛(2024)以“巩固和扩大新能源汽车发展优势”为
Devin 第一手使用体验:完成度很高,开始编码就停不下来,但要替代程序员还很远
【新智元导读】Devin 到底是一个漂亮的 Demo,还是一个已经能替代程序员的智能体,使用体验怎么样,拿到测试资格的网友第一时间分享了自己的体验。由 10 枚 IOI 金牌在手的创业团队 Cognition AI 开发的全球首个 AI 程序员智能体 Devin,一发布就让科技圈坐立不安。在演示中,Devin 几乎已经可以独立完成很多人类程序员需要大量时间才能完成的工作,效果一点不比普通程序员差。但是,产品能力的边界在哪里,实际体验和演示时候有差距,还得看上手实测之后的效果。这位斯坦福的小哥在 Devin 发布的第
比 ChatGPT4 还强?深度测评最新AI神器 Claude3
Claude3,正式上线。
这个由 OpenAI 分裂出去的兄弟公司 Anthropic,在悄然无息之间,就这么默默地把 Claude3 发了。
没有所谓的发布会,没有什么华丽的舆论,就仅仅在 X 上发了个帖子。我发现现在的这些 AI 公司真挺有意思,都把 X 当成发布主阵地了。。。
字很少,但是事挺大。一口气发了 3 个模型,Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku。
这个名字就取的...很有故事。
Opus 大概意思就是史诗级乐章,牛逼上天那种。
Sonnet
基于CPU服务器实现Llama2等应用落地,英特尔展示五代至强可扩展芯片实践
本周,英特尔数据中心产品技术媒体分享会在北京举行。多位英特尔技术专家为我们从多个角度,以实践应用的角度解析了最新一代服务器 CPU 产品的技术特性及独特价值。当前,AI 技术落地的速度正在加快,有全球调研结果显示,58% 的企业期待在近未来导入生成式 AI 等技术。预计到 2026 年,生成式 AI 的市场规模将达到 3000 亿美元,这其中包括硬件、软件、解决方案等。约会有 80% 以上的公司,会在 2026 年之前会导入某种程度的生成式 AI 以提高企业生产力。据预测,到 2026 年,有 50% 以上的边缘应
苹果推出 300 亿参数 MM1 多模态 AI 大模型,可识别图像推理自然语言
感谢苹果公司旗下研究团队近日在 ArXiv 中公布了一篇名为《MM1:Methods, Analysis & Insights from Multimodal LLM Pre-training》的论文,其中介绍了一款 “MM1”多模态大模型,该模型提供 30 亿、70 亿、300 亿三种参数规模,拥有图像识别和自然语言推理能力。IT之家注意到,苹果研究团队相关论文主要是利用 MM1 模型做实验,通过控制各种变量,找出影响模型效果的关键因素。研究表明,图像分辨率和图像标记数量对模型性能影响较大,视觉语言连接器对模型的
遭企业家、投资者强烈反对后,印度搁置 AI 模型发布审批计划
印度在收到诸多当地和国际企业家和投资者的批评之后,宣布搁置此前的 AI 审核计划:任何企业发布 AI 模型之前需要经过审批。图源 Pixabay电子和信息技术部本周五发布了一份最新的人工智能咨询意见,不再要求他们在向南亚市场用户推出或部署人工智能模型之前获得政府批准。根据修订后的指导原则,建议企业在未经充分测试和不可靠的人工智能模型上贴上标签,告知用户这些模型可能存在的缺陷或不可靠之处。印度信息技术部在本月早些时候遭到了许多知名人士的严厉批评。风险投资公司 Andreessen Horowitz 的合伙人马丁・卡萨
微软“背刺”谷歌:训练 AI 上有搜索引擎和 YouTube 两大天然资源优势
欧盟委员会于今年 1 月开始针对 AI 领域展开调查,主要评估科技巨头们是否存在垄断行为。微软在接受问询时为了强调其没有反垄断行为,称谷歌在该领域有两大天然优势,该领域存在竞争。微软在接受欧盟委员会调查时强调,谷歌目前在训练 AI 方面有两大天然优势,其一是搜索引擎提供了海量资源,其二是 YouTube 平台,提供了约 140 亿个视频,谷歌可以利用这些数据训练 Gemini 模型,而其它 AI 开发商却无法访问。IT之家从报道中还获悉,微软为了进一步强调生成式 AI 领域存在竞争,表示谷歌和苹果很早就发力语音助手
用户吐槽微软 Copilot Pro 有偏执倾向,会单方面结束对话
微软昨日宣布,在全球 222 个国家和地区推出 Copilot Pro,并提供 1 个月免费试用,后续每月费用为 20 美元。不过根据网友的反馈,Copilot Pro 的表现无法令其满意,存在偏执、多疑等倾向。根据网友晒出的图片,Copilot Pro 在经历几段对话之后,语气会变得比较强硬,然后会单方面中断对话。IT之家附上截图如下:另一位 Reddit 用户也表达了自己的失望:我现在非常恼火。我本来表现得非常得体和友好,但它却关闭了我的对话,如果这有什么关系的话,我用的是手机,总之,我试着跟它解释为什么关闭对
美图创始人吴欣鸿:Sora 给行业较大心理冲击,原本以为 2-3 年后才能实现
美图公司昨日披露 2023 年业绩报告,全年实现总收入 27 亿元,同比增长 29.3%。经调整后归属于母公司权益持有人净利润 3.7 亿元,同比增长 233.2%。据新浪科技报道,美图公司创始人、董事长兼首席执行官吴欣鸿在业绩会上表示,AI 原生工作流会是未来非常巨大的机会,美图会致力于 AI 原生应用的进一步打造。同时他还强调,美图不会做通用大模型,但美图会针对不同垂直场景的需求做模型的训练和微调。吴欣鸿透露,Sora 给了行业较大的心理冲击,原本以为这样的能力会在 2-3 年后才能实现。Sora 也让美图反省
微软现为 Copilot Pro 提供一个月免费试用
感谢微软宣布,随着 Pro 版本的扩展,Copilot 将开放给全球更多客户。现在,Copilot Pro 在 Copilot 可用的所有 222 个国家 / 地区均可使用。微软搜索和人工智能营销总经理 Divya Kumar 宣布:“Copilot 是您日常的人工智能伴侣,旨在为工作和生活的每个人带来生成式人工智能的力量。通过 Copilot,我们致力于为每个人提供提升创造力和工作效率的机会。”微软宣布将免费 Microsoft 365 Web 应用中的 Copilot 纳入 Copilot Pro 订阅中,并将