资讯列表

微软小模型击败大模型:27亿参数,手机就能跑

在「小搏大」这条技术发展路线上,微软一直在前进。上个月,微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源,在常识推理、语言理解和逻辑推理方面的性能显著改进。今天,微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了 Llama2 7B、Llama2 13B、Mistral 7B,与 Llama2 70B 的差距也在缩小(甚至更好)。同时,小尺寸的 Phi-2 可以在笔记本电脑

共议金融科技创新与赋能之道,「数智说」金融科技与数实融合论坛即将启幕

金融是国民经济的血脉,是国家核心竞争力的重要组成部分,上海承载着国际金融中心建设的重要使命。为了进一步加强现代金融机构和金融基础设施建设,推动金融更好地服务实体经济和科技创新,在即将举办的数智上海 2023 峰会・上海城市数字化转型体验周开幕式上,将特别举办「数智说」金融科技与数实融合论坛。12 月 16 日,上海杨浦五角场凯悦酒店,论坛将汇聚来自上海大学、上海市电子商务行业协会以及工商银行、星环科技、中电金信、数库科技、海通证券、道口金科、中微汇链、棉联云科技集团等金融机构、金融科技企业、数字供应链企业的众多代表

将Transformer用于扩散模型,AI 生成视频达到照片级真实感

在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。近日,一项视频生成研究收获了大量赞誉,甚至被一位 X 网友评价为「好莱坞的终结」。真的有这么好吗?我们先看下效果:很明显,这些视频不仅几乎看不到伪影,而且还非常连贯、细节满满,甚至似乎就算真的在电影大片中加上几帧,也不会明显违和。这些视频的作者是来自斯坦福大学、谷歌、佐治亚理工学院的研究者提出的 Window Attention Latent Tr

全方位、无死角的开源,邢波团队LLM360让大模型实现真正的透明

我们需要更全面和深入地共享。开源模型正展现着它们蓬勃的生命力,不仅数量激增,性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹:「开源人工智能模型正走在超越专有模型的路上。」专有模型在技术性能和创新能力上展现了非凡的力量,但是它们不开源的性质成为 LLM 发展的阻碍。一些开源模型虽然为从业者和研究者提供了多样化的选择,但大多数只公开了最终的模型权重或推理代码,越来越多的技术报告将其范围限制在顶层设计和表面统计之内。这种闭源的策略不仅限制了开源模型的发展,而且还在很大程度上阻碍了整个 LLM 研

用RLHF 2%的算力让LLM停止有害输出,字节提出LLM遗忘学习

如何让 LLM “忘记” 学到的有害内容?随着大型语言模型(LLM)的发展,从业者面临更多挑战。如何避免 LLM 产生有害回复?如何快速删除训练数据中的版权保护内容?如何减少 LLM 幻觉(hallucinations,即错误事实)? 如何在数据政策更改后快速迭代 LLM?这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下,对于 LLM 的安全可信部署至关重要。目前业界的主流解决方案为 LLM 对齐 (alignment),即通过建立对比数据(正样本和负样本)用强化学习的方式来对 LLM 进行微调 (Fine

GHDDI与微软研究院科学智能中心达成合作,联手通过AI革命性赋能新药研发

编辑 | X2023年12月12日,北京——全球健康药物研发中心(Global Health Drug Discovery Institute, GHDDI)与微软研究院科学智能中心(Microsoft Research AI4Science)宣布达成合作,双方将共同研发全球健康传染病领域的生成式人工智能与基础大模型技术,聚焦落地转化,加速创新药物研发。此前,双方已成功在结核分枝杆菌以及冠状病毒关键靶蛋白的研究中设计出多种全新结构的小分子抑制剂。全球健康药物研发中心与微软研究院科学智能中心合作启航仪式基于开放创新的

优化回收电池的质量和盈利能力,清华团队通过联邦机器学习对废旧电池材料进行分类

编辑 | 萝卜皮未经分类的「退役电池」具有不同的正极材料,由于其正极特定的性质,阻碍了直接回收的采用。报废电池的激增需要精确分类以实现有效的直接回收,但不同的运营历史、不同的制造商以及回收合作者(数据所有者)的数据隐私问题带来了挑战。清华大学团队展示了,从涵盖 5 种阴极材料和 7 家制造商的 130 块锂离子电池的独特数据集中,联邦机器学习方法可以对这些退役电池进行分类,而无需依赖过去的运营数据,从而保护回收合作者的数据隐私。通过利用从报废充放电循环中提取的特征,该团队的模型在同质和异质电池回收设置下分别表现出

过于可爱!手把手教你用SD做人气超高的毛绒玩具

大家好,这里是和你们一起探索 AI 绘画的花生~ 最近网上看到一些用 Stable Diffusion 生成的毛绒玩具,非常可爱。我也尝试了一下,效果很不错,还能体验一下自己做周边设计师的快乐。这种效果做起来其实并不难,基本思路还是 controlnet 控制外形 lora 生成特殊材质。那今天就为大家分享 3 种不同材质的毛绒玩具的生成方法,打开你的 Stable Diffusion WebUI 我们马上开始 ~ 相关推荐:一、真实毛绒 lora 这是最近非常火的一个毛绒玩具 Lora,可以生成宜家或 jel

保姆级教程!AI视频生成神器 Pika Labs 使用指南

今天为大家带来最近爆火的 AI 生成式视频神器 Pika labs 的使用教程。 关于Pika 的介绍:背景简介 Pika 是什么?用生成式 AI 技术能够生成和编辑 3D 动画、动漫、卡通和电影等各种风格的视频。也是 Runway Gen-2 的最强竞品。 那么,今天就带来 Pika Labs 的完整使用指南(目前社区为试用版,最多可以生成三秒),大家可以先行体验,后续排队拿到 1.0 体验资格后会继续为大家带来更新。 一、注册&如何使用 1. 注册 discord 账号 相信大概部分用过 MJ 的小伙伴已经有账

试了试Meta的最新语音生成器,逼真得有点毛骨悚然

机器之能报道编辑:吴昕这段《小红帽》故事中的所有音频都是 AI 生成的,你能听出来吗?机器之能报道编辑:吴昕这段《小红帽》故事中的所有音频都是 AI 生成的,你能听出来吗?试听地址: Audiobox Maker,你可以在 Meta 刚刚发布的一个新的交互式网站 audiobox.metademolab 上找到它。有了它,仅用几分钟的时间,机器之心也随意生成了关于五月天假唱热搜的对话:试听地址: Audiobox Maker ,即使是小白用户也可以设计、生成不同人物(比如小红帽、大灰狼和外婆)的声音文件,同时添加不

连看好莱坞大片都学会了!贾佳亚团队用2token让大模型卷出新境界

家人们谁懂,连大模型都学会看好莱坞大片了,播放过亿的GTA6预告片大模型还看得津津有味,实在太卷了!而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等!这种大道至简的方法有种莫名的熟悉感。不错,又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token

10年前,word2vec经典论文就预定了今天的NeurIPS时间检验奖

在 ChatGPT 引爆 AI 热潮的 2023,一项推动NLP新时代到来的研究拿到了 NeurIPS 时间检验奖。NeurIPS 是当前全球最负盛名的 AI 学术会议之一,全称是 Neural Information Processing Systems,神经信息处理系统大会,通常在每年 12 月由 NeurIPS 基金会主办。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。12 月 10 日,NeurIPS 2023 在美国路易斯安那州新奥尔良市拉开帷幕。根据官网

ChatGPT越来越懒,都学会反过来PUA人类了

OpenAI 表示自 11 月 11 日以来,他们就没有更新过模型,模型行为是不可预测的,他们正在研究如何修复。不知你有没有注意到,最近一段时间,GPT-4 变得有些「懒惰」,现在的它,老是拒绝执行某些任务或直接返回简化的结果。 这个问题得到很多网友的共鸣,纷纷开始抱怨 ChatGPT 变「懒惰」这个事实。用户声称,最近使用 GPT-4 或 ChatGPT API 时,在高峰时段响应变得非常缓慢且敷衍。在某些情况下,它会拒绝回答,而在另一些情况下,如果出现一系列问题,对话就会中断。 据报道,如果用户请求 GPT-4

数智蝶变进行时,产学大咖齐聚探索新型工业化「上海方案」

制造业是立国之本、强国之基,是实体经济的重要支撑。上海市推动制造业高质量发展,率先探索具有新时代特征的新型工业化道路。实施智能工厂领航计划、「工赋上海」行动计划,打造工业互联网平台,培育「工赋链主」企业…… 谋篇布局、统筹推进,上海全面推动制造业数字蝶变。为了进一步汇聚起推进新型工业化的强大合力,推动数字蝶变行动落地见效,在即将举办的数智上海 2023 峰会・上海城市数字化转型体验周开幕式上,将特别举办「数智说」工业智能化论坛。12 月 16 日下午,上海杨浦五角场凯悦酒店,论坛将汇聚上海交通大学知名专家学者,中国

2024年AI趋势看这张图,LeCun:开源大模型要超越闭源

能感受到其中的趋势吗?2023 年即将过去。一年以来,各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时,另一方「势力」悄然崛起 —— 开源。开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀?是否能够媲美专有模型的性能?迄今为止,我们一直还只能说是某些方面接近。即便如此,开源模型总会给我们带来经验的表现,让我们刮目相看。开源模型的兴起正在改变游戏规则。如 Meta 的 LLaMA 系列以其快速迭代、可定制性和隐私性正受到追捧。这些模型被社区迅速发展,给专有模型带来了强有力的挑战,能够改变

当GPT-4V充当机器人大脑,可能你都没AI会规划

来自清华大学交叉信息研究院的研究者提出了「ViLa」(全称 Robotic Vision-Language Planning)算法,其能在非常复杂的环境中控制机器人,为机器人提供任务规划。【关注机器之心视频号,第一时间看到有趣的AI内容】GPT-4V 已经能帮我们设计网站代码,控制浏览器,这些应用集中在虚拟数字世界中。假如我们把 GPT-4V 带入现实世界,让它作为控制机器人的大脑,会有什么有趣的结果呢?最近,来自清华大学交叉信息研究院的研究者提出「ViLa」算法,实现了让 GPT-4V 走进物理世界中,为机器人操

就像Word中的文本自动更正一样,大语言模型自动更正化学工艺流程图

编辑 | 紫罗过程工程是化学、物理、生物过程的设计、运行、控制、优化与强化。涉及大量的工业领域,如化学、材料、农业、制药、生物技术工业等。过程工程领域广泛使用过程流程图 (PFD) 以及过程和仪表图 (P&ID) 来表示过程流程和设备配置。然而,P&ID 和 PFD(以下称为流程图)可能包含导致安全隐患、低效操作和不必要费用的错误。纠正和验证流程图是一个繁琐的手动过程。来自荷兰代尔夫特理工大学的研究人员提出了一种新颖的生成人工智能方法,用于自动识别流程图中的错误并向用户建议更正,即自动更正流程图。受到用于人类语言语

Protein BLAST会成为过去吗?AlphaFold等对蛋白结构的搜索是否会取代对序列的搜索

编辑 | 白菜叶像 AlphaFold 这样的蛋白质结构搜索工具会用 BLAST 取代蛋白质序列搜索吗?德累斯顿工业大学的研究团队讨论了使用结构搜索进行远程同源性检测的前景,以及为什么蛋白质 BLAST 作为领先的序列搜索工具应努力纳入结构信息。BLAST 广泛用于分子生物学中搜索核苷酸和蛋白质序列。BLAST 推出三十年后,结构预测出现了重大突破,出现了 RoseTTAFold 和 AlphaFold 等工具。因此,主要序列数据库中的每个蛋白质序列现在都带有一个 3D 折叠模型。虽然这不会影响(非编码)核苷酸序列