资讯列表
RAG实战|向量数据库LanceDB指南
LanceDB介绍LanceDB是一个开源的用 Rust 实现的向量数据库(),它的主要特点是:提供单机服务,可以直接嵌入到应用程序中支持多种向量索引算法,包括Flat、HNSW、IVF等。 支持全文检索,包括BM25、TF-IDF等。 支持多种向量相似度算法,包括Cosine、L2等。
4/3/2025 4:02:14 PM
周末程序猿
仅需10万不到,DeepSeek R1 671B大模型本地部署实战指南
最近帮一个朋友部署本地的671b版本的deepseek r1,需求是要完全本地部署,但是又不想花太高的成本,没有并发要求,我一想,用ktransformers框架来部署完全合适。 关于机器配置,在挑挑拣拣评比之后,设备选择如下,最终选择的是其中的服务器配置。 这套设备下来总成本不到10万,相比如动辄几百万的满血版deepseek R1或者花个五六十万买个deepseek 70b的一体机要值当的多,且不说70b并不是真正的deepseek r1,效果还不如32b的QWQ,就光说一体机的升级也是个麻烦事,买了机器基本就和模型绑定了,以后新模型出来后想升级就难了。
4/3/2025 3:57:48 PM
贝塔街的万事屋
机器学习|从0开发大模型之复现DeepSeek的aha moment
前面一篇文章介绍了《从0开发大模型之DeepSeek的GRPO》,并且实现了一个简单版本的 GRPO 代码,不过从工程领域来看,并没有复现DeepSeek-R1,于是最近申请了48G的显存,结合一些开源的方案复现aha monent,并给出完整的代码和工具链。 1、什么是 aha monent DeepSeek-R1 论文中提到,模型让作者「见证了强化学习的力量和美感」,在DeepSeek-R1-Zero的中间版本,「顿悟时刻」来了:模型学会了以人类的语气进行反思。 aha monent 2、使用什么的基座模型和训练数据 由于显卡只有48G,可以用基座模型Qwen2.5,模型大小:0.5B,1.5B,3B训练数据有很多:(可以直接在huggingface上找到) a.AI-MO/NuminaMath-TIR:包括72K行的数学问题,解决方案和答案,是从 NuminaMath-CoT 数据集提炼出来的 b.
4/3/2025 3:46:53 PM
周末程序猿
机器学习|从0开发大模型之DeepSeek的GRPO
DeepSeek-R1的发布为国产大模型争光了(太强了),不过 GRPO 算法源自 DeepSeekMath 7B 模型,该模型在 MATH 基准测试中取得了优异成绩,论文发表于2024年2月份:,以下是该论文的摘要原文:复制翻译如下:复制对比数据1、什么是GRPOGRPO 是一种在线学习算法,核心思想是通过组内相对奖励来估计基线,从而避免使用额外的价值函数模型。 通过在训练期间使用受训模型自身生成的数据来迭代改进,GRPO 旨在最大化生成补全的优势,同时确保模型保持接近参考策略,下图是论文中的算法流程图:GRPOGRPO 是 PPO (Proximal Policy Optimization,近端策略优化,是一种强化学习算法,由OpenAI于2017年提出,旨在解决策略梯度方法中的训练不稳定问题) 的变体,主要区别是:GRPO 省略 value function modelGRPO 奖励计算,改成了一个 q 生成多个 r,然后 reward 打分GRPO算法流程:采样一组输出并计算每个输出的奖励对组内奖励进行归一化处理使用归一化后的奖励计算优势函数通过最大化目标函数更新策略模型迭代训练,逐步优化策略模型论文中的伪代码2、奖励设计huggingface 库提供 GRPOTrainer 可以直接使用 GRPO 训练,参数包括定义奖励模型和函数。 2.1 奖励模型复制这里的 reward_funcs 参数可以传入奖励模型。
4/3/2025 3:40:41 PM
周末程序猿
Anthropic 推动“AI 进校园”计划,将为高校师生提供定制版 Claude
“学习模式”(Learning Mode)是Claude Projects中的一项新功能,旨在帮助学生培养批判性思维,而不仅仅是直接获取答案。
4/3/2025 3:26:26 PM
清源
AI顾问成企业智能转型的战略军师与未来黄金职业
AI顾问协助公司识别、评估和盈利性地实施可能的AI应用场景。 他们不仅要考虑技术层面,还要考虑战略和企业层面要求——同时熟悉快节奏的AI领域中的最新趋势、创新和可能性。 但他们日常工作到底做什么呢?AI咨询:定义AI咨询涉及就AI解决方案提供建议、设计和实施。
4/3/2025 3:26:06 PM
René Kessler
OpenAI 持续迈步营利性公司,将组建专家小组听取各界意见、直面挑战
OpenAI 表示,该小组将广泛听取医疗、科学、教育和公共服务领域的意见,尤其是来自 OpenAI 总部所在的加利福尼亚州的行业领袖和社区代表。
4/3/2025 3:14:53 PM
清源
仅输入prompt与序列,准确率超90%,UC伯克利等提出文本生成蛋白质多模态框架
编辑丨coisini机器学习在蛋白质发现领域展现出深远的潜力,相关工具已快速应用于科学流程的辅助与加速。 当前,AI 辅助的蛋白质设计主要利用蛋白质的序列和结构信息,而为了描述蛋白质的高级功能,人们以文本形式整理了海量知识,这种文本数据能否助力蛋白质设计任务尚未得到探索。 为了填补这一空白,来自加州大学伯克利分校(UC Berkeley)、加州理工学院(California Institute of Technology)等机构的研究者提出了一个利用文本描述进行蛋白质设计的多模态框架 ——ProteinDT。
4/3/2025 2:37:00 PM
ScienceAI
53%性能全面提升,Ayu新模型横扫传统工具,分泌蛋白预测效率再翻倍
编辑丨&微生物是驱动元素循环的引擎,它们分泌蛋白质以寻求生活环境。 现阶段还缺乏有效的计算方法来研究分泌蛋白。 表征分泌组的另一种方法是将现代机器学习工具与蛋白质组对海洋环境的进化适应变化相结合。
4/3/2025 2:36:00 PM
ScienceAI
为今年最火的机器人来场全球挑战赛:150万高额奖金,还有顶级硬件支持
ATEC2025 科技精英赛是由 ATEC 前沿科技探索社区主办,清华大学、浙江大学、西安交通大学、上海交通大学发起。 本届赛事由香港中文大学、北京大学、北京师范大学顶尖学府联合蚂蚁集团共同承办的全球性智能科技竞技盛会。 本届赛事聚焦人工智能与机器人技术融合创新,设置软件算法与硬件设计双赛道,通过线上线下联动模式,推动具身智能技术在养老援助、灾害救援等现实场景的突破性应用。
4/3/2025 2:04:00 PM
机器之心
OpenAI的AI复现论文新基准,Claude拿了第一名
近年来,AI 正从科研辅助工具蜕变为创新引擎:从 DeepMind 破解蛋白质折叠难题的 AlphaFold,到 GPT 系列模型展现文献综述与数学推理能力,人工智能正逐步突破人类认知边界。 今年 3 月 12 日,Sakana AI 宣布他们推出的 AI Scientist-v2 通过了 ICLR 会议一个研讨会的同行评审过程。 这是 AI 科学家写出的首篇通过同行评审的科研论文!
4/3/2025 1:59:00 PM
机器之心
ICLR 2025 Spotlight | 参数高效微调新范式!上海交大联合上海AI Lab推出参数冗余微调算法
本文作者来自复旦大学、上海交通大学和上海人工智能实验室。 一作江书洋为复旦大学和实验室联培的博二学生,目前是实验室见习研究员,师从上海交通大学人工智能学院王钰教授。 本文通讯作者为王钰教授与张娅教授。
4/3/2025 1:54:00 PM
机器之心
谷歌 DeepMind 闭关修炼《我的世界》:自学成才挖钻石,成果登 Nature
谷歌 DeepMind 研发的 DreamerV3 实现重大突破:无需任何人类数据,通过强化学习与「世界模型」,自主完成《我的世界》中极具挑战的钻石收集任务。该成果被视为通往 AGI 的一大步,并已登上 Nature。
4/3/2025 1:42:19 PM
汪淼
人类赢了!OpenAI深夜开源全新Agent评测基准!AI大战顶尖人类,上演机器学习届“神仙打架”;R1排第三,Claude夺冠
编辑 | 李美涵出品 | 51CTO技术栈(微信号:blog51cto)深夜,OpenAI再次发力Agent领域,开源了一个全新的AI Agent评测基准—— PaperBench。 这是一个用于评估 AI 智能体复现最前沿 AI 研究能力的基准测试。 智能体需从零开始复现 20 篇 ICML 2024 Spotlight 和 Oral 论文,包括理解论文贡献、构建代码库并成功执行实验。
4/3/2025 1:35:49 PM
李美涵
Dify+大模型:重构企业基因的“数智引擎”——解锁AI工业化落地新范式
当AI开发进入“流水线时代”2025年,全球企业AI应用开发呈现“冰火两重天”:一边是OpenAI、DeepSeek等大模型参数突破百万亿级,另一边却是78%的企业困在“PPT智能”阶段——AI应用开发周期长、场景碎片化、数据孤岛难破。 Dify与大模型的结合,正在打破这一僵局。 它不仅是工具,更是企业AI能力工业化的流水线,让大模型从“技术狂欢”走向“价值落地”。
4/3/2025 1:07:50 PM
推推君
终于坐不住了!Midjourney V7全新版本亮出王牌!
最近AI圈可太热闹了。 随着什么都会的GPT-4o横空出世,大家都忙着让它画画去了。 我前几天刷朋友圈,十条有八条都在晒GPT-4o画的吉卜力风,剩下两条还在求画教程….
4/3/2025 12:38:44 PM
彭彭
让AI替码农卷复杂任务,贾佳亚团队提出MoTCoder,准确率刷新SOTA
论文一作李靖瑶,香港中文大学博士生(DV Lab),师从贾佳亚教授。 主要研究方向是大语言模型,包括模型预训练、后训练、推理优化。 作者陈鹏光、夏彬等均为 DV Lab 成员。
4/3/2025 11:16:10 AM
机器之心
视觉SSL终于追上了CLIP!Yann LeCun、谢赛宁等新作,逆转VQA任务固有认知
在视觉问题解答(VQA)等多模态环境中,当前视觉自监督学习(SSL)的表现还比不上语言图像预训练(CLIP)。 这种差距通常归因于语言监督引入的语义,尽管视觉 SSL 模型和 CLIP 模型通常在不同的数据上进行训练。 在最近的一项研究中,Yann LeCun、谢赛宁等研究者探讨了一个基本问题: 语言监督对于多模态建模的视觉表征预训练是否必要?
4/3/2025 11:11:50 AM
机器之心