理论

Github热门机器学习笔记:「从零构建大型语言模型」

本文经AIGC Studio公众号授权转载,转载请联系出处。 今天给大家推荐一份GitHub上很火的机器学习学习笔记《从零构建大型语言模型》,目前已经收获1.4K stars,,这份笔记完美展示了从零构建LLM的技术路线图,既有理论深度,又包含实践要点。 每个核心概念都配有清晰的示意图,便于理解和实践。

多活十年!OpenAI为研究长寿推出GPT-4b,联手清华大牛丁胜搞“细胞重编程”,奥特曼本人投资

OpenAI要研究人类长寿问题了? ? 推出新模型GPT-4b micro。

o1不是聊天模型!前SpaceX工程师:这样用o1才能解决复杂问题

「我是如何从讨厌o1到每天用它来解决我最重要的问题的? 我学会了如何正确使用它。 」Ben Hylak曾是SpaceX软件工程师、苹果VisionOS人机交互设计师,后来离职创立了Dawn Analytics。

终于把机器学习中的特征选择搞懂了!!

特征选择是机器学习中的一个重要过程,通过选择与目标变量最相关的特征,剔除冗余或无关的特征,从而提高模型的性能、减少训练时间,并降低过拟合的风险。 常见的特征选择方法有:过滤方法、包装方法和嵌入方法过滤方法过滤方法是一种基于统计特性和独立于模型的特征选择技术。 它通过计算特征与目标变量之间的相关性或其他统计指标来评估特征的重要性。

扩散模型低位量化突破!有效扩散量化的极限推向2-4位,W2A4位宽下FID降低58%,超越SOTA方法

降低扩散模型生成的计算成本,性能还保持在高水平! 最新研究提出一种用于极低位差分量化的混合精度量化方法。 △图1 W2A6位宽下基线和MPQ-DM生成的样本可视化目前,扩散模型在生成任务中受到了广泛关注。

返老还童,OpenAI做到了?首个逆龄AI将登场,人类寿命可延长10年

超级智能要来了? 人类「长生不老」有希望了? 外媒称,OpenAI开发出了首款用于「长寿」的AI模型 ——GPT-4b micro,预计将人类寿命延长10年。

Search版o1:推理过程会主动查资料,整体性能优于人类专家,清华人大出品

一个新框架,让Qwen版o1成绩暴涨:在博士级别的科学问答、数学、代码能力的11项评测中,能力显著提升,拿下10个第一! 这就是人大、清华联手推出的最新「Agentic搜索增强推理模型框架」Search-o1的特别之处。 项目团队成员发现,o1和o1类模型在推理过程中表现突出,但却存在“知识不足”的明显缺陷——推理步骤太长/模型知识不足时,推理过程就很容易卡壳,导致推理链中的错误传递。

终于把机器学习中的类别不平衡搞懂了!!

今天给大家分享机器学习中的一个关键概念,类别不平衡。 类别不平衡指的是在分类问题中,不同类别的数据样本数量相差悬殊的情况。 在机器学习和深度学习的应用中,类别不平衡是一个常见的问题,尤其是在一些实际场景中,某些类别的数据相对较少,而其他类别的数据较多。

时间序列计量经济学中的主要因果推断方法总结

经济时间序列中的因果关系研究已超越了传统的相关性分析范畴。 本文系统性地探讨了时间序列经济数据中因果关系的识别与量化方法,涵盖从经典的格兰杰因果检验到现代因果推断技术的全方位论述。 格兰杰因果检验格兰杰因果检验是评估时间序列预测能力的基础性计量工具,用于检验一个时间序列对另一个时间序列的预测贡献。

DeepSeek新模型霸榜,代码能力与OpenAI o1相当且确认开源,网友:今年编程只剩Tab键

DeepSeek版o1,有消息了。 还未正式发布,已在代码基准测试LiveCodeBench霸榜前三,表现与OpenAI o1的中档推理设置相当。 注意了,这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview(轻量预览版)。

代码生成「神⋅提示」,比新手程序员快100倍!地位堪比make it more X

2023年11月,在ChatGPT支持DALL-3功能后,一个爆火的图像生成玩法是,不断迭代提示词「make it more X」,生成的图片越来越抽象。 圣诞老人越来越严肃把这个思路用在LLM任务上,比如代码生成,会怎么样? 最近,BuzzFeed的高级数据科学家Max Woolf在博客上分享了一个实验,通过设计不同的提示词、不断迭代模型输出,最终实现代码性能的100倍提升!

深度学习图像增强方法全总结!

一、什么是图像增强? 图像增强是指通过一系列技术和方法对图像进行处理,以改善其视觉效果和特征表现。 1.

OpenAI员工疯狂暗示,内部已成功开发ASI?被曝训出GPT-5但雪藏

种种迹象表明,最近OpenAI似乎发生了什么大事。 AI研究员Gwern Branwen发布了一篇关于OpenAI o3、o4、o5的文章。 根据他的说法,OpenAI已经跨越了临界点,达到了「递归自我改进」的门槛——o4或o5能自动化AI研发,完成剩下的工作!

5090跑《黑神话》飙到200+帧,英伟达DLSS也用上Transformer了

现在,打个游戏都用上Transformer了? 老黄的DLSS进行了一波大升级,换上了基于Transformer的新大脑。 用上新模型之后,光线重建和超分辨率,效果都变得更细腻了。

Perplexity寻求与TikTok合并,网友:饿疯了。特朗普采访透露:给TikTok90天时间是不错的选择,可能会考虑

出品 | 51CTO技术栈(微信号:blog51cto)美东时间,本周五在最高法院宣布维持对 TikTok “不出售就停用”的决定后,没想到很快就迎来了新进展。 据 CNBC 报道,AI 搜索领域的当红小生 Perplexity AI 于周六正式对 TikTok 发出竞购合并请求,CEO Aravind Srinivas 已经向 TikTok母公司字节跳动提交了一份竞标报价,计划将 Perplexity、TikTok US 和新的资本合作伙伴合并成一个新的实体。 据一位知情人士透露,新的结构将允许字节跳动的大多数现有投资者保留其股权,同时为 Perplexity 提供更多的视频。

「完美的搜索引擎」是否存在?这家公司向谷歌发起挑战

你需要一群拒绝接受现状的人,并为之努力多年,直到一个抽象的愿景变为现实,即使其他人都不理解。 你每天都在用的搜索引擎,可能并不完美。 大型语言模型(LLMs)能够解决研究生水平的数学问题,但今天的搜索引擎却无法准确理解一个简单的三词短语。

美国最高法院最终裁定:维持TikTok禁令,特朗普发帖回应:意料之中应该尊重,但是否执行有待时间考虑,周受资或出席特朗普就职典礼

美最高法院最后裁定结果出来了:维持 TikTok 禁令。 美东时间,本周五,最高法院一致决定站在拜登政府一边,维持拜登总统今年 4 月 签署的《保护美国人免受外国对手控制应用法案》 。 最高法院的意见称:“毫无疑问,对于超过 1.7 亿美国人来说,TikTok 提供了一个独特而广阔的表达渠道、参与方式和社区来源。