Karpathy

Karpathy狂赞AI代码神器Cursor,直言回不到3年前无辅助编码了,却被指「带货」

热衷于开课并与网友分享新技术使用心得的 AI 大牛 Karpathy,也有被质疑「为推销某个产品而在言论中夹带私货」的一天。这是怎么一回事呢?昨天,Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验,并发出了由衷的感叹:编程领域变化太快了。Karpathy 在编码时正在尝试使用 VS Code Cursor 加上 Claude Sonnet 3.5 的组合,而没有使用 GitHub Copilot。他表示这种做法能够带来纯粹的双赢(net win)。Cursor 是一款 AI 代码编码器,允许

Karpathy观点惹争议:RLHF不是真正的强化学习,谷歌、Meta下场反对

RLHF 与 RL 到底能不能归属为一类,看来大家还是有不一样的看法。AI 大牛 Karpathy 又来科普人工智能概念了。昨日,他发推表示,「基于人类反馈的强化学习(RLHF)只是勉强算得上是强化学习(RL)。」Karpathy 的全文解释如下:RLHF 是训练大语言模型(LLM)的第三个(也是最后一个)主要阶段,前两个阶段分别是预训练和监督微调(SFT)。我认为 RLHF 只是勉强算得上 RL,它没有得到广泛的认可。RL 很强大,但 RLHF 却不然。让我们看看 AlphaGo 的例子,它是使用真正的 RL 训

为什么AI数不清Strawberry里有几个 r?Karpathy:我用表情包给你解释一下

让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗?不知道 9.11 和 9.9 哪个大,数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点,大模型都只能接受人们的无情嘲笑。嘲笑之后,大家也冷静了下来,开始思考:低级错误背后的本质是什么?大家普遍认为,是 Token 化(Tokenization)的锅。在国内,Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性,因为 Tokenization 里的 token 指的未必是词,也可以

AI 大神 Karpathy 官宣创业:打造 80 亿人 AI 原生学校,首款课程 GitHub 斩获 17k 星

今天,AI 圈再次掀起海啸级巨震,离职 OpenAI 近半年的 AI 大牛 Karpathy 终于官宣了最终动向。他激动地宣布,自己正在创办一家 AI 教育的公司 —— Eureka Labs。Karpathy 这条官宣帖子,已有近百万浏览。Eureka Labs 官推初次现身,写下了「你好世界」。不难想到,自 2 月离职以来,Karpathy 一直都在专注在线授课领域,并不断动手尝试自己的新项目。当时,网友们便对 Karpathy 能够坚持输出高质教育内容的呼声越来越高。如今,愿望成真了!▲ 唯一的不足就是

OpenAI内斗时,Karpathy在录视频:《大型语言模型入门》上线

赶紧学习起来吧!OpenAI 的风波暂时告一段落,员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型(LLM)的 30 分钟入门讲座,但该讲座当时没录制。因此,他基于这场讲座重新录制了一个长达 1 小时的视频,希望让更多人看到和学习。视频的主题为《大型语言模型入门》,涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」,偏科普,所以更加容易理解。                               

OpenAI联创Karpathy爱上羊驼:纯C代码实现婴儿Llama2,MacBook可运行,已揽1.6k星

上个周末,Karpathy 花了整个周六来忙一个 Llama2 的有趣项目。

特斯拉前AI总监教你手搓GPT大模型,教学视频已出

「从零开始,用代码直接写。」

速揽2500星,Andrej Karpathy重写了一份minGPT库

时隔两年,GPT的Pytorch训练库minGPT迎来更新!

闲下来的Andrej Karpathy录了个课程:保证学会,你听不懂我吃鞋

为了重拾自己对 AI 开源和教育的热情,Andrej Karpathy 在家录了一个详解反向传播的课程。
  • 1