Karpathy

Karpathy狂赞AI代码神器Cursor，直言回不到3年前无辅助编码了，却被指「带货」

热衷于开课并与网友分享新技术使用心得的 AI 大牛 Karpathy，也有被质疑「为推销某个产品而在言论中夹带私货」的一天。这是怎么一回事呢？昨天，Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验，并发出了由衷的感叹：编程领域变化太快了。Karpathy 在编码时正在尝试使用 VS Code Cursor 加上 Claude Sonnet 3.5 的组合，而没有使用 GitHub Copilot。他表示这种做法能够带来纯粹的双赢（net win）。Cursor 是一款 AI 代码编码器，允许

8/26/2024 9:24:00 AM

机器之心

Karpathy观点惹争议：RLHF不是真正的强化学习，谷歌、Meta下场反对

RLHF 与 RL 到底能不能归属为一类，看来大家还是有不一样的看法。AI 大牛 Karpathy 又来科普人工智能概念了。昨日，他发推表示，「基于人类反馈的强化学习（RLHF）只是勉强算得上是强化学习（RL）。」Karpathy 的全文解释如下：RLHF 是训练大语言模型（LLM）的第三个（也是最后一个）主要阶段，前两个阶段分别是预训练和监督微调（SFT）。我认为 RLHF 只是勉强算得上 RL，它没有得到广泛的认可。RL 很强大，但 RLHF 却不然。让我们看看 AlphaGo 的例子，它是使用真正的 RL 训

8/9/2024 2:17:00 PM

机器之心

为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下

让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以

7/27/2024 11:22:00 PM

机器之心

AI 大神 Karpathy 官宣创业：打造 80 亿人 AI 原生学校，首款课程 GitHub 斩获 17k 星

今天，AI 圈再次掀起海啸级巨震，离职 OpenAI 近半年的 AI 大牛 Karpathy 终于官宣了最终动向。他激动地宣布，自己正在创办一家 AI 教育的公司 —— Eureka Labs。Karpathy 这条官宣帖子，已有近百万浏览。Eureka Labs 官推初次现身，写下了「你好世界」。不难想到，自 2 月离职以来，Karpathy 一直都在专注在线授课领域，并不断动手尝试自己的新项目。当时，网友们便对 Karpathy 能够坚持输出高质教育内容的呼声越来越高。如今，愿望成真了！▲ 唯一的不足就是

7/17/2024 1:43:13 PM

汪淼

OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线

赶紧学习起来吧！OpenAI 的风波暂时告一段落，员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频，希望让更多人看到和学习。视频的主题为《大型语言模型入门》，涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」，偏科普，所以更加容易理解。

11/24/2023 3:02:00 PM

机器之心