Karpathy

热衷于开课并与网友分享新技术使用心得的 AI 大牛 Karpathy，也有被质疑「为推销某个产品而在言论中夹带私货」的一天。这是怎么一回事呢？昨天，Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验，并发出了由衷的感叹：编程领域变化太快了。Karpathy 在编码时正在尝试使用 VS Code Cursor 加上 Claude Sonnet 3.5 的组合，而没有使用 Git…

RLHF 与 RL 到底能不能归属为一类，看来大家还是有不一样的看法。AI 大牛 Karpathy 又来科普人工智能概念了。昨日，他发推表示，「基于人类反馈的强化学习（RLHF）只是勉强算得上是强化学习（RL）。」Karpathy 的全文解释如下：RLHF 是训练大语言模型（LLM）的第三个（也是最后一个）主要阶段，前两个阶段分别是预训练和监督微调（SFT）。我认为 RLHF 只是勉强算得上 RL…

让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenizatio…

今天，AI 圈再次掀起海啸级巨震，离职 OpenAI 近半年的 AI 大牛 Karpathy 终于官宣了最终动向。他激动地宣布，自己正在创办一家 AI 教育的公司 —— Eureka Labs。Karpathy 这条官宣帖子，已有近百万浏览。Eureka Labs 官推初次现身，写下了「你好世界」。不难想到，自 2 月离职以来，Karpathy 一直都在专注在线授课领域，并不断动手尝试自己的新项目…

赶紧学习起来吧！OpenAI 的风波暂时告一段落，员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟初学讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频，希望让更多人看到和学习。视频的主题为《大型语言模型初学》，涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LL…

上个周末，Karpathy 花了整个周六来忙一个 Llama2 的有趣项目。

「从零开始，用代码直接写。」

时隔两年，GPT的Pytorch训练库minGPT迎来更新！

为了重拾自己对 AI 开源和教育的热情，Andrej Karpathy 在家录了一个详解反向传递的课程。