Karpathy:以前在特斯拉、OpenAI都是「副业」,现在做的才是「正职」。
刚刚,Andrej Karpathy在X平台宣布了自己的下一站去向:创办一家名为 Eureka Labs 的人工智能+教育公司。
很高兴与大家分享,我正在创办一家名为 Eureka Labs 的人工智能+教育公司。公告如下:
我们是 Eureka Labs,我们正在打造一所AI原生的新型学校。我们如何才能获得学习新知识的理想体验?例如,在物理学方面,我们可以想象与费曼(Feynman)一起学习高质量的课程材料,费曼会在每一步都为你提供指导。遗憾的是,那些充满热情、善于教学、有无限耐心、精通世界上所有语言的学科专家也非常稀缺,他们无法按需亲自辅导我们 80 亿人。不过,随着最近在生成式人工智能方面取得的进展,这种学习体验让人感觉是可以实现的。
教师仍然负责设计课程材料,但这些材料会得到人工智能助教的支持、利用和扩展,而人工智能助教会进行优化,以帮助指导学生完成这些材料。这种「教师+人工智能」的共生模式可以在一个通用平台上运行整个课程。如果我们取得成功,任何人都可以轻松学习任何知识,从而扩大教育的覆盖范围(大量人学习某些知识)和程度(任何一个人都可以学习大量科目,这超出了目前在没有辅助的情况下可能实现的范围)。我们的第一个产品将是世界上最好的人工智能课程 LLM101n。
这是一门指导学生训练自己的人工智能的本科课程,非常类似于缩小版的人工智能助教课程。课程材料将在网上提供,但我们也计划同时开设数字班和实体班。今天,我们正在全力打造 LLM101n,但我们期待着人工智能成为提升人类潜能的关键技术的未来。
Eureka Labs 是我二十多年来对人工智能和教育的热情的结晶。从 YouTube 上的魔方教程到斯坦福大学的 CS231n,再到最近的 「Zero-to-Hero AI」系列,我对教育的兴趣一直伴随着我。而我在人工智能领域的工作则从斯坦福大学的学术研究到特斯拉公司的实际产品,再到 OpenAI 的 AGI 研究。迄今为止,我在这两个领域的所有工作都是兼职的,是我「正职」工作的副业。因此我很高兴能投入其中,以专业和全职的方式创造一些伟大的东西。虽然还为时尚早,但我想宣布公司的成立,这样我就可以公开创建公司,而不是保守一个不为人知的秘密。
Andrej Karpathy的身份有很多个:李飞飞高徒、OpenAI创始成员及研究科学家、特斯拉前AI高级总监、YouTube「学习区」知名博主。
今年2月,Karpathy宣布从OpenAI离开,并表示「中间没有什么戏剧性冲突,只是想去尝试一下自己的个人项目」。此后,他的下一步去向就成为了大众关注的焦点。
这让我们想到了另一位知名AI学者吴恩达,作为谷歌大脑项目创建者、原百度首席科学家,吴恩达与同为斯坦福教授的Daphne Koller共同创办了在线教育平台Coursera。或许,从事理论研究的大佬内心都有一个教育梦想。
新公司专注于AI+教育
Eureka Labs 的第一个产品是本科水平课程LLM101n,旨在帮助学生训练自己的AI模型。
6月, Andrej Karpathy在GitHub上仅仅上传了LLM101n课程目录,就迅速刷屏。
具体来说,LLM101n从语言建模、机器学习的基础知识开始教学,然后到多模态、RLHF、模型部署,旨在构建一个 Storyteller AI 大模型 (LLM),使用 AI 创建、完善和说明小故事,涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序,并使用 Python、C 和 CUDA 从头开始构建项目,并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。
目前,上传三周,LLM101n项目已收获17k Star。
在Karpathy官宣新公司的帖子下,谷歌首席科学家Jeff Dean发来了真诚的祝福。
在评论区,Karpathy也解释了 Eureka Labs名字的来源:Eureka(源自古希腊语)是一种理解了某件事之后的美好感觉,好像脑子里有个东西咔哒一声。他们的目标是激发人们心中的那些瞬间。而名字里加个Labs是因为:Eureka作为单个单词已经被别人用了(Netflix开发的服务发现框架),而他一直想要个实验室……
目前,该公司已经开通了官方推特和GitHub库。
GitHub地址:https://github.com/EurekaLabsAI
AI领域的活跃人物
个人主页:https://karpathy.ai/
2005-2009 年,Andrej Karpathy 本科就读于加拿大多伦多大学,主修计算机科学与物理,辅修数学。在这里,他第一次接触到深度学习,聆听 Hinton 的课程。
2009 -2011 年,Karpathy 硕士就读于加拿大不列颠哥伦比亚大学,其导师为计算机科学系教授 Michiel van de Panne,主要研究物理模拟中用于敏捷机器人的机器学习。
2011-2016 年,Karpathy 博士就读于斯坦福大学,师从著名 AI 学者李飞飞,专注于研究卷积 / 循环神经网络以及它们在计算机视觉、自然语言处理和交叉领域的应用。期间,他设计并担任斯坦福首个深度学习课程《CS231n:卷积神经网络与视觉识别》的主要讲师。
与此同时,Karpathy 还有三段实习经历。2011 年,他进入发展初期的谷歌大脑实习,致力于视频领域的大规模无监督学习。之后的 2013 年,他再次在谷歌研究院实习,从事 YouTube 视频的大规模监督学习。2015 年,他在 DeepMind 实习,参与深度强化学习团队的工作。
目前,在 Google Scholar 上,Karpathy 的论文引用数达到了 66426。其中,引用第二多、他作为一作的论文《Large-scale Video Classification with Convolutional Neural Networks》被收录为 CVPR 2014 Oral。
Karpathy 是 OpenAI 的创始成员和研究科学家。在 OpenAI 创立仅一年多后,2017 年,Karpathy 接受马斯克的邀请加入特斯拉,接替了当时的特斯拉 Autopilot 负责人、苹果 Swift 语言、LLVM 编译器之父 Chris Lattner。
五年里,Karpathy 一手促成了 Autopilot 的开发。随着特斯拉从最开始的自动驾驶慢慢扩展到更广泛的人工智能领域,Karpathy 也被提为特斯拉的 AI 高级总监,直接向马斯克汇报工作。
对教育事业的热爱
事实上,在此前的职业生涯变动间隙,Karpathy就已经表现出了对「投身教育事业」的兴趣。
Karpathy 于 2022 年 7 月离开特斯拉。在后续的访谈中,他说这是一个艰难的决定。虽然特斯拉还未完全实现自动化驾驶,但研发团队已经可以自行发展。这次离职也给他一个机会,去重新审视自己对于人工智能、开源和教育的热爱。
离职八个月后,2023 年 2 月,Karpathy 宣布自己再次加入 OpenAI。在此期间,Karpathy 除了完成 OpenAI 的研究工作,还做了一些个人项目,包括录制教育视频、开发关于 Llama 2 的开源项目 ——llama2.c 等。
在今年2月份,OpenAI内部斗争事件之后,Karpathy再次从OpenAI离职,并一直致力于一些开源课程。
如今,算是正式投身于自己热爱的教育事业。我们可以期待,Karpathy将为AI领域带来更多优秀的课程资源。
关于Karpathy的更多课程项目,可见扩展阅读。
扩展阅读:
《五年后的今天,训练 GPT-2 只需不到 700 刀、24 小时,Karpathy 又整新活》
《墙裂推荐!Karpathy 大模型培训课 LLM101n 上线了,非常基础》
《Karpathy最新四小时视频教程:从零复现GPT-2,通宵运行即搞定》
《离开 OpenAI 待业的 Karpathy 做了个大模型新项目,Star 量一日破千》
《闲下来的 Andrej Karpathy 录了个课程:保证学会,你听不懂我吃鞋》
《特斯拉前 AI 总监教你手搓 GPT 大模型,教学视频已出》
《OpenAI 联创 Karpathy 爱上羊驼:纯 C 代码实现婴儿 Llama2,MacBook 可运行,已揽 1.6k 星》
《OpenAI 内斗时,Karpathy 在录视频:《大型语言模型入门》上线》