全部标签

Andrej Karpathy

OpenAI创始成员Andrej Karpathy：这才是技术之美

技术应该是大脑的插件，而不是计算机病毒。技术应该是什么样子？我们知道乔布斯有「为改变混乱繁杂而生的现代简约主义」的设计理念。所以苹果提供的科技产品都是简洁的。可斯人已逝，如今我们身边的科技产品似乎又进入了复杂与不实用的怪圈之中。近日，知名 AI 领域学者 Andrej Karpathy 发表了自己对于产品哲学的看法，引发了人们的讨论。 Andre…
理论
- 6
- 0
机器之心9月29日
Andrej Karpathy最新激进观点：Transformer将超越人脑

还说 AI 可能会与人类融合……前些天，OpenAI 前首席科学家 Ilya Sutskever 创立的新公司获得 10 亿美元投资的新闻刷遍了各大新闻头条，而 OpenAI 的另一位早期成员和著名 AI 研究者 Andrej Karpathy 则正在「AI 教育」赛道耕耘，其创立的 Eureka Labs 公司正在积极打造其第一款产品。近日，播客节目 No Priors 发布了对这位著名 AI …
应用
- 16
- 0
机器之心9月6日
大神Karpathy：我给大模型「SQL注入」攻击，简直不要太轻松

大模型的安全性，可以说是「有很大进步空间」。AI 大牛 Andrej Karpathy 又来科普知识了，这次的主题是「利用特殊 token 对 LLM 进行类 SQL 注入的攻击」。所谓 SQL 注入攻击，它是一种网络攻击技术。攻击者通过将恶意的 SQL 语句插入到应用程序的输入字段中，诱使后台数据库执行这些恶意的 SQL 语句。此类攻击通常利用应用程序对用户输入的处理不当，比如没有正确地对输入进…
工程
- 7
- 0
机器之心8月16日
全网祝贺！Andrej Karpathy官宣创业：是自己热爱的AI+教育

Karpathy：以前在特斯拉、OpenAI都是「副业」，现在做的才是「正职」。刚刚，Andrej Karpathy在X平台宣布了自己的下一站去向：创办一家名为 Eureka Labs 的人工智能教育公司。很高兴与大家分享，我正在创办一家名为 Eureka Labs 的人工智能教育公司。公告如下：我们是 Eureka Labs，我们正在打造一所AI原生的新型学校。我们如何才能获得学习新知识的理…
应用
- 18
- 0
机器之心7月17日
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活

论老黄卖铲子的技术含量。2019 年 2 月，OpenAI 发布了 GPT-2，因为在文本生成上的优异表现，以及对于预训练 Transformer 架构的充分运用，被认为是如今大预言模型的「始祖」。五年后的今天，训练 GPT-2 这样 15 亿参数的大模型，只需要花费 672 美元，在一个 8XH100 的 GPU 节点上跑 24 个小时就可以搞定了。本周四，前特斯拉 Autopilot 负责人、…
应用
- 29
- 0
机器之心7月12日
Karpathy点赞，这份报告教你如何用 LLaMa 3创建高品质收集数据集

众所周知，对于 Llama3、GPT-4 或 Mixtral 等高本能大语言模型来说，构建高品质的收集规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。最近，AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。这项工作将原始 15 万亿个 FineWeb token，经 Llama 3 70B 评判，…
应用
- 6
- 0
机器之心6月4日
12年前上手深度进修，Karpathy掀起一波AlexNet时代回顾杀，LeCun、Goodfellow等都下场

没想到，自 2012 年 AlexNet 开启的深度进修革命已经过去了 12 年。而如今，我们也进入了大模型的时代。近日，知名 AI 研讨科学家 Andrej Karpathy 的一条帖子，让参与这波深度进修变革的许多大佬们陷入了回顾杀。从图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，纷纷忆往昔。到目前为止，该帖子已经有 63 万的浏览量。在帖子中，Karpa…
应用
- 6
- 0
机器之心5月6日
纯C说话手搓GPT-2，前OpenAI、特斯拉高管新项目火了

「Real men program in C.」众所周知，大说话模型还在快速发展，应该有很多可以优化的地方。我用纯 C 说话来写，是不是能优化一大截？也许很多人开过这样的脑洞，现在有大佬兑现了。今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上兑现 GPT-2 训练的项目「llm.c」。…
应用
- 3
- 0
机器之心4月9日
离开OpenAI待业的Karpathy做了个大模型新项目，Star量一日破千

没工作也要「卷」。闲不下来的 Andrej Karpathy 又有了新项目！过去几天，OpenAI 非常热闹，先有 AI 大牛 Andrej Karpathy 官宣离职，后有视频生成模型 Sora 撼动 AI 圈。在宣布离开 OpenAI 之后，Karpathy 发推表示「这周可以歇一歇了。」图源：（I am envious）了。但是，…
应用
- 21
- 0
机器之心2月19日
突发！AI大牛Andrej Karpathy脱离OpenAI

Andrej Karpathy 又到职了！刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI到职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的部分项目。Karpathy在官宣到职的推文中写道，「是的，我昨天脱离了OpenAI。首先，没发生什么特别的事情，这不是由于任何特定事件、问题或者争议导致的（但请继续提供阴谋论，因为它们确实很有趣 :））。实际上…
应用
- 2
- 0
机器之心2月15日