GitHub Copilot 推出视觉功能:图片可秒变代码

GitHub 宣布了其 AI 编程助手 Copilot 的一系列重大更新,此次更新中最引人注目的功能之一是 Copilot 的“Vision”功能。该功能允许用户在聊天中上传截图、照片或图表,Copilot 将基于这些图像生成相应的界面、代码以及替代文本(alt text),从而将用户的视觉想法转化为实际的编程成果。

GitHub 宣布了其 AI 编程助手 Copilot 的一系列重大更新,并展示了 Copilot 未来更具自主性的愿景。

GitHub Copilot 推出视觉功能:图片可秒变代码

此次更新中最引人注目的功能之一是 Copilot 的“Vision”功能。该功能允许用户在聊天中上传截图、照片或图表,Copilot 将基于这些图像生成相应的界面、代码以及替代文本(alt text),从而将用户的视觉想法转化为实际的编程成果。例如,营销团队的成员可以截取网页的截图,并在上面标注出他们希望进行的修改。以往,他们需要通过文字提示来请求这些更改,而现在,他们只需上传图像,并直接要求 Copilot 根据文件中的指示进行修改即可。这一功能自去年 10 月起已在 VS Code 中作为扩展提供,微软当时确认,该功能最终将被整合为 GitHub Copilot Chat 的原生功能。此前,用户还需要自行提供 API 密钥才能使用。

GitHub Copilot 还引入了“下一步编辑建议”功能,这是其代码补全功能的扩展。以往,Copilot 在 VS Code 编辑器中仅根据光标位置进行代码补全,但现在它能够查看其他最近的编辑内容,从而预测开发者可能想要进行的下一步操作。其通过更丰富的上下文线索,自动识别并建议下一步的编辑内容。如果开发者接受这些建议,只需按下 Tab 键即可应用;如果拒绝,则按下 Esc 键即可。

AI在线注意到,去年 11 月,GitHub 推出了 Copilot Edits 功能,允许开发者通过自然语言提示进行多文件编辑。如今,这一功能正式进入全面可用阶段,并新增了“代理模式”。在这种模式下,Copilot 能够自动识别与开发者更改请求相关的所有文件,而无需开发者手动选择需要应用更改的文件。GitHub 首席执行官 Thomas Dohmke 表示:“Copilot 现在能够更好地理解你最初的请求意图,并尝试解决它。”

从长远来看,GitHub 希望将这种“代理模式”应用于 Copilot 的其他功能,实现更广泛的自动化,涵盖更多相互关联的任务。为此,GitHub 还透露了一个名为“Project Padawan”的新计划。这是一个软件工程代理项目,能够在开发者的指导下独立处理整个任务。开发者可以将问题分配给 Copilot,由它来完成任务。不过,Dohmke 并未透露该项目何时能够正式推出,他仅表示,GitHub 将与合作伙伴和社区合作,共同改进这一项目。Dohmke 说:“我们正在寻找也在构建代理的合作伙伴,将它们整合到这一流程中,并希望客户与我们合作并提供反馈,因为我们知道在现阶段,它还远非完美。”

相关资讯

从现在起,GitHub上超1亿开发者可直接访问全球顶级大模型,构建AI应用

GitHub 推出的全新功能「GitHub Models」将有望加快 AI 工程师时代的到来。什么?大家熟悉的代码托管平台 GitHub 又进化了!该平台也开始提供 AI 大模型的 Playgroud 了。所有你能叫得上名字的业界流行大模型,包括微软的 Phi-3、OpenAI 的 GPT-4o、Meta 的 Llama 3.1、Cohere 的 Command R 、Mistral AI 的 Mistral Large,都可以在一个交互式沙盒中试用。在未来几个月,Github 也将添加更多语言、视觉以及其他类型的

陶哲轩上手Copilot:不可思议,它能从定理名字猜出我想要的方向

尝鲜 GPT-4 之后,陶哲轩又用上了 Github Copilot。这一次,他的试用场景是学习 Lean 语言并利用其形式化数学定理。对于大模型来说,形式化的定理证明也算一种挑战。形式化证明本质上是一种计算机程序,但与 C 或 Python 中的传统程序不同,证明的正确性可以用证明助手(比如 Lean 语言)来验证。定理证明是代码生成的一种特殊形式,在评估上非常严格,没有让模型产生幻觉的空间。而陶哲轩提到的定理,来自 10 月 9 日的一篇论文:论文中的这个证明只有不到一页,但陶哲轩的形式化证明使用了 200

开发者「第二大脑」来袭,GitHub Copilot更新,人类开发参与进一步减少

Copilot 帮助开发者完成更大、更复杂的任务。是什么让 Andrej Karpathy 感慨,人类在软件开发过程中直接编写代码的贡献将越来越小,直接输入和监督作用将更加抽象化。最终,人类的角色将仅仅是进行基本的审核和确认,而不再是主要的编程和开发者。原来是 GitHub 新发布的 Copilot Workspace,它重新构想了开发者的内部流程。如果 AI 开发工具是开发者的第二双手,那么 Copilot Workspace 将是开发者的「第二个大脑」。在编码的过程中,最头疼的莫过于遇到不熟悉的软件仓库、编程语