OpenAI 的 GPT-4 变身考证能手:无额外训练通过日本理疗师考试,正确率 73.4%

一项新的同行评审研究表明,OpenAI 的 GPT-4 大语言模型无需任何额外训练,即可通过日本国家理疗考试。最新发表在《Cureus》杂志上的新研究,测试了 GPT-4 的文字和视觉技能。AI在线注:日本国家物理理疗师考试包括 160 道综合题和 40 道实践题,测试记忆、理解、应用、分析和评估能力。研究人员在 GPT-4 中输入了 1000 个问题,并将答案对比了官方解决方案。GPT-4 通过了所有五个测试部分,正确回答了 73.4% 的问题。不过,人工智能在处理技术性问题和包含图片或表格的问题时显得有些吃力。

一项新的同行评审研究表明,OpenAI 的 GPT-4 大语言模型无需任何额外训练,即可通过日本国家理疗考试。

OpenAI 的 GPT-4 变身考证能手:无额外训练通过日本理疗师考试,正确率 73.4%

最新发表在《Cureus》杂志上的新研究,测试了 GPT-4 的文字和视觉技能。

AI在线注:日本国家物理理疗师考试包括 160 道综合题和 40 道实践题,测试记忆、理解、应用、分析和评估能力。

研究人员在 GPT-4 中输入了 1000 个问题,并将答案对比了官方解决方案。

GPT-4 通过了所有五个测试部分,正确回答了 73.4% 的问题。不过,人工智能在处理技术性问题和包含图片或表格的问题时显得有些吃力。

OpenAI 的 GPT-4 变身考证能手:无额外训练通过日本理疗师考试,正确率 73.4%

该模型在常规问题上的表现(正确率为 80.1%)远远好于实际问题(正确率为 46.6%)。

同样,GPT-4 在处理纯文本问题(正确率为 80.5%)时的表现也远好于那些带有图片和表格的问题(正确率为 35.4%)。这些发现与之前有关 GPT-4 视觉理解局限性的研究结果一致。

有趣的是,问题难度和文本长度对 GPT-4 的性能影响不大。尽管该模型主要以英语数据为基础进行训练,但在使用日语输入时也表现出色。

OpenAI 的 GPT-4 变身考证能手:无额外训练通过日本理疗师考试,正确率 73.4%

AI在线附上参考地址

GPT-4 passes Japan's National Physical Therapy Examination

Performance of ChatGPT 4.0 on Japan's National Physical Therapist Examination: A Comprehensive Analysis of Text and Visual Question Handling

相关资讯

OpenAI 今年启动 GPT Next 计划:AI 性能百倍级跃升,Orion 有望接棒 GPT-4

OpenAI Japan 出席 KDDI 峰会,介绍了公司即将推出的下一代 AI 模型,并宣布将在 2024 年启动 GPT Next 计划,有望在 AI 功能上实现大幅飞跃。图源:itmediaOpenAI Japan 首席执行官长崎忠雄(Tadao Nagasaki)表示,虽然 GPT-3 和 GPT-4 的性能比较接近,但 GPT Next 预计会有更大的飞跃,性能将提高 100 倍。长崎忠雄于 2024 年 4 月成为 OpenAI Japan 的掌舵者,他在会上强调相比较传统软件,AI 技术正以指数级速度

陶哲轩点评谷歌AlphaProof:AI在数学竞赛中展现「超凡智慧」

在奥数问题面前,AI 的「智商」往往不太够用。不过,这已经是过去式了。谷歌 DeepMind 用 AI 做出了今年国际数学奥林匹克竞赛 IMO 的真题,并且距拿金牌仅一步之遥。对于 AI 来说,奥数不再是问题了。IMO 2024 中六个问题的每一个问题满分为 7 分,总分最高 42 分。DeepMind 的系统最终得分为 28 分,意味着解决的 4 个问题都获得了满分 —— 相当于银牌类别的最高分。DeepMind 文章连接: AI 辅助证明的数学家陶哲轩近期正处在出差的忙碌中,对问题求解引擎 AlphaProof

消息称 OpenAI 正开发“草莓”项目:前身为神秘 Q * 算法,最快今年秋季推出

当地时间 8 月 7 日,阿尔特曼放出了一张关于草莓的照片,暗示神秘“草莓(Strawberry)”项目,引起全网热议。The Information 报道称,随着 OpenAI 寻求筹集更多资金,其研究人员正试图推出一种新的 AI 产品,能够比现有产品更好地解决棘手的问题。据称,OpenAI 今年夏天已经向美国国家安全官员展示了这项技术,一位直接了解这些会议的人士表示,这些会议此前没有被报道过(AI在线注:最早是路透社上个月发布的爆料)。两名内部人士透露,团队目标是最早在今年秋天之前将代号为草莓(以前称为 Q*)