Workshop主页：https://icml-mfm-eai.github.io/
概述
近年来，多模态基础模型（MFM），例如 CLIP、ImageBind、DALL・E 3、GPT-4V、Gemini 和 Sora，已成为人工智能畛域最引人注目且发展迅速的畛域之一。同时，MFM 的开源社区也涌现出了诸如 LLaVA、LAMM、MiniGPT-4、Stable Diffusion 和 OpenSora 等具有代表性的开源项目。
不同于传统计算机视觉和自然语言处理模型，这类 MFM 正在积极探索通用问题解决方案。通过引入 MFM，具身智能（EAI）能够在模拟器和现实世界环境中更好地处理各种复杂任意。然而，在 MFM 和 EAI 的交叉畛域，仍有许多尚未探讨和解决的问题，包括智能体长期决策、智能体运动布局、新环境泛化威力等。
本次 Workshop 将致力于探讨几个关键问题，包括但不限于：
MFM 的泛化威力；
用于具身智能的 MFM；
基于生成模型的世界模型；
模仿学习数据收集。
Workshop 征稿
该 workshop 聚焦于多模态基础模型（MFM）、具身智能（EAI）以及两项研究的交叉畛域。本次征稿主题包括但不限于：
Training and evaluation of MFM in open-ended scenarios
Data collection for training embodied Agents
Framework designs for MFM-powered embodied agents
Perception and high-level planning in embodied agents empowered by MFM
Decision-making and low-level control in embodied agents empowered by MFM
Evaluation of the capability of embodied agents
Generative model as world simulator
Limitations of MFM in empowering EAI
投稿规则
本次投稿将通过 OpenReview 平台实行双盲审稿。投稿的正文篇幅为 4 页，参考文献和补充材料篇幅不限。
投稿格式和模板遵循 ICML 2024 投稿指南：https://icml.cc/Conferences/2024/CallForPapers
投稿入口：https://openreview.net/group?id=ICML.cc/2024/Workshop/MFM-EAI
时间节点
所有时间节点均为 [AoE] (Anywhere on Earth)。
MFM-EAI 挑战赛
三个赛道（可以同时参与）
EgoPlan 挑战
EgoPlan 挑战赛致力于评价多模态大模型在复杂的现实世界场景中，针对人类日常活动所涉及的真实任意的布局威力。在竞争中，模型需要依据开放式的任意目标描写、第一人称视角下的任意进度视频和当前环境观察，从多样化的动作候选集合中选择出最合理的下一步，以有效推进任意的完成。
竞争官网：https://chenyi99.github.io/ego_plan_challenge/
即日起 – 2024 年 7 月 1 日 通过填写 [Google 表单]报名参赛（https://docs.google.com/forms/d/e/1FAIpQLScnWoXjZcwaagozP3jXnzdSEXX3r2tgXbqO6JWP_lr_fdnpQw/viewform?usp=sf_link）
奖项设置
冠军：800 美元
亚军：600 美元
创新奖：600 美元
Composable Generalization Agent 挑战
Composable generalization 挑战赛致力于评价由多模态大模型进行布局、low-level 控制器进行执行的组合系统在开放场景下的任意布局威力、任意执行威力和对 novel 场景、物体和技能的泛化威力。在竞争中，模型会根据语言形式的任意描写、多模态视觉输入（RGB 图片 + 深度图片），对任意进行拆解，并由控制器完成对拆解后子任意的执行。
更多信息将于 7 月公布
World Model 挑战
World Model 挑战赛致力于评价 world simulator 在多种具身智能场景（机械臂，自动驾驶，Minecraft 等）中的应用表现。在竞争中，模型需要在不同具身智能场景下根据具身任意的描写以及实时场景观测生成一段符合任意指令的视频，评价将从：1）具身角度评价视频生成质量；2）视频指导 agent 产生控制信号完成任意两个角度进行。
更多信息将于 7 月公布
委员会成员
Workshop组织者
指导委员会
联系方式
Workshop 相关问题