夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军

近日,在全球瞩目的AAMAS 2024 Computational Economics Competition(计算经济学挑战赛)上,卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军,展现出其在计算经济学和人工智能领域的强大竞争力。冠军证书亚军证书AAMAS 2024 是第23届国际自主智能体和多智能体系统会议(International Conference on Autonomous Agents and

近日,在全球瞩目的AAMAS 2024 Computational Economics Competition(计算经济学挑战赛)上,卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军,展现出其在计算经济学和人工智能领域的强大竞争力。

夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军

冠军证书

夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军

亚军证书

AAMAS 2024 是第23届国际自主智能体和多智能体系统会议(International Conference on Autonomous Agents and Multiagent Systems),这是智能体技术和多智能体系统领域内最大和最有影响力的会议之一。它汇集了来自世界各地的研究人员和实践者,共同探讨和分享该领域内最新的研究成果和发展动态。本次计算经济学挑战赛 (AAMAS 2024 CE competition) 旨在推动 AI for economics 的领域研究。

图片包含 形状

描述已自动生成

                     

AAMAS 2024 CE Competition

本次比赛由中国科学院自动化研究所主办,吸引了来自中科大、南大、人大、爱丁堡、布里斯托、俄勒冈等海内外众多学术和科研机构的队伍。

本次竞赛的赛题为智能税收 (Optimal Tax) 问题,比赛设置两个赛道:

赛道一:智能税收-政府 挑战赛—— 模拟政府角色,调控税率和政府支出,最大化GDP和平衡财富分配。

赛道二:智能税收-个人挑战赛—— 模拟个人角色,调整工作时间和投资比例,最大化个人利益。

来自卓世科技的队伍“Zhuoshi Technology AI Cutting-edge Laboratory”首次参赛,分别拿下两赛道冠亚军。卓世科技人工智能前沿实验室团队致力于AI大模型前沿技术的研究,目前已经在Multi-Agent、模型量化压缩、MoE方向取得了重要突破。

难点和挑战:

此次竞赛的难点和挑战在于,所面临的对手策略未知,需要训练智能体,能应对不同的对手策略,因此卓世科技设计了一种MARL+进化的训练框架。在该框架中,每类智能体(政府或家庭)维持一个长期策略池和短期策略池,长期策略池中保存历史策略参数(每隔50轮训练保存一次模型),短期策略池中维持最好的20个策略,具体而言,我们通过随机匹配对手,进行大量测试,挑选出top20的策略参数。长期策略池中维持了多种多样的策略,用于训练top20策略,使其具有鲁棒性。

在正赛1中,我们训练完成后,我们从top20的短期策略池中选取平均得分最高的策略作为提交比赛的智能体。在正赛2中,短期策略池中仍然维持top20的策略参数,与阶段1不同,我们从top20中再次进行对抗测试,从中选出top12的策略参数,与阶段1中的策略参数进行集成。我们尝试从这十几个策略中选择一部分进行集成。对于政府,我们选择10个策略,而对于家庭,我们选择12个策略。每个策略输出自己的动作,然后去掉一个最大值,去掉一个最小值,然后对剩下的动作取平均,以此作为最终的策略。主要是为了提高策略的鲁棒性。

领先35%强势夺冠:

卓世团队迎难而上,凭借以下技术方案亮点,在竞赛中脱颖而出,以领先第二名35个百分点的成绩强势夺冠!

策略网络架构:采用Actor-Critic框架,Actor使用部分可观测状态,Critic包括全局状态。训练算法:采用MATD3算法,集中式训练和分布式执行。策略集成:挑选top K策略进行集成,提高模型鲁棒性。

策略网络架构上,卓世科技采用经典的Actor-Critic框架,其中Actor仅使用部分可观测的状态,Critic包括所有智能体部分观察和全局状态。为了缓解部分可观测问题,我们将历史4步的状态进行合并,具体而言,我们将每步的特征向量进行非线性变换,之后进行拼接,这类似于时空卷积结构,如图1所示。在训练算法上,我们采用了MATD3,这是一种改进MADDPG的算法,每次状态Q值估计都会输出两个值,并使用最小值作为目标Q值,这有利于缓解状态价值得过估计问题。训练上采用集中式训练和分布式执行,训练完成的Critic网络不再使用,Actor网络根据局部观察进行动作输出。

夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军

图 5 Actor和Critic网络结构

在训练完成的top K策略池中,我们挑选出最好的N个模型进行策略集成,以提高模型对位置策略的鲁棒性,如图2所示。

夺冠!卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军

图 6 策略集成

综合以上策略,在赛道二,卓世团队以2845.58分、领先第二名35个百分点的成绩强势问鼎冠军!该得分是综合考虑家庭端工作时长和消费的表现,并与多只参赛队伍PK的最终得出。在赛道一,团队以1个百分点微弱之差夺得亚军!该得分是综合考虑政府端gdp增长率和贫富差距的基尼指数表现。团队在赛道一和赛道二取的成绩,得益于自主研发的分布式训练框架,在短时间内可与多样性的智能体进行对抗,学习足够鲁棒的策略模型, 体现团队在Multi-Agent方向拥有较强的技术储备和实战能力。

卓世科技CEO屠静赛后表示:“我们以卓越的AI技术实力和创新精神,在全球计算经济学领域舞台上赢得了荣誉,向全世界展现了中国AI力量的崛起。卓世科技将持续引领AI产业化落地,不断创新变革,助力各行各业找到真正的商业应用场景。我们致力于成为行业模型服务的领导者,与合作伙伴共同推进中国产业AI的落地化进程。”

相关资讯

通过奖励随机化发现多智能体游戏中多样性策略行为,清华、UC伯克利等研究者提出全新算法RPG

在这篇论文中,研究者提出了一个在 reward-space 进行探索的新算法 RPG(Reward-Randomized Policy Gradient),并且在存在多个纳什均衡 (Nash Equilibrium, NE) 的挑战性的多智能任务中进行了实验验证,实验结果表明,RPG 的表现显著优于经典的 policy/action-space 探索的算法,并且发现了很多有趣的、人类可以理解的智能体行为策略。除此之外,论文进一步提出了 RPG 算法的扩展:利用 RR 得到的多样性策略池训练一个新的具备自适应能力的策

Creator 面对面 | 自监督学习范式未来能够在强化学习中发挥关键的作用

我们都知道自监督学习在 CV 和 NLP 领域都有比较广泛的应用,比如大模型 BERT、GPT-3 等训练,其实最核心的技术就是基于自监督学习的技术。 那么在 CV 和 NLP 领域都取得成功的自监督学习,是否可以被借鉴或是利用到强化学习领域呢?

从框架到经典方法,全面了解分布式深度强化学习DDRL

本文在回顾分布式深度强化学习 DDRL 基本框架的基础上,重点介绍了 IMPALA 框架系列方法。AlphaGo 是一个在人机博弈中赢得众多职业围棋手的 agent 机器人。随着 AlphaGo 的突破,深度强化学习(Deep Reinforcement Learning,DRL)成为一种公认的解决连续决策问题的有效技术。人们开发了大量算法来解决介于 DRL 与现实世界应用之间的挑战性问题,如探索与开发困境、数据低效、多 agent 合作与竞争等。在所有这些挑战中,由于 DRL 的试错学习机制需要大量交互数据,数据