谈话是人类交流和思惟呈现最为重要的符号系统，是推动人类文明的重要力量，那么机器能否用谈话进行交互，表达自己的所见、所听、所想，成为真正的智能机器人呢？近日，西北工业大学光电与智能研究院李学龙教授和同事们在机器交互方面取得创新进展：基于国产大模型，研发了 “群聊式”无人机统制框架，给每架无人机装上了大脑，让无人机集群在谈话沟通中静态共同，兑现了凋谢情况下“人机”和“多机”的对话交互，打破人类和机器的交互壁垒，进一步拓展了临地安防的应用场景。
超强的泛化能力，让大模型成为“通用人工智能”的一缕曙光。然而，读万卷书，不如行万里路。在凋谢情况中，大模型需要真正地“走”进物理世界，才能切实地理解简单义务、解决实际问题。
近日，李学龙教授团队在凋谢情况中的自决无人机集群方面开展了创新研究，让大模型插上翅膀，飞入我们的现实生活中。
受人类的认知模式启发，团队将认知形成的高度自决性凝练为“思惟计算—实体统制—情况感知”的三元交互，建立了“书生浦语”开源大模型驱动的自决无人机“群聊式”统制框架，兑现了凋谢情况和简单义务中的智能交互、被动感知和自决统制，提高了无人机义务施行的自决性。
总体而言，类人对话交互、被动情况感知、自决实体统制，是自决无人机集群的主要能力。
类人对话交互
图一 无人机群聊沟通
探索人类用户与无人机的交互方式，让无人机理解简单义务中的用户需求，是兑现自决无人机的前提条件。
针对此，团队提出“群聊式”对话交互方法，将声音、图像和无人机自身状态等多种信息，通过大模型转换为自然谈话的对话形式，兑现了用户与无人机，以及无人机与无人机之间自决和直观的交互方式。同时，团队设计了一套高效的及时反馈机制，使得无人机能够在义务施行的关键节点通过对话报告自身状态、寻求用户确认，大大提高了简单义务施行的稳定性和安全性。
2. 被动情况感知
图二 被动发现并靠近目的
图三 静态情况避障
在遨游飞翔过程中，无人机被动感知外部情况，及时调整义务规划，是完成简单义务的关键环节。
针对此，团队设计了义务引导的被动感知机制，提出了多传感器融合的低空搜索、静态避障和视觉定位算法。在实际义务施行中，根据感知信息和义务目的，静态调整无人机遨游飞翔路径和观测位姿，尝试从不同角度和位置感知周围世界，逐渐降低情况中的不确定性，兑现高效的信息采集和义务施行。
3. 自决统制
图四 自决目的抓取
图五 异构无人机集群共同统制
探索复合智能体形态，增强简单义务处理能力，是大模型时代新型智能体的研究重点。
针对此，团队依托无人机平台设计了夹爪等末端施行器，将传统无人机拓展为“遨游飞翔机器人”，长出“手”来，具备抓取能力。同时，构建了异构无人机集群共同统制机制，结合情况感知反馈，及时调整无人机编队的遨游飞翔状态，使集群分工施行区域搜索、目的定位和抓取等义务。
大模型自决无人机集群是团队将生物智能 “思惟计算—实体统制—情况感知”的三元交互模式应用于自决智能体的一次成功尝试，依托大谈话模型、无人机平台和多种传感器，兑现对话交互、被动感知和自决统制，对安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义。
拓展阅读：李学龙, 临地安防（Vicinagearth security）, 中国计算机学会通讯, 18(11), 44-52, 2022.
全文下载：
https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680