或许不久之后，Siri就能看懂手机屏幕并帮你点外卖了。
在最近的一篇论文中，苹果的研讨人员宣称，他们提出了一个可以在装备端运行的模型，这个模型在某些方面可以超过 GPT-4。
具体来说，他们研讨的是 NLP 中的指代消解（Reference Resolution）问题，即让 AI 识别文本中提到的各种实体（如人名、地点、组织等）之间的指代关系的过程。简而言之，它涉及到确定一个词或短语所指的具体工具。这个过程对于理解句子的意思至关重要，因为人们在交流时经常运用代词或其他指示词（如「他」、「那里」）来指代之前提到的名词或名词短语，避免重复。
不过，论文中提到的「实体」更多得与手机、平板电脑等装备有关，包括：
屏幕实体（On-screen Entities）：用户在与装备交互时，屏幕上显示的实体或信息。
对话实体（Conversational Entities）：与对话相干的实体。这些实体可能来自用户之前的发言（例如，当用户说「给妈妈打电话」时，「妈妈」的联系方式就是相干的实体），或者来自虚拟帮忙（例如，当帮忙为用户提供一系列地点或闹钟供选择时）。
背景实体（Background Entities）：这些是与用户当前与装备交互的上下文相干的实体，但不一定是用户直接与虚拟帮忙互动产生的对话历史的一部分；例如，开始响起的闹钟或在背景中播放的音乐。
苹果的研讨在论文中表示，尽管大型语言模型（LLM）已经证明在多种任务上具有极强的能力，但在用于解决非对话实体（如屏幕实体、背景实体）的指代问题时，它们的潜力还没有得到充分利用。
在论文中，苹果的研讨者提出了一种新的方法 —— 运用已解析的实体及其位置来重建屏幕，并生成一个纯文本的屏幕表示，这个表示在视觉上代表了屏幕内容。然后，他们对屏幕中作为实体的部分举行标记，这样模型就有了实体出现位置的上下文，以及围绕它们的文本是什么的信息（例如：呼叫业务号码）。据作者所知，这是第一个运用大型语言模型对屏幕上下文举行编码的工作。
具体来说，他们提出的模型名叫 ReALM，参数量分别为 80M、250M、1B 和 3B，体积都非常小，适合在手机、平板电脑等装备端运行。
研讨结果显示，相比于具有类似功能的现有系统，该系统在不同范例的指代上取得了大幅度的改进，其中最小的模型在处理屏幕上的指代时获得了超过 5% 的绝对增益。
此外，论文还将其功能与 GPT-3.5 和 GPT-4 举行了对比，结果显示最小模型的功能与 GPT-4 相当，而更大的模型则显著超过了 GPT-4。这表明通过将指代消解问题转换为语言建模问题，可以有效利用大型语言模型解决涉及多种范例指代的问题，包括那些传统上难以仅用文本处理的非对话实体指代。
这项研讨有望用来改进苹果装备上的 Siri 智能帮忙，帮助 Siri 更好地理解和处理用户询问中的上下文，尤其是涉及屏幕上内容或背景应用的复杂指代，在在线搜索、操作应用、读取通知或与智能家居装备交互时都更加智能。
苹果将于太平洋时间 2024 年 6 月 10 日至 14 日在线举办全球开发者大会「WWDC 2024」，并推出全面的人工智能战略。有人预计，上述改变可能会出现在即将到来的 iOS 18 和 macOS 15 中，这将代表用户与 Apple 装备之间交互的重大进步。
论文介绍
论文地址：https://arxiv.org/pdf/2403.20329.pdf
论文标题：ReALM: Reference Resolution As Language Modeling
本文任务制定如下：给定相干实体和用户想要执行的任务，研讨者希望提取出与当前用户盘问相干的实体（或多个实体）。相干实体有 3 种不同范例：屏幕实体、对话实体以及背景实体（具体内容如上文所述）。
在数据集方面，本文采用的数据集包含综合创建的数据或在注释器的帮助下创建的数据。数据集的信息如表 2 所示。
其中，对话数据是用户与智能体交互相干的实体数据；合成数据顾名思义就是根据模板合成的数据；屏幕数据（如下图所示）是从各种网页上收集的数据，包括电话号码、电子邮件等。
模型
研讨团队将 ReALM 模型与两种基线方法举行了比较：MARRS（不基于 LLM）、ChatGPT。
该研讨运用以下 pipeline 来微调 LLM（FLAN-T5 模型）：首先向模型提供解析后的输入，并对其举行微调。请注意，与基线方法不同，ReALM 不会在 FLAN-T5 模型上运行广泛的超参数搜索，而是运用默认的微调参数。对于由用户盘问和相应实体组成的每个数据点，研讨团队将其转换为句子格式，然后将其提供给 LLM 举行训练。
会话指代
在这项研讨中，研讨团队假设会话指代有两种范例：
基于范例的；
描述性的。
基于范例的指代严重依赖于将用户盘问与实体范例结合运用来识别（一组实体中）哪个实体与所讨论的用户盘问最相干：例如，用户说「play this」，我们知道「this」指的是歌曲或电影等实体，而不是电话号码或地址；「call him」则指的是电话号码或联系人，而不是闹钟。
描述性指代倾向于运用实体的属性来唯一地标识它：例如「时代广场的那个」，这种指代可能有助于唯一地指代一组中的一个。
请注意，通常情况下，指代可能同时依赖范例和描述来明确指代单个工具。苹果的研讨团队简单地对实体的范例和各种属性举行了编码。
屏幕指代
对于屏幕指代，研讨团队假设存在能够解析屏幕文本以提取实体的上游数据检测器。然后，这些实体及其范例、边界框以及围绕相干实体的非实体文本元素列表都可用。为了以仅涉及文本的方式将这些实体（以及屏幕的相干部分）编码到 LM 中，该研讨采用了算法 2。
直观地讲，该研讨假设所有实体及其周围工具的位置由它们各自的边界框的中心来表示，然后从上到下（即垂直、沿 y 轴）对这些中心（以及相干工具）举行排序，并从左到右（即水平、沿 x 轴）运用稳定排序。所有位于边缘（margin）内的工具都被视为在同一行上，并通过制表符将彼此分隔开；边缘之外更下方的工具被放置在下一行，这个过程重复举行，有效地从左到右、从上到下以纯文本的方式对屏幕举行编码。
实验
表 3 为实验结果：本文方法在所有范例的数据集中都优于 MARRS 模型。此外，研讨者还发现该方法优于 GPT-3.5，尽管后者的参数数量比 ReALM 模型多出几个数量级。
在与 GPT-4 举行对比时，尽管 ReALM 更简洁，但其功能与最新的 GPT-4 大致相同。此外，本文特别强调了模型在屏幕数据集上的收益，并发现采用文本编码的模型几乎能够与 GPT-4 一样执行任务，尽管后者提供了屏幕截图（screenshots）。最后，研讨者还尝试了不同尺寸的模型。
分析
GPT-4 ≈ ReaLM ≫ MARRS 用于新用例。作为案例研讨，本文探讨了模型在未见过畛域上的零样本功能：Alarms（附录表 11 中显示了一个样本数据点）。
表 3 结果表明，所有基于 LLM 的方法都优于 FT 模型。本文还发现 ReaLM 和 GPT-4 在未见过畛域上的功能非常相似。
ReaLM > GPT-4 用于特定畛域的盘问。由于对用户请求举行了微调，ReaLM 能够理解更多特定于畛域的问题。例如表 4 对于用户请求，GPT-4 错误地假设指代仅与设置有关，而真实情况也包含背景的家庭自动化装备，并且 GPT-4 缺乏识别畛域知识的能力。相比之下，ReaLM 由于接受了特定畛域数据的训练，因此不会出现这种情况。
