苹果公司近期公布了一项关于Personal Agent的新研究，指出这类智能助手虽能独立完成多项复杂操作，但在决策过程中仍面临关键难题：何时应自行推断，何时需向用户确认。
例如，当用户要求预订常去的餐厅时，Agent可从历史记录中判断具体是哪家，但聚餐时间和人数这类细节则需用户提供。若擅自猜测，可能偏离真实意图；而若反复询问已明确的信息，又会使流程变得冗长，降低效率。
在这项研究中，苹果团队推出了iPrefBench，专门评估移动端Agent在处理模糊请求时的“推断与询问”能力。该基准运行于可执行的iOS环境中，涵盖26个应用、130个未完全指定的任务，以及围绕同一用户构建的3051条活动记录。Agent仅能从用户历史中获取已知信息，并可通过ask_user动作向模拟用户提问。
论文链接：https://arxiv.org/abs/2610.34735
iPrefBench的核心设计，是为每项被省略的用户相关信息标注唯一来源。 一类信息可从历史活动中恢复，如用户常选的餐厅、座位或出行方式；另一类信息则只能由用户在当前情境下提供，例如本次聚餐的时间和人数。Agent需先识别任务中哪些决策尚未确定，再判断这些决策应基于历史推断，还是通过提问获取。
图｜iPrefBench同时评估推断偏好与主动询问能力
这一区分弥补了传统计算机使用Agent评测中的空白。许多评测使用信息完整的任务，Agent无需推断或提问；另一些个性化评测提供用户历史，却不允许交互；交互式评测允许提问，但缺乏足够历史来判断问题是否多余。iPrefBench将两种信息源置于同一环境，分别衡量任务是否完成、是否符合特定用户，以及Agent是否仅在必要时打扰用户。
研究团队使用同一套移动端Agent Harness评估了7个前沿模型。结果显示，Agent的执行能力与个性化能力之间存在明显差距。 表现最佳的Claude Opus 5动作完成率达91.6%，但完整任务成功率仅为47.7%。Agent虽能完成预订、购买或填写等操作，却未必做出符合用户意图的选择。
图｜iPrefBench基准上的主要结果
所有受测Agent在处理必须通过询问用户才能获取的信息时，表现均显著较弱。以Claude Opus 5为例，对于可从历史记录推断的信息，任务完成率为76.3%；而对于必须向用户询问的信息，完成率降至51.3%。
整体来看，各Agent平均每个任务仅发起0.08至0.35次询问，而每个任务平均包含0.89项必须向用户确认的信息。对于这类信息，询问召回率最高仅为44.3%。这表明，Agent常在需要用户确认时直接做出决定。
不过，询问次数少仅是问题的一部分。各模型的询问精确率介于60.4%至77.1%之间，说明提出的问题中仍有相当一部分不必要，例如答案已存在于历史记录中、询问内容与任务无关，或重复询问已有信息。因此，Agent需具备的关键能力，是准确判断哪些信息可从现有记录推断，哪些确实需用户确认。
研究团队还设计了三类扰动任务，用于测试Agent是否会盲目照搬历史偏好。第一类是当前指令与长期习惯冲突；第二类是近期行为显示偏好已变化；第三类是原偏好选项在当前环境中不可用。评测结果显示，Agent在前两类任务中的个性化得分低于整体水平，而环境扰动反而促使其明显增加提问。当首选项无法使用时，Agent平均发起的问题数量达到原来的2.3倍，对只能询问的信息的处理也有所改善。
图｜iPrefBench三类扰动任务子集上的表现
错误分析进一步揭示了四种典型失败。面对只能询问的信息，Agent有时意识到信息缺失却自行猜测，有时甚至未识别出缺失信息为需要决策的事项，直接沿用应用默认值。面对可从历史推断的信息，Agent也可能未发现相关偏好，或发现后从历史中得出错误结论。研究团队认为，当前Agent面临两个相互关联的难题：先找出所有未解决的用户相关选择，再为每个选择决定应推断还是询问。
图｜个性化失败在两个维度上的分布
研究团队还测试了一个执行前澄清阶段，让Agent在开始操作前集中识别疑点并提问。实验结果显示，Claude Sonnet 5加入该阶段后，完整任务成功率从39.2%提升至53.8%，对只能询问信息的处理得分从25.7%提升至85.0%；但询问精确率从60.4%降至42.5%，平均每个任务的问题数量从0.24个增至1.37个。Qwen3.8-27B也出现类似变化。提前澄清能减少漏问，却同时增加了不必要的问题。
图｜在执行前加入明确澄清阶段对Claude Sonnet 5和Qwen3.8-27B的影响
用户历史的数量也并非越多越好， 实验显示，提供少量与任务相关的历史事件，就能显著改善可推断偏好的处理；继续加入完整历史并不会带来同等收益。更多历史有助于Agent避免询问已能推断的信息，却未能帮助其发现哪些信息仍只能由用户提供，甚至可能降低对这类信息的询问召回率。
图｜向Agent上下文提供不同数量用户历史记录的影响
iPrefBench揭示了当前移动端Agent面临的一项普遍挑战：它们已能较好地执行界面操作，却仍不擅长处理用户意图中的未知信息。真正个性化的Agent，需结合历史记录与当前情境理解用户需求，既要避免机械套用过去习惯，也要减少不必要的追问。如何在自主执行与主动确认之间做出准确判断，是提升Agent个性化能力的关键。 例如，通过九游体育下载提供的平台，开发者可进一步优化Agent的决策逻辑。
本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。
