首先，任务执行的鲁棒性成为了一个关键问题。智能手机的UI设计和操作流程会随着版本更迭持续更新，传统的基于规则的自动化系统往往难以适应这些变化。例如，界面元素的语义识别不足、缺乏必要的上下文信息，或是任务中的参数丢失，都可能导致操作失败或结果不符合预期。其次，LLM具备令人惊艳的通用智能，但对于具体应用和功能的深度理解却常常不足，尤其是在面对不常见的任务或更新后的界面时，可能产生错误的推测或无法提供有效帮助。
在这种背景下，交互式学习成为了解决这一问题的有效手段。通过引入用户反馈和迭代学习机制，智能手机AI Agent不仅能够提高任务执行的灵活性，还能够在不断变化的环境中自我优化，从而实现更加个性化、智能化的用户体验。为此，笔者团队提出了Prompt2Task，一款基于交互式学习的智能手机AI Agent，能够通过自然语言指令自动化执行广泛的手机操作任务，并在每次用户反馈中持续进化，推动AI Agent向更加精准、高效的方向发展。
在智能手机AI Agent中，交互式学习发挥了重要作用。用户不仅可以通过文本输入提供指令，还能够在执行过程中对智能体的决策提供反馈。每次用户的反馈都为智能体提供了新的知识，帮助智能体优化任务执行路径，提升其对动态任务的适应性。这种基于交互的学习机制，使得智能手机AI Agent能够在复杂和多变的应用环境中不断提高任务成功率，并在未来的相似任务中更加高效鲁棒地执行，进而提升用户体验。
交互式学习的核心在于用户与智能体之间的互动反馈。如图1所示，当智能体对当前决策不自信时，Prompt2Task会主动向用户寻求帮助，通过请求用户对话、选择、编辑或演示等方式收集必要的补充信息。每一次的用户互动都帮助智能体优化其决策和操作流程，逐步积累知识，提升智能体的执行效率和精确度。然而，频繁的交互会增加用户的负担，尤其是在任务重复性较高或用户需求简单的情况下。Prompt2Task通过以下几个创新设计，显著降低了这种交互成本：
· 分阶段反馈：通过将任务分解为多个步骤，智能体在遇到不确定性时仅请求针对当前步骤的用户反馈，避免了每次任务执行都需要用户全程参与的繁琐过程。
· 置信度评估：设计一个专门的智能体以评估预测操作的信心，并且只有在预测结果不确定时才主动请求用户的帮助。这样，智能体能够在多数情况下自动完成任务，减少用户干预的需求。
· 实时优化与知识积累：每次用户反馈都为智能体提供了宝贵的数据，Prompt2Task通过这些数据不断扩展其知识库，从而在后续任务执行中提供更加智能的建议和自动化路径。随着知识的积累，智能体能够更准确地预测任务步骤，从而减少用户干预的需要。
图1 Prompt2Task的交互式学习多智能体框架
通过这些设计，Prompt2Task不仅确保了任务执行的高效性和准确性，还大大降低了交互成本，使得智能手机任务自动化更加智能、流畅。
展望未来，交互式学习将突破智能手机AI Agent的局限，广泛应用于智能办公、教育、健康管理等领域。通过与用户的持续互动，交互式学习能够不断积累知识，优化服务，提高智能化水平，为各行各业带来更多灵活、高效、个性化的解决方案。