，并且实践难度大幅降低，半小时左右就可以从0到1手搓出来。本文详细介绍如何逐步搭建一个GUI Agent，从实践中也可快速了解GUI Agent的原理。

　　什么是GUI Agent？简单来说，就是一个能够看懂屏幕（mobile/pc/web）并进行自动操作的AI Agent。比如用户发送指令“整理文件”，PC GUI Agent就可以基于纯GUI界面理解页面内容，进行逐步决策&操作，直到完成用户任务。

　　随着GUI Agent的应用前景逐渐明朗，GUI Agent在25年的发展很迅猛，其中一个比较明显的新趋势是，通用大模型也在训练GUI上的能力：

　　因此，搭建一个好用的GUI Agent变得越来越简单。本文介绍如何使用通用大模型API，快速从0到1搭建一个可用性强的PC GUI Agent，可以用于自动完成PC任务操作。

　　设备环境（Environment）：比如手机、电脑这些用来操作的设备，是交互的 “载体”，本文仅以电脑为示例。

　　感知系统（Preceptor）：负责 “接收信息”，这主要是针对GUI能力较弱的通用大模型。而Gemini 3 Flash这样本身具备较强GUI页面理解能力的大模型通常不再需要单独设计感知系统。

　　大模型（决策器）：相当于 “大脑”—— 结合知识系统里存的信息，分析感知到的界面内容，决定要完成任务，下一步应该如何操作。

　　交互系统（Operator）：相当于“手脚” —— 把大模型的决策结果（操作动作+坐标），转化为具体的操作与设备进行交互。

　　为了完成一个完整的任务，通常需要进行 “感知-决策-执行” 的多次循环，直到任务完成。下文具体介绍PC GUI Agent的搭建方式。

　　注意看这里！模型本身是有定位能力的（也就是说可以直接输出操作对象的坐标位置），所以不需要额外的感知器来锚定具体UI元素手机如何配置clash链接。

　　上面的代码有个问题：AI每次都是失忆的，不记得之前说过什么。对于GUIAgent来说，这是很致命的。举个简单的例子，任务“在输入框输入‘你好’”，如果Agent没有记忆，那么后续执行不记得自己已经决策过输入操作，就会陷入输入的循环，在输入框中多次输入‘你好’而不会停止。相反，有上文记忆的Agent，知道自己前一次已经决策了输入操作，结合当前页面内容，判断本次应为“finish”指令，就不会陷入输入循环。

　　首先，我们需要一个能够真正控制鼠标键盘的工具类。在这里强烈推荐pyautogui, 模拟键鼠操作，非常简单易用。但是有一个坑需要注意，输入操作需要用复制粘贴操作而不是打字，因为 pyautogui.write() 不支持中文！而用剪贴板粘贴可以完美支持中英文、特殊字符

　　不同电脑屏幕分辨率不同（1920x1080、2560x1440等），GUI Agent往往会采用千归一化坐标的策略进行处理。因此，拿到大模型的返回之后，需要将归一化坐标 (0-1000范围) 还原成实际像素坐标：

　　优势：✅ 逻辑清晰：可视化工作流 ✅ 易于修改：添加节点/改变流程很简单 ✅ 状态管理：自动在节点间传递状态。

　　本文采用简洁易用的方案搭建了一个 PC 端的 GUI Agent，该 Agent 不仅能在 Windows 和 macOS 系统上直接运行，还可操作 Web 应用。得益于以 pyautogui（键鼠模拟）作为核心执行器，该 Agent 能够实现跨应用的操作能力。未来可通过补充滑动、拖拽等更多样的交互方式，并结合知识库的构建，进一步强化其针对特定业务场景的适配性，打造功能更强大的 GUI Agent。