UFO2是什么？
UFO2是微軟推出的新一代桌面代理操作系統(tǒng)，基于原AgentUFO升級(jí)，專為Windows系統(tǒng)打造。它支持通過(guò)自然語(yǔ)言控制多應(yīng)用操作，結(jié)合GUI自動(dòng)化與原生API調(diào)用，大幅提升任務(wù)執(zhí)行效率和精準(zhǔn)度。UFO2具備智能推理、知識(shí)檢索、推測(cè)執(zhí)行等功能，并引入畫中畫桌面模式，增強(qiáng)自動(dòng)化體驗(yàn)，適用于需要高效辦公自動(dòng)化的用戶。
UFO2的主要功能
- 自然語(yǔ)言解析與任務(wù)管理：通過(guò)HostAgent解析用戶指令，啟動(dòng)和協(xié)調(diào)多個(gè)應(yīng)用程序自動(dòng)執(zhí)行任務(wù)。
- 跨應(yīng)用自動(dòng)化執(zhí)行：支持不同應(yīng)用之間的無(wú)縫操作，提升復(fù)雜場(chǎng)景下的執(zhí)行效率。
- 混合控制執(zhí)行：結(jié)合GUI自動(dòng)化和Windows原生API調(diào)用，根據(jù)任務(wù)自動(dòng)選擇最佳執(zhí)行方式。
- 智能知識(shí)檢索：利用離線文檔、在線搜索、演示記錄等資源，動(dòng)態(tài)輔助推理與操作。
- 推測(cè)執(zhí)行機(jī)制：批量預(yù)測(cè)和驗(yàn)證操作，顯著降低大模型推理的延遲。
- 畫中畫桌面模式（即將上線）：在虛擬桌面中運(yùn)行自動(dòng)化任務(wù)，與用戶主桌面隔離，提升安全性與體驗(yàn)。
UFO2的性能評(píng)測(cè)
通過(guò)測(cè)試數(shù)據(jù)顯示，UFO2 在自動(dòng)化任務(wù)的成功率方面，顯著高于 OpenAI 的 Operator。在不同的測(cè)試場(chǎng)景中，UFO2 的成功率分別達(dá)到了 30.5% 和 32.7%，而 Operator 的成功率僅為 20.8% 和 14.3%。此外，UFO2 在處理復(fù)雜任務(wù)和跨應(yīng)用操作的表現(xiàn)上也明顯優(yōu)于 Operator，其在非標(biāo)準(zhǔn)界面的適應(yīng)性更強(qiáng)。
UFO2的應(yīng)用場(chǎng)景
- 企業(yè)辦公自動(dòng)化：批量處理Excel、郵件、文檔管理等復(fù)雜跨應(yīng)用任務(wù)，提升辦公效率。
- IT運(yùn)維管理：自動(dòng)化軟件安裝、配置調(diào)整、系統(tǒng)監(jiān)控等操作，減少人工干預(yù)。
- 數(shù)據(jù)分析與處理：自動(dòng)提取、整理、可視化數(shù)據(jù)，無(wú)需手動(dòng)切換應(yīng)用或重復(fù)操作。
- 客戶服務(wù)與支持：快速響應(yīng)常見故障排查，如藍(lán)屏錯(cuò)誤碼識(shí)別、系統(tǒng)日志分析。
- 開發(fā)者輔助：在多個(gè)開發(fā)工具之間自動(dòng)完成環(huán)境搭建、測(cè)試執(zhí)行、結(jié)果整理等工作。
- 教育培訓(xùn)場(chǎng)景：通過(guò)自然語(yǔ)言控制系統(tǒng)，降低學(xué)習(xí)門檻，輔助培訓(xùn)和演示操作流程。
UFO2的項(xiàng)目信息
- UFO2項(xiàng)目官網(wǎng)：https://microsoft.github.io/UFO/
- GitHub倉(cāng)庫(kù)：https://github.com/microsoft/UFO/
- 技術(shù)報(bào)告：https://arxiv.org/abs/2504.14603
?版權(quán)聲明：如無(wú)特殊說(shuō)明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個(gè)人或組織，在未征得本站同意時(shí)，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺(tái)。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。
