AI 與自動化

微軟把「會看畫面、會操作鍵盤滑鼠」的 AI 代理人變成每個 Power Platform 租戶的第一公民——順手把「舊系統自動化」這道題目悄悄解掉了

2026.05.25 · 42 次瀏覽
微軟把「會看畫面、會操作鍵盤滑鼠」的 AI 代理人變成每個 Power Platform 租戶的第一公民——順手把「舊系統自動化」這道題目悄悄解掉了

Copilot Studio 的 Computer-Using Agent(CUA)已在所有商業地區正式上架(GA),可同時選用 Claude Sonnet 4.5 與 OpenAI 自家 CUA 模型。selector-based RPA 的終結、「代理人做人會做的事」的開始,以及 PHP/Flutter 工作室突然可以開始接的——那些以前沒人能自動化的畫面的——實戰 playbook。

過去兩個禮拜真正關鍵的 AI 公告,不是大家在討論的那一次模型發表。是微軟把 Copilot Studio 的 computer use 從 public preview 推進到 正式上架(GA),並在本週把推出範圍延伸到所有商業 Power Platform 地區。對於過去十年都在替客戶寫脆弱的 Selenium 風格腳本——對付舊版 ERP、MES 儀表板、貨運業者後台、政府電子化平台這類「永遠不會有像樣 API」的系統——的代理商、SI、in-house 工程團隊來說,這是橋樑終於蓋好的那一天。


Copilot Studio 的 computer use 是研究圈口中 Computer-Using Agent(CUA) 的產品化版本:一個能用視覺讀畫面、推理畫面上有什麼、再用虛擬滑鼠跟鍵盤做下一個合理動作的模型。關鍵是代理人不依賴 CSS selector、不依賴 accessibility tree、不依賴可猜得到的 id。它像人一樣看渲染出來的像素。當佈局漂移——而在舊版 SAP 畫面、貨運仲介後台、銀行批次主控台這些地方,佈局永遠在漂移——代理人會跟著調整,Selenium 腳本只會安靜地壞掉。


一、這次 GA 真正新增的東西


這個月微軟出的 GA 版本,有三件事是新的。


多模型支援。 Copilot Studio 的 computer use 工具現在讓 maker 可以在 Anthropic 的 Claude Sonnet 4.5OpenAI 自家 Computer-Using Agent 之間,逐代理人、逐任務地選擇推理引擎。Claude Sonnet 4.5 被定位為「資訊密度高、動態變化的儀表板」(想像 ops 控制台、有即時資料的 ERP 畫面)的選擇。OpenAI 的 CUA 被定位為「跨分頁、跨應用、多步驟 web + desktop 流程」的選擇。這是第一個由 maker、不是平台決定模型的主流產品化代理人平台——在代理人 orchestration 市場是一個有份量的轉變。


自家自架執行。 代理人操作的瀏覽器/虛擬機現在可以坐落在你自己的租戶裡——你的 Azure 訂閱、你的網路邊界、你的 IP 允許清單。微軟管 orchestration,資料留在你的邊界內。這是 preview 期間規管型產業最大的擋路者。現在解了。


全球推出完成。 每一個商業 Power Platform 地區——包括卡關規管型 EU 與 APAC 部署的地區——現在都依照與其他 Power Platform 一致的 data residency 規則,提供 computer use GA。再也不會有「酷功能只在 US-Gov East」這種事。


二、為什麼 selector-based RPA 注定會輸


任何在 production 跑 Selenium、UiPath、Automation Anywhere 風格自動化超過 18 個月的人,都見過那個經典失敗模式。供應商推一個 UI 微調。DOM 上三個節點移位。自動化在凌晨 3 點跑,撞上不存在的 selector,丟例外,倉庫等的那一份隔夜批次沒跑。早上花時間 triage,下午花時間打補丁,每一季同樣循環。


selector pattern 跟底層現實一直不合:人類自動化 UI 的方式是「看它」,不是「parse DOM tree」。在視覺加推理模型還沒便宜又可靠到能做同一件事之前,selector 是唯一選項。我們現在過了那道門檻。CUA 不會在意「提交批次」按鈕往右挪了 30 像素、換了顏色。它看起來還是像「提交批次」按鈕。


經濟學也跟著變。每次跑 CUA 的單位成本比 selector 腳本高,但 每季維護成本 崩塌。對我們手上的平均客戶來說,一年下來 Selenium suite 的維護吃掉的工程師時數,比原始建置還多。CUA 把那條成本線吃掉大半。


三、今天就能在 production 跑起來的使用情境


兩週在三個客戶環境內部測試下來,幾類已經明顯算贏的案例:


舊版 ERP 資料登錄。 一位專員過去要把供應商 email 上的逐筆品項抄到舊版 SAP 畫面。CUA 讀 email、開 SAP、走選單、輸入品項、驗證、送出。每筆時間:從 4 分鐘降到 35 秒。錯誤率:低於人工基準。


政府入口網站填表。 報稅、報關、公司登記變更——這些每年改兩次佈局、又沒有 API 的入口。CUA 學流程學一次,之後佈局漂移它會自己重新學,不必干預。我們內部一個 canary:每季要送一次的填表,過去人工 90 分鐘,現在 CUA 全無人 8 分鐘跑完。


貨運仲介後台聚合。 一位物流客戶每天早上要在九個承運商後台手動查費率。CUA 開每個後台、跑路線查詢、抓費率、正規化到一張表、把結果寄出去。每天 35 分鐘的手工活,沒了。


自建 CRM 的客服工單分流。 那個 CRM 沒有 API。CUA 讀工單,到另一個獨立的計費系統(也沒有 API)查客戶,把整合後的摘要貼回工單。代理人讓客服坐在他們本來就在用的同一個畫面上。


目前還不能可靠運作的:需要細粒度繪圖(canvas 設計工具)的、需要觸控長按手勢的、有 CAPTCHA 的流程。這些之後會解掉,但今天還沒。


四、PHP / Laravel 工作室的架構模式


對主要做 Laravel 的工作室,整合的長相是這樣。你的 Laravel App 繼續擁有那條現代工作流——有真正 API、資料庫、queue 的那一段。Copilot Studio 的 CUA 是 ,通往客戶不能換掉的舊系統。CUA 做螢幕閱讀的活;你的 Laravel 開幾個 webhook 端點,CUA 有資料要 push 或 pull 的時候去 call。


專案的形狀也跟著變。你不再賣客戶「整套換掉舊 ERP」(這把他們嚇壞、又會花到七位數)——你賣他們一座 CUA 橋接:舊 ERP 留在原地、新的 Laravel App 站在前面接重要工作流、CUA 在中間負責把資料搬。客戶拿到工作流改進,但不必承擔 rip-and-replace 的風險。完整換掉後端可以之後再做,照客戶的行事曆,不是你的。


這是一條根本不同的銷售動作。對抗「捨不得換 ERP」的恐懼,勝率高很多。建置週期短。從簽約到看見價值的時間是週,不是季。


五、本季結束前可以馬上跑的三個 pilot


如果你還沒把 CUA 推進 production,三個 pilot 風險低、訊號強、塞得進這一季剩下的六週。


Pilot 一:那個無聊的隔夜批次。 找客戶那一隻每晚對著舊 UI 跑、每六週壞一次、每次都要花掉一個人一小時來修的批次工。改用 CUA 重建。算一季的維護節省。這是你今年最容易賣給 CFO 的案子。


Pilot 二:跨後台聚合報表。 找一份每天要登入 3 個以上外部後台(承運商、金流、供應商儀表板)才能拼出來的報表。用 CUA flow 把它接到一個 Laravel dashboard。行銷素材自己會寫。


Pilot 三:「老系統那邊那張表」的橋接。 挑一個客戶現代 App 上的表單,現在會觸發人去在舊系統把同一份資料再輸入一次。串一條 CUA 去做再輸入。這是我們每次做內部 demo 大家最愛的那一個。


六、每位 CIO 都會問的治理問題


要出貨之前,CIO 一定會問:要怎麼阻止代理人做破壞性的事? Copilot Studio GA 帶來的控制讓答案變具體。代理人跑在你團隊設定的 managed runtime 裡。你定義每個應用程式的權限範圍——Claude Sonnet 4.5 可以讀 SAP 畫面、點進品項表單、送出;它不能去到系統管理選單。你在「有後果」的動作上設審核閘——超過某金額的送出、刪除、任何碰財務的事——讓代理人暫停、ping 一個指定的人來簽核。你拿到完整的稽核 log,含截圖。


這一層花最久才出貨,也是讓 GA 真的是 GA 的那一層。沒有它,沒有規管型企業會佈署。有它,門就打開了。


我的觀點


「computer use」這個能力是把代理式 AI 故事從開發者玩具升級成企業軟體故事的關鍵拼圖。2025 年的對話是「模型會想」;2026 年的對話是「模型會做,會在人本來就用的同一個 UI 上做,不必我們寫任何整合」。對服務業——對那些靠寫客製整合維生的代理商、SI、外包工程團隊——意涵很大。工作不會消失,但會轉向。新的高毛利 engagement 是「在客戶現代 stack 與他們不能退役的舊系統之間,搭一條 CUA 橋」,這個 engagement 比 rip-and-replace 短、風險低、可示範性高。


對 Laravel/PHP 工作室來說,這是把 CUA 加進服務目錄的時刻。培訓成本是一名工程師一週。第一個付費案子一個月內成交。故事很好說:我們可以把你以為不能自動化的那套系統自動化,週為單位、不是季為單位,而且完全不動那套系統本身。 那位這十年一直在害怕 ERP 換代專案的 CIO,是你今年最容易成交的客戶。


資料來源



AI 與自動化 返回文章列表