如今,多數組織已將 AI 投入正式環境。但幾乎沒有組織將 AI 用在真正重要之處,例如面向客戶的體驗、攸關業務的決策,或僅需極少人工監督即可運作的流程。這項落差正是企業取得或失去競爭優勢的關鍵。
障礙通常在於信心,而非能力。在高風險的 AI 部署中,這種信心來自滿足四項具體條件。
這些條件涵蓋如何測試 AI 行為、如何在企業規模下建置及治理解決方案,以及領導層是否真正認同 AI 對業務的重要性。
滿足這些信心條件可培養組織的實戰能力與問責意識,讓你更有底氣部署 AI,真正推動關鍵指標。若缺乏這種信心,AI 便只停留在周邊用途上,僅能節省少許成本,無法實質改變組織的營運方式。
去年此時,以 AI 的發展速度來看,已宛如數十年前。當時,多數企業仍深陷「AI 概念驗證煉獄」:做了許多有趣的概念驗證,展示 AI 的可能性,卻難以將任何一項投入正式環境。一年後,許多組織如今至少已有部分 AI 解決方案投入正式環境,這是很大的進展。
然而,AI 往往只應用於周邊流程:這類專案較容易執行,創新團隊與積極的業務使用者即可開發,而且即使出錯,「也不至於造成災難」。這些流程並非真正關鍵,通常有人工備援流程,或安排多位「人員參與其中」,藉此限制任何負面後果。
這種做法雖可理解,但難免過於保守,因此解決方案帶來的影響同樣有限,不太可能明顯改變成長機會、客戶體驗或成本結構。
這正是未來贏家與其他企業的分水嶺:進取的企業正投入資源,將 AI 用在真正影響業務績效之處。
落後者也有在「導入 AI」,只是沒有將 AI 用在能對業務產生實質影響的地方。
確實,若將 AI 用於投資決策、客戶體驗、產品開發、研究與設計,以及「無人參與的自動化」,感覺都會帶來更高的風險,但真正的回報也在於此。
在此領域領先的企業或許尚未受到市場注意,但等到市場看見時,差距不僅已相當龐大;由於雙方部署 AI 的速度不同,當落後者終於意識到自己一直錯在哪裡,差距只會繼續擴大。
因此,問題是:組織需要具備什麼條件,才能有信心將 AI 應用於真正重要的流程?
首先,假設你已從「我們有 ChatGPT 之類的 AI 工具」,進展到「我們有概念驗證」,再到「我們已有 10 項簡單的 AI 解決方案上線」。若尚未做到,則必須優先處理。這些初步步驟或許不難,卻是培養全企業 AI 素養、發掘更好的應用情境,以及釐清讓 AI 解決方案進入正式環境所需內部流程的必要起點。
到了這個階段,組織應提高企圖心,先交付「在人工監督下具有實質意義的 AI 應用解決方案」,再進一步做到「將 AI 應用於核心流程與客戶體驗」,藉此拉開差距。
最後這幾步很少受限於技術,真正的限制通常是組織信心。這是因為組織總能找到理由拖延或迴避難題:
「如果 AI 提供錯誤洞見怎麼辦?」「如果系統行為失常,害我們登上新聞怎麼辦?」「如果 AI 算錯,導致我們做出錯誤決策怎麼辦?」「如果 AI 對客戶出言不遜怎麼辦?」「如果模型無法使用怎麼辦?」「我們要如何支援相關更新?」「如果法規改變怎麼辦?」「我們是否應該等新模型推出?」等等。
我們認為,通常必須滿足四項條件,才能讓人有信心按下「上線」按鈕,推動影響重大的 AI 變革。
為什麼:組織,尤其是最高管理層,是否真心認同「為什麼 AI 對我們的業務成功很重要」這套論述?因為如果他們並不認同,組織就更可能尋找理由迴避艱難的決策。
推動機制:是否已設立 AI 變革/轉型/推動團隊,協助組織因應 AI 持續演進?團隊負責推動採用與教育、因應法規、建立新的工作方式、挑戰既有假設及提供必要資金等工作。AI 帶來的變革不能像過去的雲端或數位計劃一樣,被視為「交給技術部門處理」的事,而必須由業務部門主導,並獲得充分支援。
如何執行:是否已為 AI 應用建立企業架構與解決方案架構?儘管這個領域持續演變,明確選定做法仍能促使組織思考並累積相關知識,包括適當的護欄、成本、可觀測性、控制措施及模型存取等。如此便能逐步建立內部信心,讓人相信組織在 AI 方面「知道自己在做什麼」,並避免各團隊採用互不一致的建置方式。
上線信心測試:解決方案負責人可能會針對「品質是否已足以上線?」無止境地拖延。傳統上由品質保證團隊進行的測試,無法為非確定性 AI 系統帶來這種信心與問責意識,評估則能做到。
接下來讓我們按照倒序逐一說明,因為這個順序最貼近是否有信心上線的決策過程。
數十年來,組織一直仰賴品質保證團隊判斷版本是否達到發布標準。名義上,測試由業務利害關係人執行;實際上,卻是由品質保證團隊負責。結果不是通過就是失敗,判斷依據是無數「如果是這樣,就要那樣」的規則。工作量很大,但並不複雜。
這套方法不適用於 AI,因為我們必須評估的是行為。
評估 (evals) 能將 AI 行為的質性表現轉化為可衡量的結果。你不再只判斷通過或失敗,而是定義各項準則(例如正確度、語氣、事實依據與拒絕行為),並分別評分。在整個專案期間持續追蹤這些分數,並逐步改善提示、模型與護欄等項目,專案團隊、變革委員會和業務領導層便能取得足以支持決策的具體資料,例如正確度分數在專案期間從 x 提升至 y。
這項數字有兩個作用。第一,數字能呈現系統逐步改善的情況,並向利害關係人提供具體證據,證明系統在既定預期內始終有穩定、可靠的表現,藉此建立信心。
第二項作用是建立問責機制。利害關係人可以引用相關數字,也能追溯評估的形成過程。一套記錄完整、經過明確情境範圍測試的評估集,相當於 AI 系統的測試報告,能向核准委員會證明已盡職查核:系統是否只執行應做的工作,而且只以規定的方式執行?
當然,唯有評估準則足夠全面,這些數字才有意義。這需要改變營運模式,而多數組織起初都會做錯:「業務部門」必須主導評估準則,不能將責任交給技術團隊、品質保證團隊或單一初階使用者。產品負責人和專家了解相關領域、邊緣案例、理想語氣、使用者可能發起的各類互動、合理的推理步驟、失敗模式,以及正確的問答組合等。使用及部署解決方案的人,才應決定什麼樣的表現才算良好。
換言之,如果你需要核准一項將 AI 用於客戶體驗核心的解決方案,只需提出兩個問題:
(1) 評估準則由誰設計?
(2) 評估結果是否依照這些準則逐步改善,而且目前已達最低門檻?
如果答案是「這些準則由技術團隊制定,但我們對結果很滿意」,表示應用程式尚未準備好。如果答案是「是的,我們上週測試過,而且通過了」,評估成熟度恐怕還不足以建立所需信心,因為評估很可能不是開發工作的起點。
但如果業務產品負責人在整個建置過程中持續定義、檢視及反覆調整評估,並能向你證明評估結果正逐步朝正確方向發展,這項方案就值得核准。
另一層信心來自遵循一致的 AI 架構原則與標準。最初五個 AI 應用程式只求啟動,以任何合適方式建置或許都可行;但若要擴大規模,並在整個組織內快速部署安全且治理完善的 AI,就必須採取更有系統的方法,建立參考應用程式架構與企業 AI 平台。
所有工程團隊都必須能迅速沿用模型存取機制、護欄、可觀測性、擴充與成本管理等共通能力,才能專注於設計解決方案。
即使技術變化迅速,相關看法很快就需要更新,企業仍應明確掌握 AI 平台與架構方法。這能進一步增強組織信心,相信企業可以在關鍵系統中安全部署 AI。組織也會知道,已有專人考量所有關鍵因素並選定最佳部署路徑,因此更能相信解決方案足以支援重要流程。
這並非「做同樣的事,只是多了一項 AI 工具」。這或許是老生常談,但轉型意味著重新設計流程、重新思考產品組合、改善客戶體驗,並改變工作方式,甚至很可能要調整團隊結構。
這不是利用本職工作之餘就能完成的事,也不能由技術部門主導(當然,更不是交給僅有 3 個全職人力的「創新」團隊就能解決)。如果抱持「船到橋頭自然直」的態度,變革速度就不可能追上領先的競爭對手。
此外,要找出真正「顛覆格局」的應用情境並爭取支持,全企業都必須深入了解 AI,並對 AI 抱持正面態度。
因此,AI 轉型需要由一群了解組織需求、懂得如何推動變革且熟悉 AI 的人主導。董事會必須正式授權他們推動轉型,讓他們負責協調、凝聚動能、爭取資金與支持、治理、排定優先順序及決策。
尤其在初期階段,設立中央 AI 中心、AI 轉型部門或 AI 辦公室等職能單位,通常很有效。這個中央團隊能讓組織相信已有策略可供執行、重大決策可迅速做成並下放,也能為 AI 轉型設立品質關卡。若缺少這類團隊,做法可能過於零散,導致決策、產品或解決方案選擇及品質不一致,最終削弱在高風險領域導入 AI 的信心。
如前所述,真正從 AI 獲得競爭優勢的企業,將具備全企業的經驗、專業能力與信心,能頻繁、快速地在重要流程與體驗的核心部署 AI,進而改善客戶體驗、產品效能和生產速度等面向。
要做到這一點,必須具備良好的評估實務、能快速調整與擴充的架構,以及「做得到」的轉型管理態度,協助組織學習、調整並建立新的工作方式。
然而,這些都無法成功地「由下而上」推動。變化實在太快,影響也太深遠。僅有「董事會核准」或「管理層支持」也不夠。
如果員工無法清楚了解為何必須改變、改變對他們個人有何影響(好或壞),以及他們能得到什麼,組織的轉型很可能在缺乏規劃的情況下暗中發生,並造成大量連帶損害。
因此,透過採用 AI 獲得真正優勢的第四項要素,是企業領導層真心理解並相信,投資 AI 是公司持續成功的關鍵。這必須是領導層自己的 AI 策略,並納入公司的使命宣言與目標。領導層不僅要反覆傳達相關理念,也必須以實際行動落實決策。
領導層的投入能為組織各團隊帶來誘因、支持與迫切感,促使成員提升技能,並做出雖令人不安卻很重要的決策,選擇更困難但回報更高的道路。團隊也會更有信心,讓採用 AI 的客戶體驗或投資決策流程正式上線。
未來兩年因 AI 而勝出的企業,不會是部署數量最多的企業,而是能讓 AI 在重要、面向客戶、影響決策且攸關業務的系統與流程中發揮作用,並培養出企業所需能力,持續且安全地做到這一點的企業。
你接下來該採取什麼行動?如果你的組織正在「導入 AI」,卻未對公司成敗產生任何影響,請試著回答以下問題:
AI 在達成公司使命時扮演的角色是否明確?你是否認為領導層真的相信,採用 AI 是公司未來成功的關鍵?
是否設有中央職能單位,負責推動組織的 AI 發展、提升全企業的 AI 素養並協調相關活動?
技術團隊是否正在累積專業知識、能力與模式,以便更快速、安全地進行 AI 工程?
AI 解決方案是否能順利進入正式環境,不會因尚未釐清的 AI 行為問題而受阻?
只要其中任何一題的答案是否定的,你就知道該從何著手建立組織信心,讓企業能快速且一致地部署 AI,並在真正重要的領域取得競爭優勢。