AI 原生工程的營運模式

軟件生產成本持續下降,優勢正轉向能夠作出更佳決策,並安全驗證成果的機構。

管理層重點摘要

  • 隨着 AI 降低軟件生產成本,機構必須改變營運模式,才能取得競爭優勢。相較於僅部署 AI 助理,重新設計團隊工作方式的機構更有可能獲得持續效益。

  • AI 原生工程需要兩種互補能力:一是緊貼客戶與問題的應用團隊;二是平台或「任務執行框架」團隊,提供共用背景資訊、防護機制、評估及管治,讓人員與 AI 智能代理能夠安全地大規模運作。

  • 科技領導工作的重心,從管理交付產能轉向設計交付系統。領導者應明確作出四項決定:應用團隊負責甚麼、哪些背景資訊及管控措施由各團隊共用、智能代理在哪些環節需要人員批准,以及如何衡量經驗證的學習成果和客戶價值。

舊有模式將實作產能視為主要制約因素

許多現代工程實踐都源於軟件開發成本高昂的年代。當時組織工作的核心問題是:如何讓更多團隊更有把握地交付更多軟件?這個假設塑造了機構的團隊架構、平台資源投入及交付成效衡量方式。擴大規模往往意味着增聘人手,而機構通常以系統處理的工作量衡量成效。

AI 改變了這個假設。我們認為,AI 原生工程並非只是配備更好工具的傳統工程。它需要不同的營運模式:由較小型的應用團隊緊貼客戶問題,並由平台或「任務執行框架」團隊提供支援。我們以「任務執行框架」一詞,指稱受控的運作環境。它為人員與智能代理提供所需的背景資訊、工具、權限、反饋循環及界限,讓 AI 能夠安全地大規模應用。

這對科技及數據領導者十分重要,因為單靠個人生產力的提升,並不足以讓整個機構安全地採用 AI。缺乏經過周詳設計的營運模式,團隊便可能面對工具各自為政、重複建立模式、責任不清、資料暴露風險失控,以及質素不一等問題。

企業需要將自問的問題,從「如何協助工程師使用 AI?」轉為「應如何重新設計工程系統,讓人員與智能代理能在整個企業範圍內安全地創造價值?」

生產成本愈低,決策愈重要

AI 讓工程師能探索更多構思、更快製作原型,並測試更多方法。然而,產出增加並不代表價值自然增加。如果缺乏良好的判斷、相關背景資訊及有效評估,機構增加產出的速度,可能超越其判斷哪些成果值得信賴、部署或借鑑的能力。

AI 可以降低產生程式碼及進行實驗的成本。至於能否降低軟件的總成本,則取決於審查、整合、營運、維護及重做工作仍需投入多少人力和時間。

我們預期,工程優勢將愈來愈取決於四種能力:

  • 決定應開發甚麼、如何開發,以及如何記錄這些選擇。

  • 讓人員及 AI 系統以適切的機構知識為依據。

  • 透過共用平台、管控及評估,安全地擴大規模。

  • 設計能夠整合新工具及元件的架構,避免每次引入新技術都造成干擾。

因此,稀缺的能力不再是製造產出,而是提升產出的實際效益:選對工作、以背景資訊為依據、測試成效,並知道哪些成果不應交付。

隨着實驗成本下降,決策紀錄也更具價值。機構需要知道嘗試過甚麼、哪些做法失敗、學到了甚麼,以及為何選擇某條路而非另一條。

工程系統應着重快速驗證、安全迭代及記錄學習成果,而非只追求交付速度。這既改變工程師的角色,也改變他們所屬的團隊。

工程師統籌系統中更多環節

對工程師而言,這與其說是遠離開發工作,不如說是轉向塑造、評估及統籌所開發的成果。

由 AI 產生軟件,並不代表不再需要工程師。相反,能夠理解系統限制、界定介面、設計評估,以及協調人員與智能代理工作的人才,會變得更重要。兼具深厚技術、判斷能力、產品理解及評估技巧的工程師,往往比只專注實作個別元件的工程師創造更多價值。

AI 強化產品與工程的學習循環

過去,產品團隊決定開發甚麼,工程團隊則研究如何實現。如今,許多機構已將產品、設計及工程職能結合。AI 帶來的獨特改變,發生在團隊內部:原型製作成本降低,讓構思可以在同一週期內,從界定問題推進至實作和評估。團隊可以測試更多選項、更早淘汰欠佳構思,並將經驗證的構思進一步推向正式運作。

這有利於小型跨職能團隊,讓產品、設計、工程及領域專家在同一學習循環中協作。產品判斷與技術判斷不會合併為單一角色,但兩者需要更緊密地配合。產品領導者需要具備足夠的技術知識,以製作原型及評估不同方案。工程師需要充分了解客戶及業務背景,才能參與界定問題,而非僅實作預先訂好的答案。

機構背景資訊成為策略資產

工程機構向來將程式碼視為主要資產。隨着程式碼更容易產生,持久價值更多地存在於其背後的背景資訊:領域知識、對客戶的理解、營運經驗、專有數據、評估數據集、機器可讀的政策,以及解釋系統為何如此運作的架構決策歷史。

程式碼庫之所以重要,部分原因在於它承載了得來不易的業務及客戶知識。AI 改變了產生程式碼所需的投入,卻沒有免除累積這些知識所需的努力。因此,機構不應只看程式碼數量,而應投資能持續累積價值的資產:管治完善的專有數據、實用的知識系統、對客戶的深入理解,以及清晰的決策紀錄。

對資訊總監及數據總監而言,這意味着資訊架構與數據管治成為工程表現的核心。AI 智能代理只能使用獲准存取且能夠理解的背景資訊。因此,知識分散、資料權責不清及權限不一致,不再只是資訊管理問題,也成為工程工作的制約因素。

背景資訊一旦成為正式運作系統的一部分,就不能再只是被動供人查閱的文件。它會成為平台的一項能力。

以聯邦式模式交付 AI:團隊自主,共用防護機制

當背景資訊、評估及管治成為正式運作系統的一部分,AI 交付便不能完全交由個別團隊自行處理。但也不應過度集中管理,以致團隊脫離客戶的實際問題。

聯邦式模式能平衡這些需求。自主的應用團隊保持貼近問題,並由共用平台及任務執行框架能力支援,提供可重用工具、受控的背景資訊存取、評估模式、權限及管治。聯邦式模式只有在權責清晰時才能奏效:應用團隊負責工作流程及成果;任務執行框架團隊提供共用能力,讓它們安全推進;風險、安全及管治部門則保留獨立監督權。

應用團隊與領域專家應界定特定任務的評估案例及驗收門檻。任務執行框架團隊則應提供評估基礎設施、共用管控措施及報告,確保各項評估以一致方式進行。

範疇

應用團隊

任務執行框架團隊

風險、安全及管治

產品與成果

選定問題、工作流程、使用者體驗及成效指標;對客戶及業務成效負責

提供可重用模式、工具及遙測功能

在應用場景帶來重大風險時設定限制

背景資訊與存取

訂明工作流程所需的資訊及行動

提供背景資訊界面、智能代理身分及工具權限

審批敏感資料存取及管控界限

評估與發佈

界定驗收準則並審查結果

維護評估套件、審計日誌及已獲批准的部署途徑

審批高風險應用場景、例外情況及重大變更

資源投入與問責

按應用成果獲分配資源,並對成果負責

作為共用能力獲分配資源,並以重用情況、覆蓋範圍及安全投入正式運作所需的時間衡量表現

負責獨立監督及管控決策

工作節奏與學習

與領域專家共同迭代,並檢視成果、覆寫情況及事故

將學習成果轉化為新測試、管控措施及可重用能力

在議定的審批關卡檢視事故及變更

這也改變了領導者思考團隊規模的方式。讓更小的團隊產出更多軟件,本身並不是目標。目的是將人的判斷力配置在最能創造價值的地方:一是在應用團隊中貼近問題,二是在共用能力之中,讓這些團隊能快速推進而不失控。

平台成為人員與智能代理的任務執行框架

隨着應用團隊規模縮小,並更多地運用 AI 輔助,機構需要更強大的共用能力,確保交付安全、一致,而且責任清晰。

傳統平台工程主要着眼於提升開發人員的生產力,並以人員為主要使用者。AI 原生平台必須同時支援人員與智能代理。

智能代理使用開發平台的方式與人員不同。它需要機器可存取的指示與工具、明確的權限,以及可靠的工作評估方法。任務執行框架亦須兼顧可觀測性、安全、合規及知識管理。其目的是透過清晰且可強制執行的界限,讓自主能力發揮實際效用。

具體例子:受監管銀行的 AI 輔助客戶支援

假設一家銀行引入 AI 輔助工作流程,處理信用卡或扣賬卡交易爭議的查詢。應用團隊決定先從範圍有限的任務入手:分類個案、檢索適用政策,並為客戶服務人員草擬回覆。團隊負責工作流程、使用者體驗、上報門檻及成效指標。團隊不負責制定監管政策,也不會向智能代理授予新權限。

在這個例子中,智能代理可協助實作、執行針對特定任務的測試,以及準備版本發佈。正式環境的部署仍須由人員批准,而正式運作的結果則會為下一輪評估與開發提供依據。執行時的管控仍須另作區分:客戶支援智能代理只能在既定權限及上報流程內,使用已獲批准的工具和資料。

  • 背景資訊:智能代理可存取當前個案、解決個案所需的最少客戶欄位、已獲批准的產品及投訴處理程序,以及機器可讀的上報規則。它不可存取原始付款憑證或無關的客戶紀錄,也不可向個案管理系統寫入資料。

  • 評估:發佈前,必須以具代表性的歷史個案及經專家標註的邊界案例組成測試套件,並通過以下檢查:分類準確度、政策遵循情況、是否在適當情況下不作答、個人資料外洩,以及投訴或財務敏感個案的上報情況。

  • 審批:應用團隊負責產品決策。風險、安全及合規部門負責審批資料存取、政策對應關係及部署途徑。每則對外訊息均須由客戶服務人員批准;任何影響客戶金錢或權益的決定,都不屬於智能代理可自主處理的範圍。

  • 任務執行框架紀錄:每次執行均記錄智能代理身分與模型版本、檢索到的背景資訊及來源、調用的工具、政策檢查、評估結果、人員修改或覆寫,以及事故。團隊將有效做法轉化為可重用的背景資訊界面、評估案例、權限範本,以及已獲批准的部署途徑。失敗及覆寫紀錄則會用於新增測試及改進工作流程。

這說明了如何給予智能代理行動空間,同時限定它只能使用已獲批准的背景資訊及工具,並在每個重要管控界限留下可供審查和重用的證據。重要決策仍由人員負責。隨着時間推移,銀行可利用真實個案,包括智能代理做對了甚麼、人員在哪些環節介入,以及哪些地方出錯,來改進工作流程,並決定是否擴大其職責範圍。這就是在實務中落實有限度的自主運作,以及經驗證的學習成果。

這種分工體現在任務執行框架團隊所管理的系統及管控措施中。任務執行框架團隊可負責:

  • 智能代理身分:核發服務身分、記錄所屬負責人及運作環境,並追蹤各智能代理所用的模型、提示詞及工具版本。

  • 工具權限:界定智能代理行動的讀寫範圍、資料存取界限、速率限制、審批關卡,以及預設拒絕規則。

  • 背景資訊界面:透過設有版本管理、能按權限運作的界面,提供已獲批准的知識及資料,並清楚標示來源及更新狀態。

  • 評估套件:維護具代表性的範例、邊界案例、安全性及資訊安全測試、回歸測試,以及發佈門檻。

  • 審計日誌與可觀測性:記錄智能代理身分、檢索到的背景資訊、調用的工具、輸出、審批、人員覆寫、失敗及事故,並設置適當的保留期限及存取管控。

  • 已獲批准的部署途徑:提供沙盒、影子、分階段及正式環境的部署途徑,並配備自動檢查、回復機制及變更管控。

任務執行框架團隊並不是所有現有平台職能的新名稱。機器學習營運、安全、管治及平台團隊仍各有職責。任務執行框架團隊的工作,是將這些管控措施融入應用團隊建立和執行 AI 工作流程的方式:以權限及審批關卡落實政策,以受管治的界面提供背景資訊,以測試套件進行評估,並透過日誌,讓智能代理的行為可供審計,其經驗可供重用。

AI 原生工程營運模式示意圖,展示共用平台及任務執行框架如何支援應用團隊。

人員配置、領導方式與衡量指標必須改變

如果工程工作正分為應用交付及共用能力支援兩部分,人員配置、領導方式及成效衡量也需要隨之改變。

應用團隊需要貼近實際問題,具備產品、工程及專業領域的判斷能力。平台及任務執行框架團隊則需要能夠設計和營運共用環境的人才,支援人員與智能代理大規模運作。

科技領導者成為交付系統的設計者

對技術總監、數據總監及資訊總監而言,領導工作的挑戰在於決定哪些能力應集中提供,哪些應交由個別團隊負責。

應用團隊需要自主空間,以快速推進工作並緊貼客戶需求。團隊不應重複建立安全資料存取、可觀測性、評估及管治等能力。

在 AI 原生機構中,科技領導者需要將部分注意力從管理交付產能,轉向設計交付系統。這包括:

  • 以判斷能力及決策質素為重點,招聘及培育人才;

  • 投資共用 AI 平台、評估、防護機制、已獲批准的途徑、知識流通及存取模式;

  • 界定智能代理、人員及人機協作流程的運作界限;

  • 衡量經驗證的學習成果、可靠性、對客戶的影響及安全重用情況;以及

  • 保持對技術的充分了解,掌握 AI 究竟在哪些環節改變交付的成本效益。

設計得宜的系統能讓團隊更容易取得適當的背景資訊、測試 AI 產生的成果、重用經驗證的模式,並辨識哪些環節仍須人員批准。

現有工程指標只能反映部分情況

許多工程指標源於軟件生產仍是主要制約因素的年代。開發速率、故事點數、吞吐量及部署頻率仍能提供有用的營運訊號,但隨着 AI 減少軟件生產所需的投入,單靠這些指標已愈來愈難以掌握全貌。

團隊即使產生更多程式碼、進行更多實驗,仍可能作出欠佳決策、造成不必要的複雜性,或增加風險。

因此,科技領導者不能只問生產了多少軟件,或 AI 工具的使用有多普遍。他們需要了解 AI 是否有助機構更快學習、改善客戶成效,以及在議定的界限內可靠運作。

對應用團隊而言,有用的衡量指標可包括:

  • 取得經驗證學習成果所需的時間;

  • 客戶成效的改善程度;

  • 所創造的業務價值;

  • 採用情況及行為改變;以及

  • 實驗促成有據決策的比率。

取得經驗證學習成果所需的時間,應涵蓋從實驗開始,到收集足夠證據作出決策的整段期間。如果團隊星期一開始、星期三部署,並於星期五作出有證據支持的決策,其學習週期就是一星期,而不是兩天的交付週期。

對平台及任務執行框架團隊而言,有用的衡量指標可包括:

  • 已獲批准 AI 模式的重用情況;

  • 評估的覆蓋範圍及成效;

  • AI 相關事故及重做情況;

  • 從構思到安全投入正式運作所需的時間;

  • 智能代理行動的可觀測性;以及

  • 審計及合規的準備程度。

任何相關成本指標,都應計入每項成功成果涉及的模型使用、人員審查、失敗嘗試、重做工作及營運支援成本。

這些指標仍需要清晰的定義、基準及評估方法。目的不是用另一套通用評分表取代原有的一套,而是衡量交付系統能否產生可信賴的成果。

即使這種模式也可能只是暫時安排

應用與任務執行框架的分工模式,是回應現階段 AI 原生工程的一種做法。不應將它視為永久不變的最終形態。

以下幾項發展可能再次改變工程工作的基本單位:

  • 智能代理承擔完整工作流程;

  • 部分軟件改為短期使用,而非維護多年;

  • 使用者由操作應用程式界面,轉向由智能代理主導的體驗;

  • 基礎模型整合更多平台能力;以及

  • 監管要求令可審計性及問責成為工程工作的首要制約因素。

這些只是可能的發展,並非已成定局。如果這些情況成真,即使將團隊分為應用與平台兩類,也可能過於狹隘。

最能應對這種不確定性的機構,會讓營運模式持續適應變化。它們會以清晰原則、充足背景資訊、有限度的自主運作及快速學習來組織工作,而非固守團隊架構或工具選擇。

可信賴的進展是卓越工程的新標準

AI 並沒有降低工程系統的重要性。相反,它令完善設計這些系統更具價值。

隨着軟件生產成本下降,優勢將轉向能夠作出更佳決策、持續累積有用背景資訊,並安全運作的機構。AI 原生工程實踐並不只是使用 AI 工具。它會圍繞新出現的制約因素,重新設計自身的運作方式:決策質素、共用背景資訊、有限度的自主運作,以及快速學習。

科技領導者可以先明確作出四項決定:

  1. 哪些客戶與產品決策,必須留待應用團隊就近處理?

  2. 哪些背景資訊、管控及評估能力應由各團隊共用?

  3. 智能代理在哪些環節可以自主行動,哪些環節則需要人員批准?

  4. 哪些指標能反映經驗證的學習成果、客戶價值及安全運作情況?

這些問題的答案,比機構部署了多少個助理更能決定採用 AI 的價值。

作者

Abbie Manning及Saurabh Singh