大多數追求更佳智慧體效能的 AI 團隊,都會採取相同手段:擴大上下文視窗、增加文件,以及撰寫更聰明的提示詞。本文主張,這種直覺從根本上就錯了。缺少的要素不是更多資訊。而是控制。設計完善的控制層,正是只能在示範中運作的智慧體與能在正式環境中運作的智慧體之間的分水嶺。
為 AI 智慧體提供更大的記憶、更多文件或更長的上下文視窗,並不會使其更聰明,只會使其變慢、成本更高。真正的提升來自教導智慧體在需要時選擇所需資訊,而不是一次接收全部內容。
可靠性來自迴圈,而非模型。示範中令人驚豔的智慧體與能在正式環境中經得起考驗的智慧體,差別不在 AI 的品質,而在於系統是否會檢查自己的工作。能在每個步驟進行規劃、行動、觀察與驗證的智慧體,會自行發現錯誤,而不是自信滿滿地犯錯。
現今多數 AI 智慧體本質上只是增加了額外步驟的聊天機器人,缺乏判斷進度是否正確、何時停止或何時改採其他方法的機制。加入適當的控制層,包括明確的成功標準、結構化狀態及驗證檢查,才能把徒具智慧體外形的物件轉變為真正可信的系統。
你昨天午餐吃了什麼?
你大概不會重播人生中的每段記憶,直到找到「昨天+午餐」,而是直接跳到經驗中與這些概念相關的部分。這是建構智慧體時很實用的心智模型:
巨大的上下文視窗不等於記憶。
堆積如山的擷取文件不等於理解。
冗長的思路鏈不等於可靠性。
那些只是原料。但讓智慧體真正像智慧體的要素,與讓大腦不必暴力搜尋整段人生經歷的要素相同:控制。
近期的綜述〈Agentic Reasoning for Large Language Models〉出色地概括並命名了許多人在建構系統時感受到的轉變:從模型內部的推理,轉向透過互動進行推理。本文並非那篇論文的摘要。本文試圖將這項轉變落實為實用的系統設計:
如果你像建構配備工具的聊天機器人一樣建構智慧體,就會持續遇到聊天機器人的失敗模式,只是錯誤代價更高。
過去一段時間,我們用來「讓模型更聰明」的預設做法,基本上是:改善提示詞、運用思路鏈、採用自洽性/取樣式改進,再視情況加入搜尋。
ReAct 是一個轉捩點,因為它讓「思考 → 行動 → 觀察」變得自然。但請注意其中隱含的限制:很多做法最終仍只是「使用更多權杖的單樣本推論」。這份綜述提出了更精確的觀點:智慧體式推理強調擴展測試時互動,將推論轉變為反覆進行的流程,讓模型、記憶與環境始終參與迴圈。
如果你曾建構或使用過在示範中令人驚豔、在真實工作流程中卻很脆弱的智慧體,本文正是為你而寫。
以下描述一種我經常看到的模式(而且自己肯定也做過幾個版本):
採用一個優秀的對話模型
加入幾項工具(搜尋、資料庫查詢,或許再加上程式碼執行)
加入 RAG
加入一則「你是自主智慧體」的系統提示詞
用 while 迴圈包住全部流程,直到它停止或逾時
恭喜,你得到了一個徒具智慧體外形的物件。但它往往會以可預測的方式失敗:
上下文膨脹:每項觀察結果都被附加上去,提示詞逐漸堆成考古地層。
胡亂使用工具:「自信地用錯工具」成為預設的失敗模式。
沒有停止條件:它只是因為能繼續而繼續,而不是因為應該繼續。
缺乏接地規範:除非你強迫它檢查,否則它不會察覺自己錯了。
記憶=聊天記錄:基本上只是寫日誌,卻稱之為學習。
因此,「智慧體」往往在示範中宛如魔法,進入正式環境後卻一團混亂。我們將智慧體式系統投入正式環境的經驗也印證了這一點:當評估對象不再是模型而是系統時,失敗模式包括導覽、工具使用規範、上下文裁減及評估設計,而不只是「模型是否正確回答」。
因此,問題變成:符合設計初衷的智慧體是什麼樣子?
為了讓概念不那麼抽象,以下是一個多數人都能想像的簡化工作流程:「幫我訂一張下週二從倫敦飛往紐約的機票。下午 6 點前抵達。價格不超過 £900。靠走道座位。」
常見的「看似智慧體」實作方式如下:
立即擷取一堆航空公司/旅遊政策文件,即使當下根本還不需要。
呼叫搜尋工具,把一長串結果貼進提示詞,然後「挑一個」。
未驗證限制條件(抵達時間/行李/座位/政策)就過早訂票。
若失敗,就用稍微不同的方式重試,卻不清楚究竟改了什麼或學到了什麼。
問題不在於模型無法推理,而在於系統沒有掌控工作流程。
更具智慧體特性的版本,會將任務視為具備明確狀態與檢查機制的互動流程:
規劃:重述限制條件並列出缺少的資訊(例如:「偏好哪座機場?」/「可接受轉機一次嗎?」)。
行動:以結構化查詢呼叫航班搜尋(日期範圍、抵達時間限制、預算)。
觀察:將結果儲存在精簡的狀態物件中(價格/抵達時間/轉機次數排名前 5 的選項),而不是貼上一大團文字。
更新:若未滿足限制條件,便調整查詢(例如:「下午 6 點前抵達的限制太嚴格,要放寬時間範圍還是提高預算?」)。
驗證:執行驗證器(「抵達時間 < 18:00」、「價格 ≤ £900」、「符合政策」、「可選座位」)。
停止:只有在訂票 API 回傳確認,且所有驗證器均通過後才停止。
改變看似細微,卻具有決定性。擷取是有條件的(而非反射動作)、上下文受到管理(狀態經過結構化,而非不斷堆積),且驗證納入迴圈(而非留給使用者)。把「預訂航班」換成「建立採購單」、「核發退款」、「變更正式環境設定」或「交付 PR」,道理都一樣:智慧體一旦能夠行動,迴圈就比提示詞更重要。
上述綜述將智慧體式推理分成三層:基礎層(規劃/工具使用/搜尋)、自我演進層(回饋+記憶),以及集體層(多智慧體協調)。
但更深層的概念是:推理成為組織規劃、決策與驗證的核心原則,而不只是生成看似合理的思路鏈。這聽來很抽象,直到你把它對應到架構上的變化。請記住三個核心重點:
優秀的智慧體不應把擷取視為「每次必做」。擷取是一項決策,不是反射動作。
以下是一項實用的經驗法則:
如果系統每輪都執行擷取,你建立的不是擷取機制,而是上下文稅。
這種情況在實務中屢見不鮮。對正式環境事故進行偵錯時,你不會把所有日誌都塞進上下文,而是根據目前的假設,決定下一步要擷取哪些指標或日誌。這就是「智慧體式擷取」。更具體的模式如下:
判斷是否需要擷取
若需要:擬定查詢、擷取、瀏覽、萃取
若證據互相衝突:再次擷取
完成後才進行綜合整理
這也是「智慧體式 RAG」開始有別於傳統 RAG 之處:擷取成為刻意執行的推理步驟,而非預設的管線階段。
當你不再評估「模型」,而是開始評估「系統」時,狀態追蹤與鏈路追蹤就變得至關重要。
如今,業界已更明確地重視智慧體工作流程的可觀測性。例如,OpenAI 的 Agents SDK 內建追蹤功能及 Traces 儀表板,可記錄智慧體的執行歷程(生成、工具呼叫、移交、護欄及自訂事件),讓你逐步偵錯並稽核實際發生的情況。
這不是「有更好、沒有也無妨」的功能,而是能夠偵錯的系統與只能憑感覺檢查的系統之間的差別。
在我看來,這份綜述最具實用價值之處,在於它直截了當地談論回饋。它將回饋分成三種機制:反思式回饋(生成 → 批判 → 修訂)、參數調適(透過微調/RL 學習),以及驗證器驅動的回饋(重試直到通過驗證器)。
大多數團隊都應從驗證器驅動的回饋著手,因為它雖然平淡,卻很有效。只要你能編寫任何驗證器,用來執行單元測試、檢查結構描述、設定業務規則/限制(「超過 X 的退款必須升級處理」),或確認事實性(「必須附上引用來源」),就能把不具確定性的模型輸出轉化為真正可信的結果。
其中一項出人意料的轉變其實很簡單:在智慧體領域,可靠性往往更多來自迴圈,而不是模型。
以下是我發現無須訓練、卻能穩定改善行為的最精簡迴圈規範:
分步執行:規劃 → 行動 → 觀察 → 更新;
每次行動後,以 1 至 3 個要點摘要觀察結果;
達成成功標準或用盡預算時停止;回傳目前最佳結果及尚未釐清之處。
目的不是讓模型變得冗長。而是讓系統清晰可理解,並迫使它在每個步驟都「接觸現實」。工程師很容易理解的一個例子,是 CI 式的閉迴路接地:
規劃:提出變更清單
行動:執行測試/程式碼檢查
觀察:解析失敗項目
更新:修補後重試
以下幾個問題往往能揭露意外做成智慧體的設計:
「我的智慧體會選擇要擷取什麼,還是我一律都會擷取?」
若無條件擷取,你將付出延遲、成本、上下文稀釋,以及「垃圾進、垃圾出」風險升高的代價。
「我的智慧體能察覺自己錯了嗎?」
如果智慧體唯一的回饋訊號是「使用者感到不耐煩」,你就是在用人類的痛苦做 RL。由驗證器驅動的重試迴圈,是讓它接受現實檢驗最俐落的方式。
「記憶可以寫入嗎?它會隨時間改善嗎?」
如果你的「記憶」只是持續附加聊天記錄,那基本上只是在寫日誌。這份綜述對記憶的定位很重要:記憶會成為動態成長、由智慧體持續精煉的上下文,而不只是逐字記錄。
日誌告訴你發生了什麼,記憶則告訴你下次該怎麼做。聊天記錄是一份逐字記錄。記憶是一套持續演進的方針,用來判斷哪些資訊值得留待日後使用。
實用的起點是一張小型「經驗教訓」表,以任務類型、工具及失敗模式為鍵,並以有效做法和應避免事項為值。重點不在於建立完美的知識圖譜。重點是創造可累積的改善:記憶加上回饋,能讓智慧體從「無狀態助手」轉變為隨時間持續進步的系統。
人們很容易想投入更多智慧體來解決問題,但這往往只會使協調成本成倍增加。一個良好的「最小可行團隊」模式如下:
協調者:拆解並指派任務
執行者:呼叫工具/進行變更
批判者/評估者:檢查正確性/風險
記憶管理者:記錄/整理經驗教訓
如果你無法說明每個智慧體負責什麼,那你可能還不需要多個智慧體。
如果我們真的認同這種典範轉移,就應停止把所有內容塞進提示詞、不再將失敗視為最終輸出,也不再用評估聊天機器人的方式評估智慧體。我們應開始正視智慧體的本質:它們是以語言作為控制平面的軟體系統,而可靠性來自迴圈。
加入另一個模型之前,先加入另一個評估迴圈。擷取所有內容之前,先讓擷取具有條件。先交付一個驗證器,再考慮交付十個。將記憶視為方針決策,而不是資料庫。採用多智慧體時,先從兩個智慧體開始,而不是二十個。這些不是規則,而是在正式環境中經得起考驗的模式。