將深度研究導入企業

瞭解深度研究為何是 OpenAI 自 GPT-3 以來最重要的產品,以及企業如何將其應用於專有資料。

最近,OpenAI 發布深度研究,再次重塑了 AI 版圖。

緊接著,PerplexityxAIManus 等公司也推出了類似產品。深度研究的核心是一個搜尋智慧體,能根據使用者的查詢,在網際網路上進行長達 30 分鐘的複雜多步驟研究,有時會使用超過 100 個資料來源。它能在幾分鐘內產出完整的研究報告,而這類工作通常需要人類研究人員花費數小時才能完成。

我們認為,這是自 GPT-3 以來最重要的 AI 產品之一。

在隨後與客戶的對談中,有一個問題格外突出: 「我們何時才能將這類深度研究應用於自己的資料?」

這些客戶中有許多花了數年,甚至數十年,精心打造出全球規模最大的專有知識庫。這些資料極具價值,也是他們在各自行業中維持競爭優勢的動力。

有鑑於此,我們著手開發一套方法,讓每家企業都能針對自身市場、資料和情境,建立量身打造的深度研究能力。

我們將這套解決方案稱為「企業深度研究」。

說明引言的圖表。

將深度研究導入企業

企業深度研究的高階架構圖,呈現使用者、情境建構器、研究智慧體、連接的工具及彙整工作流程。

企業深度研究整合了我們在深入探討 RAG 方法一文中提及的許多心得。

  • 相較於傳統 RAG,在深度研究任務中,以反覆迭代的方式改善使用者查詢更為重要

  • 情境管理依然至關重要。研究智慧體必須充分理解目前探索過的內容,以及哪些研究方向較有成效。透過智慧地管理這些狀態,模型就能最有效地進行推理

研究智慧體

研究智慧體是驅動企業深度研究的核心引擎。

研究智慧體能掌握使用者的問題、先前執行過的查詢,以及這些查詢取得了哪些實用資訊。接著,它會運用推理,將精心整理的資料流轉化為行動。

研究智慧體可以使用多種工具來達成目標。其中包括消費型深度研究工具常見的網頁搜尋和網頁操作代理工具,也包括用來與專有資料來源及端點互動的工具。

這就像現實中的工具箱:研究智慧體只需針對工作挑選合適的工具。有時,網頁搜尋是最實用的工具。例如,你可能想快速查看當天剛發表的研究論文,而它可能尚未納入公司的知識庫。

然而,如果你從事製藥、金融或法律等行業,工作流程便會高度依賴內部知識庫。針對這些來源,我們可以透過端到端強化學習仔細調校研究智慧體,使其能以最高效率探索你的專有知識。而這正是我們的企業深度研究真正大放異彩之處。

整合你的專有資料

這正是化腐朽為神奇的關鍵。

網際網路雖然提供海量資訊,但將你的專有專業知識直接整合至 AI 系統,才能充分釋放其潛力。我們相信,最有效的解決方案,是在流程的每個步驟中整合你獨有的知識與競爭優勢。

我們與各組織攜手開發量身打造的整合方案,將不同來源的資料匯聚至統一的生態系統,包括 Neo4j、PostgreSQL 或 Snowflake 等結構化資料庫,以及 S3 或 SharePoint 等雲端儲存空間與檔案系統。這項整合有助於確保系統的每個環節都能融入你的專有資料和內部流程。如此一來,研究智慧體就能遵循內部分析人員採用的相同步驟。

要有效運用資料,往往會衍生存取權限與授權方面的重要問題。資料擁有者擔心回覆可能意外洩露敏感資訊,這完全可以理解。我們主張從一開始就在解決方案中納入隱私與資料安全設計。為內部資料建立索引時,必須記錄資料擁有權並強制執行授權規則,確保只有獲授權的使用者才能存取特定資訊。此外,為了維護隱私並遵循法規,必須具備可從索引中徹底清除資料的健全機制,並符合 GDPR 及其他法規。這種控制與安全程度,正是我們的方法有別於公開網路型深度研究工具之處。

網頁搜尋與其他工具

網頁搜尋仍是企業研究工作流程的基石。長久以來,傳統網頁抓取一直是從線上來源擷取結構化資料的可靠方式。這些傳統方法能有效收集大量公開資訊。

近來,網頁操作代理智慧體開始出現,用以處理網際網路上棘手的資料擷取任務。其中包括OpenAI 的操作代理Anthropic 的 Claude,以及Convergence 的 Proxy。這些智慧體旨在瀏覽複雜的網路環境、處理細膩而複雜的查詢,並擷取標準抓取技術可能無法取得的資料。

有時,LLM 並不是分析擷取資料的最佳工具。因此,我們可以讓研究智慧體使用更專業的工具,例如程式設計環境,甚至是你的專有工具,以完成這些分析。這種分層方法涵蓋傳統抓取、進階操作代理智慧體及專業工具,無論資料環境多麼複雜,都能確保企業研究既全面又靈活。

量身打造的研究成果

每家企業都有自己的文化、產業特性和既定做法,而這些因素會影響如何有效理解並運用洞見。現成工具往往提供一體適用的答案,未必符合企業的獨特情境。

建立量身打造的深度研究解決方案後,你便能靈活地在所需位置,以所需格式呈現研究結果;無論是整合至現有分析工具,或為此建立專屬工作流程皆可。

讓研究成果配合企業特有的用語和流程,不僅能確保洞見準確,還能將其順暢整合至現有的決策架構。

未來之路

我們期待未來每家公司都能受益於量身打造的深度研究解決方案,藉此推動最關鍵的工作流程。

近期推出的產品,例如具備整合式網頁搜尋功能的 OpenAI Responses API,以及最新發布、用於建構智慧體式 AI 系統的 Agent SDK,都顯示產業領導者致力於推動此領域的 AI 工具發展。OpenAI 深度研究等公開工具擅長處理一般查詢,但希望取得競爭優勢的企業,更適合採用能充分發揮專有知識與獨特優勢的客製化方法。

想瞭解如何將這項願景應用於你的企業嗎?歡迎透過你偏好的管道與我們聯絡。

作者

Douglas Adams