如今,大多数组织都已将 AI 投入生产环境。但几乎没有组织将其用于真正重要的领域,例如面向客户的体验、业务关键型决策,或只需极少人工监督的流程。这道差距正决定着竞争优势的得失。
阻碍通常不在于能力,而在于信心。对于高风险的 AI 部署,这份信心来自四项具体标准的满足。
这些标准涵盖如何测试 AI 行为、如何以企业级规模构建和治理解决方案,以及领导层是否真正认同其重要性。
满足这些信心标准能够形成组织惯性和问责机制,让您更有底气部署 AI,真正推动关键指标改善。否则,AI 只能困在边缘用途上节省一些英镑,无法对组织的运营方式产生实质影响。
去年此时——按 AI 的发展速度来看已恍如隔世——大多数企业还身陷“AI 概念验证困境”:虽然有许多展示 AI 潜力的有趣概念验证项目,却很难将其中任何一个投入生产。一年后,许多组织如今已至少有部分 AI 解决方案投入生产,这是巨大的进步。
然而,AI 往往只应用于边缘流程:实施起来更容易,创新团队可以与积极的业务用户共同开发,即使出错也“不至于造成灾难”。这些流程本身并不十分重要,通常有人工备用流程,或设置了多重“人工介入”来限制负面后果。
这种做法可以理解,却过于保守,因而解决方案产生的影响也很有限:它们不太可能显著促进增长、改善客户体验或优化成本结构。
这正是未来赢家与其他企业的分水岭:进取型企业正投资于将 AI 用在真正影响业务绩效的领域。
落后者也在“做 AI”,只不过没有将其用在能为业务带来实质影响的地方。
的确,将 AI 用于投资决策、客户体验、产品开发、研究&设计以及“无人介入的自动化”会让人感觉风险更高,但真正的回报也正在这些领域。
这一领域的领先企业或许尚未引起市场注意,但等到它们崭露头角时,差距不仅已相当可观,而且由于双方部署 AI 的速度不同,差距只会继续扩大;落后者这才会意识到,自己一直以来错在何处。
因此,问题在于:组织需要具备什么条件,才能有信心将 AI 应用于真正重要的流程?
首先,假设您已经从“我们有 ChatGPT 之类的 AI 工具”,发展到“我们有概念验证项目”,再到“我们已有 10 个简单的 AI 解决方案上线”。如果尚未做到,就应优先解决这一问题。这些初始步骤或许并不复杂,却是培养企业 AI 素养、提出更好用例构想,并理清 AI 投产所需内部流程的必要起点。
到了这个阶段,组织应当提高目标,先实现“在人工监督下交付具有实质意义的 AI 应用解决方案”,再迈向真正形成差异化的“将 AI 应用于核心流程和客户体验”。
最后这几步很少受限于技术,真正的制约因素是组织信心。因为人们总能找到理由拖延或回避棘手问题:
“如果它给出错误的洞见怎么办?”,“如果它行为异常,导致我们登上新闻怎么办?”,“如果它算错了,导致我们做出错误决策怎么办?”,“如果它辱骂客户怎么办?”,“如果模型无法使用怎么办?”,“我们该如何支持它的更新?”,“如果法规发生变化怎么办?”,“我们是否应该等新模型发布?”等等。
我们认为,要有信心为高影响力的 AI 赋能变革按下“上线”按钮,通常需要满足四项条件。
为何采用:组织,尤其是高管团队,是否真正认同“为什么 AI 对我们的业务成功至关重要”这一理念?如果不认同,组织就更容易找到理由回避艰难的决策。
赋能机制:是否已设立 AI 变革、转型或赋能团队,在组织随 AI 发展演进的过程中提供支持?该团队负责采用推广、教育、法规、新工作方式、质疑既有假设以及提供必要资金等事宜。AI 变革不能像以往的云或数字化计划那样,把问题丢给“技术部门解决”。它必须由业务主导,并获得充分支持。
如何实施:是否已为 AI 应用建立企业架构和解决方案架构?尽管这一领域不断演变,但形成明确观点能促使组织思考并积累有关适当防护机制、成本、可观测性、控制措施和模型访问等方面的知识。这开始在内部建立可信度,让大家相信组织在 AI 方面“清楚自己在做什么”,同时避免出现多种各异的构建方式。
上线信心测试:解决方案负责人可能会没完没了地拖延,反复纠结“它是否已足够好,可以上线?”传统的 QA 团队测试无法为非确定性 AI 系统提供这种信心和责任感。评估可以。
下面我们将按相反顺序逐一介绍,因为这一顺序最贴近决定是否有信心上线时的决策过程。
几十年来,组织一直依靠 QA 团队判断发布版本是否足够完善。名义上由业务利益相关者进行测试,实际上却是 QA 团队在执行。测试结果非通过即失败,围绕无数“如果是这样,就执行那样”的规则展开。工作量虽大,但并不复杂。
这种方法不适用于 AI,因为我们必须评估其行为。
评估(简称 eval)能够让 AI 的定性行为变得可衡量。您不再只是判断通过或失败,而是定义标准(如正确性、语气、事实落地和拒绝行为)并进行评分。随着提示词、模型和防护机制等不断改进,在整个项目期间持续跟踪这些分数,项目团队、变革委员会和业务领导层便能获得可据以放心决策的指标,例如项目期间正确性评分从 x 提升到 y。
这个数字有两个作用。首先,它通过展示持续改进,并向利益相关者提供切实证据,证明系统能够在既定预期内持续可靠地运行,从而建立信心。
其次,它建立了问责机制。这些都是可以明确引用的数字,而且每次评估都有可追溯的来龙去脉。一套有记录、并在明确定义的各种场景中接受测试的评估集,相当于 AI 领域的测试报告,可向审批委员会证明已履行尽职调查:它是否只做应该做的事,并且只以正确的方式完成这些事?
当然,只有评估标准足够丰富,这些数字才有意义。这需要改变运营模式,而大多数组织起初都会犯错:“业务部门”必须负责制定评估标准,不能交给技术团队、QA 团队,或委派给一名初级用户。产品负责人和专家了解所属领域、边缘情况、期望的表达语气、用户可能发起的各类交互、合理的推理步骤、故障模式以及正确的问答组合等。使用和部署解决方案的人应当决定何为优秀。
这意味着,如果需要审批一个将 AI 直接应用于客户体验核心环节的解决方案,您只需问两个问题:
(1) 评估标准由谁设计?以及
(2) 评估表现是否依据这些标准持续改善,并已达到最低阈值?
如果答案是“标准由技术团队制定,但我们对结果很满意”,则该应用尚未准备好。如果答案是“是的,我们上周测试过,已经通过”,这种评估成熟度恐怕还不足以建立所需信心,因为评估很可能并非构建工作的起点。
但如果业务产品负责人在整个构建过程中持续定义、审查和迭代评估,并能展示表现正朝着正确方向发展,那么这个方案就值得批准。
另一层信心来自与 AI 架构原则和标准保持一致。最初五个 AI 应用可以采用任何合适的方式构建,只求尽快启动;但若要扩大规模,并在整个组织内快速、安全且治理良好地部署 AI,就必须采用更结构化的方法,包括参考应用架构和企业 AI 平台。
所有工程团队都需要能够迅速“继承”模型访问权限、防护机制、可观测性、扩展能力和成本管理等通用能力,从而专注于解决方案工程。
即使由于技术日新月异,企业 AI 平台和架构方案很快就可能过时,形成明确观点仍能进一步增强组织安全地在关键系统中部署 AI 的信心。因为这意味着有人已经考虑过所有关键因素,并确定了最佳部署路径,从而进一步增强组织对解决方案能够支持重要流程的信心。
这并不是“做同样的事,只是多了一个 AI 工具”。虽然听起来老生常谈,但转型意味着重新设计流程、重新思考产品服务、改进客户体验,并改变工作方式,团队结构很可能也要随之调整。
这不可能靠兼职顺带完成,也不能只由技术部门推动(当然,更不能靠只有 3 名全职员工的“创新”团队)。如果抱着“船到桥头自然直”的心态,您的变革速度将无法赶上可能脱颖而出的竞争对手。
此外,要发掘真正“改变游戏规则”的用例并获得支持,整个企业必须深入了解 AI,并对其持积极态度。
因此,AI 转型需要由了解组织需求、懂得如何推动变革且熟悉 AI 的人员负责,并获得董事会授权,统筹协调、动员、融资、影响、治理、优先级排序和决策,确保转型落地。
尤其在初期阶段,设立中央 AI 中心、AI 转型部门或 AI 办公室等职能机构非常有效。这个中央团队能够增强组织信心,确保战略有人执行、重大决策能够迅速制定并下放,同时为 AI 转型设立质量关卡。如果没有这样的团队,整体方法可能过于分散,造成决策、产品或解决方案选择以及质量标准不一致,最终削弱组织在高风险领域实施 AI 的信心。
如前所述,真正通过 AI 获得竞争优势的企业,将积累全企业的经验、专业能力和信心,频繁、快速地把 AI 部署到重要流程与体验的核心环节,从而改善客户体验、产品表现和生产速度等。
这需要良好的评估实践、能够快速适应和扩展的架构,以及积极进取的转型管理态度,以帮助组织学习、适应并建立新的工作方式。
然而,这些都无法依靠“自下而上”的方式顺利实现,因为变化及其影响实在太快、太大。仅有“董事会批准”或“管理层支持”也不够。
如果员工无法清楚理解变革为何必要、对自己有何影响(无论好坏)以及能获得什么,转型就会以非正式方式暗中发生,并造成大量连带损失。
因此,通过采用 AI 获得真正优势的第四项要素是:公司领导层必须真正理解并相信,投资 AI 对公司的持续成功至关重要。这必须成为他们自己的 AI 战略,纳入公司的使命宣言和目标;他们需要反复宣导,并用实际行动证明自己的决策。
这将为整个组织的团队提供激励、支持和紧迫感,推动他们提升技能,并作出那些稍显艰难却至关重要的决定,选择更困难但回报更高的道路。它让人有信心为 AI 驱动的客户体验或投资决策流程按下“上线”按钮。
未来两年通过 AI 脱颖而出的企业,不会是部署数量最多的企业。赢家将是那些让 AI 真正服务于重要的、面向客户的、影响决策的业务关键型系统和流程,并培养出能够持续、安全实施这一切的企业能力的公司。
您接下来该怎么做?如果您的组织正在“做 AI”,却没有对公司的成功产生影响,请尝试回答以下问题:
AI 在实现公司使命方面扮演什么角色,是否清晰明确?您是否认为领导层真正相信,采用 AI 对公司未来的成功至关重要?
是否有中央职能部门负责推动 AI 议程、普及企业 AI 知识并协调相关活动?
技术团队是否正在积累专业知识、能力和模式,以便更快、更安全地开展 AI 工程?
发布版本能否顺利进入生产环境,而不会因 AI 行为方面的未决问题受阻?
如果其中任何一个问题的答案是否定的,您就知道该从哪里着手增强组织信心,使其能够快速、一致地部署 AI,并在真正重要的领域获得竞争优势。