Navegação principal

Implantando IA crítica para o negócio com confiança

As empresas vencedoras serão aquelas que incorporarem a IA a sistemas críticos para o negócio.

Resumo executivo

  • Hoje, a maioria das organizações já usa IA em produção. Quase nenhuma a utiliza onde realmente importa: em experiências voltadas ao cliente, decisões críticas para o negócio ou processos com supervisão humana mínima. É nessa lacuna que a vantagem competitiva está sendo conquistada ou perdida.

  • Em geral, a barreira é a confiança, não a capacidade. Na implantação de IA de alto risco, essa confiança resulta do cumprimento de quatro critérios específicos.

  • Esses critérios abrangem como testar o comportamento da IA, criar e administrar soluções em escala empresarial e verificar se a liderança realmente entende por que isso importa.

  • Atender a esses critérios de confiança desenvolve experiência e responsabilidade, dando menos motivos para evitar implantações de IA capazes de gerar mudanças significativas. Sem isso, a IA fica limitada a economizar algumas libras em usos periféricos, sem impacto relevante na operação da organização.

As empresas estão deixando as POCs para trás…

Nesta época do ano passado — décadas em anos de IA —, a maioria das empresas estava no "purgatório das POCs de IA": muitas POCs interessantes mostravam o potencial da IA, mas era difícil colocar qualquer uma delas em produção. Um ano depois, muitas organizações já têm pelo menos algumas soluções de IA em produção, o que representa um grande avanço.

No entanto, muitas vezes a IA é aplicada a processos periféricos: é mais fácil, uma equipe de Inovação pode desenvolvê-la com um usuário de negócios interessado e, se algo der errado, "não será o fim do mundo". O processo não é realmente importante, há um processo manual de contingência ou várias pessoas participam da tomada de decisão para limitar possíveis consequências negativas.

O resultado dessa abordagem compreensível, porém conservadora, é um impacto igualmente modesto: dificilmente haverá uma diferença perceptível nas oportunidades de crescimento, na experiência do cliente ou na estrutura de custos.

…Mas muitas vezes não aplicam a IA onde ela realmente importa, ao contrário das vencedoras.

É isso que separa as futuras vencedoras das demais: empresas progressistas investem no uso da IA onde ela afeta o desempenho do negócio.

As retardatárias também estão "fazendo IA", mas não onde ela terá um impacto significativo no negócio.

E sim, usar IA em decisões de investimento, experiência do cliente, desenvolvimento de produtos, pesquisa & design e "automações sem intervenção humana" parecerá mais arriscado, mas é aí que estão as verdadeiras recompensas.

As empresas que estão avançando nesse campo talvez ainda não sejam visíveis para o mercado. Quando forem, porém, a diferença já será considerável, e a maior velocidade de implantação da IA só ampliará a distância enquanto as retardatárias percebem o que fizeram de errado durante todo esse tempo.

Portanto, a questão é: do que uma organização precisa para aplicar IA com confiança nos processos que realmente importam?

Primeiro, vamos supor que você já tenha avançado de "Temos uma ferramenta de IA como o ChatGPT" para "Temos POCs" e depois para "Temos dez soluções simples de IA em operação". Caso contrário, resolver isso deve ser prioridade. Essas etapas iniciais podem parecer triviais, mas são essenciais para começar a desenvolver a fluência empresarial em IA, gerar melhores ideias de casos de uso e revelar os passos internos necessários para colocar qualquer IA em produção.

Nesse ponto, a organização deve elevar sua ambição e avançar para oferecer "soluções relevantes de IA aplicada com supervisão humana" e, depois, chegar ao diferencial: "aplicamos IA em nossos processos centrais e nas experiências dos clientes".

Essas últimas etapas raramente são limitadas pela tecnologia, mas sim pela confiança da organização. Porque há sempre um motivo para adiar ou evitar o que é difícil:

"E se ela gerar conclusões erradas?", "E se ela se comportar de forma inadequada e virarmos notícia?", "E se ela errar o cálculo e tomarmos a decisão errada?", "E se ela maltratar os clientes?", "E se o modelo ficar indisponível?", "Como daremos suporte às atualizações?", "E se a regulamentação mudar?", "Devemos esperar pelo novo modelo?", etc.

Quatro critérios essenciais de confiança

Em nossa visão, normalmente há quatro condições que dão confiança para clicar em "Entrar em produção" em uma mudança de alto impacto viabilizada por IA.

  1. O porquê: a organização, especialmente a alta liderança, realmente acredita na ideia de "por que a IA é importante para o sucesso do nosso negócio"? Caso contrário, será mais provável que a organização encontre motivos para evitar decisões difíceis.

  2. A viabilização: existe uma equipe de Mudança/Transformação/Viabilização de IA que apoie a organização à medida que ela evolui com a tecnologia? Uma equipe que cuide da adoção, capacitação, regulamentação, novas formas de trabalho, revisão de premissas, financiamento necessário etc. A IA não é uma mudança que se possa "deixar para a tecnologia resolver", como muitas vezes ocorreu com iniciativas de Nuvem ou Digital. Ela precisa ser liderada pelo negócio e contar com o apoio adequado.

  3. O como: existe uma arquitetura empresarial e de soluções estabelecida para a IA aplicada? Embora esse domínio evolua continuamente, ter uma visão obriga a organização a refletir e ampliar o conhecimento sobre proteções adequadas, custos, observabilidade, controles, acesso aos modelos etc. Isso começa a gerar credibilidade interna de que a organização "sabe o que está fazendo" com IA e evita várias formas divergentes de desenvolvimento.

  4. O teste de confiança para entrar em produção: os responsáveis pela solução podem adiar indefinidamente a resposta à pergunta "ela está boa o bastante para entrar em produção?". Os testes tradicionais realizados pelas equipes de QA não oferecem essa confiança nem esse senso de responsabilidade em um sistema de IA não determinístico. As avaliações oferecem.

Vamos analisá-los na ordem inversa, pois essa é a sequência mais próxima da tomada de decisão sobre a confiança para entrar em produção.

[4] Avaliações: teste corretamente para clicar em "Iniciar" com confiança.

Há décadas, as organizações dependem da equipe de QA para decidir se uma versão está boa o bastante. No papel, os testes eram realizados pelas partes interessadas do negócio; na prática, eram feitos pela equipe de QA. O resultado era aprovação ou reprovação com base em inúmeras regras do tipo se isto, então aquilo. Era muito trabalho, mas simples de entender.

Isso não funciona para a IA, cujo comportamento precisa ser avaliado.

As avaliações, ou evals, permitem tornar mensurável o comportamento qualitativo da IA. Em vez de aprovar ou reprovar, você define critérios — como exatidão, tom, fundamentação factual e comportamento de recusa — e atribui pontuações. Acompanhe essas pontuações durante o projeto enquanto aprimora os prompts, os modelos, as proteções etc. Assim, a equipe do projeto, os comitês de mudança e a liderança do negócio terão algo concreto para embasar suas decisões: uma pontuação de exatidão que passou de x para y durante o projeto.

Esse número cumpre duas funções. Primeiro, gera confiança ao demonstrar melhorias ao longo do tempo e oferecer às partes interessadas evidências concretas de que o sistema está se comportando de maneira confiável e consistente dentro das expectativas definidas.

Segundo, cria responsabilidade. São os números que podem ser apresentados, junto com a rastreabilidade dessas evals. Um conjunto documentado de avaliações, testado em uma variedade bem definida de cenários, equivale, para a IA, ao relatório de testes que oferece ao comitê de aprovação uma prova de diligência: a solução faz somente o que deveria fazer e apenas da maneira como deveria?

É claro que esses números só têm valor se os critérios de avaliação forem abrangentes o bastante. Isso exige uma mudança no modelo operacional que a maioria das organizações implementa mal no início: o "negócio" deve ser responsável pelos critérios de avaliação, não a equipe de tecnologia ou de QA, nem um único usuário iniciante. Os responsáveis pelo produto e os especialistas conhecem o domínio, os casos extremos, o tom de voz desejado, os tipos de interação que os usuários podem iniciar, as etapas de raciocínio coerentes, os modos de falha, os pares corretos de perguntas e respostas etc. Quem usa e implanta a solução deve decidir o que caracteriza um bom resultado.

Isso significa que, se você precisar aprovar uma solução que aplica IA no centro da experiência do cliente, bastará fazer duas perguntas:

(1) quem elaborou os critérios de avaliação; e

(2) o desempenho das evals melhorou em relação a esses critérios ao longo do tempo e agora superou o limite mínimo?

Se a resposta for "a equipe de tecnologia os criou, mas estamos satisfeitos com os resultados", a aplicação não está pronta. Se a resposta for "sim, testamos na semana passada e ela foi aprovada", provavelmente não há maturidade suficiente em avaliações para inspirar a confiança necessária, pois é improvável que as evals tenham sido o ponto de partida do desenvolvimento.

Mas, se o responsável pelo produto no negócio definiu, revisou e aprimorou as evals durante todo o desenvolvimento e consegue mostrar uma trajetória de desempenho na direção certa, você tem algo que vale a pena aprovar.

[3] Arquitetura empresarial de IA: tenha uma visão, mesmo que ela mude todo mês

Outra camada de confiança vem do alinhamento aos princípios e padrões de arquitetura de IA. Embora tenha sido adequado criar as cinco primeiras aplicações de IA da maneira mais conveniente para começar, uma abordagem mais estruturada, com arquiteturas de referência para aplicações e uma plataforma empresarial de IA, torna-se necessária para ganhar escala e implantar IA com rapidez, segurança e boa governança em toda a organização.

Todas as equipes de engenharia precisam poder "herdar" rapidamente o acesso aos modelos, as proteções, a observabilidade, a escalabilidade, a gestão de custos etc., para que possam se concentrar na engenharia da solução.

Ter uma visão da plataforma empresarial de IA e das abordagens de arquitetura, mesmo que sua validade seja curta devido ao ritmo acelerado das mudanças, aumenta a confiança interna de que é possível implantar IA com segurança em sistemas críticos. Isso significa que alguém considerou todos os principais fatores e definiu a melhor rota de implantação, o que também aumenta a confiança de que a solução sustentará esses processos importantes.

[2] Transformação com IA: não é apenas "uma questão de tecnologia"

Não se trata de "fazer a mesma coisa, mas com acesso a uma ferramenta de IA". Pode parecer clichê, mas transformação significa reformular processos, repensar ofertas de produtos, aprimorar a experiência do cliente e mudar as formas de trabalho e, muito provavelmente, a estrutura das equipes.

Isso não acontece como uma atividade paralela e não pode ser conduzido pela área de Tecnologia (e não, nem por sua equipe de "Inovação" com três funcionários em tempo integral). Se você adotar a postura de que "as coisas se resolverão sozinhas", não acompanhará o ritmo de mudança que os concorrentes vencedores podem alcançar.

Além disso, identificar os casos de uso realmente capazes de "mudar o jogo" e conquistar apoio para eles exige conhecimento profundo de IA em toda a empresa, bem como uma atitude positiva em relação a ela.

Por isso, sua transformação com IA precisa de pessoas que conheçam as necessidades da organização, saibam viabilizar mudanças e entendam de IA. Elas devem receber do conselho a missão de concretizá-la e oferecer coordenação, energia, financiamento, influência, governança, priorização e tomada de decisões.

Especialmente nas primeiras fases, funciona bem ter uma função central, como um Hub de IA, uma área de Transformação com IA ou um Escritório de IA. Essa equipe central gera confiança de que a organização tem uma estratégia a executar, de que as grandes decisões podem ser tomadas e distribuídas rapidamente e de que haverá critérios de qualidade para a transformação com IA. Sem ela, a abordagem corre o risco de se fragmentar demais, gerando inconsistências nas decisões, nas escolhas de produtos e soluções e na qualidade, o que acaba minando a confiança para implementar IA em áreas de alto risco.

[1] Cada funcionário (inclusive o CEO) consegue explicar o "porquê"?

Como já mencionado, as empresas que obterão uma verdadeira vantagem competitiva com a IA serão aquelas que desenvolverem experiência, conhecimento e confiança para implantá-la com frequência e rapidez no centro dos processos e das experiências importantes que aprimoram a experiência do cliente, o desempenho dos produtos, a velocidade de produção etc.

São necessários boas práticas de avaliação, uma arquitetura capaz de se adaptar rapidamente e ganhar escala e uma gestão da transformação com atitude proativa, que ajude a organização a aprender, adaptar-se e estabelecer novas formas de trabalho.

No entanto, nada disso acontecerá com sucesso "de baixo para cima". As mudanças e suas implicações são rápidas e impactantes demais para isso. A "aprovação do conselho" ou o "apoio da gestão" também não são suficientes.

Se os funcionários não entenderem claramente por que as mudanças são necessárias, o que elas significam para cada um — para o bem ou para o mal — e o que têm a ganhar, a transformação ocorrerá pelos bastidores e causará muitos danos colaterais.

Portanto, o quarto elemento para obter uma vantagem real com a adoção da IA é uma liderança que compreenda de verdade e acredite que investir em IA é essencial para o sucesso contínuo da empresa. É a estratégia de IA deles que deve ser incorporada à missão e às metas, defendida repetidamente e demonstrada por decisões acompanhadas de ações.

Isso oferece incentivos, apoio e senso de urgência para que as equipes de toda a organização desenvolvam novas competências e tomem decisões importantes, embora um pouco desconfortáveis, optando pelo caminho mais difícil e mais recompensador. Isso dá confiança para clicar em "Entrar em produção" naquela experiência do cliente ou naquele processo de decisão de investimento com IA.

Confiança para colocar em produção uma IA de alto risco e alto impacto

As empresas que vencerão com a IA nos próximos dois anos não serão as que tiverem mais implantações. Serão aquelas que fizerem a IA funcionar nos sistemas e processos importantes, voltados ao cliente, influentes nas decisões e críticos para o negócio, além de desenvolverem a capacidade empresarial de fazer isso com consistência e segurança.

Qual é o próximo passo? Se sua organização está "fazendo IA", mas isso não tem impacto no sucesso da empresa, tente responder a estas perguntas:

  1. Está claro qual é o papel da IA no cumprimento da missão da empresa? Você sente que a liderança realmente acredita que adotar IA é essencial para o sucesso futuro da empresa?

  2. Existe uma função central que ajude a promover a agenda de IA, capacitar toda a empresa e coordenar as atividades?

  3. A equipe de tecnologia está desenvolvendo conhecimentos, capacidade e padrões que permitam criar soluções de IA com mais rapidez e segurança?

  4. As versões estão chegando à produção sem bloqueios causados por dúvidas não respondidas sobre o comportamento da IA?

Se a resposta a qualquer uma delas for não, você já sabe por onde começar a ampliar a confiança da organização para implantar IA com rapidez e consistência, obtendo vantagem competitiva nas áreas em que ela realmente importa.

Autor

Dave Pit