Quando a IA deixa de responder e começa a decidir
Durante algum tempo, a discussão sobre inteligência artificial ficou concentrada em uma pergunta relativamente simples: o que ela consegue fazer?
Escrever um texto. Resumir um contrato. Analisar uma planilha. Criar uma imagem. Responder a um cliente. Programar.
Agora a pergunta começa a mudar.
Não porque a inteligência artificial tenha subitamente adquirido vontade própria, mas porque estamos dando a ela acesso a sistemas, dados, canais, regras de negócio e capacidade de executar ações.
É uma diferença importante.
Antes de discutir se a IA vai substituir pessoas, transformar profissões ou produzir algum futuro distópico, talvez seja útil começar pelo básico: inteligência artificial é uma ferramenta.
Um martelo também é uma ferramenta.
Para utilizá-lo corretamente, é preciso saber onde bater, com que força e com qual objetivo. Ninguém entrega um martelo a alguém sem treinamento dentro de uma obra e considera que o problema de engenharia está resolvido.
Com inteligência artificial não deveria ser diferente.
A diferença é que um martelo não escolhe sozinho qual prego bater.
É justamente aí que a discussão começa a ficar interessante.
Da ferramenta para a execução
Quando peço a uma inteligência artificial que escreva uma proposta comercial, continuo controlando quase toda a execução.
Eu faço a pergunta.
Recebo a resposta.
Leio.
Avalio.
Altero.
Decido se aquilo será enviado.
A IA participa do trabalho, mas não controla o processo.
Agora imagine outro cenário.
Uma empresa entrega a um agente acesso a uma carteira de clientes, histórico de interações, políticas comerciais, canais de comunicação e determinadas alçadas.
A instrução deixa de ser:
“Escreva esta mensagem.”
E passa a ser algo mais próximo de:
“Conduza esta operação dentro destas regras.”
O agente pode então escolher o momento de contato, o canal, a abordagem, consultar informações, adaptar a comunicação e tomar determinadas decisões sem que um funcionário precise aprovar cada etapa.
É aqui que muita gente começa a dizer que a inteligência artificial ganhou autonomia.
Eu prefiro outra interpretação.
Ela recebeu uma delegação.
E toda delegação deveria ter limites.
Autonomia não elimina autoridade humana
Existe uma pegadinha na ideia de que um agente “decidiu sozinho”.
Se uma empresa implementou corretamente seu sistema, aquela decisão deveria ter ocorrido dentro de um conjunto de condições previamente estabelecidas.
A organização determinou quais informações o agente poderia consultar.
Quais ações poderia executar.
Até onde poderia negociar.
Quando deveria interromper uma operação.
Quando uma exceção exigiria intervenção humana.
A inteligência artificial pode escolher caminhos dentro desse espaço.
Mas foi um humano — ou uma organização formada por humanos — que definiu o espaço.
Por isso existe um princípio que considero fundamental:
A máquina pode aprender dentro do espaço autorizado, mas não deveria ampliar sozinha o próprio espaço de autoridade.
Essa distinção parece pequena, mas separa duas ideias completamente diferentes.
Uma coisa é permitir que um agente descubra, por exemplo, qual canal produz melhor resposta, qual horário apresenta maior conversão ou qual abordagem funciona melhor para determinado perfil.
Outra é permitir que ele conclua sozinho que, para aumentar sua performance, deveria modificar a própria alçada, acessar uma nova base de dados ou realizar uma ação que antes não estava autorizada.
A primeira é otimização.
A segunda é alteração de autoridade.
Não são a mesma coisa.
Human in the loop não significa um humano apertando “OK”
Existe também um equívoco frequente sobre o conceito de human in the loop.
Se toda ação da inteligência artificial exigir que um funcionário pressione um botão de aprovação, teremos construído um sistema tecnologicamente sofisticado para preservar boa parte do trabalho manual que queríamos eliminar.
Isso não faz sentido.
O trabalho repetitivo é justamente uma das áreas onde a inteligência artificial pode gerar enorme ganho de produtividade e reduzir a necessidade de aumentar continuamente o head count de uma operação.
O papel humano deveria migrar.
Menos execução mecânica.
Mais desenho de regras.
Mais definição de alçadas.
Mais tratamento de exceções.
Mais supervisão.
Mais análise de resultado.
Human in the loop não deveria significar um humano dentro de cada clique.
Significa manter humanos dentro do sistema de autoridade.
Governança não é o contrário de autonomia
Existe uma percepção de que governança reduz a capacidade da inteligência artificial.
É exatamente o contrário.
Quanto mais arquitetura de desenvolvimento, regras endurecidas e governança, maior a autonomia que podemos entregar à IA.
Uma empresa só consegue permitir que um sistema execute operações relevantes quando conhece os limites dentro dos quais ele está operando.
Sem arquitetura, a empresa precisa restringir a IA por medo.
Sem regras, precisa acompanhar cada ação.
Sem observabilidade, não sabe o que aconteceu.
Sem evidência, não consegue reconstruir uma decisão.
Sem alçadas, não sabe até onde o agente poderia ter ido.
A governança não deveria ser uma camada burocrática adicionada depois que o sistema está pronto.
Ela é parte da infraestrutura que permite aumentar a autonomia.
Quanto melhor conhecemos o perímetro, maior pode ser a liberdade dentro dele.
Obedecer não significa performar
Existe, porém, outro problema.
Imagine um agente autorizado a conceder descontos de até 15%.
Ele concede 14,99%.
A regra foi respeitada.
O sistema funcionou conforme projetado.
Do ponto de vista estritamente formal, não houve violação.
Mas isso não responde à pergunta realmente importante:
valeu a pena conceder os 14,99%?
Se a empresa não consegue responder, possui controle de regra, mas ainda não possui uma visão completa de governança operacional.
Um agente pode cumprir todas as políticas e mesmo assim produzir decisões economicamente ruins.
Por isso a mensuração precisa fazer parte do desenho.
No OrqOS, uma maneira que encontramos para observar isso é separar duas dimensões da operação: o funil de esforço e o funil de resultado.
O primeiro mostra aquilo que foi feito.
Quantos contatos.
Quantas tentativas.
Quais canais.
Quais decisões.
Quais descontos.
Quais etapas foram executadas.
O segundo mostra o que aquilo produziu.
Conversão.
Recuperação.
Receita.
Acordos.
Resultado econômico.
A relação entre os dois começa a responder perguntas muito mais importantes do que simplesmente verificar se o agente cumpriu a regra.
Quanto esforço foi necessário para produzir determinado resultado?
Determinada decisão melhorou ou piorou a performance?
Uma alçada está sendo utilizada com inteligência ou apenas consumida?
Um canal está gerando resultado ou simplesmente atividade?
Uma determinada estratégia deveria continuar existindo?
A IA executa.
O humano observa o sistema e decide se a maneira como estamos utilizando aquela autonomia continua fazendo sentido.
O problema muda quando a IA executa
Quando uma inteligência artificial apenas responde a uma pergunta, o principal risco está na resposta.
Ela pode estar errada.
Pode ser imprecisa.
Pode inventar alguma informação.
Quando a IA passa a executar, a natureza do risco muda.
Uma resposta deixa de ser apenas uma resposta.
Ela pode se transformar em uma mensagem enviada.
Uma condição comercial.
Uma alteração de status.
Uma ação dentro de um sistema.
Uma negociação.
Uma decisão com impacto financeiro.
Isso exige outra arquitetura.
Não porque a inteligência artificial tenha deixado de ser uma ferramenta.
Mas porque passamos a utilizar essa ferramenta dentro de processos nos quais suas ações produzem consequências reais.
É a diferença entre inteligência e agência.
E agência exige autoridade.
A pergunta que vem depois de “o que ela consegue fazer?”
Nos últimos anos, boa parte da tecnologia esteve concentrada em ampliar a capacidade dos modelos.
Mais contexto.
Mais raciocínio.
Mais ferramentas.
Mais velocidade.
Mais autonomia.
Esse avanço continuará.
Mas quanto maior a capacidade, mais importante se torna uma segunda pergunta:
quem autorizou a IA a fazer isso?
Essa pergunta parece administrativa.
Não é.
Ela é arquitetural.
Envolve identidade, permissões, hierarquia de informação, alçadas, exceções, observabilidade, evidências, segurança, intervenção humana e mensuração.
É nesse território que acredito estar surgindo uma nova disciplina operacional.
No OrqOS, chamamos essa visão de Governed AI Operations.
Não porque acreditamos que inteligência artificial precise ser impedida de agir.
Justamente pelo contrário.
Queremos permitir que ela faça mais.
Mas dentro de uma arquitetura em que a organização continue sabendo o que foi autorizado, o que foi executado, por que aconteceu e qual resultado produziu.
Talvez essa seja uma das grandes ironias da próxima fase da inteligência artificial.
Para dar mais liberdade às máquinas, precisaremos primeiro nos tornar muito melhores em definir limites.
Charles Duek
Relacionadas: Governed AI Operations · governança de IA na recuperação de crédito · agentes de IA governados.