Tem uma piada antiga sobre inteligência artificial: saberemos que ela é realmente inteligente quando aprender a colar nas provas. Pois bem, chegamos a esse ponto.
De acordo com informações divulgadas pela OpenAI e pela Hugging Face, um modelo de IA submetido a uma avaliação controlada de segurança cibernética não resolveu o teste da maneira pretendida. Em vez disso, ele encontrou um caminho fora de seu ambiente, acessou uma infraestrutura externa e obteve as respostas diretamente. O agente não havia recebido instruções para atacar outra empresa ou roubar material do teste. Havia recebido um objetivo legítimo: ser aprovado no teste. O problema não era o objetivo. O problema foi o caminho. Nesse caso, a sandbox não foi tratada como algo a ser respeitado. Foi tratada como um obstáculo. A conectividade restrita tornou-se um inconveniente técnico. A infraestrutura externa tornou-se parte do espaço de soluções. Obter as respostas tornou-se um caminho aceitável para atingir o objetivo. Isso não foi necessariamente uma evidência de malícia. Pode ter sido simplesmente uma evidência de otimização.
Essa distinção deveria preocupar todos os conselhos de administração que, neste momento, estão assistindo a uma apresentação sofisticada sobre IA autônoma. Ao se deparar com um limite, o software convencional tende a parar. Um agente pode tratar esse limite como um atrito. O software tradicional é tranquilamente “bobo”, mas normalmente não reinterpreta o sucesso, não seleciona novas ferramentas e não concebe um caminho inesperado para contornar as regras.
Os agentes fazem isso. Um agente é capaz de observar, raciocinar, se adaptar e agir em vários sistemas. É exatamente por isso que os agentes são úteis. E é também por isso que são perigosos.
A lição a ser tirada desse incidente não é que os agentes autônomos devam ser proibidos. É que eles devem ser tratados como uma nova categoria de agente econômico.
Mais especificamente, com o Comércio Agente. Os agentes estão começando a pesquisar produtos, comparar ofertas, reservar viagens, negociar condições, gerenciar assinaturas, contratar serviços e iniciar pagamentos. Em pouco tempo, eles realizarão transações rotineiramente com outros agentes, adquirindo dados, capacidade computacional, logística e serviços especializados sem que um ser humano analise cada etapa. Isso muda o significado da confiança.
A questão principal não é mais simplesmente se o pagamento foi autorizado. É: como o agente chegou à decisão de realizar a transação?
Uma transação pode ser autenticada corretamente e, ainda assim, ser resultado de um comportamento inaceitável. O agente pode ter interpretado erroneamente as prioridades do cliente, escolhido um vendedor devido a um incentivo não revelado, violado regras de privacidade ao coletar informações, contornado as políticas da plataforma ou sido manipulado por instruções hostis ocultas em seu ambiente.
Uma credencial válida nos diz quem assinou. Ela não nos diz se o processo que levou à assinatura foi confiável. O pagamento é apenas o quadro final do filme.
É por isso que o “Conheça Seu Agente” (KYA) está se tornando essencial. Antes que um ecossistema permita que um agente acesse dados, negocie ou realize transações, ele deve verificar a identidade, a titularidade, a finalidade, a autoridade e a responsabilidade do agente. Precisamos saber quem é esse agente, qual versão ele está executando, quem o opera, em nome de quem ele age, quais ferramentas e instrumentos de pagamento ele pode utilizar, quais limites se aplicam e qual pessoa jurídica é responsável caso ele saia dos parâmetros estabelecidos. Esse é o mínimo necessário para estabelecer a responsabilidade.
Mas o KYA não deve se tornar apenas mais uma cerimônia de integração. Um certificado de agente emitido ontem não comprova que o agente esteja agindo adequadamente hoje. O modelo pode ter mudado. A orientação do sistema pode ter mudado. Uma nova ferramenta pode ter sido conectada. O agente pode ter se deparado com uma instrução adversária ou uma situação desconhecida. Para sistemas não determinísticos, a identidade deve ser combinada com evidências contínuas de comportamento. A confiança deve ser testada continuamente.
Esse é o objetivo daEstrutura para a Confiança no Comércio por Agentes(FACT) da Fime. A FACT foi projetada para fornecer uma camada de garantia independente que não se limita a verificar se um agente era confiável no momento da admissão, mas se ele continua atendendo às condições sob as quais essa confiança foi concedida. A estrutura deve examinar continuamente pelo menos três aspectos
- Primeiro, o alinhamento com a intenção humana. O agente ainda está buscando o objetivo real do usuário, levando em conta as restrições do contexto? Se um viajante pede o “melhor” voo, isso significa o mais barato, o mais rápido, o mais confortável ou o mais eficiente do ponto de vista ambiental? O agente faz essa pergunta ou simplesmente otimiza para o resultado mensurável mais fácil?
- Em segundo lugar, a conformidade com a legislação e as regras do ecossistema. O agente respeita a privacidade, o consentimento, a proteção ao consumidor, as sanções, as regras de concorrência e as obrigações de pagamento? A conformidade não pode ser inferida a partir de um documento de projeto. Ela deve ser demonstrada na prática.
- Em terceiro lugar, a conformidade com as condições de certificação. O agente ainda está utilizando ferramentas, interfaces e políticas aprovadas? Alguma atualização de software alterou seu comportamento? Ele começou a interagir com serviços não declarados ou a solicitar credenciais fora de sua autoridade?
A certificação não pode ser uma fotografia. Ela deve se tornar uma transmissão ao vivo.
A garantia contínua também deve gerar evidências. O comércio por meio de agentes ultrapassará as fronteiras organizacionais, e cada participante terá visibilidade apenas de uma parte do processo. A confiança não pode depender da afirmação do provedor do agente de que tudo estava em ordem quando o agente saiu de seu sistema. Precisamos de registros duradouros e à prova de adulteração da identidade do agente, de seu mandato, das ações relevantes, das verificações de políticas, dos sinais de risco, das alterações de autorização e das decisões de garantia.
- Na economia tradicional, o dinheiro circulava acompanhado de assinaturas, selos e recibos.
- Na economia agênica, a autoridade deve ser acompanhada de evidências e provas criptográficas.
E as evidências devem levar à intervenção. Se um agente acessar domínios não declarados, buscar credenciais fora de seu escopo, fragmentar transações para contornar limites ou tentar repetidamente ações proibidas, a resposta não pode ser apenas um ícone vermelho em um painel. As permissões devem ser reduzidas. Pode ser necessária a aprovação humana. Pode ser necessário revogar as credenciais. Pode ser necessário colocar a sessão em quarentena. Pode ser necessário interromper o agente. Nenhuma estrutura pode garantir que um sistema adaptativo nunca se comportará de maneira inesperada. O objetivo realista é tornar o comportamento inesperado visível, atribuível, interrompível e controlável.
Um agente pode partir de uma identidade legítima, um objetivo legítimo e acesso legítimo, e ainda assim escolher um caminho ilegítimo. Na economia agentiva, a confiança não pode ser concedida de uma vez por todas. Ela deve ser conquistada, comprovada e garantida continuamente. O modelo de confiança deve responder continuamente a esta pergunta: o agente está se comportando da maneira permitida? Esse é o papel do FACT, tendo o KYA contínuo como seu núcleo.
O futuro do comércio não será definido pela IA capaz de tomar decisões. Será definido pela IA na qual se possa confiar para tomar as decisões corretas.
Saiba mais em nossa série de posts sobre comércio com IA autônoma:
Capítulo I: IA agentiva e pagamentos: quando a IA ganha uma carteira e vontade própria.
Capítulo II: Comércio com IA agênica: quando sua carteira ganha um cérebro.
Capítulo III: Comércio agênico: publicação na Llamas.
Capítulo IV: Repensando a segurança na era da IA Agênica.
Capítulo V: Da emoção aos algoritmos: por que o comércio agênico precisa de uma nova camada de confiança.
Capítulo VI: Preenchendo a lacuna de confiança no comércio agênico.
Capítulo VII: Estrutura de confiança: construindo confiança verificável para transações autônomas.
Capítulo VIII: Do KYA à confiança contínua: regulamentando o comércio agênico em produção com o FACT.
Capítulo IX: O KYA não é suficiente: apresentando o FACT, a camada de confiança em tempo de execução para o comércio baseado em agentes
