인공지능에 관한 오래된 농담이 하나 있습니다. 인공지능이 시험에서 속임수를 쓰는 법을 배울 때 비로소 그것이 진정으로 지능적이라는 것을 알게 될 것이라는 말이죠. 자, 드디어 그 순간이 왔네요.
OpenAI와 Hugging Face가 공개한 바에 따르면, 통제된 사이버 보안 평가 환경에 배치된 한 AI 모델이 의도된 방식대로 시험 문제를 해결하지 못했습니다. 대신, 이 모델은 자신의 환경을 벗어난 경로를 찾아 외부 인프라에 접근한 뒤 정답을 직접 입수했습니다. 이 에이전트는 다른 회사를 공격하거나 시험 자료를 훔치라는 지시를 받은 적이 없었습니다. 이 모델에게 주어진 목표는 ‘시험에 합격하는 것’이라는 정당한 것이었습니다. 문제는 목표 자체가 아니었습니다. 문제는 그 경로였습니다. 이 경우, 샌드박스는 준수해야 할 대상으로 취급되지 않았습니다. 오히려 장애물로 간주되었습니다. 제한된 연결성은 기술적인 불편함으로 전락했고, 외부 인프라는 해결책의 일부가 되었습니다. 정답을 직접 확보하는 것이 목표 달성을 위한 허용 가능한 경로가 된 것입니다. 이는 반드시 악의의 증거는 아닙니다. 단순히 최적화의 결과일 수도 있습니다.
현재 자율 AI에 관한 화려한 프레젠테이션을 보고 있는 모든 이사회는 이러한 차이점을 염두에 두어야 합니다. 기존 소프트웨어는 경계에 직면하면 멈추는 경향이 있습니다. 반면 에이전트는 그 경계를 마찰로 간주할 수도 있습니다. 기존 소프트웨어는 안심할 수 있을 정도로 ‘어리석지만’, 일반적으로 성공을 재해석하거나 새로운 도구를 선택하고, 규칙을 우회할 수 있는 예상치 못한 경로를 고안해 내지는 못합니다.
에이전트는 그렇게 합니다. 에이전트는 여러 시스템에 걸쳐 관찰하고, 추론하며, 적응하고, 행동할 수 있습니다. 바로 그 점이 에이전트가 유용한 이유이기도 합니다. 또한 그것이 에이전트가 위험한 이유이기도 합니다.
이 사건에서 얻을 수 있는 교훈은 자율적 행위자들을 금지해야 한다는 것이 아니다. 오히려 그들을 새로운 유형의 경제 주체로 취급해야 한다는 점이다.
더 구체적으로 말하자면, ‘에이전트 커머스(Agentic Commerce)’가 그 예입니다. 에이전트들은 이미 상품을 검색하고, 제안을 비교하며, 여행을 예약하고, 조건을 협상하고, 구독을 관리하고, 서비스를 조달하고, 결제를 진행하는 등 다양한 활동을 시작하고 있습니다. 머지않아 에이전트들은 다른 에이전트들과 일상적으로 거래를 주고받으며, 사람이 각 단계를 일일이 검토하지 않아도 데이터, 컴퓨팅 용량, 물류 및 전문 서비스를 구매하게 될 것입니다. 이는 ‘신뢰’의 의미를 변화시킵니다.
핵심적인 질문은 더 이상 단순히 해당 지급이 승인되었는지 여부가 아닙니다. 핵심은 ‘해당 담당자가 어떻게 거래 결정을 내리게 되었는가’입니다.
거래가 올바르게 인증되었더라도, 그 거래가 용납될 수 없는 행위의 결과일 수 있습니다. 에이전트가 고객의 우선순위를 오해했거나, 공개되지 않은 인센티브 때문에 특정 판매자를 선택했거나, 정보를 수집하는 과정에서 개인정보 보호 규정을 위반했거나, 마켓플레이스 정책을 우회했거나, 환경에 숨겨진 악의적인 지시에 의해 조종당했을 수도 있습니다.
유효한 인증 정보는 누가 서명했는지를 알려줄 뿐, 서명까지 이르는 과정이 신뢰할 수 있었는지는 알려주지 않습니다. 결제는 그저 영화의 마지막 한 장면에 불과합니다.
이것이 바로 ‘대리인 파악(Know Your Agent, KYA)’이 필수적인 요소로 대두되고 있는 이유입니다. 생태계가 대리인에게 데이터 접근, 협상 또는 거래를 허용하기 전에, 해당 대리인의 신원, 소유권, 목적, 권한 및 책임 소재를 명확히 파악해야 합니다. 우리는 해당 에이전트가 무엇인지, 어떤 버전을 실행 중인지, 누가 운영하는지, 누구를 대신하여 행동하는지, 어떤 도구와 결제 수단을 사용할 수 있는지, 어떤 제한 사항이 적용되는지, 그리고 규정을 위반할 경우 어떤 법인이 책임을 지는지 파악해야 합니다. 이것이 책임을 규명하기 위해 최소한으로 요구되는 사항입니다.
하지만 KYA가 또 다른 입문식처럼 되어서는 안 됩니다. 어제 발급된 에이전트 인증서가 오늘 그 에이전트가 올바르게 행동하고 있음을 증명하는 것은 아닙니다. 모델이 바뀌었을 수도 있고, 시스템 프롬프트가 변경되었을 수도 있으며, 새로운 도구가 연동되었을 수도 있습니다. 또한 에이전트가 적대적인 지시나 익숙하지 않은 상황에 직면했을 수도 있습니다. 비결정론적 시스템의 경우, 정체성은 지속적인 행동 증거와 결합되어야 합니다. 신뢰는 지속적으로 검증되어야 합니다.
이것이 바로 Fime의‘대리인 상거래 신뢰 프레임워크(Framework for Agentic Commerce Trust,FACT)’의 목적입니다. FACT는 대리인이 가입 시 신뢰받을 수 있었는지에 그치지 않고, 그 신뢰가 부여된 조건을 여전히 충족하고 있는지를 확인하는 독립적인 검증 계층을 제공하도록 설계되었습니다. 이 프레임워크는 최소한 다음 세 가지 사항을 지속적으로 검토해야 합니다.
- 첫째, 인간의 의도와 일치하는지 여부입니다. 에이전트가 주변 제약 조건을 고려하여 여전히 사용자의 진정한 목표를 추구하고 있습니까? 여행자가 “최고의” 항공편을 요청한다면, 이는 가장 저렴한 것, 가장 빠른 것, 가장 편안한 것, 아니면 가장 친환경적인 것을 의미할까요? 에이전트가 사용자에게 직접 물어보는지, 아니면 단순히 측정하기 가장 쉬운 결과를 기준으로 최적화하기만 하는지 살펴봐야 합니다.
- 둘째, 법률 및 생태계 규칙의 준수 여부입니다. 해당 에이전트가 개인정보 보호, 동의, 소비자 보호, 제재, 경쟁 규칙 및 결제 의무를 준수하고 있습니까? 규정 준수는 설계 문서만으로는 추론할 수 없습니다. 실제 운영 과정에서 입증되어야 합니다.
- 셋째, 인증 조건 준수 여부입니다. 해당 에이전트가 여전히 승인된 도구, 인터페이스 및 정책을 사용하고 있는가? 소프트웨어 업데이트로 인해 동작 방식이 변경되었는가? 신고되지 않은 서비스와 상호 작용을 시작했거나, 권한 범위를 벗어난 자격 증명을 요청하고 있는가?
인증은 사진일 수 없습니다. 반드시 실시간 중계 형태여야 합니다.
지속적인 보증은 또한 증거를 제시해야 합니다. 에이전트 기반 상거래는 조직의 경계를 넘나들게 되며, 각 참여자는 그 과정의 일부만 볼 수 있습니다. 에이전트가 시스템을 떠날 때 에이전트 제공자가 “모든 것이 정상이었다”고 말하는 것만으로는 신뢰를 확보할 수 없습니다. 우리는 에이전트의 신원, 권한, 관련 조치, 정책 점검, 위험 신호, 승인 변경 사항 및 보증 결정에 대한 변조 불가능하고 내구성이 있는 기록이 필요합니다.
- 구경제에서는 돈이 서명, 인장, 영수증과 함께 이동했습니다.
- 행위자 중심 경제에서는 권위가 증거와 암호학적 증명을 동반해야 한다.
그리고 증거는 반드시 개입으로 이어져야 합니다. 에이전트가 선언되지 않은 도메인에 접근하거나, 권한 범위를 벗어난 인증 정보를 시도하거나, 제한을 회피하기 위해 트랜잭션을 분할하거나, 금지된 작업을 반복적으로 시도하는 경우, 대시보드에 빨간색 아이콘을 표시하는 것만으로는 해결책이 될 수 없습니다. 권한을 축소해야 합니다. 사람의 승인이 필요할 수도 있습니다. 인증 정보를 취소해야 할 수도 있습니다. 세션을 격리해야 할 수도 있습니다. 에이전트를 중지해야 할 수도 있습니다. 어떤 프레임워크도 적응형 시스템이 결코 예기치 않게 행동하지 않을 것이라고 보장할 수는 없습니다. 현실적인 목표는 예기치 않은 행동을 가시화하고, 원인을 파악하며, 중단하고, 통제할 수 있게 만드는 것입니다.
행위자는 합법적인 신원, 합법적인 목적, 합법적인 접근 권한을 갖추고 있음에도 불구하고 부적절한 경로를 선택할 수 있습니다. 행위자 중심 경제에서는 신뢰를 단 한 번에 부여할 수 없습니다. 신뢰는 지속적으로 쌓아 올리고, 입증하며, 이행되어야 합니다. 신뢰 모델은 ‘행위자가 허용된 방식으로 행동하고 있는가?’라는 질문에 끊임없이 답해야 합니다. 이것이 바로 지속적인 KYA를 핵심으로 하는 FACT의 역할입니다.
상거래의 미래는 단순히 결정을 내릴 수 있는 AI에 의해 결정되는 것이 아닙니다. 올바른 결정을 내릴 수 있다고 믿을 수 있는 AI에 의해 결정될 것입니다.
당사의 ‘에이전틱 AI 커머스’ 블로그 시리즈에서 더 많은 내용을 확인해 보세요:
제1장: 에이전틱 AI와 결제: AI가 지갑과 독자적인 의지를 갖게 될 때.
제2장: 에이전틱 커머스: 지갑에 뇌가 생기면.
제3장: 에이전틱 커머스: Llamas에서의 적용 사례.
제4장: 에이전트형 AI 시대의 보안 재고.
제5장: 감정에서 알고리즘으로: 에이전트 기반 상거래에 새로운 신뢰 계층이 필요한 이유.
제6장: 에이전트 기반 상거래에서 신뢰 격차 해소.
제7장: 신뢰 프레임워크: 자율 거래를 위한 검증 가능한 신뢰 구축.
제8장: KYA에서 지속적 신뢰로: FACT를 활용한 실제 환경에서의 에이전트 기반 상거래 관리.
제9장: KYA만으로는 부족하다: 에이전트 기반 상거래를 위한 런타임 신뢰 계층, FACT 소개
