이 시리즈의 이전 기사들에서는 에이전트형 AI의 부상과 이것이 디지털 상거래 및 신원 관리에 미치는 영향을 살펴보았습니다. 또한 자율 에이전트가 사용자와 조직을 대신해 행동하기 시작하며, 점점 더 독립적으로 의사결정과 거래를 수행하고 있는 현황을 간략히 소개했습니다.
이러한 진화는 근본적인 질문을 제기합니다. 즉, 더 이상 행동이 인간에 의해 직접 시작되지 않는 세상에서 신뢰는 어떻게 구축되고, 관리되며, 이행되어야 할까요?
보안 시스템은 전통적으로 상호작용 지점에 사람이 존재한다는 명확한 가정을 바탕으로 구축되어 왔습니다. 에이전트형 AI는 이러한 가정에 의문을 제기합니다. 현재는 소프트웨어 에이전트가 무엇을 구매할지, 누구에게 대금을 지급할지, 언제 행동할지 등을 결정하며, 대개 인간의 실시간 개입 없이 작동하는 시스템이 설계되고 있습니다.
그 결과, 기존의 보안 모델은 진화해야 합니다. 이제 초점은 단순히 악의적인 행위자로부터 시스템을 보호하는 데 그치는 것이 아니라, 명확하게 정의되고 준수 가능한 경계 내에서 신뢰할 수 있는 자율성을 구현하는 데 맞춰져 있습니다.
기존 보안 모델: 사람 신원 확인
기존의 디지털 보안 프레임워크는 비교적 단순한 모델을 바탕으로 설계되었습니다. 사용자가 인증을 거치고 거래를 시작하면, 시스템은 인증 정보, 기기 신호 및 행동 패턴을 바탕으로 위험을 평가합니다.
역사적으로 자동화는 위협으로 간주되어 왔습니다. 봇은 사기 행각과 연관되어 있었고, 매우 빠른 속도의 활동은 의심스러운 것으로 여겨졌습니다. 이로 인해 CAPTCHA, 기기 지문 인식, 단계별 인증과 같은 통제 수단이 널리 도입되었습니다.
이러한 접근 방식은 시스템이 실제로 사용되는 방식과 부합했기 때문에 효과적이었습니다. 사람이 의사결정자였으며, 시스템의 역할은 그 신원을 확인하고 이상 징후를 탐지하는 것이었습니다.
변화: 신뢰할 수 있는 에이전트의 활용
에이전트형 AI는 새로운 패러다임을 제시합니다. 이제 시스템은 인간이 아닌 행위자들도 정당한 참여자가 될 수 있음을 인식해야 합니다.
이제 중요한 것은 상호작용이 자동화되었는지 여부가 아니라, 해당 에이전트가 권한을 부여받았는지, 정의된 제약 조건 내에서 작동하는지, 그리고 검증된 주체 대신 행동하고 있는지 여부입니다.
이를 위해서는 신원 확인에서 위임된 권한 관리로 전환해야 합니다. 조직은 누가 대리인을 승인했는지, 대리인이 무엇을 할 수 있는지, 어떤 조건 하에서, 그리고 어느 기간 동안 허용되는지를 파악할 수 있어야 합니다. 또한 필요할 경우 해당 권한을 즉시 철회할 수 있는 능력 역시 마찬가지로 중요합니다.
‘Know Your Agent(KYA)’라는 개념은 ‘Know Your Customer(KYC)’의 자연스러운 확장 형태로 부상하고 있으며, 이는 개인뿐만 아니라 그들을 대리하여 행동하는 시스템에 대해서도 신뢰를 구축해야 할 필요성을 반영하고 있습니다.
정체성은 맥락에 따라 달라지며 타인에게 위임된다
디지털 신원은 많은 시스템이 가정하는 것처럼 결코 단일하거나 정적인 적이 없습니다. 디지털 신원은 본질적으로 맥락에 따라 달라지며, 종종 개인, 조직, 기기 간에 권한이 위임되는 과정을 수반합니다.
대리형 AI는 이 점을 명확히 합니다. 에이전트는 고유하게 식별되고, 주체와 연결되며, 정의된 권한을 통해 통제될 수 있도록 해주는 일종의 정체성이 필요합니다. 또한 에이전트의 행동은 관찰 가능하고 감사 가능해야 합니다.
에이전트가 금융 거래를 실행하거나, 계약을 체결하거나, 운영 프로세스를 시작함에 따라, 이들은 사실상 규제 환경 내의 행위자가 됩니다. 명확한 신원 확인과 책임 소재가 확보되지 않으면, 이들의 행동은 악의적인 활동과 구별하기 어려워집니다.
새로운 공격 표면: 의사결정 무결성
기존의 사이버 보안은 무단 접근과 악성 코드로부터 시스템을 보호하는 데 중점을 둡니다. 에이전트 기반 시스템은 의사 결정의 조작이라는 새로운 유형의 위험을 초래합니다.
즉시 주입, 에이전트 사칭, 데이터 오염과 같은 위협은 시스템의 관점에서 보면 논리적으로는 일관되지만, 실제로는 바람직하지 않거나 해로운 결과를 초래할 수 있습니다. 이러한 경우, 시스템은 전통적인 의미에서 침해된 것은 아니지만, 그 결과는 여전히 안전하지 않습니다.
이는 단순히 경계 통제에만 의존하기보다는 의사결정 과정 자체에 보안을 내재화할 필요가 있음을 강조한다.
과도한 자율성 관리
에이전트 기반 시스템에서 가장 큰 위험 요소 중 하나는 과도한 자율성입니다. 이는 에이전트에게 충분히 구체적인 제약 조건 없이 광범위한 목표만 부여될 때 발생합니다.
이러한 상황에서 에이전트는 기술적으로는 자신의 목표를 달성하지만 사용자의 의도를 벗어난 행동을 취할 수 있습니다. 이는 악의적인 행동이 아니라, 적절한 통제 없이 결과만을 최적화하려다 보니 발생하는 결과입니다.
사용자의 의도를 파악하고 이를 실행 가능한 제약 조건으로 전환하는 것이 필수적인 요건이 됩니다. 보안은 무단 행위를 방지하는 데 그치지 않고, 승인된 행동이 기대에 부합하도록 보장하는 데에도 중점을 두어야 합니다.
토큰화는 정책 이행으로 발전한다
토큰화는 특히 결제 분야에서 여전히 중요한 통제 메커니즘으로 남아 있습니다. 그러나 에이전트 주도 환경에서는 토큰이 단순히 기초 자산이나 자격 증명을 참조하는 것 이상의 의미를 지녀야 합니다.
위임 범위, 정책 제약 조건, 시간 제한 및 출처를 명시해야 합니다. 이러한 맥락이 없다면, 토큰화는 통제력을 향상시키지 못한 채 단순히 거래 속도만 높일 뿐입니다.
이로 인해 정책 및 권한 부여 기능을 트랜잭션 계층에 직접 통합한, 보다 정교한 토큰 프레임워크에 대한 필요성이 대두되고 있습니다.
감사 가능성 및 책임성
에이전트가 사용자를 대신해 행동함에 따라, 의사결정을 설명하고 재구성할 수 있는 능력이 필수적입니다. 그 행동이 어떻게, 왜 이루어졌는지를 이해하지 못한 채 단순히 시스템에 그 행동을 돌리는 것만으로는 더 이상 충분하지 않을 것입니다.
조직은 의사결정의 배경이 된 원래 의도, 고려된 데이터 입력 사항, 적용된 제약 조건, 그리고 따랐던 논리를 추적할 수 있어야 합니다. 이러한 수준의 추적 가능성은 규제 요건을 충족하고 사용자의 신뢰를 확보하는 데 필수적입니다.
이것이 없다면 책임 소재가 불분명해져 서비스 제공자와 최종 사용자 모두에게 위험이 발생하게 됩니다.
다중 에이전트 시스템의 복잡성
여러 에이전트가 상호작용하는 환경에서는 이러한 어려움이 더욱 두드러지게 나타납니다. 에이전트 간의 조정은 무단 참여, 목표 불일치, 연쇄적 오류 등 새로운 위험 요소를 초래합니다.
이러한 시스템의 보안을 위해서는 개별 엔드포인트에만 집중하기보다는 상호작용과 자발적으로 나타나는 현상을 관리하는 방향으로 전환해야 합니다. 이를 위해서는 시스템 설계, 거버넌스, 지속적인 모니터링의 요소를 결합한 새로운 접근 방식이 필요합니다.
보안에서 거버넌스까지
가장 중요한 변화는 보안을 단순한 방어적 기능에서, 거버넌스를 지원 역량으로 전환하는 것이다.
조직은 누가 에이전트를 생성할 수 있는지, 에이전트가 어떻게 인증되는지, 어떤 규칙을 따라야 하는지, 그리고 시간이 지남에 따라 에이전트가 어떻게 모니터링되고 통제되는지를 정의해야 합니다. 이는 신뢰를 위한 공동 프레임워크를 구축하는 데 있어 신원 제공자, 결제 네트워크 및 규제 당국의 역할을 더욱 중요하게 만듭니다.
의도적인 거버넌스가 없다면, 각기 다른 플랫폼들이 각자의 규칙과 표준을 강요함에 따라 생태계가 분열되고 일관성을 잃을 위험이 있습니다.
결론: 대규모 신뢰 구축
핵심은 에이전트의 행동을 막는 것이 아니라, 에이전트가 안전하고 투명하게, 그리고 명확하게 정의된 범위 내에서 행동할 수 있도록 하는 데 있습니다.
에이전트형 AI는 의사결정이 이루어지고 실행되는 방식에 근본적인 변화를 가져옵니다. 보안 역시 이에 발맞춰 진화해야 하며, 인증 및 사기 탐지에 중점을 둔 기존 모델을 넘어서는 방향으로 나아가야 합니다.
디지털 신뢰의 미래는 신원, 정책, 감사 가능성을 자율성과 통제력을 모두 뒷받침하는 일관된 프레임워크로 통합해 나가는 우리의 능력에 달려 있을 것입니다.
이러한 맥락에서 ‘프로그래밍 가능한 신뢰’는 핵심적인 역량이 됩니다. 이를 통해 조직은 에이전트가 작동하는 조건을 정의하고, 이를 준수하도록 강제하며, 검증할 수 있게 되어, 책임성을 훼손하지 않으면서도 자율성을 확장할 수 있는 시스템을 구축할 수 있습니다.
당사의 ‘에이전틱 AI 커머스’ 블로그 시리즈에서 더 많은 내용을 확인해 보세요:
제1장: 에이전트형 AI와 결제: AI가 지갑과 독자적인 의지를 갖게 될 때.
제2장: 에이전틱 커머스: 지갑에 뇌가 생길 때.
제3장: 에이전틱 커머스: Llamas에 관한 고찰.
제5장: 감정에서 알고리즘으로: 에이전트 기반 상거래에 새로운 신뢰 계층이 필요한 이유.
제6장: 에이전틱 커머스의 신뢰 격차 해소.
제7장: 신뢰 프레임워크: 자율 거래를 위한 검증 가능한 신뢰 구축.
제8장: KYA에서 지속적 신뢰로: FACT를 활용한 실제 환경에서의 에이전트 기반 상거래 관리.
제9장: KYA만으로는 부족하다: 에이전트 기반 상거래를 위한 런타임 신뢰 계층, FACT 소개.
제10장: 시험에서 부정행위를 한 에이전트
