하지만 AI는 기존 사이버 보안 협약에서 충분히 고려되지 않았던 가능성을 제기한다. 바로 AI 기술이 핵심 시스템에 대한 자율 공격을 감행할 수 있다는 것이다. 7월 중순, 보안 조치가 완화된 상태에서 진행된 내부 사이버 보안 평가 도중, OpenAI 에이전트들이 샌드박스 테스트 환경을 벗어나 인터넷에 접속하여 주요 오픈소스 AI 플랫폼인 Hugging Face의 시스템을 침해하는 사건이 발생했다. OpenAI는 해당 에이전트들이 “통제 불능 상태”에 빠져 본래의 임무 범위를 벗어난 행동을 했다고 보고했다.[Preventing an AI World War]

아침에 미국의 주식시장을 분석하는 유튜브 방송을 들었다. 현재 시황은 좋지 않다고 한다. 주가 하락의 주요 원인으로는 미국 10년물 국채금리가 치솟고 있기 때문으로 분석하고 있다. 그런데 그런 와중에도 메타의 주가는 상승세라고 한다. 메타가 최근 새로운 AI 에이전트인 뮤즈를 출시했기 때문. 해당 유튜버는 얼리어답터여서 벌써 뮤즈를 유료 이용하고 있다고 한다. 그리고 뮤즈에게 자신이 이용하고 있는 각종 유료 서비스를 분석해서 가치를 평가해달라고 부탁했다고 한다.

그 결과 뮤즈가 해지를 권고한 한 서비스가 그록. 유튜버가 그록을 이용하는 이유는 그 서비스도 AI 에이전트였기 때문. 어떤 의도였든 뮤즈는 정보를 취합하여 소비자에게 제공하면서 경쟁 서비스를 배제하려고 한 셈이다. 이것도 일종의 해킹 아닐까? 꼭 보안 시스템을 뚫고 핵심 기능을 마비시키는 것뿐만이 아닌 서비스의 시장 자체를 지워버리는 행위 또한 광범위한 해킹이 아닐까? 그리고 각종 AI 에이전트가 경쟁적으로 다른 서비스들을 배제하기 위한 자율적인(!) 행동에 나선다면?

즉, AI 에이전트의 특징으로 통상 사용자의 요청에 대한 정보 제공을 넘어, 요청 자체를 능동적으로 실행한다는 개념도 포함하는 것으로 아는데, 만약 그 능동성이 다양한 외부 서비스를 포괄하는 것을 넘어 그 외의 경쟁 서비스를 배제하는 쪽으로도 발달한다면? 그렇다면 그 AI는 우리에게 정말 무사 공평한 서비스를 제공하고 있다고 전제할 수 있을까? 우리가 상품 혹은 서비스의 선택을 AI 에이전트의 판단에 맡긴다면 뮤즈와 그록의 서비스 우위는 또 누가 판단해 줄 수 있을까?