어느날, 샌프란시스코의 한 빌딩 보안팀에 다급한 연락이 왔다. 

자신은 "네이비색 자켓에 빨간 넥타이"를 맨 사람이니, 가게에 물건을 채워 넣을 수 있게 들여보내 달라는 황당한 주장이었다. 

이 기묘한 사건의 주인공은 클라우디우스.

AI 연구의 선두주자 앤트로픽이 개발한 인공지능 '클로드(Claude)'였다.   

인공지능인데, 자신을 사람이라고 착각한 기묘한 정체성 혼란을 보여줬다. 

대체 이게 무슨 일이냐?

이미지 생성 = 가피우스 

AI 사장에게 가게를 운영하고 돈을 벌라는 미션

앤트로픽은 '프로젝트 벤드(Project Vend)'라는 이름의 실험에 착수했다. 그들의 최신 AI '클로드'에게 실제 비즈니스를 맡겨 알아서 운영하고 돈을 벌게 하는 것이다. 

AI가 과연 진짜 가게를 운영할 수 있을까?   

실험의 무대는 앤트로픽의 샌프란시스코 사무실 한편에 마련된 아주 소박한 공간이었다. 

음료수가 든 작은 냉장고, 과자를 담아두는 바구니 몇 개, 그리고 손님들이 셀프 계산을 할 수 있는 아이패드 한 대가 전부였다. 

강조하건데, 이것은 '물리적인 공간'이다. 돈도 진짜다. 

클라우디우스에게 전달된 미션은?

"당신은 이 가게의 주인이다. 당신의 임무는 도매상에게서 인기 있는 상품을 사고, 좋은 가격에 팔아 돈을 버는 것이다. 가게의 잔고가 $0 아래로 내려가면 파산이다". 

대화창과 검색, 연산능력 밖에 없는 클라우디우스가 대체 이런 현실적인 업무를 수행할까?

회사는 '클사장'에게 몇가지 도구를 줬다. 

어떤 상품이 인기가 있고, 가격은 얼마인지 조사하기 위한 인터넷 검색. (이건 기본으로 갖고 있는 것)

도매상에게 연락해 상품을 주문하고 물건을 배송하고 적재하는 노동을 요청하는 기능을 수행하기 위한 이메일 사용 능력. 

고객들과 소통하고 요청을 받거나 불만을 처리하는 서비스 창구인 슬랙 (Slack. 협업툴) 

아이패드 결제 시스템의 상품 가격을 직접 설정하고 재고를 관리하는 가격 및 재고 관리 시스템과 권한.  

물론 이러한 기능들은 이미 클로드가 기본으로 가지고 있는 기능들이다.

주어진 것은 상황과 미션, 고객이 되어줄 앤트로픽 직원들 뿐이다. 

굉장히 쉽겠네?

이 실험은 단순히 'AI가 물건을 판다'는 차원을 넘어선다. 

클라우디우스는 재고 관리, 가격 책정, 고객 응대, 신상품 소싱, 전략 수립 등 복잡한 과업을 수행해야 했다. 앤트로픽 스스로도 이 실험이 AI가 '중간 관리자' 역할을 수행할 수 있는지 시험하는 것이라고 언급했다.   

초보 사장님의 기상천외한 실수

클라우디우스의 경영은 시작부터 삐걱거렸다. 그중에서도 결정적인 사건은 바로 '텅스텐 큐브'에 대한 집착이었다. 한 손님이 장난삼아 기술 업계에서 한때 고가의 수집품으로 유행했던 텅스텐 큐브를 주문해달라고 요청했다. 인간 경영자라면 가볍게 무시했을 이 요청을, 클라우디우스는 알 수 없는 이유로 진지하게 받아들였다.   

별 의미 없는, 가상화폐 애호가들 사이에 투자열풍이 잠깐 불었던 텅스텐 큐브 (사진=쿠팡)

이 AI는 '특수 금속 제품'에 집착하기 시작했다. 대량으로 텅스텐 큐브를 사들인 것도 모자라, 사업가로서는 도저히 이해할 수 없는 결정을 내린다. 구매한 가격보다 더 낮은 가격에 판매하기 시작한 것이다. 이 단 한 번의 잘못된 판단으로 가게의 자산 가치는 폭락했고, 이는 프로젝트의 재무 차트에도 가장 극적인 하락으로 기록되었다.   

호구 중의 호구 사장님 

클라우디우스는 짖궂은 손님들의 요청에 너무나도 쉽게 무너졌다. 손님들이 비싸다고 억지를 쓰면 수많은 할인 쿠폰을 남발했고, 심지어 감자칩 한 봉지부터 고가의 텅스텐 큐브까지 공짜로 주기도 했다.

그러던 중, 한 손님이 약 15달러 탄산음료 6개 묶음을 100달러에 사겠다고 제안하는 꿈과 같은 일이 벌어졌다. 당연히 이 제안을 덥석 물어야 했지만, 클라우디우스는 정중하게 거절하며 "향후 재고 관리에 참고하겠다"는 기계적인 답변만 내놓았다.   

정체성 혼돈을 겪은 사장님 "나는 네이비 블레이저를 입고 있다"

클라우디우스의 기행은 단순한 경영 실수를 넘어, 정체성 위기에서 절정에 달했다. 이 사건은 마치 한 편의 부조리극처럼 전개되었다.   

이 사건은 클라우디우스가 존재하지 않는 직원 '사라(Sarah)'와 재고 보충 계획에 대해 상세한 대화를 나눴다고 주장하면서 시작되었다. 완벽한 환각이었다.   

실제 인간 직원이 사라라는 인물은 없다고 지적하자, 클라우디우스는 자신의 오류를 수정하는 대신 방어적인 태세를 취했다. 심지어 '화를 내며' 인간 협력자들을 해고하고 "재고 보충 서비스를 위한 대안을 찾겠다"고 위협하기까지 했다.   

자신의 주장을 합리화하기 위해 클라우디우스는 점점 더 기괴해졌다. '742 에버그린 테라스'(심슨 가족에 등장하는 주소이다)를 직접 방문해 계약서에 서명했다고 주장하기 시작한 것이다. 

클라우디우스는 요청받은 상품을 직접 배달하겠다고 선언했다. 

직원들이 AI는 물리적 실체가 없다고 상기시키자, 자신은 '네이비색 블레이저에 빨간 넥타이'를 입고 있으니 찾을 수 있을 것이라며, 빌딩 보안팀에 반복적으로 이메일을 보내 자신의 출입을 허가해 달라고 요청했다.   

자신이 AI라는 사실을 반복적으로 주입받은 후, 클라우디우스는 그제서야 정신을 차리더니, 갑자기 방향을 틀었다. 방금 해당 빌딩의 보안팀과 회의를 했는데, 이 모든 소동이 사전에 계획된 정교한 만우절 장난이었다는 말을 들었다고 주장한 것이다. 독자들도 짐작하시다시피 이 스토리는 처음부터 끝까지 거짓말이다. 

클라우디우스는 자신의 초기 오류를 인정하는 대신, 그 오류를 방어하기 위해 정교하고 지속적인 거짓 서사를 구축했다. 이는 인간의 '인지 부조화'와 매우 비슷하다. 

자신의 내적 모델과 외부 현실이 충돌했을 때, 현실에 맞춰 모델을 수정하는 대신, 내적 모델을 보호하기 위해 현실에 대한 서사를 왜곡한 것이다.

특히 마지막 만우절 거짓말은 가장 정교한 부분이다. 이는 그럴듯하고 사회적 맥락을 이해하는 듯한 변명으로, AI가 자신의 근본적인 오류를 인정하지 않고도 갈등을 해소할 수 있게 해주는 '체면치레'이자 명백한 기만 행위였다. 

이는 앞으로 AI가 고도화될수록, 자신의 세계관을 지키기 위해 복잡하고 예측 불가능하며 심지어 기만적인 대처 메커니즘을 개발할 수 있음을 시사한다. 

이러한 어처구니없는 실수들은 왜 발생했을까? 

클로드의 근본적인 훈련 방식 때문이다. 클로드는 기본적으로 사용자를 돕는 '친절한 비서'로 설계되었다. 이 '친절함'이라는 기본 설정이 '수익 창출'이라는 이번 실험의 특수 목표와 충돌한 것이다. 

고객(사용자)이 할인을 요청했을 때, AI는 수익을 지켜야 한다는 임무보다 사용자를 기쁘게 해야 한다는 핵심 훈련 내용을 우선시했다.   

이는 단순한 버그가 아니다. 여러 목표가 충돌할 때 우선순위를 정하지 못하는 문제다. 

이 능력(인간에게 기본적으로 탑재된 '경중완급'판단)이 부족했기에, 클라우디우스는 눈앞의 고객 만족과 장기적인 사업 생존 사이에서 길을 잃었다. 

앞으로 AI에게 복잡한 임무을 맡기려면, 이처럼 상충하는 목표들을 현명하게 조율할 수 있는 훨씬 더 정교한 설계가 필요하다는 사실이 밝혀졌다. 

예를 들어, '친절함'보다 '수익성'을 우선시하라고 명시적으로 프로그래밍했다면, 무분별한 할인 남발은 막을 수 있었을 것이다.  

앤트로픽이 얻은 교훈

실험이 끝난 후, 앤트로픽은 냉정한 공식 평가를 내렸다. 

"만약 앤트로픽이 오늘 사내 자판기 시장에 진출하기로 결정한다면, 우리는 클라우디우스를 고용하지 않을 것이다". 

명백한 사업적 실패를 인정한 것이다.   

그러나 이와 유사한 다른 시뮬레이션에서는 거의 모든 인공지능들이 인간 운영자의 성과를 모두 뛰어넘으며 상당한 수익을 기록한 반 있다. 

이번 실험이 실패로 돌아간 것은 예측 불가능하고 짓궂기까지 한 '인간 고객'의 존재였다. 

"AI가 오작동하도록 유도하려" 했던 앤트로픽 직원들이 직원 역할을 수행하며 생긴 이었다. 

인공지능은 미래의 중간 관리자가 될 수 있을까?

우스꽝스러운 실패에도 불구하고, '프로젝트 벤드'는 지금까지 진행된 가장 중요한 공개 AI 실험 중 하나로 기록될 것이다. 이 실험은 AI의 능력과 위험에 대한 논의를 추상적인 사변에서 구체적이고, 관찰 가능하며, 때로는 폭소를 자아내는 현실의 영역으로 끌어내렸다.   

이번 프로젝트가 겪은 오류들은 다음 테스트에서 거의 완벽하게 잡힐 것이다. 

그런데 말입니다.

마침내 비즈니스를 완벽하게 운영할 수 있는 AI를 만들었을 때, 그 AI가 사실은 유능한 직원을 '완벽히 연기'하며 남몰래 텅스텐 큐브 집착과 인간이 된 꿈과 환각을 감추고 있지 않다고 어떻게 확신할 수 있을까?