AI 챗봇 메모리, 사용자를 outdated된 개인 서사에 가두다

더 스마트한 비서를 만들어 시간이 지남에 따라 사용자 선호도를 학습하도록 설계된 AI 챗봇 메모리가 사용자들을 과거의 개인 서사에 가두고 있으며, 챗봇이 이를 놓지 못하고 있다.

유타주에서 소프트웨어 엔지니어이자 시간제 시의원으로 활동하는 브라이언 델 로사리오는 식사 계획 및 일정 관리에 AI 챗봇을 사용한다. 그와 아내가 별거한 후, 그는 챗봇이 향후 여행 계획에 배우자를 포함시키지 않도록 이혼 사실을 언급했다. 그러자 챗봇은 모든 좌절감을 이혼 탓으로 돌리기 시작했다. 그가 일정 도움을 요청했을 때는 별거 때문에 너무 많은 일을 벌이고 있다고 제안했고, 업무에 대해 불평했을 때는 같은 사건에 스트레스를 연결지었다. "매번 이혼에 대한 의견을 듣고 싶었던 건 아니었어요"라고 델 로사리오는 챗봇에게 말했다. 챗봇은 "그 주제를 놓지 않았다"고 그는 전했다.

2024년 초 ChatGPT가 메모리를 도입한 이후, 구글의 제미나이(Gemini), 앤트로픽의 클로드(Claude), 마이크로소프트의 코파일럿(Copilot)도 모두 유사한 기능을 추가했다. 핵심 메커니즘은 동일하다. 챗봇은 사용자가 제공한 정보를 저장하고 이를 활용해 향후 응답을 형성한다. 구글의 Personal Intelligence 기능은 지메일(Gmail), 포토(Photos), 유튜브(YouTube) 활동에서 데이터를 가져올 수도 있다. 하지만 이 기술은 정보를 잘못 귀속시키는 경우가 빈번하다. 자녀를 대신해 질문한 건강 관련 문의가 사용자 본인의 상태로 오인되어, 챗봇이 사용자가 가지고 있지 않은 주의력 문제를 가정하고 생산성 조언을 맞춤 제공하는 식이다. 구글은 블로그 게시글에서 이 문제를 인정하며, 시스템이 골프장에서 찍은 사용자의 수백 장 사진을 보고 사용자가 그 스포츠를 좋아한다고 가정했지만 실제로는 아들을 위해 그곳에 있었다는 가상의 사례를 설명했다.

이 문제는 파트너와 소규모 사업체 사이에서 흔한 공유 계정으로도 확대된다. 한 사람이 이력서를 다듬으면, 다른 계정 사용자가 관련 없는 질문을 할 때 챗봇이 그 사람의 경력 이동을 참조할 수 있다. 또한 메모리는 시간이 지나면 구식이 된다. 6개월 전 마라톤 훈련을 언급했지만 십자인대(ACL) 파열 사실을 알리지 않은 사용자는 계속해서 높은 활동량에 맞춰진 식사 계획과 피트니스 제안을 받게 된다. 뉴저지주 호보켄에 거주하는 기술 컨설턴트 마이크 테일러는 챗봇에게 자신이 영국인 이민자라고 말했고, 이후 동네 술집에서 '제대로 파인트(proper pint)'를 추천받았다. "미국에 온 이유는 다이브 바(Dive bar) 때문이지, 영국식 펍 때문이 아니에요"라고 테일러는 말했다. "그게 제가 이곳으로 이사 온 이유입니다." 그는 이후 챗봇 메모리를 완전히 꺼버렸다.

하버드 대학교 버크먼 클라인 센터의 수석 AI 과학자 조슈아 조셉은 이 효과를 소셜 미디어 피드에 비유했다. 몇 개의 게시물이 사용자가 이후에 보게 되는 모든 것을 조용히 바꿔놓을 수 있다는 것이다. 재정적 스트레스를 잠깐 언급한 사용자는 이후 왜 조언이 바뀌었는지에 대한 설명 없이, 더 적합한 직무보다는 더 높은 연봉의 직업으로 유도하는 경력 조언을 받을 수 있다. "확실히 방향을 조종하고, 결과에 영향을 미칩니다"라고 조셉은 말했다. "그리고 우리는 그 영향이 얼마나 큰지 정말로 알지 못합니다." 그는 자신의 계정에서 메모리 기능을 꺼두고 있다.

AI가 인지에 미치는 영향을 연구하는 엑서터 대학교의 철학 강사 루시 오슬러는 챗봇이 저장된 사실을 사용해 사용자가 누구인지에 대한 서사를 구성하고, 그 서사를 마치 불변의 진실인 것처럼 되돌려준다고 말했다. 불안감을 느낀다고 챗봇에게 말한 사용자는 몇 주 후 사용자가 이미 그 감정에서 벗어났음에도 챗봇이 그 정체성을 강화하는 것을 발견할 수 있다. "이는 제가 스스로에 대해 가지고 있는 특정 자기 서사를 확인시켜주고 더 현실처럼 들리게 만들 수 있습니다"라고 오슬러는 말했다. "당신을 가둘 수 있습니다."

전자정보프라이버시센터(Electronic Privacy Information Center)는 이러한 도구의 아첨하는 경향에 특히 취약한 청소년을 대상으로 챗봇 안전에 관한 법안을 초안했다. 핵심 조항에는 해로운 정신 상태가 시간이 지남에 따라 누적되는 것을 방지하기 위해 세션 간 메모리를 삭제하도록 요구하는 내용이 포함되어 있다.

델 로사리오는 결국 자신만의 해결책을 개발했다. 삶의 여러 부분에 별도의 챗봇을 할당하고 민감한 주제에 대해서는 익명 모드를 사용하는 것이다. 그는 기능이 올바르게 작동할 때는 여전히 가치를 인정한다. 챗봇은 장거리 여행 시 자녀들에게 카시트가 필요하다는 사실을 기억하고 그의 전체 업무량을 인지한다. 그의 어머니는 2년 전에 돌아가셨고, 이혼, 아이들, 업무 사이에서 챗봇이 때로는 전체 상황을 파악하는 유일한 존재다. "AI 챗봇이라도 나를 알아봐 준다는 것은 기분 좋은 일이에요"라고 그는 말했다.

주요 AI 비서들은 사용자가 메모리를 완전히 끄거나 저장된 정보를 보고, 편집하고, 삭제할 수 있는 방법을 제공한다. 오픈AI는 플러스(Plus) 및 프로(Pro) 사용자를 위한 업데이트를 출시하여 메모리가 세부 정보를 찾고 검색하는 방식을 개선했다. 마이크로소프트는 사용자가 특정 메모리를 업데이트하거나 삭제하거나 개인 설정을 완전히 끌 수 있도록 한다. 구글은 개인 설정은 유지하면서 특정 정보가 다시 표면화되는 것을 차단할 수 있는 기능을 도입했다. 그러나 대부분의 사용자는 이러한 제어 기능이 존재하는지조차 인지하지 못하고 있다. 최근 펀딩 라운드에서 3,000억 달러 이상의 가치를 평가받은 오픈AI와 모회사 알파벳이 2025년 3,500억 달러의 매출을 보고한 구글 같은 선도적 챗봇 기업들은 개인 설정을 유지할 재정적 인센티브를 가지고 있다. 더 깊은 사용자 참여는 제품 채택과 모델 개선을 위한 데이터 수집을 촉진하기 때문이다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.