코인베이스, 중국 오픈소스 모델 도입으로 AI 지출 50% 가까이 절감

코인베이스(Coinbase)의 브라이언 암스트롱(Brian Armstrong) 최고경영자(CEO)는 회사가 내부 LLM 게이트웨이를 통해 중국 오픈소스 모델 GLM 5.2와 Kimi 2.7을 기본 옵션으로 설정하면서 AI 지출을 약 50% 가까이 줄였다고 밝혔다. 같은 기간 토큰 사용량은 기하급수적으로 계속 증가했다.

암스트롱 CEO는 지난 7일(현지시간) 엑스(X) 게시글에서 "엔지니어의 91%가 사용량 상한에 도달한 적이 없기 때문에 쿼터를 조정하는 대신 더 저렴한 기본 모델로 전환했다"고 설명했다.

이 암호화폐 거래소는 세 가지 비용 절감 조치를 도입했다. 프롬프트를 전처리하고 캐시 적중률과 가격을 기준으로 가장 비용 효율적인 모델에 작업을 할당하는 스마트 라우팅 시스템, 리브레챗(LibreChat)의 캐시 적중률을 5%에서 60%로 끌어올린 공격적인 캐싱, 그리고 엔지니어가 작업을 전환할 때 새 세션을 시작하도록 요구하는 컨텍스트 간소화다. 복잡한 계획 및 추론 작업의 경우 엔지니어는 여전히 프론티어 모델을 호출할 수 있으며, 코드 리뷰는 여러 모델의 출력이 서로 교차 검증하는 멀티모델 병렬 전략을 사용한다.

이번 전환은 서구 기업 프로덕션 환경에서 중국 오픈소스 AI의 상업적 실행 가능성을 입증한 사례로, 오픈AI(OpenAI) 및 앤트로픽(Anthropic)과 같은 미국 공급업체의 가격 결정력에 직접적인 도전이 되고 있다. 코인베이스 입장에서는 AI 사용을 제한하기보다 확장하는 시점에 비용 절감이 마진과 수익성 지표를 개선하는 데 도움이 될 수 있다.

스마트 라우팅이 수동 모델 선택을 대체하다

암스트롱 CEO는 회사의 맞춤형 스케줄링 프레임워크가 모든 프롬프트를 전처리한 후 캐시 적중 확률과 토큰당 가격에 따라 가장 적합한 모델로 자동 라우팅한다고 말했다. 목표는 엔지니어가 아닌 AI가 모델 선택을 처리하도록 하는 것이라고 그는 강조했다. 실행 수준의 작업에는 가장 비싼 프론티어 모델이 필요하지 않으며, 오직 계획 및 추론 작업에만 필요하다고 그는 주장했다.

캐싱과 컨텍스트 규율이 비용 절감의 핵심 동력

코인베이스는 이제 모든 AI 요청이 캐시를 인식하도록 요구한다. 즉, 새 응답을 생성하기 전에 시스템이 이전 응답을 재사용할 수 있는지 확인한다. 리브레챗 구현이 그 영향을 잘 보여준다: 최적화 이후 캐시 적중률이 5%에서 60%로 급등했다. 암스트롱 CEO는 또한 엔지니어들에게 컨텍스트 윈도를 간결하게 유지하도록 촉구했다. 새 세션을 시작하고, 파일 범위를 좁히고, 사용하지 않는 도구를 연결 해제하여 낭비되는 토큰 소비를 줄이라는 것이다.

회사는 절대적인 지출 규모를 공개하지 않았다. 그러나 토큰 사용량이 기하급수적으로 증가하는 가운데 약 50%의 감축을 달성했다는 것은 코인베이스가 소비와 비용을 부분적으로 분리하는 데 성공했음을 시사한다.

AI 시장에 미치는 의미

베이징에 본사를 둔 지푸 AI(Zhipu AI)가 개발한 GLM 5.2와 베이징 문샷 AI(Moonshot AI)의 Kimi 2.7을 기본 엔터프라이즈 모델로 채택한 것은 서구 기업 인프라 내에서 중국 오픈소스 AI의 이정표가 되는 사건이다. 프리미엄 가격을 고수하는 오픈AI의 GPT-4o와 앤트로픽의 클로드 4(Claude 4)는 이제 일상적인 작업에서 품질 저하 없이 기업이 배포할 수 있는 신뢰할 수 있는 저비용 대안에 직면하게 됐다.

투자자에게 메시지는 분명하다. 다른 대기업들이 코인베이스의 전략을 따른다면, 프리미엄 미국 AI 모델의 접근 가능한 시장은 고난도 작업으로만 축소되어, 전사적 기업 채택에 의존하는 공급업체들의 수익 성장 기대치를 압박할 수 있다. 나스닥에 COIN 티커로 상장된 코인베이스는 정확한 달러 규모의 비용 절감액을 공개하지 않았지만, 구조적 비용 개선은 AI 사용량이 확장됨에 따라 마진 확대를 뒷받침한다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.