에이전트형 AI, 메모리 부족 속 효율성 경쟁 촉발

AI가 인간의 업무를 대신할 때 우리는 어떤 대가를 치르게 될까? 속담에 “공짜 점심은 없다”는 말이 있듯이.

인공지능은 메모리 칩을 폭발적으로 소비하고 있으며, 현재로서는 대체재가 존재하지 않는다. 

메모리 칩은 AI 모델이 연산을 수행하는 데 필요한 고속 저장 공간을 제공한다. 성능이 향상될수록 AI 모델에 공급할 수 있는 데이터의 양이 늘어나고 처리 속도도 상승한다. 또한 지시를 바탕으로 다수의 프로세스를 수행할 수 있는 AI 에이전트에 작업을 위임하는 데 필수적이라고 여겨진다. 

하지만 그 수요는 빠르게 병목 현상을 만들어내고 있다.

미국의 기술 중심 투자 회사 New Era Funds의 CIO인 리하르드 야르크는 Anthropic의 Claude의 소스 코드를 분석한 결과, AI의 메모리 사용량이 기대치를 넘었다고 주장했다. 

피크 사용 시, 이 경우 단일 에이전트가 288기가바이트 HBM4 메모리 스택의 약 40%를 차지하는 것으로 나타나며, 이로써 이 시스템들이 얼마나 많은 메모리를 필요로 하는지 보여준다. 여러 AI 에이전트를 배치하면 총 메모리 수요가 크게 증가할 것이다.

AI 에이전트에 대한 수요 자체도 빠르게 증가하고 있다.

글로벌 시장조사 기업 Statista에 따르면 지난해 전 세계에서 사용된 AI 에이전트의 수는 2,850만 대에 달했으며, 2030년에는 22억 대로 성장할 것으로 전망된다. 단일 사용자가 다수의 AI 에이전트를 운용하는 이른바 “멀티 에이전트” 시스템의 부상도 주목받고 있다.

Anthropic은 수요가 회사의 가용 메모리 용량을 능가하는 상황에 맞춰, 최근 가격 모델을 시간 기반 구독에서 사용량 기반 요금제로 전환하기 시작했다는 보도가 있다.

“텍스트 데이터 처리만으로도 이미 메모리 용량이 한계를 넘어섰으며, 비디오와 이미지가 포함될 경우 수요는 더욱 급증할 것”이라고 Nota AI의 최고기술책임자 김태호가 말했다. 

AI의 컴퓨팅 칩 측면에서 보면, GPU를 신경망 처리 유닛(NPU)이나 구글의 텐서 처리 유닛(TPU)로 대체하는 등의 옵션이 있다. 그러나 메모리 반도체의 경우 지배적 선택지는 여전히 HBM(고대역폭 메모리)로, 이는 3차원 적층형의 고성능 컴퓨팅 메모리 인터페이스다.

그 결과 기업들은 AI 모델이 차지하는 메모리 양을 줄이는 데 점점 더 집중하고 있다.

구글의 TurboQuant는 3월에 회사의 공식 블로그를 통해 소개되었으며, 이는 이 변화의 표본이다. 이 기술은 대형 언어 모델이 데이터를 처리할 때 발생하는 메모리 병목 현상을 해결해 AI 효율성을 높인다. 구글은 TurboQuant에 관한 전체 논문을 발표하고, 이를 동료 평가를 받도록 브라질에서 열리는 국제 학습 표현 회의(International Conference on Learning Representations)에서 발표할 계획이라고 밝혔다.

한국의 스타트업들도 메모리 효율성 향상 경쟁에 합류하고 있다.

AI 스타트업 Nota는 AI 모델과 가속기 사이에서 교환되는 데이터를 압축해 메모리 사용량을 줄이는 기술을 개발했다. MakinaRocks와 ActionPower는 AI를 비즈니스에 적용하고 이를 운영에 통합하는 AI 트랜스포메이션 스타트업으로, 디바이스에서 직접 실행되는 “온-디바이스” AI를 가능하게 하기 위해 메모리 사용을 줄이는 데 집중하고 있다.

“노트북과 스마트폰처럼 대형 메모리 칩을 수용할 수 없는 디바이스에서 AI 에이전트를 구동하려면, 메모리 사용량을 최소화하는 것이 최선의 방법이다”라고 ActionPower의 최고기술책임자 리 지화가 말했다.

업계는 메모리 사용량에 따라 달라지는 AI 모델로의 전환을 예상하고 있다.

“AI 개발자들은 현재 시장을 지배하기 위한 최첨단 모델 구축에 집중하고 있지만, 채택이 가속화되면서 더 저렴하고 가벼운 모델이 등장해 시장이 구분될 것”이라는 업계 소식통의 말이 전해진다.