기업 AI 도입에서 가장 비싼 것은 GPU가 아니라 운영의 모호함

모델을 고르는 조직보다 일을 정의하는 조직이 먼저 앞선다

GPU가 놀고 있는데도 기업은 새 AI 플랫폼을 계속 산다. VentureBeat Intelligence 조사에서 AI를 실제 운영하는 기업의 79%가 GPU를 절반 이하로 사용한다고 답했고, 그중 70%는 1년 안에 새 플랫폼을 도입할 계획이라고 했다.

숫자만 보면 인프라의 낭비처럼 보인다. 내가 보기에는 더 오래된 문제가 드러난다. 기업이 아직 AI를 어디에 쓸지보다 무엇을 끝내게 할지 정의하지 못했다는 문제다.

🔍 AI 도입의 병목은 모델이 아니라 일의 경계다

기업은 두 종류의 AI 비용을 동시에 낸다. 하나는 미리 확보한 GPU와 플랫폼 비용이고, 다른 하나는 직원과 에이전트가 매번 호출하는 모델 사용료다. 둘은 서로 쉽게 바뀌지 않는다.

그래서 비용을 줄이려면 토큰 단가부터 비교할 일이 아니다. 한 작업을 끝내는 데 얼마가 들었는지, 그 결과를 누가 확인했는지를 먼저 측정해야 한다.

• 모델 가격이 아니라 완료된 업무 단위로 비용을 계산한다.
• 에이전트에게 전체 문서를 주지 말고 필요한 맥락만 전달한다.
• 여러 에이전트가 필요한 경우는 일이 실제로 병렬화될 때로 제한한다.

VentureBeat가 인용한 조사에서 9월에 새 AI 플랫폼을 검토한 기업의 91%는 재무팀이 검토한 투자수익 수치를 갖고 있지 않았다. 플랫폼을 더 사는 행동은 빠른데, 어떤 업무가 끝나면 성공인지 정하는 일은 뒤에 남아 있는 셈이다.

🔭 실제 전환은 화려한 산업보다 반복 업무에서 시작된다

AI Magazine이 소개한 EliseAI 사례가 흥미로운 이유는 주택 임대와 의료 행정처럼 매일 반복되는 업무를 골랐기 때문이다. 기사에 따르면 EliseAI의 에이전트는 미국 아파트 6곳 중 1곳의 임대 대화에 관여하고, 3천만 명 이상이 그 시스템과 대화했으며, 연간 약 5천만 건의 전화를 처리한다.

이 사례의 핵심은 대단한 모델 하나가 아니다. 기존 부동산 관리 시스템과 연결하고, 문의·예약·수리 요청처럼 시작과 끝이 비교적 분명한 업무를 맡긴 구조다. 모델은 교체할 수 있지만 업무의 경계와 책임자는 쉽게 교체되지 않는다.

내가 워크플로를 만들 때도 출발점은 늘 도구가 아니다. 누가 어떤 정보를 넘기고, 어디까지 자동으로 실행하며, 어느 순간 사람이 멈춰 세울지를 먼저 적는다. 이 세 줄이 없으면 에이전트는 일을 줄이는 대신 확인할 일을 늘린다.

AI World Journal은 2026년을 AI가 실험 단계를 지나 인프라가 되는 시기로 정리한다. 이 표현은 맞지만 순서를 잘못 읽으면 위험하다. 인프라는 설치하는 순간 생기는 것이 아니라, 반복되는 업무와 책임의 구조가 안정된 뒤에야 인프라로 기능한다.

AI를 조직에 넣는 일은 새 모델을 고르는 일이 아니다. 사람이 하던 판단을 어디까지 기록하고, 어디까지 맡기고, 어디에서 다시 가져올지를 정하는 일이다. 모델은 빠르게 바뀐다. 정의된 업무와 남겨둔 책임은 다음 모델이 와도 남는다.

참고한 발행물

• VentureBeat, AI bubble update: 79% of companies say their GPUs sit idle
• AI Magazine, How EliseAI Builds AI Agents for Housing and Healthcare
• AI World Journal, The State of AI in 2026: The Year Intelligence Became Infrastructure
• 관련 영상, Building EliseAI: Healthcare
• 관련 오디오 리포트, AI World Podcast

본문의 통계와 사례는 위 발행물을 바탕으로 요약했습니다. 해석과 업무 적용은 박준혁의 관점입니다. 본문 도식 3점은 박준혁이 이 글을 위해 제작했습니다.