로컬 AI, 왜 하드웨어부터인가

로컬 AI(로컬 LLM)는 외부 클라우드 API 대신 자신이 관리하는 PC·워크스테이션·서버에서 AI 모델을 직접 실행하는 방식입니다. 데이터가 외부로 나가지 않고, 사용량에 비례하는 API 비용 없이 운영할 수 있다는 점이 핵심 장점입니다.

하지만 "어떤 하드웨어에 어떤 모델을 돌릴 수 있는가"가 구축의 성패를 가릅니다. 모델 크기와 하드웨어가 맞지 않으면 응답 속도가 실용 이하로 떨어지거나, 아예 실행이 불가능할 수 있습니다.

모델 크기와 메모리의 관계

가장 먼저 이해해야 할 것은 모델 파라미터 크기와 필요한 메모리(VRAM)의 관계입니다.

  • 모델 가중치는 일반적으로 파라미터 수 × 정밀도별 바이트 수만큼 메모리를 차지합니다.
  • 예: 7B(70억 파라미터) 모델을 4비트 양자화(Q4)로 실행하면 가중치만 약 4GB가 필요합니다.
  • 여기에 입력 컨텍스트(KV 캐시), 추론 과정의 임시 데이터가 추가되므로 가중치 용량의 1.5~2배 정도 VRAM을 확보하는 것이 안전합니다.
모델 규모 권장 VRAM (4비트 양자화 기준) 적합한 용도
1~3B 4~8GB 요약, 분류, 경량 작업
7~8B 8~16GB 개발 보조, 문서 요약, 질의응답
13~14B 16~24GB 품질이 필요한 업무 자동화
30~34B 24~48GB (멀티 GPU 가능) 고난도 추론, 기업용 서비스
70B+ 48GB+ (멀티 GPU) 최고 품질, 대규모 컨텍스트

정밀도(FP16)를 유지하면 필요 메모리가 2~4배로 증가합니다.

GPU 선택 기준

1. VRAM 용량이 최우선

모델을 통째로 VRAM에 올려야 속도가 나옵니다. VRAM이 부족하면 CPU 메모리로 오프로딩되어 속도가 수십 배 느려집니다. "성능"보다 "VRAM 용량"을 먼저 보세요.

2. 목적에 맞는 선택

  • 개인 개발·실험: 소비자용 GPU(24GB VRAM급)로 7~14B 모델 실행이 현실적인 시작점입니다.
  • 팀 단위 서비스: 데이터센터용 GPU(4880GB VRAM급) 12장으로 30B급 모델을 안정적으로 운영할 수 있습니다.
  • 대규모·다중 사용자: GPU 여러 장 분산 추론이나, 추론 서버 소프트웨어(vLLM 등)로 병렬 처리를 구성합니다.

3. 추론 서버 소프트웨어

모델 실행 환경은 Ollama(간단한 로컬 실행)와 vLLM(고성능 서버 추론)이 대표적입니다. 소규모 실험은 Ollama로 시작하고, 여러 사용자가 동시에 이용하는 서비스는 vLLM 같은 전용 추론 서버로 구성하는 것이 일반적입니다.

비용 구조 비교: 로컬 vs 클라우드 API

항목 로컬 AI 클라우드 API
초기 투자 하드웨어 구매 (수백만 원~수억 원) 없음
운영 비용 전기, 냉각, 유지관리 사용량(토큰) 비례 과금
데이터 통제 내부망에서 완전 통제 외부 전송 발생
확장성 하드웨어 교체로 확장 즉시 확장
적합한 상황 대량·고빈도 사용, 민감 데이터 소량·간헐적 사용, 빠른 시작

핵심은 사용량입니다. 하루 수백 건의 요청을 계속 보낸다면 API 비용이 하드웨어 투자비를 빠르게 추월합니다. 반대로 월 몇십 건 수준이라면 API가 더 경제적입니다.

하이브리드 구성이 현실적인 답인 경우

많은 기업이 민감한 작업은 로컬 모델, 일반 작업은 외부 API를 쓰는 하이브리드 구조를 선택합니다. 데이터 민감도와 업무 특성에 따라 처리 경로를 나누면, 통제력과 성능을 동시에 확보할 수 있습니다.

구축 전 체크리스트

  1. 용도 정의: 어떤 모델 규모가 필요한가 (요구 품질 → 모델 규모 역산)
  2. 사용량 추정: 동시 사용자 수, 하루 요청량
  3. 예산 범위: 초기 투자 + 3년 운영 비용
  4. 환경 제약: 전력, 냉각, 공간, 네트워크(폐쇄망 여부)
  5. 운영 인력: 모델 교체, 성능 모니터링을 할 수 있는가

우리 환경에 맞는 로컬 AI 구성을 설계하고 싶다면 로컬 AI 서비스 페이지에서 구축 범위를 확인하거나 문의하기로 현재 장비와 목적을 알려주세요.