LLM 모델별 필요한 GPU 메모리 계산법 완벽 가이드

요즘 LLM 모델 하나쯤은 다루고 싶은데, GPU 메모리 계산이 너무 복잡하다고 느끼셨다면 이 글을 주목해주세요!

안녕하세요, 여러분! 저는 최근에 새로운 LLM 모델을 서버에 올리려고 하다가 GPU 메모리 계산 때문에 머리가 아픈 경험을 했어요. Llama3 70B 모델을 올려보려고 했는데, 도대체 얼마만큼의 GPU 메모리가 필요한지 감이 안 오더라고요. 그래서 관련 자료를 여기저기 뒤져봤고, 마침내 명확한 기준과 계산법을 정리하게 되었죠. 이 글에서는 복잡한 수식도 쉽게 풀어서 설명드릴 거예요. 저처럼 혼란을 겪었던 분들께 꼭 도움이 되었으면 합니다.

목차

GPU 메모리 계산 기본 공식 데이터 타입별 메모리 요구사항 모델별 GPU 메모리 계산 예시 추론 vs 학습 메모리 요구사항 GPU 메모리 요구사항 감소 기법 13B 모델 학습 사례 분석

GPU 메모리 계산 기본 공식

LLM을 실제로 서빙하거나 학습시키려면 가장 먼저 확인해야 할 것이 바로 GPU 메모리예요. 이건 단순히 "좋은 그래픽카드"가 필요하다는 얘기가 아니라, 정확히 얼마만큼의 메모리가 있어야 모델을 원활하게 돌릴 수 있는지 계산해야 한다는 뜻이죠. 기본 공식은 이렇습니다:

GPU 메모리(GB) = (파라미터 수 × 바이트당 파라미터 × (32/비트 폭) × (1 + 오버헤드))

여기서 오버헤드는 대체로 20%(=0.2) 정도로 잡고 계산하면 안전하고요, 비트 폭은 사용하려는 정밀도(32, 16, 8, 4)에 따라 달라집니다. 예를 들어 70억 파라미터짜리 모델을 16비트 정밀도로 서빙한다면? 대략 14GB 정도가 필요하겠죠.

데이터 타입별 메모리 요구사항

정밀도에 따라 파라미터가 차지하는 바이트 수가 달라집니다. 아래 표에서 가장 많이 사용되는 float32, BF16, int8, int4의 메모리 크기를 비교해 보세요.

데이터 타입	비트 수	바이트 수
float32	32	4
BF16 / half	16	2
int8	8	1
int4	4	0.5

모델별 GPU 메모리 계산 예시

구체적인 모델을 기준으로 계산해보면 이해가 훨씬 쉬워요. 아래에 대표적인 LLM 모델 몇 가지의 메모리 요구량을 정리해봤습니다.

• Llama3 70B (16비트): 약 672GB 메모리 필요
• Llama3 70B (8비트): 약 84GB 메모리 필요
• 7B 모델 (16비트): 약 14GB 메모리로 충분

추론 vs 학습 메모리 요구사항

LLM 모델을 사용하는 목적에 따라 필요한 GPU 메모리는 크게 달라져요. 추론만 할 건지, 아니면 학습까지 고려하는지에 따라 메모리 계산이 달라져야 하거든요.

추론(Inference)에서는 일반적으로 모델의 저장 크기와 비슷한 메모리가 필요합니다. 반면 학습(Training)은 훨씬 더 많은 리소스를 요구하는데요, 보통 추론 메모리의 3~4배 정도를 잡아야 해요.

게다가 학습 시에는 그래디언트 저장, 옵티마이저 상태 보관 등 추가적인 요소가 메모리를 잡아먹기 때문에, 실사용 환경에서는 10~20%의 여유까지 고려해야 하죠.

GPU 메모리 요구사항 감소 기법

GPU 메모리가 부족하다고 좌절하긴 아직 이릅니다. 다행히도, 메모리를 줄이면서도 모델을 잘 돌릴 수 있는 다양한 기법들이 있어요.

기법	설명
양자화 (Quantization)	16bit → 8bit 또는 4bit로 변환해 메모리 절약
LoRA / QLoRA	작은 파라미터만 학습하여 전체 모델 재사용
모델 병렬화	여러 GPU에 모델을 분산하여 처리

13B 모델 학습 사례 분석

실제 사례를 하나 들어볼게요. LLM 학습을 처음 하려는 분들이 많이 도전하는 13B 모델을 기준으로 계산해 보면 다음과 같습니다.

• 기본 저장: 52GB (130억 × 4바이트)
• 학습 메모리: 208GB 이상
• 옵티마이저 상태: 104GB (AdamW 기준)
• 총합 (여유 포함): 약 437GB

Q LLM 모델은 꼭 고정 소수점(정밀도) 줄여야 하나요?

꼭 그런 건 아니지만, GPU 메모리 절약을 위해 float32 대신 float16, int8 등을 사용하는 게 일반적입니다. 특히 4bit 양자화는 효율 극대화에 좋아요.

Q 모델 크기(파라미터 수)가 클수록 정확도가 더 높나요?

꼭 그렇진 않아요. 용도와 데이터셋에 따라 작지만 튜닝이 잘된 모델이 더 나은 성능을 내는 경우도 있어요.

Q A100 80GB 하나로 어떤 모델까지 돌릴 수 있을까요?

보통 13B 모델은 여유 있게 돌릴 수 있고, 30B 모델은 양자화 및 최적화가 있어야 가능합니다. 70B는 병렬화 없이는 어렵죠.

Q 학습과 추론에 사용하는 GPU는 달라도 되나요?

네, 학습은 고성능 다중 GPU 환경에서 진행하고, 추론은 저사양 GPU에서도 가능하게 압축, 양자화하여 사용할 수 있어요.

Q LoRA와 QLoRA는 어떻게 다른가요?

LoRA는 원본 모델 위에 가볍게 레이어를 추가해 학습하는 방식이고, QLoRA는 양자화된 모델에서도 같은 개념을 적용하는 방식이에요.

Q GPU 메모리 부족하면 어떻게 해야 하나요?

양자화, 모델 병렬화, FlashAttention 등 다양한 최적화 기법을 적용해보세요. 아니면 Amazon, LambdaLabs 같은 클라우드 서버 활용도 좋아요.

이제 GPU 메모리 계산이 더 이상 두렵지 않으시죠? 사실 처음엔 저도 수식 보고 머리가 지끈했어요. 근데 몇 번 계산해보고, 사례 비교해보니까 감이 딱 오더라구요. 여러분도 직접 모델 크기와 정밀도, 용도를 바탕으로 필요한 메모리를 대략적으로 추산해보세요. 특히 13B 이하 모델은 양자화만 잘하면 꽤 저렴한 GPU에서도 충분히 돌릴 수 있다는 거, 그거 진짜 큰 희소식 아닐까요? 궁금한 점이나 직접 해보신 경험이 있다면 댓글로 같이 나눠봐요!

tags: