양자화Quantization
Quantization
모델의 숫자를 더 적은 비트로 표현해 저장 공간과 연산 부담을 줄이는 기법이에요.
쉽게 비유하면
소수점이 긴 숫자를 더 짧은 눈금에 맞춰 적어 공간을 아끼는 것과 비슷해요.
조금 더 자세히
가중치나 중간 계산값의 정밀도를 낮춰 메모리 사용량을 줄일 수 있어요. 학습을 마친 뒤 적용하거나, 양자화를 고려하며 학습하는 방식이 있어요.
지원되는 하드웨어와 실행 방식에 따라 속도가 빨라질 수 있지만 항상 그런 것은 아니에요. 정확도 손실, 변환 비용과 실제 지연 시간을 함께 측정해야 해요.
왜 생겼나요
큰 모델은 메모리를 많이 사용해 작은 기기나 제한된 서버에서 돌리기 어려워, 더 적은 숫자 표현으로 실행하는 방법이 발전했어요.
어떻게 작동하나요
- 1. 방식 선택 모델과 장치가 지원하는 정밀도와 방법을 골라요.
- 2. 변환 필요하면 보정 데이터를 사용해 숫자 표현을 바꿔요.
- 3. 측정 품질, 메모리와 속도를 기존 모델과 비교해요.
활용 예시
- 노트북에서 언어 모델 실행
- 모바일 모델 메모리 절약
- 서버 모델 저장 크기 축소
흔한 오해
양자화는 파일을 압축했다가 똑같이 복원하는 건가요?
보통 숫자의 표현 정밀도를 줄여 정보가 일부 사라질 수 있어요. 그래서 모델 품질을 다시 평가해야 해요.
이렇게 쓰여요
실행 비용 절감
“양자화한 모델이 메모리에 들어가는지와 우리 평가셋에서 품질이 유지되는지 같이 보자”라고 말해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트