지식 증류는 크고 성능 좋은 ‘교사 모델’의 출력을 ‘학생 모델’이 따라 배우게 하는 학습 방식이다. 정답 레이블만 배우는 것이 아니라, 교사 모델이 각 선택지에 대해 어느 정도 확신을 갖는지까지 참고하기 때문에, 단순히 데이터만 복사하는 것보다 훨씬 효율적으로 능력을 전달할 수 있다. 그 결과로 나온 경량 모델은 원본 모델에 근접한 성능을 내면서도 훨씬 적은 자원으로 구동할 수 있어, 서비스 운영 비용을 크게 낮추는 수단으로 널리 쓰이고 있다.
증류가 효과적인 이유
최근 화제가 된 여러 오픈소스 모델들도 상당 부분 이 증류 기법을 활용해 만들어졌다. 증류가 효과적인 이유는 교사 모델의 ‘확률 분포’ 자체가 정보를 담고 있기 때문이다. 정답 하나만 배우는 것보다, 어떤 오답이 정답과 비슷한 확률을 가졌는지까지 함께 배우면 학생 모델은 더 풍부한 판단 기준을 학습하게 된다.
SLM과 온디바이스 모델의 핵심 도구
증류는 SLM 제작의 핵심 도구이기도 하다. 온디바이스에서 돌아가야 하는 작은 모델일수록, 처음부터 데이터를 모아 학습시키는 것보다 이미 잘 학습된 대형 모델의 지식을 옮겨 담는 쪽이 훨씬 현실적인 접근이다.
교사의 편향까지 전달되므로 검증이 필요하다
다만 교사 모델의 한계와 편향도 함께 전달된다는 점은 주의가 필요하다. 학생 모델은 교사가 가진 오류나 편향까지 그대로 답습할 수 있어서, 증류 이후에도 별도의 검증과 교정 과정이 필요한 경우가 많다. 최근에는 여러 교사 모델의 지식을 섞어서 증류하거나, 특정 영역에서만 선택적으로 증류하는 기법도 연구되고 있다. 하나의 거대한 교사에게만 의존하지 않고, 여러 전문 모델의 강점을 조합하려는 시도다. 실무에서는 증류 이후 반드시 원본 모델과의 성능 격차를 벤치마크로 재확인하는 절차를 둔다.
어떤 과제에서는 격차가 거의 없지만, 특정 유형의 질문에서는 성능이 크게 떨어지는 경우가 있어 배포 전 점검이 필수로 여겨진다.
다단계 증류와 교사 모델 선택
증류된 모델을 다시 한 번 증류해 더 작은 모델을 만드는 ‘다단계 증류’도 시도되고 있다. 다만 단계를 거칠수록 원본의 미묘한 뉘앙스가 조금씩 손실된다는 점은 감안해야 한다. 증류 대상이 되는 교사 모델을 여러 개 두고, 문제 유형에 따라 다른 교사의 지식을 선택적으로 가져오는 방식도 연구되고 있다.
코드 문제는 코딩에 강한 교사에게서, 언어 문제는 대화에 강한 교사에게서 배우는 식이다.
오픈소스가 격차를 좁힌 비결
증류는 오픈소스 커뮤니티가 대형 폐쇄형 모델과의 격차를 빠르게 좁힐 수 있었던 핵심 비결이기도 하다. 새로운 대형 모델이 나올 때마다, 그 지식을 소형 모델에 옮겨 담는 증류 모델이 몇 주 안에 뒤따라 공개되는 패턴이 반복되고 있다. 증류 과정에서 학생 모델이 교사 모델의 오류나 편향까지 그대로 물려받을 수 있다는 점도 유의해야 할 부분이다.
교사가 틀린 것을 자신 있게 말하면, 학생도 그 틀린 답을 ‘정답’으로 배우게 된다.
비용 절감을 넘어 환경과 모바일까지
증류는 비용 절감 수단이면서 동시에 환경 측면에서도 의미가 있다. 소형화된 모델은 학습과 추론에 필요한 전력이 적어, 대형 모델을 그대로 서비스하는 것보다 탄소 배출을 줄이는 효과도 함께 갖는다. 지식 증류는 모바일 앱에 AI 기능을 탑재할 때 특히 자주 쓰인다. 서버와 통신하지 않고 기기 안에서 바로 실행할 수 있을 만큼 모델을 가볍게 만드는 핵심 기법이기 때문이다.
목적에 맞는 크기를 고르는 전략
증류된 모델의 품질을 검증할 때는 원본 교사 모델과의 답변 일치율뿐 아니라, 실제 사용자 만족도까지 함께 측정하는 것이 중요하다는 지적이 나온다. 지식 증류 기술이 성숙해질수록, ‘큰 모델을 쓸 수밖에 없다’는 인식 자체가 옅어지고 있다. 목적에 맞는 크기의 모델을 선택하는 것이 오히려 더 합리적인 전략으로 받아들여지는 분위기다. 국내 스타트업 중에도 대형 모델의 지식을 증류해 자사 서비스에 맞는 경량 모델을 직접 만들어 쓰는 사례가 늘고 있으며, 이는 API 비용 절감의 실질적인 수단으로 활용되고 있다.
지식 증류 기술은 앞으로도 AI의 대중화를 앞당기는 핵심적인 기술로 계속 주목받을 것으로 보인다.
정리
결국 지식 증류는 ‘AI 성능은 크기에 비례한다’는 단순한 공식을 깨는 대표적인 기술이다. 잘 압축된 지식이 원본에 가까운 실력을 훨씬 저렴하게 낼 수 있다는 것을, 지금의 오픈소스 생태계가 실증하고 있다.