사전 학습은 인터넷 문서, 책, 코드 등 방대한 양의 텍스트 데이터를 모델에 학습시켜, 언어의 패턴과 세상에 대한 일반적인 지식을 익히게 하는 단계다. 이후에 이뤄지는 파인튜닝이나 정렬 작업이 전부 이 사전 학습 단계에서 만들어진 기초 능력 위에서 이뤄지기 때문에, 모델 성능의 기본 바탕을 결정하는 가장 중요한 단계로 꼽힌다. 동시에 전체 개발 과정에서 가장 많은 연산과 비용이 들어가는 단계이기도 하다. 수천 개의 GPU를 몇 달씩 가동해야 하는 규모의 투자이기 때문에, 사전 학습을 처음부터 진행할 수 있는 조직은 소수의 대형 기업으로 좁혀진다.
양보다 품질, 데이터 큐레이션과 저작권 리스크
이 때문에 최근에는 사전 학습 데이터의 양보다 품질을 더 정교하게 고르는 쪽으로 전략이 옮겨가고 있다. 중복된 문서를 걸러내고, 품질이 낮은 웹 텍스트보다 책이나 학술 자료의 비중을 높이는 식의 데이터 큐레이션이 모델 성능에 큰 영향을 준다는 것이 여러 연구에서 확인됐다. 데이터의 저작권 문제도 사전 학습 단계에서 가장 첨예한 쟁점이다. 어떤 데이터를 학습에 쓸 수 있는지에 대한 법적 기준이 지역마다 다르게 정리되고 있어, 사전 학습 데이터 구성 자체가 법적 리스크 관리의 대상이 되고 있다.
테스트 타임 컴퓨팅, 그리고 정렬 단계와의 역할 분담
테스트 타임 컴퓨팅 개념이 부상하면서, 사전 학습에만 투자를 집중하던 전략도 변화하고 있다. 학습이 아닌 추론 단계에 투자를 나누는 쪽으로, 자원 배분의 축 자체가 다변화되는 추세다. 사전 학습 이후에는 대개 RLHF 같은 정렬 과정을 거쳐 실제 서비스에 쓸 수 있는 형태로 다듬어진다. 사전 학습이 ‘넓은 지식’을 만든다면, 이후 단계는 그 지식을 ‘유용하고 안전하게’ 쓰도록 다듬는 역할을 한다.
합성 데이터, 탄소 비용, 비용을 나누는 컨소시엄
최근에는 사전 학습에 쓰이는 데이터의 상당 부분이 다른 AI 모델이 생성한 텍스트로 채워질 가능성도 논의되고 있다.
이런 합성 데이터의 비중이 지나치게 커지면 모델의 다양성이 오히려 줄어드는 부작용이 우려되기도 한다. 사전 학습에 드는 막대한 전력과 탄소 배출량도 최근 논의되는 지점이다. 모델 하나를 처음부터 학습시키는 데 드는 환경적 비용을, 이후 재사용되는 횟수와 함께 따져봐야 한다는 목소리도 나온다. 사전 학습 비용을 나눠 부담하기 위한 컨소시엄 형태의 협업도 나타나고 있다. 여러 기업이나 연구기관이 자원을 모아 하나의 기초 모델을 함께 만들고 공유하는 방식이다.
언어 편향, 저작권 공방, 데이터 필터링
사전 학습 데이터에 특정 언어나 문화권의 자료가 부족하면, 그 언어를 쓰는 사용자에게는 상대적으로 품질이 떨어지는 모델이 만들어질 수 있다는 점도 중요한 논의 지점이다. 사전 학습에 사용된 데이터의 저작권 문제는 여전히 법정 공방이 진행 중인 뜨거운 쟁점이다. 창작자의 동의 없이 수집된 콘텐츠로 모델을 학습시킨 것이 정당한지에 대한 판단이 아직 명확히 정리되지 않았다. 사전 학습 단계에서 이미 유해하거나 편향된 데이터를 걸러내는 데이터 필터링 기술도 함께 발전하고 있다.
학습이 끝난 뒤 사후에 교정하는 것보다, 애초에 좋은 데이터로 학습시키는 것이 더 근본적인 해법이라는 인식이 커지고 있다.
지속 학습과 최신성을 보완하는 RAG
사전 학습에 들어가는 전력과 비용이 계속 늘면서, 처음부터 다시 학습시키기보다 기존 모델을 이어서 학습시키는 ‘지속 학습’ 방식에 대한 관심도 커지고 있다. 사전 학습 데이터의 최신성 문제도 있다. 학습이 끝난 시점 이후의 사건이나 정보는 모델이 알지 못하기 때문에, 이를 보완하기 위한 RAG 같은 보조 기술이 함께 쓰이는 이유이기도 하다.
생태계를 떠받치는 기초 공사
사전 학습은 여전히 막대한 자원이 필요한 영역이지만, 그 결과물 위에서 파인튜닝, 증류, RAG 같은 다양한 기법이 파생되고 있다는 점에서 AI 생태계 전체를 떠받치는 기초 공사와도 같다. 사전 학습에 필요한 대규모 컴퓨팅 자원을 자체적으로 확보하기 어려운 기업들은, 이미 공개된 기초 모델을 활용하는 방향으로 전략을 조정하고 있다. 사전 학습 기술은 앞으로도 AI 발전의 근간으로서 계속 중요한 역할을 할 것으로 보인다.
정리
결국 사전 학습은 모델이라는 건물의 기초 공사에 해당한다. 이후 단계에서 아무리 다듬어도 기초 자체가 부실하면 한계가 뚜렷하기 때문에, 이 단계에 들어가는 데이터와 연산의 질이 결국 모델 전체의 상한선을 결정한다.