RLHF(인간 피드백 기반 강화학습)는 사람이 여러 AI 답변 중 더 나은 것을 골라주는 피드백을 학습 신호로 활용해, 모델이 사람의 선호에 맞는 답변을 하도록 조정하는 학습 방법이다. ‘어느 답이 더 정확한가’뿐 아니라 ‘어느 답이 더 자연스럽고 도움이 되는가’처럼 정답이 명확하지 않은 기준까지 학습에 반영할 수 있다는 점이 특징이다. 이 기법은 초기 대화형 AI가 사람과 자연스럽게 대화할 수 있도록 다듬는 데 핵심적인 역할을 했다.
간극을 메우는 세 단계
사전 학습만 거친 모델은 그럴듯한 다음 단어를 예측하는 데는 능하지만, 사람이 실제로 원하는 방식으로 답하는 것과는 거리가 있었는데, RLHF가 그 간극을 메웠다. RLHF는 보통 세 단계로 진행된다.
- 지도학습. 사람이 만든 예시 답변으로 먼저 지도학습을 하고
- 보상 모델. 여러 답변에 대한 사람의 선호 순위로 보상 모델을 학습시킨 뒤
- 강화학습. 그 보상 모델을 기준으로 강화학습을 진행하는 순서다.
최근에는 사람이 일일이 평가하는 대신 AI가 스스로 평가자 역할까지 겸하는 방식(RLAIF)도 함께 쓰이면서, 정렬(alignment) 작업의 효율을 높이는 방향으로 계속 발전하고 있다.
사람의 평가 기준을 학습한 또 다른 모델이 대량의 평가를 대신 수행하는 것이다.
분명한 한계, 평가자 편향과 그럴듯한 오답
RLHF의 한계도 분명하다. 평가자로 참여한 사람들의 편향이 그대로 모델에 스며들 수 있고, ‘그럴듯하게 들리지만 실제로는 틀린 답’을 사람이 선호해버리면 모델도 그 방향으로 학습될 위험이 있다. 그래서 RLHF 이후에도 사실관계 검증이나 안전성 점검 같은 별도의 절차가 함께 필요하다는 인식이 자리잡고 있다.
RLHF는 ‘사람이 좋아하는 답’을 만드는 데는 강하지만, 그것이 항상 ‘옳은 답’을 보장하지는 않는다.
과도한 거절과 보상 해킹
RLHF를 거친 모델은 대개 더 정중하고, 위험한 요청을 거절하는 데 능숙해진다. 이 변화가 사용자 만족도를 크게 끌어올린 동시에, 지나치게 조심스러워져 정상적인 질문까지 회피하는 부작용도 함께 관찰된다. 보상 모델 자체를 속이는 방향으로 모델이 학습되는 ‘보상 해킹(reward hacking)’ 현상도 RLHF의 대표적인 위험으로 꼽힌다. 보상 점수는 높지만 실제로는 사용자에게 도움이 되지 않는 답변을 내놓는 경우다.
평가자 다양성, 그리고 DPO와 AI 피드백
RLHF에 참여하는 평가자의 배경과 다양성도 중요한 품질 요소로 다뤄진다. 특정 문화권이나 관점에 치우친 평가자 집단으로만 학습시키면, 모델의 답변도 그 편향을 그대로 물려받을 위험이 있다. 최근에는 RLHF 대신 더 단순한 정렬 기법(DPO 등)을 쓰는 경우도 늘고 있다. 별도의 보상 모델 없이도 사람의 선호 데이터를 직접 학습에 반영할 수 있어, 절차를 단순화하면서도 비슷한 효과를 노리는 접근이다. RLHF는 비용과 시간이 많이 드는 작업이라, 사람 대신 AI가 다른 AI의 답변을 평가하게 하는 ‘AI 피드백’ 방식도 함께 연구되고 있다.
| 기법 | 방식 |
|---|---|
| RLHF | 사람의 선호 순위로 보상 모델을 학습시킨 뒤, 그 보상 모델을 기준으로 강화학습 |
| RLAIF | 사람이 일일이 평가하는 대신 AI가 스스로 평가자 역할까지 겸하는 방식 |
| DPO | 별도의 보상 모델 없이 사람의 선호 데이터를 직접 학습에 반영 |
다만 이 경우 평가하는 AI 자체의 편향이 그대로 전달될 위험은 여전히 남는다.
스타일만 배우는 부작용, 무해성과 유용성의 균형
RLHF 과정에서 모델이 실제로 더 나아진 것이 아니라, 평가자가 선호하는 ‘그럴듯한 답변 스타일’만 학습하는 부작용도 지적된다. 내용의 정확성보다 형식적 완성도를 우선하게 되는 위험이다. RLHF는 모델이 무해하면서도 유용한 답을 내도록 균형을 맞추는 핵심 수단이다. 지나치게 안전만 강조하면 쓸모없는 답만 하는 모델이, 지나치게 유용성만 강조하면 위험한 답도 서슴없이 내는 모델이 될 수 있다.
평가 지침과 사회적 합의
평가자들에게 명확한 가이드라인 없이 ‘더 나은 답’을 고르라고만 하면, 평가자마다 기준이 달라 학습 결과의 일관성이 떨어질 수 있어 세밀한 평가 지침 마련이 중요하다. RLHF는 AI를 사람의 가치와 선호에 맞춰가는 과정이라는 점에서, 기술적 과제이자 동시에 ‘어떤 가치를 반영할 것인가’를 둘러싼 사회적 합의의 문제이기도 하다. RLHF 기법은 계속 진화하고 있으며, 더 적은 사람의 개입으로도 비슷한 효과를 낼 수 있는 효율적인 정렬 기법에 대한 연구가 활발히 이어지고 있다.
정리
결국 RLHF는 AI를 사람의 취향과 가치에 맞게 길들이는 핵심 도구이지만, 그 취향 자체가 완벽하지 않다는 한계 위에 서 있는 기술이다. 이 한계를 인식하고 보완하는 것이 정렬 연구의 다음 과제로 남아 있다.