개발 공학 및 연산 단위

AI를 만들고 다루는 사람들을 위한 기초 개념

6개 게시글

토큰 — AI가 글을 읽고 쓰는 가장 작은 단위

토큰

AI가 글을 읽고 쓰는 가장 작은 단위

AI는 우리가 보는 '글자'가 아니라, 토큰이라는 조각 단위로 문장을 쪼개 이해하고 생성합니다.

파라미터 — 모델 크기를 나타내는 숫자의 의미

파라미터

모델 크기를 나타내는 숫자의 의미

'몇십억 파라미터 모델'이라는 표현이 흔해졌지만, 이 숫자가 정확히 무엇을 의미하는지는 잘 알려져 있지 않습니다.

RLHF — AI를 사람의 취향에 맞게 길들이는 학습법

RLHF

AI를 사람의 취향에 맞게 길들이는 학습법

정답이 하나로 정해지지 않은 문제에서, 사람의 선호를 학습 신호로 활용해 AI를 다듬는 기법입니다.

프롬프트 엔지니어링 — 같은 모델도 질문법에 따라 결과가 다르다

프롬프트 엔지니어링

같은 모델도 질문법에 따라 결과가 다르다

모델을 바꾸지 않고도, 지시문을 어떻게 구성하느냐에 따라 결과 품질이 크게 달라집니다.

사전 학습 — 모든 AI 능력의 출발점

사전 학습

모든 AI 능력의 출발점

인터넷 규모의 방대한 데이터를 통째로 학습시켜 기초 모델의 뼈대를 만드는, 가장 비용이 많이 드는 단계입니다.

파인튜닝 — 범용 모델을 우리 회사 전용으로 바꾸는 법

파인튜닝

범용 모델을 우리 회사 전용으로 바꾸는 법

이미 학습된 기초 모델에 우리 데이터를 추가로 학습시켜, 특정 업무에 맞게 다듬는 과정입니다.