본문 바로가기

인컨텍스트 학습

모델을 다시 학습시키지 않고 입력에 넣은 예시만 보고 새 작업을 수행하는 능력이에요.

In-context Learning

어떤 개념인가요

인컨텍스트 학습은 모델을 다시 학습시키지 않고, 질문과 함께 넣은 몇 개의 예시만 보고 같은 방식으로 답을 내는 능력이에요. 예시가 없으면 지시문만으로 작업을 이해해야 하고, 예시가 있으면 그 패턴을 따라 결과를 맞춰 가요. 모델 내부의 값이 바뀌지 않는다는 점이 파인튜닝과 구별되는 핵심이에요.

대규모 언어 모델이 커지면서 이 능력이 뚜렷하게 관찰되었고, 별도 학습 없이도 새 과제를 시도할 수 있는 방법으로 자리 잡았어요. 학습 비용과 시간을 줄이고 빠르게 실험하려는 필요가 이 개념을 널리 쓰이게 만들었어요.

작동 원리

모델은 입력 안에 있는 예시와 질문을 한꺼번에 읽고, 학습 때 익힌 언어 패턴을 활용해 다음에 올 답을 예측해요. 이 과정에서 모델의 가중치는 고정되어 있어요.

예시의 형식, 순서, 정답 표시가 명확할수록 모델이 규칙을 잘 따라가는 경향이 있어요. 그래서 어떤 예시를 고를지 정하는 일이 중요한 작업 단계가 돼요.

어디에 쓰이나요

분류 기준을 몇 개 예시로 보여 주고 새 문장을 같은 기준으로 나누게 하거나, 번역 형식을 예시로 알려 주는 식으로 쓰여요. 과제가 자주 바뀌고 학습 데이터를 준비하기 어려운 상황에 적합해요.

입력 길이에는 한계가 있어서 예시가 많아지면 컨텍스트 창을 넘지 않도록 골라 넣어야 해요. 예시의 품질이 낮으면 결과도 흔들리므로 정답이 확실한 예시를 쓰는 것이 좋아요.

한계와 오해

예시를 많이 넣는다고 모델이 새 지식을 영구히 얻는 것은 아니에요. 대화가 끝나면 그 예시의 효과도 사라지고 모델 자체는 그대로예요.

흔한 오해는 인컨텍스트 학습이 곧 학습이라고 생각하는 것이에요. 복잡한 전문 지식이나 대량의 새 데이터는 여전히 파인튜닝이나 검색 증강 생성이 더 알맞을 수 있어요.

예를 들면

요리책을 펼쳐 놓고 비슷한 요리 두세 가지를 먼저 보여 준 뒤, 같은 방식으로 새 요리를 만들어 보라고 하는 것과 비슷해요. 요리법을 새로 배우지 않아도 눈앞의 예시를 보고 따라 할 수 있어요.

왜 알아둘 만한가요

같은 모델이라도 입력에 어떤 예시를 넣느냐에 따라 결과가 달라지므로, 프롬프트를 작성하거나 AI 서비스를 설계할 때 이 원리를 알아두면 큰 도움이 돼요. 파인튜닝과 무엇이 다른지 구분해야 비용 판단도 제대로 할 수 있어요.

in-context learning, 문맥 내 학습

LastAI에서 직접 보기

이 말이 나온 글

출처와 더 읽기

DeepLearning.AI

연결해서 읽을 개념

프롬프트AI에게 건네는 요청이나 지시예요.LLM(거대 언어 모델)아주 많은 글을 읽고 배워서, 다음에 올 말을 이어 쓰는 AI예요.학습과 추론학습은 AI가 자료로 배우는 단계, 추론은 배운 AI가 실제로 답을 내는 단계예요.컨텍스트 창AI가 한 번에 보고 기억할 수 있는 글의 양이에요.새로 배울 개념 1표 데이터 파운데이션 모델표 형태 데이터를 미리 폭넓게 학습해 새 데이터셋의 예측에 바로 쓰는 AI 모델이에요.KV 캐싱트랜스포머 모델이 앞서 계산한 값을 저장해 두었다가 재사용하는 기법이에요.

마이