전문가 혼합(MoE)

전문가 혼합은 모델 안에 여러 개의 전문가 모듈을 두고, 입력마다 그중 일부만 골라 계산하는 신경망 구조예요. 모델 전체 매개변수는 크지만 한 번의 추론에 실제로 쓰이는 부분은 작아서, 모든 매개변수를 매번 쓰는 방식보다 계산량을 줄일 수 있어요.

이 방식은 대규모 언어 모델의 몸집을 키우면서도 계산 비용을 억제하려는 흐름에서 자리 잡았어요. 모델이 커질수록 학습과 추론에 드는 연산 자원이 급격히 늘어나는데, 일부 전문가만 활성화하면 총 용량과 실제 연산량을 따로 조절할 수 있다는 점이 주목받았어요.

입력이 들어오면 라우터라고 부르는 작은 판단 모듈이 각 토큰을 어느 전문가에게 보낼지 점수를 매겨요. 점수가 높은 상위 몇 개의 전문가만 실행되고, 나머지는 계산에서 빠져요. 선택된 전문가의 출력은 가중치에 따라 합쳐져 다음 층으로 전달돼요.

학습 과정에서는 전문가들이 서로 다른 종류의 입력을 맡도록 조정되며, 특정 전문가에게 일이 쏠리지 않도록 부하를 나누는 장치를 함께 써요. 그래서 추론할 때는 활성 부분만 계산하지만, 메모리에는 전체 가중치를 올려 두어야 하는 점이 특징이에요.

오픈 웨이트로 공개된 대형 모델은 전문가 혼합 구조를 택해 배포 후 실행 비용을 낮추려는 경우가 많아요. 기업은 자체 서버에서 활성 매개변수만큼의 계산 능력으로 돌릴 수 있는지 먼저 확인해야 해요.

다만 전체 가중치를 메모리에 올려야 하므로 고성능 GPU 여러 장이나 큰 메모리가 필요한 경우가 많아요. 긴 문맥이나 많은 동시 요청을 처리할 때는 장비 조건과 응답 속도를 함께 검증하는 것이 좋아요.

전체 매개변수가 많다고 해서 모든 작업에서 성능이 높다는 뜻은 아니에요. 전문가 선택이 입력과 맞지 않으면 품질이 떨어질 수 있고, 특정 전문가에 일이 몰리는 불균형을 막기 위한 설계가 필요해요.

흔한 오해는 활성 매개변수가 적으니 어디서든 가볍게 돌아간다는 생각이에요. 실제로는 전체 가중치를 저장해야 해서 저장 공간과 메모리 부담이 크고, 라우팅 과정과 통신 비용 때문에 기대만큼 빨라지지 않을 수 있어요.

여러 과목의 전문 선생님이 한 학교에 있지만, 질문이 들어올 때마다 관련 과목 선생님 두세 명만 나서서 답하는 상황과 비슷해요. 학교 전체 인원은 많아도 한 번에 움직이는 사람은 적은 셈이에요.

기사에서 말하는 전체 매개변수와 한 번에 활성화되는 매개변수가 왜 다른지 이해해야 모델 규모 발표를 정확히 읽을 수 있어요. 총 용량만 보고 성능이나 비용을 판단하면 오해하기 쉬워요.