본문 바로가기

멀티벡터 검색

문서를 여러 벡터로 나눠 세밀하게 비교하는 검색 방식이에요.

Multi-Vector Retrieval

어떤 개념인가요

멀티벡터 검색은 문서 하나를 벡터 하나로 요약하지 않고, 토큰마다 생긴 여러 벡터로 표현해 질문과 세밀하게 비교하는 검색 방식이에요. 질문의 단어 하나하나가 문서의 어느 부분과 맞는지 살필 수 있어서 정밀도가 높아요.

정밀도가 높은 만큼 문서마다 벡터가 많이 생겨 저장량과 계산량이 커지는 문제가 있어요. 그래서 토큰 풀링처럼 벡터 수를 줄이는 기법과 함께 쓰이는 경우가 많아요.

작동 원리

질문과 문서를 각각 여러 토큰 벡터로 바꾼 뒤, 질문의 각 벡터가 문서 벡터들 중 가장 잘 맞는 것을 찾아 점수를 합산하는 방식으로 동작해요. 문서 벡터는 미리 계산해 저장해 두어요.

문서 벡터를 미리 저장해 두기 때문에 검색할 때 문서 전체를 다시 계산하지 않아도 돼요. 대신 벡터 저장소의 용량과 비교 연산이 커져서 설계가 중요해요.

어디에 쓰이나요

문서가 길고 정확한 답을 찾아야 하는 검색 서비스에서 쓸 수 있어요. 질문과 문서의 세부 표현을 비교해야 할 때 특히 잘 맞아요.

벡터 수를 줄이는 기법과 함께 쓰면 저장 부담을 덜 수 있어요. 적용 전에 저장 공간, 응답 속도, 검색 품질을 함께 측정하는 것이 좋아요.

한계와 오해

벡터 하나로 요약하는 방식보다 항상 낫다고 생각하면 안 돼요. 데이터 규모가 작거나 빠른 응답이 중요하면 단순한 방식이 더 나을 수 있어요.

문서가 많아질수록 저장과 계산 비용이 빠르게 커져요. 정확도만 보고 도입하면 운영 비용에서 어려움을 겪을 수 있어요.

예를 들면

긴 책에서 장면마다 색인 카드를 만들어 두고, 질문과 맞는 카드를 골라 읽는 방법과 비슷해요.

왜 알아둘 만한가요

검색 품질을 높이려는 서비스에서는 벡터 하나로 요약하는 방식의 한계를 알아야 하고, 멀티벡터 검색이 왜 저장 비용을 키우는지 이해해야 적절한 설계를 고를 수 있어요.

멀티벡터 임베딩, Multi-vector

LastAI에서 직접 보기

이 말이 나온 글

출처와 더 읽기

Hugging Face blog

연결해서 읽을 개념

임베딩글이나 그림의 뜻을 숫자 묶음으로 바꾼 것이에요. 뜻이 비슷하면 숫자도 비슷해져요.RAG(검색 증강 생성)AI가 답하기 전에 관련 자료를 먼저 찾아 읽고, 그 자료를 바탕으로 답하게 하는 방법이에요.토큰AI가 글을 읽고 쓸 때 쓰는 글 조각이에요. 사용량과 요금을 재는 단위이기도 해요.새로 배울 개념 1토큰 풀링비슷한 토큰 벡터를 묶어 개수를 줄이는 기법이에요.미들웨어미들웨어는 운영체제와 응용 프로그램 사이에서 공통 기능을 연결하고 처리해 주는 중간 소프트웨어예요.

마이