1) 벡터(Vector)란?

• 수학에서의 벡터

  • 벡터는 크기(magnitude) 와 방향(direction) 을 가지는 수학적 대상

    

  • n차원 공간상의 한 점(Point)을 벡터라고 지칭하기도함 ex)벡터B

• AI에서의 벡터
  • AI에서는 벡터를 “어떤 데이터의 의미/특징을 숫자 배열로 표현한 것” 으로 많이 사용
    • 예시) 사과(높이/너비)의 특성 배열 : [5, 20]
  • 일반적으로 텍스트, 이미지, 오디오 등의 데이터는 컴퓨터가 처리하기 어려으므로, 이러한 비정형 데이터를 임베딩(embedding) 과정을 통해 숫자 배열 형태의 벡터로 변환하여 사용
• 현실세계 데이터의 벡터화

  • 이미지

    

    • 픽셀의 밝기값들에 대한 데이터
    • 강아지 사진의 픽셀값 = [0.9, 0.3, 0.7, ...]

  • 텍스트(단어)의 특성에 따른 벡터화

    • 예시)집 데이터 (면적: 84, 방: 3, 거리: 500)
    • 3차원 벡터(배열)인 x = [84, 3, 500]로 표현
    • 사전에 특성을 정의하고 벡터화하는 방법은 현대적 AI 모델에서는 거의 사용하지 않음.

  • 단어의 현대적 벡터화

    • 현대적 AI에서는 미리 정의한 몇가지 특성이 아닌, 수많은 문맥속에서 귀납적으로 다른 단어들속에서의 관계와 특성을 학습하여 수치화

    • 예를 들어)

      "파리는 프랑스의 수도이다"
      "파리에 에펠탑이 있다"
      "파리 패션위크가 열렸다"
      "파리행 비행기를 탔다"
      

      • 위와 같은 수많은 문장을 귀납적으로 학습
      • 이 과정에서 1)파리와 프랑스의 관계, 2)파리와 에펠탑의 관계, 3)파리와 패션의 관계, 4)파리와 여행의 관계 등을 다른 단어들과의 관계성 속에서 학습
      • 파리 = [0.8, 0.9, 0.3, 0.7, 0.6, ...] 와 같은 수백차원의 벡터데이터로 변환

    • 즉, 다른 단어와의 관계성 까지 고려하여 n차원의 숫자로 변환(Embedding)

  • 문장의 벡터화

    • 단어의 벡터 뿐만 아니라, 문장끼리의 유사성을 기반한 벡터로도 확장
    • 문장 자체를 수치화 함으로서, 문장간의 유사성판별 등의 계산에 활용
    • 문장 벡터는 128/384/768/1536/3072 차원등이 사용

2)벡터의 내적(dot product)

• 수학적 정의

  • 벡터의 내적은 두 벡터가 얼마나 같은 방향으로 향하고 있는지를 수치로 나타내는 연산

    

  • 두 벡터 $\mathbf{a}, \mathbf{b}$ 의 내적

    • 두 벡터를 같은 좌표 자리끼리 행렬곱해서 더한 값
    • 예시)
      • a = [3, 4] , b = [2, 5] → 내적 = (3×2) + (4×5) = 26
      • a = [3, 4], b = [-4, 2] → 내적 = (3×-4) + (4×2) = -4
    • 내적값을 표준화하면, 최종적으로 내적이 1에 가까울수록 두 벡터가 유사하다는 것을 의미
• 직관적인 내적의 의미
  • “내적값이 크다” = "두 벡터 사이의 각도가 작다" = "두 데이터의 특성과 내용이 비슷하다” = “(코사인)유사도가 크다(1에 가깝다)”

3) 벡터유사도의 활용

• 벡터유사도의 핵심 성질
  • 의미가 비슷한 데이터는 벡터 공간에서도 가깝게 만들어짐
  • 코사인 유사도(내적)를 사용하여 두 데이터가 얼마나 닮았는지 0에서 1 사이의 점수로 환산
• 대표 활용
  • 유사도 검색(의미론적 검색 - semantic 검색 )
    • 벡터 내적을 구하고 유사도를 계산하여 비슷한 문장들을 검색하는 것
    • 예를 들어)
      • DB에서 '강아지'로 검색하면 시 RDB는 '개'라는 단어가 포함된 문서 검색불가
      • 유사도 기반 검색은 단어가 달라도 벡터값이 유사하고, 내적이 크다면 유사도 검색 가능
  • RAG
    • 사전에 사내문서를 임베딩하여 벡터 DB에 미리 저장 → 사용자의 질문을 임베딩 → 벡터 DB에서 유사도가 높은 상위 k개(Top-k)를 추출→ 최종적으로 LLM에게 전달하여 답변을 생성
      • *임베딩 : 문장/문서/이미지 등을 고차원 벡터로 변환하는 작업