1. 데이터 전처리

1. 1. 구조화/정리

1. 1. 1. CSV 읽기 (✅)

train_features 와 train_labels 를 합해 단일 소스로부터 학습을 진행하도록 함 (artifact/train_table.csv )

→ 학습 과정을 용이하게 한다

1. 1. 2. GroupKFold로 fold 컬럼 만들기 (✅)

test 데이터는 train 데이터와 완전히 분리된 site 정보를 가지고 있기 때문에 만약 일반 K-Fold ㅊCross Validation을 진행하게 된다면 train과정과 valid 과정에서 동일한 site 정보를 공유할 수 있다는 위험성이 있다.

→ 따라서 우선 site 별로 조각 (fold)을 낸 뒤에 site 별로 순환하며 validation을 진행한다

<aside> ❓

Validation vs. Cross Validation

1) 일반 validation(hold-out)

• train 데이터를 한 번 나눕니다.
  • 예: 80% train / 20% validation
• 한 번의 validation 점수로 모델/설정을 평가합니다.

장점

• 구현이 단순하고 빠름

단점

• 어떤 데이터가 validation에 들어갔는지에 따라 점수가 흔들릴 수 있음(운 영향 큼)
• 데이터가 적거나, 분포가 복잡하면 “한 번의 분할”이 대표성을 잃기 쉬움

2) K-fold cross validation

• train 데이터를 K개 조각(fold)으로 나누고,
• K번 반복합니다.
  • 매번 1개 fold를 validation으로, 나머지 K-1개를 train으로 씀
• 최종적으로 K개의 점수를 평균(및 분산)내서 평가합니다.

장점

• 분할 운에 덜 좌우됨
• 점수의 평균/분산을 같이 볼 수 있어 “안정성” 판단이 쉬움

단점

• K번 학습하므로 시간이 더 듦 </aside>

<aside> ❓

loc vs iloc

• loc : 라벨(label) 기준
  • 인덱스 이름(예: id)이나 컬럼명으로 선택
  • 예: df.loc["ZJ000001", "fold"] (인덱스가 id일 때)
• iloc : 위치(position) 기준
  • 0, 1, 2… 같은 행 번호로 선택
  • 예: df.iloc[0, 3] (0번째 행, 3번째 열) </aside>

1. 2. 입력 전처리 (✅)

모델에 넣기 좋은 픽셀 형태로 만드는 작업

• 이미지 로딩
• resize, grayscale, normalize
  • 이미지 사이즈를 통일하기 위해서 먼저 어떤 사이즈 분포를 가지고 있는지 시각화가 필요하다 생각했다

<aside> ❓

이미지를 규격화할때 최적의 image size는 무엇인가

결론은 “데이터와 분석 목적에 따라 다르다”

• 우리 데이터의 경우 대부분이 16:9이고, 최소 크기가 160x95이다.

따라서 이상적으로는 16:9 사이즈로 모두 규격화한뒤에 진행하는게 맞지만 우선 빠르게 베이스라인을 만들기 위해 코드를 단순화해야하고, 그러기 위해서는 1:1 비율의 직사각형이 맞다고 판단함

그렇기 때문에 최소 크기에 맞춰 120~160 사이의 크기로 resize하는게 필요했고,

HOG의 경우 아래와 같이 데이터 처리를 시작하기 때문에

• pixels_per_cell = (8, 8)
• cells_per_block = (2, 2) → 블록 크기 = 16×16 픽셀

이때 입력 크기가 8이나 16의 배수면 격자가 깔끔하게 떨어진다.

• 셀/블록이 이미지에 고르게 배치
• 경계에서 애매한 “남는 픽셀” 문제 해결 가능

128은

• 8의 배수(128/8=16)

• 16의 배수(128/16=8)

  라서 가장 깔끔

</aside>

<aside> ❓

Grayscale 기반 전처리 (H, W) vs. RGB 기반 전처리 (H, W, 3)

1) 흑백(grayscale)이 유리한 경우

• 야간 적외선 (Infrared, IR) 이미지가 많거나, 주/야가 섞여서 색 정보가 일관되지 않을 때
  • IR은 색 채널 정보가 사실상 의미가 없거나, 색 분포가 주간과 완전히 달라져서 RGB를 그대로 쓰면 **도메인 시프트 (분포 차이)**가 커질 수 있다.
• HOG 같은 기울기/형태 기반 특징을 쓸 때
  • HOG는 원래 밝기 변화 (gradient) 중심이라 grayscale로도 정보 손실이 비교적 작고, 입력 차원이 줄어 학습이 안정적
• 계산 비용/모델 복잡도를 낮추고 싶을 때
  • RGB는 (H,W,3)이라 입력 정보량이 늘어 비용이 증가합니다.

2) 컬러(RGB)가 유리한 경우

• 주간 RGB 이미지가 충분히 많고, 종 구분에 **색/패턴(털 색, 반점 색, 배경 색 대비)**이 실제로 도움이 될 때
• CNN처럼 색 정보를 자연스럽게 활용하는 모델을 쓸 때
  • 이런 경우는 RGB가 성능 향상으로 연결되는 일이 많다 (단, 야간 IR이 섞이면 전처리/모델 설계를 더 신경 써야 한다).

이번 프로젝트에서는 주야 사진이 섞여있기 때문에 grayscale로 처리할 예정

</aside>

1. 3. 특징 전처리 (✅)

• HOG feature 추출(이미지 → 벡터)

• 표준화(StandardScaler) 등

  → scikit-learn 모델이 다루기 좋은 수치 벡터로 만드는 작업

1. 3. 1. (Histogram of Oriented Gradients, HOG)란

https://velog.io/@hsbc/Histograms-of-Oriented-Gradients-HOG