[Sklearn] K-Nearest Neighbor(k-최근접 이웃 분류)와 표준화(Scaling)

최근접 이웃(K-Nearest Neighbor)

• 특별한 예측 모델 없이 가장 가까운 데이터 포인트를 기반으로 예측을 수행하는 방법
• 분류와 회귀 모두 지원

 

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

 

 

▶ 생선의 길이와 높이 데이터로 빙어인지, 도미인지 예측하는 분류 문제

# 데이터 준비
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
fish_data = np.column_stack((fish_length, fish_weight))
fish_target = np.concatenate((np.ones(35), np.zeros(14)))

 

# 훈련세트, 테스트세트 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, 
                                                    stratify=fish_target, 
                                                    random_state=42)

※ stratify=fish_target :

    target 데이터가 골고루 섞이도록 훈련, 테스트 세트를 분리한다.

    분류 문제에서는 일반적으로 사용하는 것이 좋다. 

 

# 최근접 이웃 분류모델 적용
from sklearn.neighbors import KNeighborsClassifier 

kn = KNeighborsClassifier() 
kn.fit(train_input, train_target)
kn.score(test_input, test_target)
# 1.0

# 새로운 데이터의 결과 예측
print(kn.predict([[25, 150]]))  
# [0.]  => 빙어로 예측

# 가장 가까운 5개의 샘플 체크 & 그래프 그리기

distances,indexs = kn.kneighbors([[25, 150]])

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(20, 150, marker='^')
plt.scatter(train_input[indexs,0], train_input[indexs,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

왼쪽이 빙어 오른쪽이 도미인데 이 그래프상으로는 왼쪽 그룹에 더 가까워 보임

# 스케일 맞춰서 그래프 그리기

distances,indexs = kn.kneighbors([[25, 150]])

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(20, 150, marker='^')
plt.scatter(train_input[indexs,0], train_input[indexs,1], marker='D')
plt.xlim((0, 1000))  # X축 범위를 y축과 동일하게 설정
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

x축을 맞춰서 보니 오른쪽에 더 가까워 보임 => 결론 : 스케일링이 필요!

 

표준화 스케일링

# 표준점수로 변경

mean = np.mean(train_input, axis=0) #평균
std = np.std(train_input, axis=0) #표준편차
print(mean, std)
# [ 27.29722222 454.09722222] [  9.98244253 323.29893931]

train_scaled = (train_input - mean) / std

# 그래프 다시 그려보기

new = ([25, 150] - mean) /  std

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

표준화 후 오른쪽 그룹에 더 가까운 결과를 확인 할 수 있음.

# train 세트 스케일링 후 다시 모델적용
kn.fit(train_scaled, train_target)

# test 세트도 스케일링 
test_scaled = (test_input - mean) / std
kn.score(test_scaled, test_target)
# 1.0

# 새로운 데이터 결과 예측
print(kn.predict([new]))
# [1.] => 도미로 예측

# 가장 가까운 5개의 샘플 체크 & 그래프 그리기
distances,indexs = kn.kneighbors([new])

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.scatter(train_scaled[indexs,0], train_scaled[indexs,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

가장 가까운 5개 그룹의 위치 역시 바뀐 것을 확인할 수 있음.