군집 알고리즘
흑백 사진을 분류하기 위해 여러 가지 아이디어를 내면서 비지도 학습과 군집 알고리즘에 대해 이해한다.
과일 사진이 여러개가 있을 때 사진별로 어떤 과일인지를 나눌 수 있을까? 어떤 과일 사진을 보낼지 알 수 없으니 타깃을 알지도 못하는데,,,
타깃을 모르는 비지도 학습
타깃을 모르는 사진을 종류별로 분류하고 싶다. 이렇게 타깃이 없을 때 사용하는 머신러닝 알고리즘을 *비지도 학습*이라고 한다.
사람이 가르쳐 주지 않아도 데이터에 있는 무언가를 학습하는 거다.
과일 사진 데이터 준비하기
과일 데이터는 넘파이 배열의 기본 저장 포맷인 npy 파일로 저장되어 있다. 넘파이에서 이 파일을 읽으려면 먼저 코랩으로 다운로드해야 한다.
!wget https://bit.ly/fruits_300_data -O fruits_300.npy
>>--2023-06-05 03:36:01-- https://bit.ly/fruits_300_data
Resolving bit.ly (bit.ly)... 67.199.248.11, 67.199.248.10
Connecting to bit.ly (bit.ly)|67.199.248.11|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://github.com/rickiepark/hg-mldl/raw/master/fruits_300.npy [following]
--2023-06-05 03:36:01-- https://github.com/rickiepark/hg-mldl/raw/master/fruits_300.npy
Resolving github.com (github.com)... 140.82.112.3
Connecting to github.com (github.com)|140.82.112.3|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://raw.githubusercontent.com/rickiepark/hg-mldl/master/fruits_300.npy [following]
--2023-06-05 03:36:01-- https://raw.githubusercontent.com/rickiepark/hg-mldl/master/fruits_300.npy
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.108.133, 185.199.109.133, 185.199.110.133, ...
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.108.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3000128 (2.9M) [application/octet-stream]
Saving to: ‘fruits_300.npy’
fruits_300.npy 100%[===================>] 2.86M --.-KB/s in 0.04s
2023-06-05 03:36:02 (64.2 MB/s) - ‘fruits_300.npy’ saved [3000128/3000128]여기서 !로 시작하는 것은 코랩이 이후 명령을 파이썬 코드가 아니라 리눅수 셸(shell) 명령으로 이해한다. wget명령은 원격 주소에서 데이터를 다운로드하여 저장한다. -O 옵션에서 저장할 파일 이름을 지정할 수 있다. 이 명령을 실행하고 나서 코랩의 왼쪽 파일 탭을 열면 다음 그림처럼 fruits_300.npy가 저장된 것을 볼 수 있다.
import numpy as np import matplotlib.pyplot as plt- 넘파이에서 npy 파일을 로드하는 방법은 아주 간단하다. load() 메서드에 파일 이름을 전달하는 것이 전부다.
fruits = np.load('fruits_300.npy')- fruits는 넘파이 배열이고 fruits_300.npy 파일에 들어 있는 모든 데이터를 담고 있다.
print(fruits.shape)
>>(300, 100, 100)- 이 배열의 첫 번째 차원(300)은 샘플의 개수를 나타내고, 두 번째 차원(100)은 이미지 높이, 세 번째 차원(100)은 이미지 너비이다. 이미지 크기는 100X100이다.
- 첫 번째 이미지의 첫 번째 행을 출력하겠다. 3차원 배열이기 때문에 처음 2개의 인덱스를 0으로 지정하고 마지막 인덱스는 지정하지 않거나 슬라이싱 연산자를 쓰면 첫 번째 이미지의 첫 번째 행을 모두 선택할 수 있다.
print(fruits[0,0,:])
>>[ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1
2 2 2 2 2 2 1 1 1 1 1 1 1 1 2 3 2 1
2 1 1 1 1 2 1 3 2 1 3 1 4 1 2 5 5 5
19 148 192 117 28 1 1 2 1 4 1 1 3 1 1 1 1 1
2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1]- 첫 번째 행에 있는 픽셀 100개에 들어 있는 값을 출력해보겠다. 이 넘파이 배열은 흑백 사진을 담고 있으므로 0~255까지의 정숫값을 가진다.
- 맷플롯립의 imshow() 함수를 사용하면 넘파이 배열로 저장된 이미지를 쉽게 그릴 수 있다. 흑백 이미지이므로 cmap 매개변수를 'gray'로 지정한다.
plt.imshow(fruits[0],cmap='gray')
plt.show()
우리의 관심 대상이 사과이기 때문에 흰색 바탕을 검게 만들고 사진에 짙게 나온 사과를 밝은색으로 만들었다. 우리가 보는 것과 컴퓨터가 처리하는 방식이 다르기 때문에 종종 흑백 이미지를 이렇게 반전하여 사용한다.
0에 가까울수록 검게 나타나고 높은 값은 밝게 표시된다.
- cmap 매개변수를 'gray_r'로 지정하면 다시 반전하여 우리 눈에 보기 좋게 출력한다.
plt.imshow(fruits[0],cmap='gray_r')
plt.show()
- 이 그림에서는 밝은 부분이 0에 가깝고 짙은 부분이 255에 가까운 값이라는 것을 기억해야 한다.
- 이 데이터는 사과,바나나,파인애플이 각각 100개씩 들어 있다. 바나나와 파인애플 이미지도 출력하겠다.
fig,axs = plt.subplots(1,2)
axs[0].imshow(fruits[100],cmap='gray_r')
axs[1].imshow(fruits[200],cmap='gray_r')
plt.show()
- 맷플롯립의 subplots() 함수를 사용하면 여러 개의 그래프를 배열처럼 쌓을 수 있도록 도와준다. subplots() 함수의 두 매개변수는 그래프를 쌓을 행과 열을 지정한다. 여기에서는 subplots(1,2)처럼 하나의 행과 2개의 열을 지정했다.
- 반환된 axs는 2개의 서브 그래프를 담고 있는 배열이다. axs[0]에 파인애플 이미지를, 그리고 axs[1]에 바나나 이미지를 그렸다. 이 장에서는 subplots()를 사용해 한 번에 여러 개의 이미지를 그려 보겠다.
픽셀값 분석하기
사용하기 쉽게 fruits 데이터를 사과,파인애플,바나나로 각각 나누어 보자. 넘파이 배열을 나눌때 100X100 이미지를 펼쳐서 길이가 10,000인 1차원 배열로 만들겠다. 이렇게 펼치면 이미지로 출력하기 어렵지만 배열을 계산할 때 편리하다.
- fruits 배열에서 순서대로 100개씩 선택하기 위해 슬라이싱 연산자를 사용한다. 그다음 reshape()메서드를 사용해 두 번째 차원(100)과 세 번째 차원(100)을 10,000으로 합친다. 첫 번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당한다.
apple = fruits[0:100].reshape(-1,100*100)
pineapple = fruits[100:200].reshape(-1,100*100)
banana = fruits[200:300].reshape(-1,100*100)이제 apple,pineapple,banana 배열의 크기는 (100,10000)이다. 사과를 확인해보면
print(apple.shape)
>>(100, 10000)이제 apple,pineapple,banana 배열에 들어 있는 샘플의 픽셀 평균값을 계산해 보자.
이제 넘파이 mean()메서드를 사용한다. 샘플마다 픽셀의 평균값을 계산해야 하므로 mean() 메서드가 평균을 게산할 축을 지정해야 한다.
axis=0으로 하면 첫 번째 축인 행을 따라 계산한다. axis=1로 지정하면 두 번째 축인 열을 따라 계산한다.
** axis는 배열의 축을 의미한다. 다음의 apple 2차원 배열에서 axis=1일 때는 열 방향으로 계산하고 axis=0 일 때는 행 방향으로 계산한다.**
우리가 필요한 것은 샘플의 평균값이다. 샘플은 모두 가로로 값을 나열했으니 axis=1로 지정하여 평균을 계산한다.
print(apple.mean(axis=1))
>>[ 88.3346 97.9249 87.3709 98.3703 92.8705 82.6439 94.4244 95.5999
90.681 81.6226 87.0578 95.0745 93.8416 87.017 97.5078 87.2019
88.9827 100.9158 92.7823 100.9184 104.9854 88.674 99.5643 97.2495
94.1179 92.1935 95.1671 93.3322 102.8967 94.6695 90.5285 89.0744
97.7641 97.2938 100.7564 90.5236 100.2542 85.8452 96.4615 97.1492
90.711 102.3193 87.1629 89.8751 86.7327 86.3991 95.2865 89.1709
96.8163 91.6604 96.1065 99.6829 94.9718 87.4812 89.2596 89.5268
93.799 97.3983 87.151 97.825 103.22 94.4239 83.6657 83.5159
102.8453 87.0379 91.2742 100.4848 93.8388 90.8568 97.4616 97.5022
82.446 87.1789 96.9206 90.3135 90.565 97.6538 98.0919 93.6252
87.3867 84.7073 89.1135 86.7646 88.7301 86.643 96.7323 97.2604
81.9424 87.1687 97.2066 83.4712 95.9781 91.8096 98.4086 100.7823
101.556 100.7027 91.6098 88.8976]- 사과 샘플 100개에 대한 픽셀 평균값을 계산했다. 히스토그램을 그려보면 평균값이 어떻게 분포되어 있는지 한눈에 잘 볼 수 있다.
** 히스토그램은 값이 발생한 빈도를 그래프로 표시한 것이다. 보통 x축이 값의 구간이고,y축은 발생 빈도이다.**
- 맷플롯립의 hist()함수를 사용해 히스토그램을 그려보자. 사과 파인애플 바나나에 대한 히스토그램을 모두 겹쳐 그려 보겠다.
- alpha 매개변수를 1보다 작게하여 투명도를 낮춰서 겹친 부분을 잘보게 만들겠다.
- 맷플롯립의 legend() 함수를 사용해 어떤 과일의 히스토그램인지 범례를 만들어 보겠다.
plt.hist(np.mean(apple,axis=1),alpha=0.8)
plt.hist(np.mean(pineapple,axis=1),alpha=0.8)
plt.hist(np.mean(banana,axis=1),alpha=0.8)
plt.legend(['apple','pineapple','banana'])
plt.show()
바나나는 사진에서 차지하는 영역이 작아 평균값이 작지만 사과와 파인애플은 동그랗고 사진에서 차지하는 크기도 비슷하기 때문에 픽셀값만으로는 구분하기 쉽지 않다.
- 이번에는 샘플의 평균값이 아니라 픽셀별로 평균값을 비교해 보자. 전체 샘플에 대한 각 픽셀의 평균을 계산하는 거다. 세 과일은 모양이 다르므로 픽셀값이 높은 위치가 조금 다를 것이다.
- 픽셀의 평균을 계산하는 것도 간단하다. axis=0으로 지정하면 된다.
- 이번에는 맷플롯립의 bar()함수를 사용해 픽셀 10,000개에 대한 평균값을 막대그래프로 그려 보겠다. subplots()함수로 3개의 서브 그래프를 만들어 사과,파인애플,바나나에 대한 막대그래프를 그려 보겠다.
fig,axs = plt.subplots(1,3,figsize=(20,5))
axs[0].bar(range(10000),np.mean(apple,axis=0))
axs[1].bar(range(10000),np.mean(pineapple,axis=0))
axs[2].bar(range(10000),np.mean(banana,axis=0))
plt.show()
- 순서대로 사과 파인애플,바나나이다. 사과는 사진 아래쪽으로 갈수록 값이 높아지고,파인애플은 비교적 고르게 높고 바나나는 확실히 중앙의 픽셀값이 높다
- 픽셸 평균값을 100X100 크기로 바꿔서 이미지처럼 출력하여 위 그래프와 비교하면 더 좋다. 픽셀을 평균 낸 이미지를 모든 사진을 합쳐 놓은 대표 이미지로 생각할 수 있다.
apple_mean = np.mean(apple,axis=0).reshape(100,100)
pineapple_mean = np.mean(pineapple,axis=0).reshape(100,100)
banana_mean = np.mean(banana,axis=0).reshape(100,100)
fig,axs = plt.subplots(1,3,figsize=(20,5))
axs[0].imshow(apple_mean,cmap='gray_r')
axs[1].imshow(pineapple_mean,cmap='gray_r')
axs[2].imshow(banana_mean,cmap='gray_r')
plt.show()
평균과 가까운 사진 고르기
사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 골라보자. 3장에서 봤던 절대값 오차를 사용한다. fruits 배열에 있는 모든 샘플에서 apple_mean을 뺀 절대값의 평균을 계산하면 된다.
다음 코드에서 abs_diff는 (300,100,100) 크기의 배열이다. 따라서 각 샘플에 대한 평균을 구하기 위해 axis에 두 번째, 세 번째 차원을 모두 지정했다. 이렇게 계산한 abs_mean은 각 샘플의 오차 평균이므로 크기가 (300,)인 1차원 배열이다.
abs_diff = np.abs(fruits-apple_mean)
abs_mean = np.mean(abs_diff,axis=(1,2))
print(abs_mean.shape)
>>(300,)그다음 이값이 가장 작은 순서대로 100개를 골라 보겠다.
- np.argsort()함수는 작은 것에서 큰 순선대로 나열한 abs_mean 배열의 인덱스를 반환한다.
- 이 인덱스 중에서 처음 100개를 선택해 10X10 격자로 이루어진 그래프를 그리겠다.
apple_index = np.argsort(abs_mean)[:100]
fig,axs = plt.subplots(10,10,figsize=(10,10))
for i in range(10):
for j in range(10):
axs[i,j].imshow(fruits[apple_index[i*10 + j]],cmap='gray_r')
axs[i,j].axis('off')
plt.show()
- 먼저 subplots() 함수로 10 x 10, 총 100개의 서브 그래프를 만든다.그래프가 많기 때문에 전체 그래프의 크기를 figsize=(10,10)으로 조금 크게 지정했다.
- 그 다음 2중 for 반복문을 순회하면서 10개의 행과 열에 이미지를 출력했다. axs는 (10,10) 크기의 2차원 배열이므로 i,j 두 첨자를 사용하여 서브 그래프 위치를 지정한다. 또 깔끔하게 이미지만 그리기 위해 axis('off')를 사용하여 좌표측을 그리지 않는다.
이렇게 비슷한 샘플끼리 그룹으로 모으는 작업을 군집이라고 한다. 군집은 대표적인 비지도 학습 작업 중 하나이다. 군집 알고리즘에서 만든 그룹을 클러스터라고 한다.
***그런데 실제 비지도 학습은 타기값을 모르기 때문에 이번 예처럼 샘플의 평균값을 미리 구할 수 없다. 타깃값을 모르면서 세 과일의 평균값을 찾는 방법을 6-2에서 배울 k-평균 알고리즘이 이 문제를 해결한다.***