#!/usr/bin/env python3
Linear Support Vector Machine: Soft Margin
# x1 = Sepal Length
# x2 - Petal Width
구분 가능한 소프트 마진 SVM을 텐서플로에 구현하기 위해서는 다음과 같은 비용함수를 구현해야합니다.
$$\frac{1}{n} \sum^{n}_{i=1}{max \left(0,1-y_{i}(Ax_{i}-b) \right)}+a \parallel A \parallel ^{2}$$
$A$는 기울기 벡터, $b$는 절편, $x_{i}$는 입력벡터, $y_{i}$는 실제 분류 대상 값(-1, 1)이고 $a$는 소프트 마진 구분 정도를 가리키는 규칙화 매개변수 입니다.
그래프 세션을 시작하고, 필요한 데이터를 로드합니다. 꽃받침 길이와 꽃잎 폭에 해당하는 데이터셋의 첫번재, 네 번째 변수를 로딩합니다. setosa종일 때는 값이 1이고, 그 외의 경우에는 값이 -1이 되게 대상 값을 로드합니다.
from sklearn.datasets import load_iris
import numpy as np
import tensorflow as tf
from tensorflow.python.framework import ops
ops.reset_default_graph()
sess = tf.Session()
iris = load_iris()
# load the data
x_vals = iris.data[:, [0,3]]
print(x_vals[:6])
# [[5.1 0.2]
# [4.9 0.2]
# [4.7 0.2]
# [4.6 0.2]
# [5. 0.2]
# [5.4 0.4]]
y_vals = np.array([1 if y==0 else -1 for y in iris.target])
print(y_vals)
# [ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
# 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
# 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
# -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
# -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
# -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
# -1 -1 -1 -1 -1 -1]
데이터셋을 학습셋과 테스트셋으로 분류합니다. 학습셋, 테스트셋 모두에 정확도를 평가할 것입니다. 선형적으로 구분이 가능한 데이터셋이기 때문에 둘 모두 100%의 정확도를 기대할 수 있습니다.
# split data
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x_vals, y_vals,
random_state=0, stratify=y_vals)
작업크기를 설정하고 placeholder와 model 변수를 선언합니다. SVM 알고리즘 수렴에 도움이 되게 일괄 작업 크기를 크게 설정하였습니다. 일괄 작업 크기가 작으면 최대 마진 직선이 조금씩 움직일 것을 예상할 수 있습니다. 수렴이 진행됨에 따라 학습률의 크기를 줄이는 것이 이상적입니다.
Sepal Lentgh와 Petal Width 두가지 예상 변수가 있기 때문에 A는 2x1의 형태로 변수를 만듭니다.
# placeholder
x_data = tf.placeholder(shape=[None, 2], dtype=tf.float32)
y_target = tf.placeholder(shape=[None, 1], dtype=tf.float32)
# create Variable
A = tf.Variable(tf.random_normal(shape=[2, 1]))
b = tf.Variable(tf.random_normal(shape=[1, 1]))
모델 출력값을 선언합니다. 올바르게 분류된 경우라면 대상 값이 setosa 일 때는 1보다 크거나 같은 값이 출력되고, 대상 값이 setosa가 아닐 때는 -1보다 작거나 같은 값이 출력됩니다.
# fomula (y = ax - b)
fomula = tf.subtract(tf.matmul(x_data, A), b)
이 내용들을 조합하여 최대 마진 비용에 필요한 구성 요소들을 선언합니다.
먼저 벡터의 norm(L2)을 계산하는 함수를 선언합니다. 그런 다음에 마진 매개변수 $a$를 추가합니다.
그리고 이 두 항을 더하는 분류 비용 함수를 선언합니다.
L2_norm = tf.reduce_sum(tf.square(A))
# declare loss function
# Loss = summation(max(0, 1 - pred*actual)) + alpha * L2_norm(A)^2
alpha = tf.constant([0.01])
# Margin term in loss
left_term = tf.reduce_mean(tf.maximum(0., tf.subtract(1., tf.multiply(fomula, y_target))))
# Put terms together
loss = tf.add(left_term, tf.multiply(alpha, L2_norm))
학습셋과 테스트셋을 대상으로 정확도를 측정하기 위해 예측 함수와 정확도 함수를 선언합니다.
# prediction function
prediction = tf.sign(fomula)
accuracy = tf.reduce_mean(tf.cast(tf.equal(prediction, y_target), tf.float32))
최적화 함수를 선언하고 모델 변수를 초기화합니다.
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
# initialize variable
init = tf.global_variables_initializer()
sess.run(init)
학습 루프를 실행합니다. 비용함수 값과 더불어 학습셋과 테스트셋 양쪽의 정확도를 기록합니다.
test_acc = []
train_acc = []
loss_vec = []
batch_size = 112
for i in np.arange(1000):
rand_idx = np.random.choice(len(x_train), size=batch_size)
rand_x = x_train[rand_idx]
rand_y = y_train[rand_idx].reshape(-1, 1)
sess.run(train_step, feed_dict={x_data:rand_x, y_target:rand_y})
temp_loss = sess.run(loss, feed_dict={x_data:rand_x, y_target:rand_y})
loss_vec.append(temp_loss)
temp_train_acc = sess.run(accuracy, feed_dict={x_data:x_train, y_target:y_train.reshape(-1, 1)})
train_acc.append(temp_train_acc)
temp_test_acc = sess.run(accuracy, feed_dict={x_data:x_test, y_target:y_test.reshape(-1, 1)})
test_acc.append(temp_test_acc)
if (i+1) % 150 == 0:
print('step {}:\n A={}, b={}\nloss={}\n'.format(i+1, sess.run(A), sess.run(b), temp_loss))
# step 150:
# A=[[-0.1508689 ]
# [-0.02083003]], b=[[0.03109207]]
# loss=[0.6171418]
# step 300:
# A=[[-0.06546283]
# [-0.4349473 ]], b=[[-0.04024722]]
# loss=[0.39113477]
# step 450:
# A=[[ 0.01723341]
# [-0.8050836 ]], b=[[-0.12105083]]
# loss=[0.41022006]
# step 600:
# A=[[ 0.07058643]
# [-1.1637722 ]], b=[[-0.19953299]]
# loss=[0.2737451]
# step 750:
# A=[[ 0.14719042]
# [-1.503774 ]], b=[[-0.28408656]]
# loss=[0.2209843]
# step 900:
# A=[[ 0.19714044]
# [-1.8002963 ]], b=[[-0.35890797]]
# loss=[0.17502114]
결과를 그림으로 나타내려면 다음과 같이 계수를 추출하고, setosa 종 여부에 따라 x 값을 분리해야 합니다.
# visualization
import matplotlib.pyplot as plt
[[a1], [a2]] = sess.run(A)
[[b]] = sess.run(b)
slope = -a2/a1
icept = b
best_fit = []
for i in x_vals[:, 1]:
temp = i * slope + icept
best_fit.append(temp)
setosa_x = [setosa[1] for i, setosa in enumerate(x_vals) if y_vals[i] == 1]
setosa_y = [setosa[0] for i, setosa in enumerate(x_vals) if y_vals[i] == 1]
not_setosa_x = [setosa[1] for i, setosa in enumerate(x_vals) if y_vals[i] == -1]
not_setosa_y = [setosa[0] for i, setosa in enumerate(x_vals) if y_vals[i] == -1]
다음 코드를 이용하여 선형 구분자 및 정확도, 비용 함수를 그림으로 표현할 수 있습니다.
_, axe = plt.subplots(1, 3)
axe[0].scatter(setosa_x, setosa_y, marker='o', label='setosa')
axe[0].scatter(not_setosa_x, not_setosa_y, marker='o', label='non-setosa')
axe[0].plot(x_vals[:, 1], best_fit, c='red', label='Linear Separator')
axe[0].set_ylim([0, 10])
axe[0].legend(loc='best')
axe[0].set_title('Sepal Length vs Petal Width')
axe[0].set_xlabel('Petal Width')
axe[0].set_ylabel('Sepal Length')
axe[1].plot(train_acc, c='k', linestyle='-', label='Training Accuracy')
axe[1].plot(test_acc, c='r', linestyle='--', label='Test Accuracy')
axe[1].set_title('Train and Test Accuracy')
axe[1].set_xlabel('Genearation')
axe[1].set_ylabel('Accuracy')
axe[1].legend(loc='best')
axe[2].plot(loss_vec, c='k')
axe[2].set_title('Loss per Generation')
axe[2].set_xlabel('Generation')
axe[2].set_ylabel('loss')
plt.show()
학습 진행중인 모델의 최종 결과 그래프와 테스트셋과 학습셋의 정확도, 두 분류가 선형적으로 구분 가능하기 때문에 정확도가 100%에 도달
참고 자료:
[1]TensorFlow Machine Learning Cookbook, Nick McClure
[2]https://github.com/nfmcclure/tensorflow_cookbook
'Tensorflow > Support Vector Machine' 카테고리의 다른 글
| SVM intro (0) | 2018.05.01 |
|---|