Tensorflow - D0: 머신러닝 기초정리

#Reference: online.codingapple.com/

 

머신러닝 (Machine Learning): 기계학습

 

-> 컴퓨터에게 수학 계산을 통해 원하는 결과를 뱉어내도록 하는 것

-> 원하는 결과를 뱉어내도록 그래프를 설정하는 과정: 학습

-> 원하는 결과를 뱉어내도록 설정된 그래프: 모델

 

 

머신러닝: 종류

 

지도학습 (Supervised Learning): 정답 존재 & 정답예측 모델을 만들 때

비지도학습 (Unsupervised Learning): 정답이 존재하지 않음 & 범주별 분류가 필요할 때

강화학습 (Rainforcement Learning): 게임 등을 가르칠 때 (Trial & Error)

 

 

머신러닝: 과정

 

 

수능점수 예측모델: 만약 6/9월 점수로 수능 성적을 예측하는 모델을 만들고 싶다면?

=> (사진참고)

예시 1) 머신러닝 과정의 설명

예측 1) 6월과 9월 성적이 수능에 50%씩 영향을 미칠 것이다!

=> 60 * 0.5 + 80 * 0.5

=> 60 * w1 + 80 * w2 + b

(w1 & w2: 가중치) (b: 편향(bias) (입력값과는 관련 없지만 결과에는 관련이 있는 값))

 

 

 

 

 

* 예측결과: 항상 정확하진 X

=> 컴퓨터에게 자동으로 가중치를 조정하여 정확해지도록 명령

=> 가중치를 조정하기 위한 기준을 제공 필요 -> 기준: 실제 데이터 (=데이터셋)

 

 

* 가중치: 조정과정

예측값 산출 -> 정답과 예측값의 차이 (=오차) 계산 -> 오차 최소화 명령

=> 오차를 최소화하도록 조정하는 오차 평가 함수: cross entropy | binary entropy | ...

 

머신러닝: 딥러닝

 

가중치 조정을 통한 오차 최소화: 한계가 존재

=> 여러 단계를 거쳐서 계산하여 더 정확해지도록 유도

 

hidden layer의 용도: 잠시 기억을 저장하는 부분 (비유적 표현)

=> BUT 활성함수가 없다면 소용 X

 

 

차 이미지 -> 신경망

 

=> 레이어를 지날수록 스스로 특징을 묶어보면서 종류를 추정

=> 특성추출 (feature extraction)

 

 

** 딥러닝의 특징: 기존의 머신러닝과는 달리 컴퓨터 스스로 특징을 추출할 수 있음

(=데이터의 답이 필요 없음 but 데이터의 양은 더 필요함)

 

 

노드별 계산법: 연결된 하위 레이어의 노드들에 각 가중치를 곱해서 더함

오차 최소화 방법: 오차계산결과를 최소화

오차 계산 (=손실함수(Loss function)):

 

1. 평균 제곱 오차: ∑(예측(=ŷ)-답(=y))^2/n => 정수 결과를 예측할 때 필요

2.

=> 확률 결과를 예측할 때 필요

 

---

활성함수

 

활성함수 (=Activation function): Hidden Layer가 제 역할을 할 수 있도록 Node의 연산 결과를 압축시키는 것

 

종류:

hyperbolic tangent

sigmoid (대표적)

softmax

rectified linear

 

 

* sigmoid 함수: 개형 

 

 

 

 

 

( -> sigmoid / Hyperbolic tangent 개형)

 

f_sigmoid = 1/(1+e^(-x))

f_hyperbolicTan = (e^x - (e^(-x)))/(e^x + e^(-x))

 

 

 

 

 

 

 

 

 

 

 

 

활성함수별 결과값

 

sigmoid: 값 압축 (0 ~ 1)

Hyperbolic tangent: 값 압축 (-1 ~ 1)

Rectified Linear Units: 음수면 0으로 변경

 

 

+) Activation function 의 역할: Linear적인 예측을 Non-linear하게 예측할 수 있음

=> 더욱 다양한 입력값의 분포(ex: 특이한 케이스들)을 보다 더 정확하게 예측하도록 대응시킬 수 있음.

 

 

※ 마지막 레이어 (=출력층)은 활성함수가 없어도 됨 (최종결과이기 때문에 다른 레이어의 계산결과에 영향을 주지 않음. 따라서 더이상의 활성함수가 필수적이지 않음)

 

---

손실함수

 

손실함수의 개념

 

w1 = x, 총손실(이하 E) = y로 하는 결과를 좌표평면에 그림

=> E가 가장 작을 때: 최적의 w1

 

 

 

 

 

최적의 w1으로의 과정: 경사하강법

 

경사하강법:

 

랜덤한 w1값을 골라 E를 가져옴

-> 새로운 w1값이 기존값보다 커지거나 같아지기 전까지 w1의 값에서 경사가 내려가는 쪽으로 (=E가 작아지는 쪽으로) w1을 이동

(경사가 내려가는 것에 대한 판단: 현재 w1의 위치를 m, 그려진 그래프를 g라 할 때, m을 m - learning rate * g'(m)로 이동)

 

learning rate:

극소점에서 경사하강법이 완료되는 것을 막기 위한 상수. trial and error을 통해 최적값을 찾아야 함. 또한 이 값이 고정적일 때 학습이 잘 되지 않는 경우도 있어 지속적으로 조금씩 값을 변경해주어야 함.

 

learning rate optimizer:

학습 중 learning rate를 최적화해주는 알고리즘

 

ex: 

Momemtum (가속도 유지)

AdaGrad ( w가 자주 변하면 작게, 자주 안변하면 크게 변경)

RMSProp ( AdaGrad^2 )

AdaDelta ( AdaGard중 learning rate가 너무 작아져 학습이 안되는 것을 방지 )

Adam: RMSProp + Momentum

 

=> Adam을 사용하거나 모델별로 여러개 적용해보고 가장 잘맞는 learning rate optimizer를 선택/적용