딥러닝 개념

 

0. 딥러닝

 

• 연속된 여러 개의 층을 가진 인공신경망을 통해 계층적으로 데이터를 학습시키는 방법
• Feature Engineering이 자동으로 수행(방향)

 

1. 역전파 (Back Propagation : BP)

 

• 학습을 통해 가중치를 업데이트
• 처음 설정된 각 노드별 가중치가 우리가 원하는 결과를 만들 수 있도록 계속 수정되는 방향
• Activation function중 ReLU 통해 가능해짐

 

 

2. 최적화 (Optimization)

 

• weight parameter들을 최적화
• Cost function을 줄이기 위해 최적의 값을 찾는 방법

( GD, SGD, Momentum, Adagrad, RMSPop, AdaDelta, Adam, Nadam )

 

 

3. Drop out (성능 개선)

 

• 은닉층 뉴런을 무작위로 생략
• 독립적인 내부표현 학습, 뉴런의 특정 가중치에 덜 민감해짐 -> 과적합 방지
• 비율 20~50% 권장
• learnging rate와 momentum 높여 사용

 

4. Early Stopping (과적합 방지)

 

• Evaluate 데이터가 낮은 오차 나올 시 멈춰 과적합 방지

 

5. Cost Function 개선 (과적합 방지)

 

• L1 penalty - Lasso : 변수선택 효과
• L2 penalty - Ridge : 변수 선택 효과는 없지만 최적 모델 선택에 더 적합

 

6. Batch

 

• 한번 학습을 시킬 때 사용할 샘플 개수

• Batch Gradient Descent : Batch Size = Size of Training Set
• Stochastic Gradient Descent : Batch Size = 1
• Mini-Batch Gradient Descent : 1 < Batch Size < Size of Training Set

 

7. Epoch

 

• 전체 훈련 데이터에 대해 알고리즘 수행 횟수 결정
• Early stopping으로 잘라냄