0. 머신러닝이란 무엇일까요?

0.1. 머신러닝은 새로운 프로그래밍 패러다임입니다.

Untitled

데이터를 보고 미래의 사건을 예측한다고 생각해 봅시다.
- 기존 프로그래밍은 인간이 데이터를 살펴보고, 통계적으로 분석하고, 예측을 위한 규칙을 고안하고, 컴퓨터는 인간이 만든 규칙에 따라 예측을 위한 계산만을 수행했습니다.
- 머신러닝은 데이터와 답을 넣어 주고, 컴퓨터가 데이터와 답 간의 규칙을 찾아 예측 모델을 생성하도록 합니다.
왜 머신러닝이 좋은가요?

0.2. 머신러닝의 구성 요소

머신러닝이 완전히 인간의 개입으로부터 자유로운 것은 아닙니다.
- 머신러닝에서는 컴퓨터가 데이터 간의 관계를 파악하기 위한 규칙을 정해 줘야 합니다.

모델 설정 - ‘데이터들이 이런 관계를 가질 것이다’라는 가설

모델	가정
선형 모델	데이터의 각 피쳐들과 정답이 선형 관계
트리 모델	정답이 데이터 각 피쳐들에 대한 Yes/No 판단의 결과로 구성(결정 트리)
딥러닝 모델	데이터의 각 피쳐들과 정답이 아주 복잡한 비선형 관계

모델을 학습하는 방법 설정

이는 대개 1. ‘모델의 예측과 결과가 얼마나 잘못되었는지'를 수식으로 정의하고(비용 함수), 2. 이 값을 줄이는 방향으로 모델을(모델의 하위 규칙/가중치 등) 최적화하는 알고리즘을 설정하는 방식으로 구성됩니다.

모델	비용 함수	최적화 알고리즘
선형 모델	MSE	해석적 방법
경사하강 알고리즘
트리 모델	불순도 / 엔트로피	탐욕적 알고리즘
딥러닝 모델	(모델별로 다양)	경사하강 알고리즘

고전적 머신러닝에서는 모델별로 비용 함수와 최적화 알고리즘이 많지 않은 선택지 내에서 정해져 있는 경우가 많습니다.
딥러닝에서는 비용 함수를 손실 함수라고도 부르며, Task에 맞게 다양하게 설정할 수 있습니다. 최적화 알고리즘 또한 경사하강법 내에서 선택할 수 있습니다(SGD, Adam...).

0.3. 머신러닝 모델의 평가

0.3.1. 평가 지표 - 회귀

평가 지표는 문제의 특성에 맞게 선택해서 사용해야 합니다.
- 하나의 문제에 하나의 평가지표만을 사용하는 경우는 드뭅니다. 따라서 각 평가지표의 특성에 대해서도 이해하고 있으면 문제에 대한 모델의 예측 경향성 파악에 도움이 됩니다.

Untitled

MSE는 미분 가능하여 비용 함수로 가장 흔하게 사용됩니다. 하지만 제곱을 취하여 이상치에 민감합니다.
RMSE는 MSE에 루트를 씌워, 이상치에 상대적으로 덜 민감합니다.
MAE는 절대오차의 평균으로, 직관적으로 이해하기 쉬워 선호됩니다.
R^2는 모델이 데이터들을 얼마나 잘 설명하는지를 보여줍니다.

0.3.2. 평가 지표 - 분류

분류된 결과에 대한 평가 지표
- 모델의 예측값에 Threshold가 적용되어 최종적으로 분류된 결과를 평가하는 지표들입니다.
- Threshold가 바뀔 경우 평가 지표의 값도 바뀝니다.
- TP / TN / FP / FN
  
  예측 1 예측 0
  
  실제 1 TP FN
  
  실제 0 FP TN
  - TP == True Positive == 진짜 양성 == 실제 1, 예측 1
  - TN == True Negative == 진짜 음성 == 실제 0, 예측 0
  - FP == False Positive == 가짜 양성 == 실제 0, 예측 1 == 모델이 가짜로 1이라고 한 것
  - FN == False Negative == 가짜 음성 == 실제 1, 예측 0 == 모델이 가짜로 0이라고 한 것
- Threshold와 각 지표들
  - Threshold가 높아진다 ↔ 모델이 깐깐하게 1이라고 한다
    
    ⇒ 아닌 건 아니라고 한다 ($FPR=\frac{FP}{TN+FP}$ ⬇️)
    
    ⇒ 근데 맞는 것도 아니라고 한다 ($Recall=TPR=\frac{TP}{TP+FN}$ ⬇️)
    
    ⇒ 맞다고 한 거면 대부분 맞다(모델이 깐깐하다) ($Precision=\frac{TP}{TP+FP}$ ⬆️)
  - Threshold가 낮아진다 ↔ 모델이 후하게 1이라고 한다
    
    ⇒ 아닌 것도 맞다고 한다 ($FPR=\frac{FP}{TN+FP}$ ⬆️)
    
    ⇒ 맞는 것도 맞다고 한다 ($Recall=TPR=\frac{TP}{TP+FN}$ ⬆️)
    
    ⇒ 맞다고 한 것이어도 아닐 수 있다(모델이 후하다) ($Precision=\frac{TP}{TP+FP}$ ⬇️)
Accuracy / Precision / Recall / F1
- $Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$: 전체 중 맞는 것의 갯수
- $Precision=\frac{TP}{TP+FP}$: 모델이 맞다고 한 것중 맞는 것의 갯수 == “모델이 1이라고 한 것을 얼마나 믿을 만 한가?”
- $Recall=\frac{TP}{TP+FN}$: 실제로 맞는 것 중 모델이 맞다고 한 것의 갯수 == “모델이 1을 얼마나 안 잃고 가져오는가?”
- $F1=\frac{2}{1/Precision + 1/Recall}$
- $TPR=\frac{TP}{TP+FN}$: Recall
- $FPR=\frac{FP}{TN+FP}$: 실제로 아닌 것 중 모델이 맞다고 한 것의 비율

	예측 1	예측 0
실제 1	TP	FN
실제 0	FP	TN