[Anomaly Detection] 개요, 확률 분포 기반
# Novelty vs Anomaly vs Outlier
비슷한 듯 하지만 다르다. 그런데 우리나라에서는 다 '이상치'로 번역.
Novelty
- 본질은 같지만 특성이 같은 유형
ex. 일반 호랑이가 정상 데이터일 때 백호는 novelty
Anomaly
- 대부분의 데이터와 특성이 다른 관측치.
- 약간 부정적인 느낌이 있음.
ex. 일반 호랑이가 정상 데이터면 라이거는 anomaly
Outlier
- 대부분의 데이터와 본질적인 특성이 다른 관측치.
- 아주 부정적인 느낌. 보통 데이터에서 발견되면 삭제함.
ex. 일반 호랑이가 정상 데이터면 사자가 outlier
# Anomaly Detection
이상치는 정상 데이터보다 소수 (심한 불균형)
> Classification이 잘 되지 않는다!
classification이지만 class를 이용하지 않기 때문에 보통 one-class classification 이라고 부른다.
정상 데이터를 잘 아우르는 바운더리를 찾아야 함
> 너무 크지도 않게, 너무 타이트하지도 않게
# 언제 사용할 것인가?
- 정상 데이터만 있는 경우 (평가는 어려움)
> 현재 이상치가 없다고 포기하지말고 모델링하자. 나중에 나올 수도 있다.
- 이상치 데이터가 극소수인 경우
# 이슈
- 정상 데이터를 정의하기 어려운 경우
- 어떤 종류의 이상치인지 모르는 경우 (이상치의 종류가 많음)
> 별도의 사후 분석이 필요 (post-hoc analysis)
# 밀도 기반 Anomaly Detection 알고리즘
알고리즘이 되려면 객관적인 score과 threshold가 필요하다.
확률분포로 접근할 수 있다.
> 단, 데이터가 우리가 알고있는 분포인건 현실적이지 않다.
(그렇지만 여기서 확장되는거니 알아야한다)
# Gaussian Density Estimation
- 각 객체가 생성될 확률을 하나의 정규분포로 가정
- 정상 관측치는 높은 확률, 불량 관측치는 낮은 확률을 가진다는 가정
# Mixture of Gaussian Density Estimation
- 각 객체가 생성될 확률을 여러 정규분포의 선형 결합으로 가정하는 방법론
- 가운데 골짜기는 세 클러스터 사이의 빈 공간인데 이상치일 수도 있고 정상일 수도 있다.
# Local Outlier Factor (LOF)
- 각각의 지점에 대한 score를 구하는 알고리즘
- 단, threshold는 제시하지 않음
LOF는 뒤에서 다시 자세히 정리
강의 영상, 그림 출처: https://youtu.be/TqSwuCX7Lds