고차원 학습은 언제나 외삽(Extrapolation)으로 귀결된다
고차원 데이터는 기계가 학습하는 방식을 변화시킵니다.
대부분의 모델은 학습 데이터에서는 잘 작동합니다. 하지만 새로운 패턴을 만나면 실패합니다. 이는 고차원성 때문에 발생하는 현상입니다.
고차원에서는 데이터 포인트들이 서로 멀리 떨어져 있습니다. 데이터 포인트 사이에는 빈 공간이 존재합니다. 모델은 이 빈 공간에서 어떤 일이 일어날지 추측해야 합니다.
이러한 추측이 바로 외삽(extrapolation)입니다.
모델이 외삽을 할 때는 가정을 하게 됩니다. 만약 그 가정이 틀렸다면, 모델은 실패합니다.
기억해야 할 핵심 사항:
- 고차원은 방대한 빈 공간을 만들어냅니다.
- 모델은 예측을 하기 위해 이러한 간극을 채워야 합니다.
- 이러한 간극에서의 예측은 외삽에 의존합니다.
- 외삽은 오류의 위험을 높입니다.
이를 이해하면 더 나은 모델을 구축하는 데 도움이 됩니다. 모델이 언제 추측을 하고 있는지 반드시 알아야 합니다.
Source: https://dev.to/paperium/learning-in-high-dimension-always-amounts-to-extrapolation-1nk
Optional learning community: https://t.me/GyaanSetuAi