高次元における学習は、常に外挿を伴う
高次元データは、機械の学習のあり方を変えてしまいます。
ほとんどのモデルは学習データに対してはうまく機能します。しかし、未知のパターンに遭遇すると失敗します。これは高次元であるために起こります。
高次元では、データポイント同士が遠く離れて存在します。データポイントの間には空白領域が存在します。モデルは、これらの空白領域で何が起こるのかを推測しなければなりません。
この推測こそが、外挿です。
モデルが外挿を行うとき、そこには仮定が含まれます。もしその仮定が間違っていれば、モデルは失敗します。
覚えておくべき重要なポイント：
- 高次元は広大な空白領域を生み出す。
- モデルは予測を行うために、これらの隙間を埋めなければならない。
- これらの隙間における予測は、外挿に依存する。
- 外挿はエラーのリスクを高める。
これを理解することは、より優れたモデルを構築する助けになります。モデルがいつ「推測」を行っているのかを知っておく必要があります。
Source: https://dev.to/paperium/learning-in-high-dimension-always-amounts-to-extrapolation-1nk
Optional learning community: https://t.me/GyaanSetuAi