高维学习本质上都是外推
高维数据改变了机器的学习方式。
大多数模型在训练数据上表现良好。但当它们遇到新模式时就会失效。这就是高维带来的问题。
在高维空间中，数据点之间相距甚远。数据点之间存在大量的空白区域。模型必须猜测这些空白区域中会发生什么。
这种猜测就是外推。
当模型进行外推时，它是在做出假设。如果这些假设是错误的，模型就会失效。
需要记住的关键点：
- 高维空间会产生巨大的空白区域。
- 模型必须填补这些空白才能做出预测。
- 这些空白区域内的预测依赖于外推。
- 外推增加了出错的风险。
理解这一点有助于你构建更好的模型。你必须知道模型何时是在进行“猜测”。
Source: https://dev.to/paperium/learning-in-high-dimension-always-amounts-to-extrapolation-1nk
Optional learning community: https://t.me/GyaanSetuAi