20251113 高维祝福
高纬度的祝福
深度神经网络的规模达到一定的程度的复杂度之后，最优的区域可能呈现出平坦的、大面积的区域，也意味着找到最优值的方式并没有随着网络规模的变大而变大，某种程度上反而变得简单了。
即使是用梯度下降这种只要求局部最优的算法，也能取得非常好的效果。
我读到上面内容的时候的第一个反应是面对复杂的局面，特别是超级复杂的局面，反而找到最优值的方法更为简单，而且也不是很高深的道理。
- 投资复杂不复杂？
- 创新复杂不复杂？
- 市场竞争复杂不复杂？
- 人际关系复杂不复杂？
我觉得应对它们的「算法」，可能是非常简单的。