Skip to main content

“好奇心”,这是最大的核心竞争力。

它会让你:

  • 保持专注、提高时间投入度
  • 增加思考时间,包括在吃饭、睡觉、娱乐的时候
  • 提高点状信息的关联能力和信息敏感度
  • 利用一切可用的工具和知识

LLM 拥有近似无限的能力,本质上也是通过「指令微调」的方式「教会」了模型。 算是一种 scaling law,对于新技能的 scaling law。对于新增一个领域的业务,扩展他的成本极其低。 甚至是自动化的事情。

LLM 区别于其他 AI 技术点在于,它的 scaling 能力太强大了。 模型本身的「智力」、模型解决特定领域问题的能力等等。

它的训练方式(模型+数据)以及与世界的交互方式(文字),奠定了它的能力天花板非常非常高。

富士山的枫叶

Image Image

Nothing in life is as important as you think it is when you are thinking about it.

— Daniel Kahneman

卡尼曼的这个洞见很深刻。当你想一件事的时候,不自觉地会放大它。同样,那有没有可能在不想它的时候会低估呢?

控制自己在想什么,我们可能需要这种能力。因为你在想一件事,它会影响你对它的重要性的判断。

Happiness is complicated, but if you simplify it into things like a loving family, health, friendship, eight hours of sleep, well-balanced children, and being part of something bigger than yourself, you realize how limited money’s role can be.

— The art of spending money by Morgan Housel

要做自己喜欢的事情,才能做出成绩来,这个倒是没问题。可是让我困惑的是,很多人在面临当下的局面时,并没有可选择的余地,甚至不知道自己其实可以选择。

在没有选择的前提下,他怎么能确保自己正在做的事情就是自己所热爱的呢? 要么强迫自己爱上这件事,要么找个理由说服自己,要么就只是忍受。

所以,他不是不懂“去做自己热爱的事情”这个道理,而是很可能从一开始就没有这个选择。更可悲的是,他甚至不知道自己有做出选择的能力。

原因在于人的本性、惰性,或者说人自身的某些特性,本来就很难改变。

高纬度的祝福

深度神经网络的规模达到一定的程度的复杂度之后,最优的区域可能呈现出平坦的、大面积的区域,也意味着找到最优值的方式并没有随着网络规模的变大而变大,某种程度上反而变得简单了。

即使是用梯度下降这种只要求局部最优的算法,也能取得非常好的效果。

我读到上面内容的时候的第一个反应是面对复杂的局面,特别是超级复杂的局面,反而找到最优值的方法更为简单,而且也不是很高深的道理。

  • 投资复杂不复杂?
  • 创新复杂不复杂?
  • 市场竞争复杂不复杂?
  • 人际关系复杂不复杂?

我觉得应对它们的「算法」,可能是非常简单的。

People are not rational. They are rationalizing.

Once you understand this simple fact, all the oddest human behavior will suddenly make way more sense.

— Billy Markus

所以跟人争论一个观点是否正确,可能没有意义。因为你不确定你争论的是事实,还是只是在宣泄各自的情绪主张。

努力使自己处于熵增的环境,使自己在环境中沿熵减的方向努力。

要真正理解一个概念,你必须在某种程度上自己"发明"这个概念。理解并非源于被动的内容消费,而是源于一个主动的、自我导向的创建和调试过程。

– François Chollet