“好奇心”,这是最大的核心竞争力。
它会让你:
- 保持专注、提高时间投入度
- 增加思考时间,包括在吃饭、睡觉、娱乐的时候
- 提高点状信息的关联能力和信息敏感度
- 利用一切可用的工具和知识
- …
它会让你:
LLM 拥有近似无限的能力,本质上也是通过「指令微调」的方式「教会」了模型。 算是一种 scaling law,对于新技能的 scaling law。对于新增一个领域的业务,扩展他的成本极其低。 甚至是自动化的事情。
LLM 区别于其他 AI 技术点在于,它的 scaling 能力太强大了。 模型本身的「智力」、模型解决特定领域问题的能力等等。
它的训练方式(模型+数据)以及与世界的交互方式(文字),奠定了它的能力天花板非常非常高。
富士山的枫叶
Nothing in life is as important as you think it is when you are thinking about it.
— Daniel Kahneman
卡尼曼的这个洞见很深刻。当你想一件事的时候,不自觉地会放大它。同样,那有没有可能在不想它的时候会低估呢?
控制自己在想什么,我们可能需要这种能力。因为你在想一件事,它会影响你对它的重要性的判断。
Happiness is complicated, but if you simplify it into things like a loving family, health, friendship, eight hours of sleep, well-balanced children, and being part of something bigger than yourself, you realize how limited money’s role can be.
— The art of spending money by Morgan Housel
要做自己喜欢的事情,才能做出成绩来,这个倒是没问题。可是让我困惑的是,很多人在面临当下的局面时,并没有可选择的余地,甚至不知道自己其实可以选择。
在没有选择的前提下,他怎么能确保自己正在做的事情就是自己所热爱的呢? 要么强迫自己爱上这件事,要么找个理由说服自己,要么就只是忍受。
所以,他不是不懂“去做自己热爱的事情”这个道理,而是很可能从一开始就没有这个选择。更可悲的是,他甚至不知道自己有做出选择的能力。
原因在于人的本性、惰性,或者说人自身的某些特性,本来就很难改变。
深度神经网络的规模达到一定的程度的复杂度之后,最优的区域可能呈现出平坦的、大面积的区域,也意味着找到最优值的方式并没有随着网络规模的变大而变大,某种程度上反而变得简单了。
即使是用梯度下降这种只要求局部最优的算法,也能取得非常好的效果。
我读到上面内容的时候的第一个反应是面对复杂的局面,特别是超级复杂的局面,反而找到最优值的方法更为简单,而且也不是很高深的道理。
我觉得应对它们的「算法」,可能是非常简单的。
People are not rational. They are rationalizing.
Once you understand this simple fact, all the oddest human behavior will suddenly make way more sense.
— Billy Markus
努力使自己处于熵增的环境,使自己在环境中沿熵减的方向努力。
要真正理解一个概念,你必须在某种程度上自己"发明"这个概念。理解并非源于被动的内容消费,而是源于一个主动的、自我导向的创建和调试过程。
– François Chollet