当有一个好的环境,可以聚焦于解决问题时,这会激发纯粹的解题乐趣。 感觉很微妙,非常纯粹,非常充实。
- 首先要遇到这种好的环境,主要看合作者、上级。这是小概率事件。
- 你是不是享受解决眼下问题的过程?这也是小概率事件。
- 解决的问题是否是客户所需要的?这也是小概率事件。
当有一个好的环境,可以聚焦于解决问题时,这会激发纯粹的解题乐趣。 感觉很微妙,非常纯粹,非常充实。
There’s lots of ways to be, as a person.
And some people express their deep appreciation in different ways.
But one of the ways that I believe people express their appreciation to the rest of humanity is to make something wonderful and put it out there.
— Steve, 2007
它会让你:
LLM 拥有近似无限的能力,本质上也是通过「指令微调」的方式「教会」了模型。 算是一种 scaling law,对于新技能的 scaling law。对于新增一个领域的业务,扩展他的成本极其低。 甚至是自动化的事情。
LLM 区别于其他 AI 技术点在于,它的 scaling 能力太强大了。 模型本身的「智力」、模型解决特定领域问题的能力等等。
它的训练方式(模型+数据)以及与世界的交互方式(文字),奠定了它的能力天花板非常非常高。
富士山的枫叶
Nothing in life is as important as you think it is when you are thinking about it.
— Daniel Kahneman
卡尼曼的这个洞见很深刻。当你想一件事的时候,不自觉地会放大它。同样,那有没有可能在不想它的时候会低估呢?
控制自己在想什么,我们可能需要这种能力。因为你在想一件事,它会影响你对它的重要性的判断。
Happiness is complicated, but if you simplify it into things like a loving family, health, friendship, eight hours of sleep, well-balanced children, and being part of something bigger than yourself, you realize how limited money’s role can be.
— The art of spending money by Morgan Housel
要做自己喜欢的事情,才能做出成绩来,这个倒是没问题。可是让我困惑的是,很多人在面临当下的局面时,并没有可选择的余地,甚至不知道自己其实可以选择。
在没有选择的前提下,他怎么能确保自己正在做的事情就是自己所热爱的呢? 要么强迫自己爱上这件事,要么找个理由说服自己,要么就只是忍受。
所以,他不是不懂“去做自己热爱的事情”这个道理,而是很可能从一开始就没有这个选择。更可悲的是,他甚至不知道自己有做出选择的能力。
原因在于人的本性、惰性,或者说人自身的某些特性,本来就很难改变。
深度神经网络的规模达到一定的程度的复杂度之后,最优的区域可能呈现出平坦的、大面积的区域,也意味着找到最优值的方式并没有随着网络规模的变大而变大,某种程度上反而变得简单了。
即使是用梯度下降这种只要求局部最优的算法,也能取得非常好的效果。
我读到上面内容的时候的第一个反应是面对复杂的局面,特别是超级复杂的局面,反而找到最优值的方法更为简单,而且也不是很高深的道理。
我觉得应对它们的「算法」,可能是非常简单的。
People are not rational. They are rationalizing.
Once you understand this simple fact, all the oddest human behavior will suddenly make way more sense.
— Billy Markus