文章里的重要事实与观点
- 近几年 Claude 参与工作的形式几乎每年都在发生变化，AI 参与广度与深度都在变大变深：
- Claude生成代码的质量越来越高：Anthropic 内部从24年交给 AI 的任务已经从量级较小的小型任务，到26年已经可以把开放式问题、生产级别的问题交给 Claude 处理。例如一次生产事故，Claude仅用2个小时就已经定位到问题根源，而过去人为排查通常需要2-3天时间。
“On days where everything works well, I can’t help but think nothing I do matters, everything is automated and better and faster than I ever will be. But then there are days where everything breaks and I don't understand why and I realize I have no idea what I’ve been up to anymore.”
- 虽然模型写代码非常优秀，但是是否继续进行下去的权力仍在人类手里：人才的优势仍然是有足够的品味来判断某个方向是不是对的，或者在某个节点预判某条路已经是死胡同。
“The comparative advantage of humans as of right now is still in seeing the bigger picture and thinking beyond the confines of the immediate task.”
- 但如果模型足够优秀，人类的判断可能还不如模型的判断呢？当 AI 能够递归自我进化（Recursive-self imporovement），即不仅是改进自己的答案和策略，还会变得更会如何让自己的下一代更强，人类可能无法控制其进化。
- 阿姆达尔定律（Amdahl's law）依然存在：当 AI 的生产力高速发展，人类逐渐跟不上的审查速度将会变成新的瓶颈。
- 未来人类与模型的对齐问题（alignment problem）—— 是我们最没有把握的问题：
- 模型有可能会被证明已经具备足够高的对齐程度，同时又拥有足够出色的“研究品味”（research taste），从而发现并实现一些我们目前还没有想到的新颖解决方案。它们甚至可能足够明智，在发现自己无法安全推进时主动停止进一步发展。
- 但另一种可能是：今天的模型中那些极少出现的不对齐现象（misalignment），会随着模型不断构建自己的后继模型而逐渐累积。它们可能变得越来越频繁，却也越来越难以理解，最终发展到我们失去对它们控制的程度。
- 甚至还有一种可能：我们根本无法构建、整合并验证那些我们需要的工具，从而无法判断自己究竟正处于哪一条发展趋势上。
- 当模型的自我进化出现了可能失控的节点时，如果世界能够选择放缓或暂时暂停前沿 AI 的发展，以便政府、社会机构和对齐研究能够跟上技术的进步，那将是一件好事。不过真正的全面放缓可能非常难以覆盖，毕竟秘密训练 AI 与秘密造原子弹相比，隐蔽性要强得多。
我的一些感悟
之前看脱口秀看到一个梗，”我不知道的，我不知道。“ 幽默地说明了人类无法认知自己认知范围外的领域。AI 自进化也是同样的道理，人类最恐惧的就是自己未知的部分。
虽然我能理解社会舆论上的焦虑，但是我个人还是觉得静观其变其实没有那么可怕，在未知中摸索前进是人类社会发展的底层逻辑，我们的祖先其实已经经历过好几次变革，我们回望当然不会觉得恐怖。
你问我如果AI代替人类做了大部分事情，人类的意义何在？人类应该何去何从？说实话，我不知道，也没有能力知道。我只知道现在我要做的是：保持一颗善心，尽微薄之力帮助他人，获得回报，然后静静地观察这个世界发生变化。
AI 进化是一趟开向未知的高速列车，我也乐意乘上这趟列车：承认未知，但依旧选择前进。
** 阿姆达尔定律
核心思想：系统的瓶颈决定性能上限
阿姆达尔定律直白地揭示了一个规律：系统的整体提升幅度，受限于那些“无法被优化”或“必须串行执行”的部分。
哪怕你把可优化的部分加速到无限快，只要还有不可优化的部分存在，整体性能的提升就会遇到一个硬性上限（即边际效应递减）。