@SeanZen 作为消费者，你拿工作体验来“挑选工具”完全没问题；但作为评论者，你拿工作体验来“评判尖端大模型的智力差距”，就是傲慢且无知。你把“产品体验”和“模型基础能力”完全混为一谈了。这就好比，你每天的工作是去超市买菜，你发现一辆自动挡的丰田卡罗拉开起来极其顺手，而一辆手动挡的 F1 赛车你不仅开不好，甚至一踩油门就熄火。于是你破口大骂：“F1 赛车就是一坨屎，根本没法开，跟我的卡罗拉有不可逾越的差距！”

@microscopec 你极力夸赞 Sonnet 能够“一句话甚至半句话就理解原意，不需要重复修改”。你说的这根本不叫模型的逻辑推理能力强，这叫 Anthropic 在 RLHF 阶段，针对程序员的“代码补全场景”做了极度的讨好和过拟合。
什么叫“半句话就能写代码”？这意味着模型在疯狂地猜测你没有说出来的上下文。你在用一种极其偷懒、不规范的提示词习惯，去测试哪个模型更像你肚子里的蛔虫。你觉得这叫差距？就好比你去餐厅点菜，只说了一句“随便弄点好吃的”，A 厨师猜对了你的口味，B 厨师没猜对，你就到处宣扬“B 厨师做的就是一坨屎，根本不会做饭”。这不叫评测厨艺，这叫你在给模型算命。真正严谨的软件工程测试，给的都是结构化、清晰且毫无歧义的完整 PRD 和约束条件。在这种标准输入下，你提到的这些最新顶尖模型，输出的质量根本没有你所谓“一坨屎和神仙”的差距。

@daimaosix 你用一句情绪化的“扯淡”来反驳我，不仅没有提供任何实质性的论据，反而恰恰印证了我最初的观点——你正在用高铁硬卧车厢里的直觉，去强行点评你根本没有科学评估能力的尖端技术。你说“没有可观测的差距是在扯淡”，那我们就来把这个“扯淡”拆解一下，看看究竟是谁在反智。你之所以觉得“有差距”，是因为你陷入了以下三个致命的认知盲区：
第一点：你无视了“任务天花板效应”
我原话的前提非常明确：“对于绝大多数没那么抽象、没那么复杂的日常工作”。
这就好比，你让博尔特和苏炳添去跑一个 10 米的比赛，两人的成绩可能都是 1 秒出头，你肉眼根本看不出差距。你能说“他俩没有可观测差距是在扯淡”吗？不能，因为 10 米的赛道根本测不出他们的极限。
当今主流模型在基础代码生成、日常公文写作、常规 API 调用上的能力值都在 95 分以上，而你手头工作的难度满分只有 50 分。他们交出来的都是 50 分的满分答卷，你非要拿着放大镜说“A 模型的代码多了一个换行，B 模型的语气更像真人”，这不叫“发现能力差距”，这叫“主观审美偏好”。
第二点：你把“对齐偏好”和“温度随机性”当成了“智力差距”
你所谓的“可观测的差距”，90%以上根本不是模型智力的差距，而是 RLHF 的对齐策略不同，或者是单次生成的随机性噪音。在默认的 Temperature 设定下，LLM 的输出本质上是概率分布。你让同一个模型写两次贪吃蛇，一次可能完美运行，一次可能少个依赖库。如果你拿 A 模型的第一次去对比 B 模型的第二次，然后得出“A 比 B 强”的结论，这在统计学上叫“毫无意义的单样本比较”。把产品经理设定的“系统提示词”和“UI 渲染风格”当成模型的底层推理能力来点评，就如同你觉得外卖小哥跑得不够快，是因为他穿了黄衣服而不是蓝衣服一样荒谬。
第三点：你迷信你的“体感”，却无视了量化科学
你可能觉得 Benchmark 是扯淡，你自己测的才真实。但事实是，LMSYS Chatbot Arena 、SWE-bench 这些涉及数十万次双盲测试、上万个真实 GitHub issue 的统计结果显示：在绝大部分非极端推理任务中，这些头部模型的胜率差已经缩小到了统计学上的误差边缘以内。
科学界用了几十万个测试用例得出的结论是“头部模型正在同质化、能力正在逼近收敛”，而你仅仅靠自己下班后随手打了三个 Prompt ，一看其中一个报错了，就一拍大腿说“差距明显”，你不觉得这种“体感”太廉价、太傲慢了吗？
如果你觉得我"扯淡"，证明“这些主流大模型在日常任务中存在巨大的、决定性的能力差距”，请你拿出控制了变量、消除了随机性、具备统计学意义的对比测试报告。
如果你拿不出来，只能继续举例子说“我昨天让 A 写了个贪吃蛇没跑通，B 跑通了”，那你就永远只是那个对着丘成桐和陶哲轩的满分试卷，评价谁的字写得比较好看的高中生。

大部分人不要以自己手头工作的体感，来判断当今几大主流 LLM 的能力。

大部分人的工作难度就是高考数学水平，你非要让陶哲轩、丘成桐、陈省身、张益唐来个大比赛，

结果分数分别是 98 、99 、97 、98 ，然后你作为高中生，还要对着卷子上的标点符号和字体强行评价一番，

完全是自取其辱。

对于绝大多数没那么抽象、逻辑没那么复杂、数理没那么相关的工作，比如调用个工具，糊个前端后端，写个 C++这些没那么复杂的任务，

最新版本的 GPT 、claude sonnet 、gemini 、kimi 、glm 、qwen 、deepseek 之间，已经没有可观测的差距了。
你所有感知到的差距，就像高考难度的题目陶哲轩 98 分和丘成桐 99 分之间的差距一样，你几乎完全 100%就是主观地在鸡蛋里挑骨头了。

就像很多人不信任何 benchmark ，20 多个 benchmark 总共几十万个 test case 看都不看，

只要一出个新模型，就自己指挥 LLM 当场写个贪吃蛇，拿七八个贪吃蛇截图，开始点评“这个贪吃蛇太绿了”、“那个贪吃蛇动画不好”，一顿侉评，

完全就是火车硬卧车厢高声点评伊朗最新局势的水准。