Nature发文AI是否快取代我们？AI准确率造假了吗？和我2026的思考

在这篇文章之前，我切以为AI无所不能，J型曲线加速迭代只是2026年的开年节奏。甚至我觉得，和网上AI吹一样，我也变成无脑AI吹，AI马上要取代每一个我这样的人，从此我会变成赛博数字人。但是，初看今天这篇nature文章我有点懵逼，阅读完后深度思考我豁然，对科研人生有一个新的思考。

Nature正刊在昨天2 月 28 日发表了一篇由全球近 1000 名顶尖学者打造的 AI 新基准“人类最后一次考试”（HLE，Humanity's Last Exam），文章https://www.nature.com/articles/s41586-025-09962-4，HLE数据网址https://huggingface.co/datasets/cais/hle，https://lastexam.ai/。

2500题AI们全都不及格，而且得分仅仅个位数！这无疑给现在火热的全民AI浇了一盆彻头彻尾的哇凉哇凉凉水。这套全新试卷覆盖数学、物理、化学、历史、语言、医学，每一道题都来自该领域顶级专家各自擅长的研究领域，每一道题都只有唯一正确解。也就是说，全新2500题且专业题目给AI们做，得分非常非常低都<20分。

一、AI吹牛

现有基准测试集的饱和限制了我们精确衡量人工智能（AI）能力的能力，因此需要更具挑战性的评估方法，以便更有效地评估 LLM 在人类知识前沿领域能力的快速提升。之所以出这套新卷子，是因为当前最聪明的大模型在那些曾难倒无数学生的考试里，已经能够考到 90 分以上。像MMLU 这样一个陈旧的包含 57 个学科、14,000 道题目的超难测试，AI 早就玩腻了拿到了接近满分的成绩。

而对于新题库，AI们集体自闭。GPT-4o 只拿了 2.7%，Claude 3.5 Sonnet 4.1%，OpenAI 最先进的 o1 模型，8%。HLE发布之后，更强的 Gemini 2.5 Pro 和 GPT-5 也来挑战，一个 21.6%，一个 25.3%，都是远远不及格。

1.1 新题库HLE

新HLE 题库的来源和构建是一个从海量提交中进行严苛筛选和打磨的“漏斗式”过程。以下是该图表展示的新题库具体来源和产出步骤：

第一步：初始提交与 AI 难度初步筛选（Launch & LLM difficulty check）共收集到了 70,000 次问题提交尝试 。 这些题目首先必须经过“LLM 难度检查”（LLM difficulty check） 。这意味着所有题目都会先拿给当前最前沿的 AI 去做，只有那些 AI 无法正确解答的题目，才能进入下一环 。第二步：专家评审与打磨（Expert reviews and refinements） 经过 AI 的初步筛选后，剩下大约13,000 份成功难倒 AI 的有效提交 。这些题目随后进入专家评审阶段，由具备相关领域研究生及以上学历的专家进行交叉审查、反馈和迭代修改，以确保题目的严谨性和质量 。第三步：组织者与专家最终把关（Approval of organizers and experts） 经过多轮修改后，进入最终审批环节，由组织者和核心专家亲自审核 。这一步将题目库进一步浓缩为了6,000 道高质量的候选题目（candidates）。第四步：最终题库的拆分（Public set & Private set）从这 6,000 道候选题目中，最终产出了两个不同的题库：2,500 道题目的公开测试集（HLE public set）：这就是对外发布并开源的 2,500 道题，供社区和所有 AI 公司测试使用 。私有测试集（HLE private set）：一部分题目被保留作为私有数据集 。这个私有库被严格保密，专门用来测试模型是否在公开测试集上过度拟合（overfitting）或作弊（gaming）。

也就是说，HLE 的题目并不是凭空生成的，而是汇集了人类专家的智慧，并通过“强制让当前 AI 答错”以及“多重人工专家盲审”的机制，一步步大浪淘沙筛选出来的结晶。 通过前沿逻辑学习模型在所有模型中均表现出较低的准确率，凸显了当前能力与专家级学术水平之间存在显著差距！

所以，别指望GPT能帮你创造一个教授级的国自然面上课题！

小结：新HLE一部分用于测试现有AI模型专业能力，一部分用于防止AI作弊。

1.2  AI真实专业水平

nature论文将AI模型划分为“HLE发布前”（即 HLE 基准发布前测试的初代前沿模型）和“HLE发布后”（HLE 开源后发布的新一代模型，由于这些模型的开发者可能接触到了 HLE 数据集，因此被单独列出） 像 早期GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro 这些非专门针对深度推理优化的模型，在 HLE 上的准确率极低，均在 2% 到 5% 之间 。中期推理模型带来初步提升：随着强化学习和推理时间计算（Test-time compute）的发展，o1 和 DeepSeek R1 展现了更好的表现，准确率提升到了 8% 左右。最新一代模型实现跨越式增长：在 HLE 发布后推出的最新模型（如 Gemini 2.5 Pro、o3、GPT-5）实现了显著突破，准确率超过了 20%，其中 GPT-5 在全数据集上达到了 25.3% 的准确率 。

1.3吹牛与作弊

AI 厂商在进行宣传时，可能利用了已经进入之前训练集的公开题库（数据污染/作弊），并且放开了代码和工具的使用权限，从而刷出了极其亮眼的成绩。这也是为什么 Nature 论文的作者表示后续将推出动态更新的 "HLE-Rolling" 题库，以应对这种“刷榜”现象。是骡子是马，不能光看吹要看疗效。得分咵咵高却又不够专业。

1.4 真正人类瑰宝

https://lastexam.ai提供了2500题库，但是我无法注册。https://agi.safe.ai/dashboard能看到案例范文，我窥探了一下，真不是常人能解答的。这也是人类科学家真正的学术造诣顶层皇冠，捐献原创题目者都是顶级大学的精英，AI对于这些难度，只能仰望！下面我截图给大家看看，人类终极智力测试。

二、我的感悟

2026年1月起，每天被AI信息狂轰滥炸，每天活在fomo中，前所未有的焦虑。因为2026年伊始各种概念雨后春笋，各种裁员信息铺天盖地，AI深刻变革了这个世界，也变革了每个处在时代中的我。2026年春节年也过不好，因为国内大厂各种卷模型，我还要卷国自然卷代码。

有趣的是我第一次使用了即梦2.0，做了自己第一个迪士尼动画，第一次做了ipubmed做了科研领域许许多多的新工具。在享受AI进化过程中，我一度甚至逐渐迷失了自己。感觉我在一无是无，即将被AI取代，但是感觉又迷迷糊糊觉的我还可以再战斗。

直到看我这篇nature，我才不再模糊，我才能自信的说出AI取代人类深度领域尚有很长的路。但同时鼓舞我要成为专业金字塔顶层的精英，力所能及做一个有思想有深度的人。人类社会塔底的重复劳作必将被AI淘汰取代，毕竟AI迭代速度和磕了药一样不是人。活在当下需要每天学习适应AI的进化，把AI当武装自己的工具对抗AI的挑战，做到不卑不亢深耕领域。