最严苛数学能力测试结果出炉:AI不如人类

中国科学报
发布时间: 2026-06-17 12:11:10 101次浏览

 w6H知多少教育网-记录每日最新科研教育资讯

人工智能(AI)迎来了迄今最严苛的数学能力测试。测试结果于6月10日揭晓——参赛的AI模型的解题水平仍不及顶尖数学家。w6H知多少教育网-记录每日最新科研教育资讯

据《自然》报道,这项测试隶属于“首轮求证”项目,旨在评估AI解决复杂数学难题的能力。研究人员向4款AI系统提出10道科研级数学难题,再由相关数学领域的匿名专家评审团对作答结果进行打分。w6H知多少教育网-记录每日最新科研教育资讯

这次测试首次同时满足三大核心标准:题目均为前沿科研级数学问题、所有题目从未出现在模型训练数据中、由专业数学家进行正式评阅。w6H知多少教育网-记录每日最新科研教育资讯

测试的一大创新在于,所有题目从未出现在任何公开文献或互联网平台上,从根源上避免AI直接复述训练阶段学到的现有内容。10名来自不同数学细分领域的研究人员,各自拿出一道本人研究过程中已解答但尚未公开发表的原创题目。w6H知多少教育网-记录每日最新科研教育资讯

图片来源:vitacopSw6H知多少教育网-记录每日最新科研教育资讯

“首轮求证”项目曾在2月开展过一轮预测试,但测试结果并未得到项目组官方核验,也无法确认AI是否得到过人类协助。美国卡内基·梅隆大学的Jeremy Avigad评价道:“主办方显然经过了周密考量,本次测试的管控更严格、流程也更系统化。”w6H知多少教育网-记录每日最新科研教育资讯

测试还规定,参赛模型必须为对外公开版本。因此美国谷歌公司专为解数学题打造的Aletheia无缘参赛。大型科技企业中仅有OpenAI携GPT 5.5专业版参赛。其余3支参赛队伍均来自高校,分别是美国加州大学洛杉矶分校、美国普林斯顿大学,以及瑞士苏黎世联邦理工学院。w6H知多少教育网-记录每日最新科研教育资讯

苏黎世联邦理工学院团队的模型表现最佳。该模型结合三大主流聊天机器人组成“顾问评审组”,对聊天生成预训练转换器的答案进行审核、优化,最终10题答对6题。第二名是加州大学洛杉矶分校团队,第三名是OpenAI团队,第四名是普林斯顿大学团队。w6H知多少教育网-记录每日最新科研教育资讯

此外,苏黎世联邦理工学院团队还初步分析了全员未解出的4道题目。团队成员Johannes Schmitt表示,部分难题缘于AI始终想不到人类解题时用到的某个关键且巧妙的思路,无法补齐最后一环;针对部分题目,模型整体解题方向无误,却没能把所有细节推导完整。w6H知多少教育网-记录每日最新科研教育资讯

“首轮求证”项目组成员、美国哈佛大学的Lauren Williams认为:“目前无法断定未解出的题目一定是难度更高的题目。我认为它们只是在研究方向、证明思路上和以往公开文献中的内容差距较大。”w6H知多少教育网-记录每日最新科研教育资讯

这次测试中,即便明确要求模型核对参考资料,各大推理模型依旧频繁出现幻觉问题,这也是大语言模型的通病。w6H知多少教育网-记录每日最新科研教育资讯

令Williams意外的是,所有AI作答在文献引用方面都“严重缺失”。多款模型借鉴了前人同类题目的解法,部分段落甚至逐句照搬论文原文、沿用专业符号与术语,却全程没有标注文献来源。w6H知多少教育网-记录每日最新科研教育资讯

如今这批测试题目已对外公开,此前未正式参赛的科技企业大概率会利用这些题目对自家模型开展非正式测试。

本文链接:http://knowith.com/news-3-6034.html最严苛数学能力测试结果出炉:AI不如人类

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

盘点一下,今年有哪些明星也参与了高考?
今天小编整理了盘点一下,今年有哪些明星也参与了高考?相关信息,希望在这方面能够更好的大家。 在今年参加艺考的明星有 张子枫、何洛洛、赵今麦、周奇、刘奇、李庚希,焉栩嘉 等等。 何洛
考研英语刷题有没有什么好的资料?
考研英语刷题有没有什么好的资料?相关内容,小编在这里做了整理,希望能对大家有所帮助,关于考研英语刷题有没有什么好的资料?信息,一起来了解一下吧! 考研英语刷题的好资料包括《考研英语真题集》、《
广艺附中艺考2024年报名 艺考报名时间2023
最近经常有小伙伴私信询问广艺附中艺考2024年报名 艺考报名时间2023相关的问题,今天,小编整理了以下内容,希望可以对大家有所帮助。 2023艺考和高考的报名时间一般在2022年10月-11月。 20
唐山中职春季高考分数线 春季高考各个学校分数线
今天小编为大家带来了唐山中职春季高考分数线 春季高考各个学校分数线,希望能帮助到大家,一起来看看吧! 临沂艺术学校2023分数线如下: 1、五年制、三二连读高等职业教育、高等师范教育幼儿
新疆文科考生人数(新疆高考报名时间2024年具体时间)
新疆文科考生人数(新疆高考报名时间2024年具体时间)很多朋友对这方面很关心,整理了相关文章,供大家参考,一起来看一下吧! 新疆2022年文科考生人数是21.85(万人),各省高考报名人数排名: 1、河南13
春季高考500分能上什么专科学校?
最近经常有小伙伴私信询问春季高考500分能上什么专科学校?相关的问题,今天,小编整理了以下内容,希望可以对大家有所帮助。 2023年春季高考录取分数线如下: 2023年的春季高考录取分数线总体

热点精选

最新推荐

您可能感兴趣