内地首个AI高考评测 数学全不及格
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
- ·开放共享/湾区四大合作平台 助港澳科创发展
- ·45岁章子怡素颜健身,眼袋耷拉老态明显,太瘦没力气运动气喘吁吁
- ·嫦娥五号月壤样品研究成果发表70余项
- ·99元抽“显卡盲盒”,2000多个“冤种”竟无一人差评
- ·苏商巨富沈文荣病逝,最大民营钢企千亿沙钢集团驶向何方?
- ·武契奇东窗事发
- ·最后40秒倒下!欧洲杯悲情剧:38岁魔笛狂喜到绝望,赛后哭了
- ·2球被吹+补时绝平,欧洲杯最戏剧性一场的“默契球”?
- ·张铭恩喜当爹?29岁徐璐低胸装直播面容憔悴,胸部变大下垂疑怀孕
- ·科学报国/薛其坤:探秘量子世界 引领信息技术革命
- ·华为Mate 70系列配置曝光 共四款机型 配满血鸿蒙完全体
- ·与朝结盟后,普京首度表态:中国从未援俄,俄也不需要任何人援助
- ·成本超2亿,票房只有3000万,香港“烂片之王”诞生了
- ·朱亚文近照曝光引热议,留长发变化太大,网友吐槽荷尔蒙减一半!
- ·99元抽“显卡盲盒”,2000多个“冤种”竟无一人差评
- ·太尬了!皇马球星闹出欧洲杯最奇葩的抽筋行为,球迷:喜感拉满