当前所在位置: 首页 > 数码科技

GPT-4o攻破ARC-AGI无法被挑战的神话!71%准确率成新SOTA

时间:2024-06-20 17:35 | 作者:思娟 | 【 字体:

号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动,GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA!

字条网四卷带您了解

ARC-AGI是唯一可以用来衡量通用人工智能进展的基准,创造者François Chollets曾经掷下豪言——

「它不可能轻易被击败!」

为了测试这一点,他于2020年在 Kaggle(Google LLC旗下的数据科学竞赛平台)上主办了首届ARC-AGI竞赛。

获胜团队icecuber在测试集上仅取得了21%的成功率,这个成绩强有力地证明了François的断言是正确的。

此后几年,来自世界各地的挑战者不断刷新这个纪录,但进展缓慢。ARC-AGI似乎成为了一座不可跨越的高山。

可是这周二,ARC-AGI基准无法被挑战的神话被GPT-4o撼动了!GPT-4o以在公共测试集50%、在训练集的保留子集71%的准确率成为了新的SOTA!

ARC-AGI上周被大肆宣传为LLM无法解决的基准。这个说法激发了我亲爱的同事Ryan Greenblatt的斗志,因此他上周试图用 LLMs 来解决这个问题。Ryan在一组示例中获得了 71% 的准确率,而人类的准确率为 85%;这(GPT-4o)是SOTA。

这个消息也迅速登上了HN热搜榜。

值得一提的是,今年Mike Knoop、François和Lab42联手创建了2024年ARC奖,奖金池超过110万美元。

为了完成这个挑战,Ryan放弃了一个星期的项目,设计了很多花哨的技巧,争取了高性能:

训练集:71% vs. 人类基线 85%

测试集:51% vs. 之前的 SOTA 34%(人类基线未知)

但遗憾的是,此提交不符合 ARC-AGI 奖项和主要排行榜的资格,因为它使用闭源模型和过多的运行时计算。

可能Ryan会提交到私人排行榜中吧。

什么是ARC-AGI?

ARC-AGI的数据集由视觉问题组成,输入输出示例是由彩色单元格组成的网格,任务是猜测从输入到输出的转换规律,然后补全缺失的网格。

看起来很简单对吧,就像是小学的奥数题,让GPT-4o来解决也并不困难。

不过,公共测试集中的任务要难得多,对于人类来说,也会有些棘手,但并非不可解决。

每一项ARC-AGI任务都是经过人工验证的,包括公共测试集,确保ARC-AGI的所有任务都可以由人类解决。

毕竟这是一个通用人工智能基准,如果连人类自己都难倒了,那拿去测试LLM也说不过去。

据报道,亚马逊土耳其机器人( Amazon Mechanical Turk,MTurk) 训练分布的人类基线是85%,但没有针对公开测试集的人类基线,不过我们已知的是,公开测试集更难,那么针对公开测试集的人类基线应该会更低。

Ryan给出了测试集中的一些代表性的问题,以及他基于GPT-4o的解决方案是否回答正确。



阅读全文
相关推荐

《羊了个羊》小游戏爆火 没人过去第二关:比《王者》还气人

《羊了个羊》小游戏爆火 没人过去第二关:比《王者》还气人
日前,一款名为《羊了个羊》的小游戏突然于网络上爆火,霸占了多个热搜话题,无数网友...

WPS率先适配iOS16:7个超实用的新功能

WPS率先适配iOS16:7个超实用的新功能
随着iOS16正式版的推出,WPS移动版也迎来了版本更新,已率先适配iOS16锁...

临近iPhone14发售日 苹果市值一夜蒸发1500亿美元

临近iPhone14发售日 苹果市值一夜蒸发1500亿美元
9月16日(后天)就是iPhone14系列的发售日了,按照往年的惯例,这一天都会...

刷新中画幅无反数码相机新高度 京东上新哈苏新品打造极致摄影新体验

刷新中画幅无反数码相机新高度 京东上新哈苏新品打造极致摄影新体验
你一定见过这个画面:一个人站在蓝色的地球前面,脚下是一片阴影。1972年阿波罗计...

2022京东×联想宠粉日火热进行中 全场至高享12期免息

2022京东×联想宠粉日火热进行中 全场至高享12期免息
29月14日,由京东携手联想共同打造的“敢想敢秀2022京东x联想宠粉日”在众多...

提前激活iPhone14每台罚款20万 经销商开机展示:灵动岛动画绝了

提前激活iPhone14每台罚款20万 经销商开机展示:灵动岛动画绝了
虽然iPhone14系列新机要在9月16日才正式发售,但是目前各地经销商已经提前...

千万小心!一种钓鱼攻击正在诱捕Steam用户

千万小心!一种钓鱼攻击正在诱捕Steam用户
据pcgamer消息,一种全新的BitB网络钓鱼攻击正在诱捕Steam用户。该技...

中国成汽车出口第三大国(去年出口量仅次于日本、德国)

中国成汽车出口第三大国(去年出口量仅次于日本、德国)
国产车在国内市场的市占率不断攀升,而今,自主品牌相继出海布局海外市场,这也带动了...

手机连不上wifi是怎么回事 手机连不上wifi是什么情况

手机连不上wifi是怎么回事 手机连不上wifi是什么情况
以魅族pro6s,Android 8系统为例。打开手机设置,点击【无线网络】,再...

京东白条怎么用 京东白条怎样用

京东白条怎么用 京东白条怎样用
以京东APP V7.0.8,华为mate20,EMUI9.1.0版本为例。首先将...
gotop