第649章 玉泉路扛把子登顶榜首（1/2）

会议室里再次陷入了沉默。

一个没有任何机构背景，用著中国大眾邮箱，名字极其隨意的队伍，直接把当前计算机视觉的最高记录翻了一倍。

这听起来就像是一个拙劣的愚人节玩笑。

但数据偏偏是铁打的事实。

“有没有可能是我们自己团队的谁，不小心把內部测试的某个超前结果传上去了？”李飞飞拋出了第一个假设。

约翰直接摇头。

“不可能，李老师。”约翰苦笑，“我们团队现在最好的模型，昨天晚上刚跑完一轮，top-1才刚过30%。连人家的尾灯都看不到。这结果跟我们完全不在一个量级上。”

“那会不会是测试集的標註答案泄露了？”大卫提出了第二个假设，“如果是有人拿到了標准答案，直接把答案改个名字上传，也能得到这个分数。甚至可以故意答错一些，控制在60%左右，避免百分之百太显眼。”

李飞飞立刻看向陈冉。

“陈冉，联繫imagenet项目的数据管理员，调取测试集所在的最高权限访问日誌。我要看从发布到现在的所有记录。”

陈冉立刻拿起手机开始打电话。

会议室里的气氛压抑得让人喘不过气。

如果真的是测试集泄露，那整个imagenet项目的公信力將遭到毁灭性的打击。

101看书 找书就去 101 看书网，101??????.??????超全 全手打无错站

十分钟后，数据管理员把日誌文件发了过来。

陈冉打开文件，快速瀏览。

“没有泄露。”陈冉指著屏幕上的记录，“日誌显示，测试集从发布到现在，只有三个经过授权的內部高级帐號下载过。而且这三次下载记录，都是在项目启动初期为了做本地环境配置。最近三个月內，没有任何人访问过测试集原始数据所在的安全分区。”

“黑客攻击呢？”大卫追问。

“防火墙没有报警记录。”陈冉说，“而且我们的测试集伺服器是不对公网开放的物理隔离节点，想要拿到数据，除非有人亲自跑到机房拔硬碟。”

假设再次被推翻。

“既然不是答案泄露，那这就见鬼了。”约翰双手抱头，“如果不是作弊，那这个正確率意味著什么？”

大卫看著电脑屏幕上的乱码发呆。

“意味著他们用的方法，已经跟我们不在同一个理论框架里了。”大卫说。

“陈冉，你最了解中国那边的情况。”

李飞飞问，“会不会是中国那边找了大量的人力，对著测试集一张一张標註出来的？重赏之下必有勇夫，为了那三万美元的奖金，这种人海战术在理论上是可行的。”

陈冉还没说话，约翰先反驳了。

“这绝对不可能。”约翰语气坚定。

“为什么？”陈冉问。

“imagenet的分类不是区分猫和狗那么简单。”约翰语速飞快，“李老师，您忘了测试集的分类都是什么吗，一百二十种不同的狗！普通的数据標註工，哪能分得清诺威奇梗和凯恩梗？哪能分得清阿拉斯加雪橇犬和西伯利亚哈士奇在模糊背景下的区別？”

约翰指著屏幕上的一个分类標籤。

“再看看植物类，普通標註工能看出一张带点反光的叶子到底是哪种蕨类植物吗？这需要专业的生物学知识！普通人盯著看一天也分不出个所以然。”

约翰越说越激动。

“要达到接近六成的top-1准確率，他们不仅需要找人看，还需要找动物学家、植物学家、汽车型號鑑定专家一起来看！普通人根本做不到这种精度，更不用说还要保证几千张图片的一致性了。”

大卫在旁边跟著点头。

“我算一笔经济帐。”大卫补充说，“如果他们真的用人力標註，要请这么多专家来会诊十五万张图片，还要保证绝对的保密不走漏风声，这个成本早就远远超过了三万美元的奖金。逻辑上完全说不通。没有人会花三十万美元去赚三万美元。”

人海战术的假设也被彻底推翻。

李飞飞深吸了一口气。

“参赛系统是允许参赛队伍提交论文和源码的，对吧？”李飞飞问。

“对，这是选填项。”陈冉点头。

“我们看一下他们的详情页。”李飞飞说。