日前, Anandtech 发现,搭载 P95 CPU 的欧洲版 OPPO Reno3 Pro 的跑分数值比搭载性能更强大的最新 Dimensity 1000L CPU 的国行版 Reno3 的高,这使 Anandtech 的质疑联发科在自家的处理器在基准测试中有造假的嫌疑。目前手机市场上的主流处理器包括高通骁龙、华为海思麒麟、三星Exynos以及联发科处理器,为了彰显手机性能,各手机厂商在其新机发布会上都会用横比友商的跑分数据,这种数据对比也在一定程度上影响了消费者的决定。
所以部分厂商为了自己的跑分数据好看,不惜进行“造假”。
外媒质疑联发科P95芯片跑分造假
日前, Anandtech 发现,搭载 P95 CPU 的欧洲版 OPPO Reno3 Pro 的跑分数值比搭载性能更强大的最新 Dimensity 1000L CPU 的国行版 Reno3 的高,这使 Anandtech 的质疑联发科在自家的处理器在基准测试中有造假的嫌疑。
AnandTech采用了匿名版(可帮助分值作弊)和常规版的PCMark分别对联发科P95进行了跑分测试,结果显示匿名版的得分少了30%;在写入负载方面,二者得分的差异甚至达到 75%。
图源 Anandtech
AnandTech认为造假的并非是手机,而是处理器的问题。
他们在手机固件中找到一个“power_whitelist_cfg.xml”文件,文件中对目前的主流跑分软件包括 GeekBench、AnTuTu、3 dbench,、PCMark、鲁大师、AndroBench2 等都进行了白名单设置,不仅如此,列表中还新增了人工智能基准测试,包括 Master Lu AIBench、ZTH AI 。只要是运行这些跑分软件,就立刻开启“高性能模式”。最终达到高分的目的。
Reno3 Pro“运动模式”基准白名单
值得注意的是,“power_whitelist_cfg.xml”文件不仅存在于 OPPO 设备上,Anandtech 还在其他设备上(搭载联发科芯片的设备)发现了类似文件以及几乎相同的基准清单条目。如表所示:
表中缺少 AI 测试,并非完整的基准测试列表(图源 Anandtech)
巧合的是,在 Anandtech 解压文件之后,OPPO 向手机推送了一个固件更新,文件中原有的基准列表消失了。Anandtech 认为该文件列表仅是被移动了位置,因为基准测试中依然能够触发“高性能模式”,从而使性能大大提升。
联发科回应:行业里都是这么做的!
对于 Anandtech 提出的质疑,联发科方面也给出了正面回应。以下为回应声明:
联发科技遵循公认的行业标准,并且对基准测试准确地代表了我们芯片组的功能充满信心。在测试和基准测试由我们的芯片组驱动的设备时,我们与全球设备制造商紧密合作,但最终,品牌商可以灵活地配置自己认为合适的设备。许多公司将设备设计为在进行基准测试时以最高性能运行,以显示芯片组的全部功能。这揭示了任何给定芯片组的性能能力的最高端。
当然,在现实世界中,有许多因素将决定芯片组的性能。联发科技的芯片组旨在优化功耗和性能,以在尽可能延长电池寿命的同时提供最佳的用户体验。如果有人正在运行诸如要求苛刻的游戏之类的计算密集型程序,则该芯片组将智能地适应计算模式以提供持续的性能。
这意味着,随着芯片组根据出色的用户体验所需的功能和性能动态管理 CPU,GPU和内存资源,用户将从不同的应用程序中看到不同的性能水平。此外,某些品牌在不同地区具有不同类型的模式,因此设备性能可能会因地区市场需求而异。
我们认为,在基准测试中展示芯片组的全部功能与其他公司的做法是一致的,并且可以为消费者提供有关设备性能的准确信息。
联发科不认为自己造假。而是说高跑分是芯片最高性能的体现。当芯片检测到高性能需求时,就会触发高性能模式。而在基准测试中触发“高性能模式”这一点也是业内常见的情况。
换而言之,联发科认为大家都这么做的,我这么做无可厚非。
Anandtech反驳:未回应问题的本质
Anandtech 认为,联发科并无回应出问题的本质。其具有欺骗性的 Benchmarks 不仅针对的是与 SoC 相关的跑分软件(例如 GeekBench、GFXBench),而且面向了与用户体验相关的跑分软件,也就是前文提到的 PCMark。
Anandtech 解释称,PCMark 是一个系统基准测试,其分值代表了芯片的工作负载和设备响应能力。虽然 PCMark 反映的是芯片的性能,但会受 DVFS 和调度程序等软件和机制的影响;这也印证了前文提及“运动模式”会修正 SoC 芯片的 DVFS 特性,从而影响 Benchmarks 分值。
另外,Anandtech 指出,PCmark 分值反映的是用户使用体验,而不仅仅是芯片组的性能。也就是说,Anandtech 认为联发科干涉 PCmark 分值已超出了芯片跑分的范围。
总结:跑分造假为何成行业通病?
早在2014 年,三星就被测试人员指控通过添加源代码在基准测试中作弊,并遭到长达 4 年的集体诉讼。2019 年 9 月 30 日,三星败诉,承认在基准测试中作弊,同意向 Galaxy S4 的购买者支付 10 美元赔偿。
2017年, XDA多次抓到一加针对特定跑分应用临时拔高处理器频率,并发表报告曝光其恶习。(外媒揭秘一加 5 跑分造假,有分析有真相)
华为也被 Anandtech 指出会在新设备中配备基准检测机制,为 SoC 提供了更高的功率限制。最终,在某些白名单应用程序中,设备的性能会更高。当时华为表示:跑分作假不只我们一家,很多厂商都有!
继华为以后,OPPO 也被著名测试软件3DMark母公司 Benchmark曝光Find X和F7疑似有跑分造假的嫌疑。
可见在当下,芯片跑分造假已经成为各厂商营销、攀比的重要手段之一。
但这种假分值虽然在短时间内获得了消费者的好感,但长期来看却损害了消费者对品牌的信任度,这并非健康的产品发展方式。
正如 AnandTech 在文中提及,更好地与用户体验建立联系的唯一方式,就是让每个常规游戏在标准的功率范围内运行。