外媒稱聯發科 SoC 效能分數造假,官方否認但反駁又來了

作者 | 發布日期 2020 年 04 月 10 日 11:34 | 分類 晶片 , 軟體、系統 line share follow us in feedly line share
外媒稱聯發科 SoC 效能分數造假,官方否認但反駁又來了


現在的手機跑分,是否真的不能信。手機廠商、晶片廠商越來越追求晶片的跑分數值,Benchmark(基準性能測試)逐漸成為衡量裝置性能的重要標準。

但在一味追求分值的同時,廠商們也逐漸深陷「分值禁錮」之中,近期的聯發科,就是如此。

聯發科晶片 Benchmark 造假

事情的開始,要從 OPPO Reno3 說起。

外媒 Anandtech 發現,搭載 P95 CPU 的歐洲版 OPPO Reno3 Pro 的跑分數值比搭載性能更強大的最新 Dimensity 1000L CPU 的國行版 Reno3 的高,這引起 Anandtech 的質疑。

由此,Anandtech 分別使用匿名版(可幫助分值作弊)和常規版的 PCMark 對 MediaTek P95 CPU 進行跑分。

(Source:Anandtech,下同)

結果顯示,P95 CPU 的真實總分比匿名版得分低 30%;在寫入負載方面,兩者得分的差異甚至達到 75%。

同時,Anandtech 指出,透過對 OPPO Reno3 Pro 進行測試,結果表明並非是 OPPO Reno3 Pro 導致的跑分差異。也就是說,造成跑分差異的根源在於聯發科晶片。

為了證明這個結論,Anandtech 對 Reno3 搭載的聯發科晶片做進一步調查。結果發現,在手機的韌體(/vendor/etc 文件夾)中,包含一個「power_whitelist_cfg.xml」文件。

該文件中存在一個涵蓋各種基準測試的列表,包括 GeekBench、AnTuTu、3 dbench,、PCMark、魯大師、AndroBench2 等。不僅如此,列表中還新增了人工智慧基準測試,包括 Master Lu AIBench、ZTH AI 。

▲ Reno3 Pro「運動模式」基準白名單部分截圖。

在這其中,Anandtech 找到了 PCMark 的 APK ID,發現 ID 中採用了一些電源管理提示,其中一個共同的提示為「運動模式」。

該模式能夠修正 SoC 晶片的一些 DVFS (動態電壓頻率調整)特性,比如始終以最大頻率執行記憶體控制器。另外,在負載跟蹤方面,排程也被更改了設置,在工作負載時 CPU 核心的頻率能夠更快地上升,並停留更長時間。

不僅如此,其 APK ID 還包含了企業版的 GFXBench,雖然在清單中沒有配置「運動模式」提示,但在使用應用程式是會改為默認的 DVFS、熱力和調度器設置。

值得注意的是,「power_whitelist_cfg.xml」文件不僅存在於 OPPO 裝置上,Anandtech 還在其他裝置上(搭載聯發科晶片的裝置)發現了類似文件以及幾乎相同的基準清單條目。如表所示(表中缺少 AI 測試,並非完整的基準測試列表):

巧合的是,在 Anandtech 解壓文件之後,OPPO 向手機推送了一個韌體更新,文件中原有的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置,因為基準測試中依然能夠觸發「運動模式」,從而使性能大大提升。

聯發科回應

對於 Anandtech 提出的質疑,聯發科方面也給出正面回應。以下為回應聲明

聯發科技遵循公認的行業標準,並且對基準測試準確地代表了我們晶片組的功能充滿信心。在測試和基準測試由我們的晶片組驅動的裝置時,我們與全球裝置製造商緊密合作,但最終,品牌商可以靈活地配置自己認為合適的裝置。許多公司將裝置設計為在進行基準測試時以最高性能執行,以顯示晶片組的全部功能。這揭示了任何給定晶片組的性能能力的最高端。

當然,在現實世界中,有許多因素決定晶片組的性能。聯發科技的晶片組旨在優化功耗和性能,以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在執行諸如要求苛刻的遊戲之類的計算密集型程式,則該晶片組將智慧地適應計算模式以提供持續的性能。

這意味著,隨著晶片組根據出色的用戶體驗所需的功能和性能動態管理 CPU、GPU 和記憶體資源,用戶將從不同的應用程式中看到不同的性能水平。此外,某些品牌在不同地區具有不同類型的模式,因此裝置性能可能會因地區市場需求而異。

我們認為,在基準測試中展示晶片組的全部功能與其他公司的做法是一致的,並且可以為消費者提供有關裝置性能的準確資訊。

聯發科認為,其公布的 Benchmarks 分值代表了晶片組驅動裝置時的最高分值,代表晶片組性能的最高端,所以不存在跑分造假的行為。同時聯發科指出,這個做法與其他公司的做法是一致的,也就是說,這行裡的廠商都是這麼做的。

但這個回應遭到 Anandtech 的反駁。Anandtech 認為,聯發科並無回應出問題的本質。其具有欺騙性的 Benchmarks 不僅針對的是與 SoC 相關的跑分軟體(例如 GeekBench、GFXBench),而且面向了與用戶體驗相關的跑分軟體,也就是前文提到的 PCMark。

Anandtech 解釋稱,PCMark 是一個系統基準測試,其分值代表了晶片的工作負載和裝置響應能力。雖然 PCMark 反映的是晶片的性能,但會受 DVFS 和調度程式等軟體和機制的影響;這也印證了前文提及「運動模式」會修正 SoC 晶片的 DVFS 特性,進而影響 Benchmarks 分值。

另外,Anandtech 指出,PCmark 分值反映的是用戶使用體驗,而不僅是晶片組的性能。也就是說,Anandtech 認為聯發科干涉 PCmark 分值已超出了晶片跑分的範圍。

用產品說話,才擲地有聲

事實上,在聯發科之前,三星、華為都曾因欺騙 Benchmark 結果陷入輿論中心。

2014 年,測試人員發現三星透過添加原始碼在基準測試中作弊,該原始碼能夠檢測基準測試應用程式是否在手機上執行,一旦發現,則以更快的速度(532MHz,正常情況下為 480MHz)執行手機。

由此,三星遭遇集體訴訟,且該訴訟長達 4 年。2019 年 9 月 30 日,三星敗訴,承認在基準測試中作弊,同意向 Galaxy S4 的購買者支付 10 美元賠償。

同樣的事情在華為身上也發生了。Anandtech 發現,華為會在新裝置中配備基準檢測機制,為 SoC 提供了更高的功率限制。最終,在某些白名單應用程式中,裝置的性能會更高。

不過,這種做法會帶來一些負面影響,包括消耗電能、降低機組效率、降低電池壽命等。

對此,華為表示,僅憑一個單一的基準數字並不能顯示完整體驗。但對於部分項目,進行基準測試是整個行業中被認可的方式,每個公司都在朝著更好的客觀結果而努力。同時,華為消費者 BG 軟體工程部總裁王成錄表示,其他廠商都在進行同樣的測試獲得高分,華為不能保持沉默。

不難看出,Benchmark 的高分值正成為晶片製造商追求的目標,也逐漸成為了行業的行銷手段。Benchmark 分值固然能反映裝置的性能,但為了行銷、數值攀比而進行跑分造假不應是業界常態。

且不論「你做我也做」追求 Benchmark 高分值的盲目性,就跑分造假這個行徑而言,其分值只能在短時間內獲取用戶體驗的好感度,但從長期視角來看,追求高分值會帶來裝置性能的損耗,這並不是與用戶建立良好關係的正確途徑。

正如 AnandTech 在文中提及,更好地與用戶體驗建立聯繫的唯一方式,就是讓每個常規遊戲在標準的功率範圍內執行。也就是說,性能最具說服力的表現不是分值,而是產品本身。

(本文由 雷鋒網 授權轉載;首圖來源:影片截圖)

延伸閱讀: