Arm 推出精確超解析度 (ASR) 圖像提升技術

 

July 19, 2024

 

作者：Arm 開發者生態系策略總監 Peter Hodges

 

Arm ASR 圖像提升技術

 

近日，Arm 推出了Arm 精確超解析度 (Arm Accuracy Super Resolution, Arm ASR) 圖像提升技術，這是一款針對行動裝置進行優化升級的最佳開源超解析度（下文簡稱「超解析度」）解決方案。本文將為您介紹我們採用的方法，並歡迎您一同加入我們的技術探索之旅。

 

製作精良的遊戲能夠帶領玩家踏上一段動人的旅程。遊戲開發者套件裡有許多工具可以為此增加助力，例如引人入勝的音樂、富有想像力的操控模式和圖像效果等。就圖像技術而言，手遊中圖像的精細程度令人震撼。遊戲被渲染到包含數百萬像素的螢幕上，並以驚人的 60Hz 或更高的刷新率顯示呈現。

 

持續推動遊戲開發更上一層樓的是這個產業永無止境的追求。現代手遊透過複雜的光照和著色器，不斷突破極限，以實現開發者的願景。然而其代價在於，這不僅加重了 GPU 的負載，還將消耗更多電力。即使是在高階 PC 上，超解析度技術正是我們追尋的答案。

 

 

Arm 精確超解析度技術

 

透過超解析度技術，一幀的內容得以在某些階段先以較低解析度渲染，然後應用該技術從低解析度放大到高解析度。這一技術並非在幀渲染的每個環節都使用，否則可能會在渲染全螢幕效果或使用者介面時產生不美觀的瑕疵。然而，在渲染流程的早期階段，該技術可以發揮顯著作用，並做為流程的一環提供抗鋸齒效果。

 

圖：將超解析度技術整合到每幀中

 

 

後處理技術示範

 

基於光照的後處理 基於圖像的後處理
螢幕空間反射 膠片顆粒
螢幕空間環境光遮蔽 色差
降噪器（陰影、反射） 暈影
曝光 色調映射

 

 

在眾多可用的解決方案中，AMD 超級解析度銳畫技術 2 (FSR 2) 吸引了我們的關注。做為 GPUOpen 的一部分，該開源專案於 2016 年啟動，採用相對寬鬆的 MIT 許可證，其用意在提供可移植的解決方案，以緩解 PC 和遊戲主機之間存在的效能差異。這引發了我們的關注和思考：優異的行動端解決方案應該具備哪些特性？

 

 

超解析度技術的類型

 

超解析度技術主要分為空間類和時域類。最先問世和被開發者採用的是空間類技術。

 

空間類超解析度會逐幀生成結果，其工作原理更容易理解，對遊戲引擎的要求也相對較低，例如 FSR 1 和驍龍遊戲超級解析度 (GSR) 就是這一類的代表。但該技術的缺點在於，開發者在選擇渲染解析度時不能太過積極，否則最終圖像可能會出現模糊。不過，這種技術的算力成本相對較低。

 

而時域類超解析度技術則更為複雜，它透過整合多幀的資訊來生成最終結果。通常，它能夠從較低解析度生成更高品質的圖像。但這對遊戲引擎提出了額外的輸入要求。例如，必須提供深度和運動向量資訊，並且最好有反應性遮罩，以便處理如粒子效果等缺乏深度或運動資訊的元素。

 

 

邁向時域類超解析度技術

 

我們決定直接選用時域類超解析度技術，來因應常見的圖像效能挑戰，並為手遊開發者帶來優勢。我們以 AMD FSR 2 為基礎，它能提供不錯的效果，但實現成本相對較高，僅適用於 PC 和高階遊戲主機。我們的解決方案源自 FSR 2，因此開發者能夠繼續使用熟悉的 API 和配置選項。

 

在研究過程中，我們採用了大家熟悉的小餐館場景，並且增加了更多的局部重疊光源和主光源衰減，以此模擬實際的運算挑戰，大約需要渲染 280 萬個三角形。

 

小餐館場景

圖：小餐館場景由 NVIDIA 提供，並基於 Creative Commons CC-BY-4.0 授權合約進行發表

 

 

針對搭載 Arm Immortalis-G720 GPU 和採用 2800x1260 顯示解析度的商用行動裝置，我們對收集的結果進行分析後，發現 GPU 效能得到了顯著提升。

 

 

使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的原生解析度和提升效能的幀率分析圖表

圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的原生解析度和提升效能的幀率分析

 

 

同樣重要的是，這項技術能夠穩定保持在相對較低的溫度下，渲染出高品質的結果。而以原生解析度進行渲染時，不可避免地會出現明顯的發熱升溫，這將有損遊戲中的使用者體驗，並縮短遊戲時間。

 

 

Arm ASR 的效能表現

 

Arm ASR 的優異效能來自於結合了高效率的著色器程式碼，不僅減輕了 GPU 的負載，也降低了頻寬需求。

 

FSR 2 和 Arm ASR 的 GPU 效能分析圖表

圖：FSR 2 和 Arm ASR 的 GPU 效能分析

 

效能的提升往往也同樣意味著節省能耗，由此可以延長電池續航時間，這對於使用者的日常使用是一大利多。在我們與聯發科技的協作中，證實了這項推測，在搭載天璣 9300 晶片的手機上進行了測試並得到了以下結果。

 

圖：原生全解析度 (1080p)、Arm ASR 品質、平衡和效能模式下從 540p 提升到 1080p，以及原生半解析度 (540p) 的功耗對比

 

Arm 遊戲內容團隊一直在努力製作一款 Unreal Engine 展示，以挑戰未來行動端 GPU 的效能極限。我們也期待將 Arm ASR 應用於此類內容展示中。

 

Mori 演示畫面

圖：由 Arm 內容團隊提供的 Mori 展示畫面

 

這個展示場景中包含了許多精緻入微的細節，這正是因為我們在 Arm ASR 中支持了穩健對比度自我調整銳化 (RCAS) 技術，AMD FSR 1 和 FSR 2 也採用了這項技術。效果顯而易見：

 

Mori 場景放大圖

圖：Mori 場景中的放大部分

 

 

與開源社群共享成果

 

我們對這項工作成果深感自豪，並希望基於 MIT 開源授權合約與開發者社群共享成果，使得每一位開發者都能親身感受 Arm ASR 的優勢，並在自己的專案中嘗試應用。如果您希望成為早期採用者，請點擊此處與我們聯繫。