Arm Accuracy Super Resolutionのご紹介
Armはこのたび、モバイルデバイスでのアップスケーリングに特化したクラス最高のオープンソース・ソリューション「Arm Accuracy Super Resolution（Arm ASR）」を発表します。本稿では、私たちのアプローチを紹介するとともに、開発者の皆様にプロジェクトへの参加をお勧めしています。
優れたゲームは、プレイヤーの感情を揺さぶる旅路へといざないます。そのためゲームの開発キットには、刺激的な音楽、創意工夫に富んだ操作方法、グラフィックス効果など、さまざまな分野で利用可能なツールが多数収録されています。グラフィックスに関しては、これほどまでに洗練された映像をモバイルゲームで提供できることは驚くべきことといえます。60Hz以上のリフレッシュレートにより、数百万ピクセルの画面にレンダリングされるゲームの存在は、圧巻の一言です。
人々の欲望が尽きることはありません。開発者のビジョンを具現化するため、最新のモバイルゲームは、複雑なライティングやシェーダーで限界を突破しています。これらはいずれもコストが高く、GPUの負担となり、より多くの電力を消費します。たとえハイエンドPCであっても、ある程度の妥協は認めざるを得ないのです。そこで登場するのがアップスケーリングです。
Arm ASR：Arm Accuracy Super Resolution
アップスケーリングとは、フレームの一部の段階を低解像度でレンダリングした後に、低解像度から高解像度に引き上げる技術です。フル画面のエフェクトやユーザーインターフェイスをレンダリングする場合、見栄えが悪くなる可能性があるため、フレームをレンダリングする全工程で使用すべきではありません。しかし、パイプラインの初期段階では、優れた効果が得られるとともに、プロセスの一環としてアンチエイリアスを提供できます。
アップスケーリングのフレームへの統合
後処理手法の例
| Lighting Based Post-processing | Image Based Post-processing |
|---|---|
| Screenspace Reflections | Film grain |
| Screenspace ambient occlusion | Chromatic aberration |
| Denoisers (shadows, reflections) | Vignette |
| Exposure | Tonemapping |
多くのソリューションが提供される中、私たちはAMDのFidelityFX Super Resolution 2（FSR2）に注目しました。この技術は、2016年に開始したオープンソース・プロジェクト「GPUOpen」の要素です。本プロジェクトは寛容なMITライセンスと連携しており、PCとゲーム機の格差に取り組む際の負担を軽減してくれる、ポータルなソリューションの実現を目指しています。こうした価値観は私たちにとって興味深く、モバイル向けソリューションの理想形について自問するきっかけとなりました。
アップスケーラーの種類
アップスケーラーには、空間的と時間的の2種類が存在します。最初に登場し、開発者に提供されたのは前者の技術です。
空間的アップスケーラーは、フレーム単位で動作して結果を生成するため理解しやすく、これをホストするゲームエンジンの要件も抑えられます。空間的アップスケーラーの例としては、FSR1やQualcommのGame Super Resolution（GSR）が挙げられます。この手法の欠点は、レンダリング時の解像度の選択で開発者が欲張りすぎると、最終的な画像が不鮮明になることです。逆に言うと、演算面では比較的低コストです。
一方、時間的アップスケーラーはより複雑な技術であり、複数のフレームから得られる情報を結合することで、最終的な結果を生成します。しかし一般的には、低解像度のターゲットからより高品質の画像を生成します。その際、エンジンから追加情報の入力が要求されます。例えば、奥行きや動きのベクトル情報を提供する必要があります。リアクティブマスクは、パーティクルエフェクトなどの奥行きや動きの情報を欠いた特徴を取り扱うのに適しています。
時間的アップスケーラーの採用
グラフィックス性能の一般的な課題を解決しつつ、モバイルゲーム開発者にメリットを提供するため、私たちは時間的アップスケーリングを直接採用することにしました。私たちの出発点となったAMDのFSR2アップスケーラーは良好な結果を生成してくれるものの、PCやハイエンドゲーム機以外では実装しにくい技術となっています。ArmのソリューションはこのFSR2から派生したもので、開発者は使い慣れたAPIと構成オプションを活用できます。
研究の一環として、私たちは著名なビストロシーンを選択しました。そして、より局所的なオーバーラップライトとメインライトの減衰を追加したことで、約280万トライアングルをレンダリングするという、リアルな演算の課題を作成しました。
ビストロシーン、画像提供：NVIDIA、クリエイティブ・コモンズCC-BY-4.0ライセンスに基づき公開
そして、Arm Immortalis-G720 GPUと解像度2800x1260のディスプレイを搭載した商用モバイルデバイスから収集した結果を分析しました。この結果、GPUパフォーマンスの大幅な向上を実証できました。
ネイティブ解像度とArm ASR/FSR2/FSR1/GSRを使用したアップスケーリング性能のフレームレート分析
同様に重要なのは、このテクニックを使うことで、高品質な結果を安定的かつ低温でレンダリングできたことです。ネイティブ解像度でレンダリングすると、必然的に望ましくないサーマルスロットリングが発生します。
Arm ASRのパフォーマンス
Arm ASRの卓越したパフォーマンスは、GPU負荷と帯域幅要件の両方を削減する、効率的なシェーダコードの組み合わせによるものです。
FSR2とArm ASRのGPUパフォーマンス分析
こうしたパフォーマンス向上は、消費電力の削減へとつながり、バッテリー駆動時間の向上によって、ユーザーの日常生活に多大なメリットをもたらします。ArmとMediaTekのコラボレーションの一環として、MediaTekはこの主張を検証し、Dimensity 9300搭載端末を用いて以下の結果を得ることができました。
ネイティブのフル解像度（1080p）、Arm ASRの品質重視とバランス重視、パフォーマンス・アップスケーリング（540pから1080p）、ネイティブのハーフ解像度（540p）の消費電力
Armのゲームコンテンツチームは、未来のモバイルGPUを想定したUnreal Engineデモの作成に尽力しています。このコンテンツにArm ASRを導入する絶好の機会でした。
「Mori」デモ、画像提供：Armコンテンツチーム
ご覧の通り、このシーンではさまざまなディテールが緻密に表現されています。そのため、AMDのFSR1/2と同様、Arm ASRではRobust Contrast-Adaptive Sharpening（RCAS）をサポートしています。その結果ははっきりと表れています。
「Mori」シーンの拡大部分
結果をオープンソースで共有
私たちは今回の結果を誇りに思っており、MITのオープンソース・ライセンスに基づき、開発者コミュニティと共有したいと考えています。これに伴い、すべての開発者は、Arm ASRのメリットを直接確認した上で、ご自身のプロジェクトで実験を行えます。アーリーアダプターをご希望の方は、以下からお問い合わせください。
Armについて
Armは、業界最高の性能と電力効率に優れたコンピューティング・プラットフォームであり、コネクテッドな世界における人口の100%に貢献する比類のないスケールを備えています。Armは、演算に対する飽くなき需要に応えるため、世界をリードするテクノロジー企業に先進的なソリューションを提供し、各社がAIによるかつてない体験や能力を解き放つことができるよう支援しています。世界最大のコンピューティング・エコシステムと2,000万人のソフトウェア開発者とともに、私たちはArm上で築くAIの未来を形作っていきます。
全ての情報は現状のまま提供されており、内容について表明および保証を行うものではありません。本資料は、内容を改変せず、出典を明記した上で自由に共有いただけます。ArmはArm Limited（またはその子会社や関連会社）の登録商標です。その他のブランドあるいは製品名は全て、それぞれの権利者の所有物です。©1995-2024 Arm Limited.