# GPU インスタンスによるパフォーマンスアクセラレーション
GPU ベースのインスタンスでは、数千のコンピューティングコアを持つ NVIDIA GPU にアクセスできます。これらのインスタンスを使用すると、CUDA または Open Computing Language (OpenCL) パラレルコンピューティングフレームワークを活用することにより、サイエンス、エンジニアリング、およびレンダリングアプリケーションを高速化できます。また、ゲームストリーミング、3D アプリケーションストリーミング、およびその他のグラフィックスワークロードを含む、グラフィックアプリケーションにも使用できます。
GPU ベースのインスタンスをアクティブ化または最適化するには、次のように適切なドライバーをインストールする必要があります。
+ NVIDIA GPU がアタッチされたインスタンス (P3 または G4dn インスタンスなど) に NVIDIA ドライバーをインストールするには、「[NVIDIA ドライバー](install-nvidia-driver.md)」を参照してください。
+ AMD GPU がアタッチされたインスタンス (G4ad インスタンスなど) に AMD ドライバーをインストールするには、「[AMD ドライバー](install-amd-driver.md)」を参照してください。
**Topics**
+ [NVIDIA GRID 仮想アプリケーションの有効化](activate_grid.md)
+ [GPU 設定を最適化する](optimize_gpu.md)
+ [G4ad でデュアル 4K ディスプレイをセットアップする](activate_g4ad_4k.md)
+ [
# GPU アクセラレーテッドインスタンスの使用を開始する
](gpu-instances-started.md)
# Amazon EC2 GPU ベースのインスタンスで NVIDIA GRID 仮想アプリケーションをアクティブ化する
NVIDIA GPU を搭載した GPU ベースのインスタンスで GRID 仮想アプリケーションをアクティブ化するには (NVIDIA GRID 仮想ワークステーションはデフォルトで有効になっています)、ドライバーの製品タイプを定義する必要があります。使用するプロセスは、インスタンスのオペレーティングシステムによって異なります。
## Linux インスタンス
**Linux インスタンスで GRID 仮想アプリケーションを有効にするには**
1. 提供されるテンプレートファイルから `/etc/nvidia/gridd.conf` ファイルを作成します。
```
[ec2-user ~]$ sudo cp /etc/nvidia/gridd.conf.template /etc/nvidia/gridd.conf
```
1. お好きなテキストエディタで `/etc/nvidia/gridd.conf` ファイルを開きます。
1. `FeatureType` 行を見つけ、それを `0` と等しくなるように設定します。次に、`IgnoreSP=TRUE` の行を追加します。
```
FeatureType=0 IgnoreSP=TRUE
```
1. ファイルを保存して終了します。
1. インスタンスを再起動し、新しい設定を取得します。
```
[ec2-user ~]$ sudo reboot
```
## Windows インスタンス
**Windows インスタンスで GRID 仮想アプリケーションを有効にするには**
1. **regedit.exe** を実行して、レジストリエディタを開きます。
1. `HKEY_LOCAL_MACHINE\SOFTWARE\NVIDIA Corporation\Global\GridLicensing` に移動します。
1. 右側のペインでコンテキスト (右クリック) メニューを開き、[**New**]、[**DWORD**] の順に選択してください。
1. [**Name (名前)**] に**FeatureType**と入力し、`Enter` キーを押します。
1. [**FeatureType**] でコンテキスト (右クリック) メニューを開き、[**Modify**] を選択してください。
1. **値のデータ**には、NVIDIA GRID 仮想アプリケーションで `0` を入力し、[**OK**] を選択してください。
1. 右側のペインでコンテキスト (右クリック) メニューを開き、[**New**]、[**DWORD**] の順に選択してください。
1. [**名前**] では、[**IgnoreSP**] を入力し、次に `Enter` と入力してください。
1. [**IgnoreSP**] でコンテキスト (右クリック) メニューを開き、[**Modify**] を選択してください。
1. [**Value data**] に`1`と入力し、[**OK**] を選択してください。
1. レジストリエディタを閉じます。
# Amazon EC2 インスタンスの GPU 設定を最適化する
NVIDIA GPU インスタンスで最大のパフォーマンスを実現するためには、いくつかの最適化方法の中から GPU 設定を選択できます。これらのインスタンスタイプの一部では、NVIDIA ドライバーは自動ブースト機能を使用しますが、これは GPU クロック速度に左右されます。自動ブーストを無効にし、GPU クロック速度を最大周波数に設定することで、安定して GPU インスタンスで最大パフォーマンスを実現できます。
## Linux での GPU 設定の最適化
1. GPU 設定を永続的になるように設定します。このコマンドの実行には数分かかることがあります。
```
[ec2-user ~]$ sudo nvidia-persistenced
```
1. [G3 および P2 インスタンスのみ] インスタンス上のすべての GPU の自動ブースト機能を無効にします。
```
[ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0
```
1. すべての GPU クロックを最大周波数に設定します。次のコマンドで指定されるメモリとグラフィッククロック速度を使用します。
一部のバージョンの NVIDIA ドライバーでは、アプリケーションのクロック速度の設定をサポートしていないため、`"Setting applications clocks is not supported for GPU..."` エラーが表示されますが、無視できます。
+ G3 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 2505,1177
```
+ G4dn インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 5001,1590
```
+ G5 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 6250,1710
```
+ G6、G6f、Gr6、およびGr6f インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 6251,2040
```
+ G6e インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 9001,2520
```
+ G7e インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 12481,2430
```
+ P2 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 2505,875
```
+ P3 および P3dn インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 877,1530
```
+ P4d インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
```
+ P4de インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
```
+ P5 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 2619,1980
```
+ P5e および P5en インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 3201,1980
```
+ P6-B200 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 3996,1965
```
+ P6-B300 インスタンス:
```
[ec2-user ~]$ sudo nvidia-smi -ac 3996,2032
```
## Windows での GPU 設定の最適化
1. PowerShell ウィンドウを開き、NVIDIA のインストールフォルダに移動します。
```
PS C:\> cd "C:\Windows\System32\DriverStore\FileRepository\nvgridsw_aws.inf_*\"
```
1. [G3 および P2 インスタンスのみ] インスタンス上のすべての GPU の自動ブースト機能を無効にします。
```
PS C:\> .\nvidia-smi --auto-boost-default=0
```
1. すべての GPU クロックを最大周波数に設定します。次のコマンドで指定されるメモリとグラフィッククロック速度を使用します。
一部のバージョンの NVIDIA ドライバーでは、アプリケーションのクロック速度の設定をサポートしていないため、`"Setting applications clocks is not supported for GPU..."` エラーが表示されますが、無視できます。
+ G3 インスタンス:
```
PS C:\> .\nvidia-smi -ac "2505,1177"
```
+ G4dn インスタンス:
```
PS C:\> .\nvidia-smi -ac "5001,1590"
```
+ G5 インスタンス:
```
PS C:\> .\nvidia-smi -ac "6250,1710"
```
+ G6、G6f、Gr6、およびGr6f インスタンス:
```
PS C:\> .\nvidia-smi -ac "6251,2040"
```
+ G6e インスタンス:
```
PS C:\> .\nvidia-smi -ac "9001,2520"
```
+ P2 インスタンス:
```
PS C:\> .\nvidia-smi -ac "2505,875"
```
+ P3 および P3dn インスタンス:
```
PS C:\> .\nvidia-smi -ac "877,1530"
```
# G4ad Linux インスタンスでデュアル 4K ディスプレイをセットアップする
G4ad インスタンスを起動すると、デュアル 4K ディスプレイをセットアップできます。
**AMD ドライバーをインストールしてデュアル画面を設定するには**
1. Linux インスタンスに接続して、デュアル 4K (2x4k) 向けにターゲットとする GPU の PCI Bus アドレスを取得します。
```
lspci -vv | grep -i amd
```
以下のような出力結果が取得できます。
```
00:1e.0 Display controller: Advanced Micro Devices, Inc. [*AMD*/ATI] Device 7362 (rev c3)
Subsystem: Advanced Micro Devices, Inc. [AMD/ATI] Device 0a34
```
1. 上記の出力では、PCI バスアドレスは 00:1e.0 であることに注意してください。`/etc/modprobe.d/amdgpu.conf` という名前のファイルを作成して追加します。
```
options amdgpu virtual_display=0000:00:1e.0,2
```
1. Linux に AMD ドライバーをインストールするには、「[EC2 インスタンス用の AMD ドライバー](install-amd-driver.md)」を参照してください。AMD GPU ドライバーが既にインストールされている場合は、dkms を通じて amdgpu カーネルモジュールを再構築する必要があります。
1. 以下の xorg.conf ファイルを使用して、デュアル (2x4K) スクリーントポロジを定義し、`/etc/X11/xorg.conf:` のファイルに保存します。
```
~$ cat /etc/X11/xorg.conf
Section "ServerLayout"
Identifier "Layout0"
Screen 0 "Screen0"
Screen 1 "Screen1"
InputDevice "Keyboard0" "CoreKeyboard"
InputDevice "Mouse0" "CorePointer"
Option "Xinerama" "1"
EndSection
Section "Files"
ModulePath "/opt/amdgpu/lib64/xorg/modules/drivers"
ModulePath "/opt/amdgpu/lib/xorg/modules"
ModulePath "/opt/amdgpu-pro/lib/xorg/modules/extensions"
ModulePath "/opt/amdgpu-pro/lib64/xorg/modules/extensions"
ModulePath "/usr/lib64/xorg/modules"
ModulePath "/usr/lib/xorg/modules"
EndSection
Section "InputDevice"
# generated from default
Identifier "Mouse0"
Driver "mouse"
Option "Protocol" "auto"
Option "Device" "/dev/psaux"
Option "Emulate3Buttons" "no"
Option "ZAxisMapping" "4 5"
EndSection
Section "InputDevice"
# generated from default
Identifier "Keyboard0"
Driver "kbd"
EndSection
Section "Monitor"
Identifier "Virtual"
VendorName "Unknown"
ModelName "Unknown"
Option "Primary" "true"
EndSection
Section "Monitor"
Identifier "Virtual-1"
VendorName "Unknown"
ModelName "Unknown"
Option "RightOf" "Virtual"
EndSection
Section "Device"
Identifier "Device0"
Driver "amdgpu"
VendorName "AMD"
BoardName "Radeon MxGPU V520"
BusID "PCI:0:30:0"
EndSection
Section "Device"
Identifier "Device1"
Driver "amdgpu"
VendorName "AMD"
BoardName "Radeon MxGPU V520"
BusID "PCI:0:30:0"
EndSection
Section "Extensions"
Option "DPMS" "Disable"
EndSection
Section "Screen"
Identifier "Screen0"
Device "Device0"
Monitor "Virtual"
DefaultDepth 24
Option "AllowEmptyInitialConfiguration" "True"
SubSection "Display"
Virtual 3840 2160
Depth 32
EndSubSection
EndSection
Section "Screen"
Identifier "Screen1"
Device "Device1"
Monitor "Virtual"
DefaultDepth 24
Option "AllowEmptyInitialConfiguration" "True"
SubSection "Display"
Virtual 3840 2160
Depth 32
EndSubSection
EndSection
```
1. [インタラクティブデスクトップ](#amd-interactive-desktop)の設定手順に従って、DCV を設定します。
1. DCV の設定が完了したら、再起動します。
1. ドライバーが機能していることを確認します。
```
dmesg | grep amdgpu
```
レスポンスは次のようになります。
```
Initialized amdgpu
```
1. `DISPLAY=:0 xrandr -q` の出力で、2 つの仮想ディスプレイが接続されていることを確認できます。
```
~$ DISPLAY=:0 xrandr -q
Screen 0: minimum 320 x 200, current 3840 x 1080, maximum 16384 x 16384
Virtual connected primary 1920x1080+0+0 (normal left inverted right x axis y axis) 0mm x 0mm
4096x3112 60.00
3656x2664 59.99
4096x2160 60.00
3840x2160 60.00
1920x1200 59.95
1920x1080 60.00
1600x1200 59.95
1680x1050 60.00
1400x1050 60.00
1280x1024 59.95
1440x900 59.99
1280x960 59.99
1280x854 59.95
1280x800 59.96
1280x720 59.97
1152x768 59.95
1024x768 60.00 59.95
800x600 60.32 59.96 56.25
848x480 60.00 59.94
720x480 59.94
640x480 59.94 59.94
Virtual-1 connected 1920x1080+1920+0 (normal left inverted right x axis y axis) 0mm x 0mm
4096x3112 60.00
3656x2664 59.99
4096x2160 60.00
3840x2160 60.00
1920x1200 59.95
1920x1080 60.00
1600x1200 59.95
1680x1050 60.00
1400x1050 60.00
1280x1024 59.95
1440x900 59.99
1280x960 59.99
1280x854 59.95
1280x800 59.96
1280x720 59.97
1152x768 59.95
1024x768 60.00 59.95
800x600 60.32 59.96 56.25
848x480 60.00 59.94
720x480 59.94
640x480 59.94 59.94
```
1. DCV に接続するときは、解像度を 2x4K に変更し、デュアルモニタのサポートが DCV によって登録されていることを確認します。
![\[DCV 解像度の変更\]](http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/images/dm-dcv-example.png)
## Linux のインタラクティブデスクトップをセットアップする
Linux インスタンスに AMD GPU ドライバーがインストールされ、amdgpu が使用されていることを確認したら、インタラクティブデスクトップマネージャーをインストールできます。最高の互換性とパフォーマンスを得るには、MATE デスクトップ環境をお勧めします。
**前提条件**
テキストエディタを開き、次のファイルを`xorg.conf`という名前のファイルとして保存します。このファイルはインスタンスで必要になります。
```
Section "ServerLayout"
Identifier "Layout0"
Screen 0 "Screen0"
InputDevice "Keyboard0" "CoreKeyboard"
InputDevice "Mouse0" "CorePointer"
EndSection
Section "Files"
ModulePath "/opt/amdgpu/lib64/xorg/modules/drivers"
ModulePath "/opt/amdgpu/lib/xorg/modules"
ModulePath "/opt/amdgpu-pro/lib/xorg/modules/extensions"
ModulePath "/opt/amdgpu-pro/lib64/xorg/modules/extensions"
ModulePath "/usr/lib64/xorg/modules"
ModulePath "/usr/lib/xorg/modules"
EndSection
Section "InputDevice"
# generated from default
Identifier "Mouse0"
Driver "mouse"
Option "Protocol" "auto"
Option "Device" "/dev/psaux"
Option "Emulate3Buttons" "no"
Option "ZAxisMapping" "4 5"
EndSection
Section "InputDevice"
# generated from default
Identifier "Keyboard0"
Driver "kbd"
EndSection
Section "Monitor"
Identifier "Monitor0"
VendorName "Unknown"
ModelName "Unknown"
EndSection
Section "Device"
Identifier "Device0"
Driver "amdgpu"
VendorName "AMD"
BoardName "Radeon MxGPU V520"
BusID "PCI:0:30:0"
EndSection
Section "Extensions"
Option "DPMS" "Disable"
EndSection
Section "Screen"
Identifier "Screen0"
Device "Device0"
Monitor "Monitor0"
DefaultDepth 24
Option "AllowEmptyInitialConfiguration" "True"
SubSection "Display"
Virtual 3840 2160
Depth 32
EndSubSection
EndSection
```
**Amazon Linux 2 でインタラクティブデスクトップをセットアップするには**
1. EPEL リポジトリをインストールします。
```
[ec2-user ~]$ sudo amazon-linux-extras install epel -y
```
1. MATE デスクトップをインストールします。
```
[ec2-user ~]$ sudo amazon-linux-extras install mate-desktop1.x -y
[ec2-user ~]$ sudo yum groupinstall "MATE Desktop" -y
[ec2-user ~]$ sudo systemctl disable firewalld
```
1. `xorg.conf` ファイルを `/etc/X11/xorg.conf` にコピーします。
1. インスタンスを再起動します。
```
[ec2-user ~]$ sudo reboot
```
1. (オプション) [Amazon DCV サーバーをインストールして](https://docs.aws.amazon.com/dcv/latest/adminguide/setting-up-installing.html)、Amazon DCV を高パフォーマンスの表示プロトコルとして使用してから、お好みのクライアントを使用して [Amazon DCV セッションに接続します](https://docs.aws.amazon.com/dcv/latest/userguide/using-connecting.html)。
**Ubuntu でインタラクティブデスクトップをセットアップするには**
1. MATE デスクトップをインストールします。
```
$ sudo apt install xorg-dev ubuntu-mate-desktop -y
$ sudo apt purge ifupdown -y
```
1. `xorg.conf` ファイルを `/etc/X11/xorg.conf` にコピーします。
1. インスタンスを再起動します。
```
$ sudo reboot
```
1. 適切なバージョンの Ubuntu 用の AMF エンコーダーをインストールします。
```
$ sudo apt install ./amdgpu-pro-20.20-*/amf-amdgpu-pro_20.20-*_amd64.deb
```
1. (オプション) [Amazon DCV サーバーをインストールして](https://docs.aws.amazon.com/dcv/latest/adminguide/setting-up-installing.html)、Amazon DCV を高パフォーマンスの表示プロトコルとして使用してから、お好みのクライアントを使用して [Amazon DCV セッションに接続します](https://docs.aws.amazon.com/dcv/latest/userguide/using-connecting.html)。
1. DCV のインストール後、DCV ユーザーに動画のアクセス権限を付与します。
```
$ sudo usermod -aG video dcv
```
**CentOS で対話型デスクトップをセットアップするには**
1. EPEL リポジトリをインストールします。
```
$ sudo yum update -y
$ sudo yum install epel-release -y
```
1. MATE デスクトップをインストールします。
```
$ sudo yum groupinstall "MATE Desktop" -y
$ sudo systemctl disable firewalld
```
1. `xorg.conf` ファイルを `/etc/X11/xorg.conf` にコピーします。
1. インスタンスを再起動します。
```
$ sudo reboot
```
1. (オプション) [Amazon DCV サーバーをインストールして](https://docs.aws.amazon.com/dcv/latest/adminguide/setting-up-installing.html)、Amazon DCV を高パフォーマンスの表示プロトコルとして使用してから、お好みのクライアントを使用して [Amazon DCV セッションに接続します](https://docs.aws.amazon.com/dcv/latest/userguide/using-connecting.html)。
# GPU アクセラレーテッドインスタンスの使用を開始する
以下のリストに示すような最新世代の GPU アクセラレーテッドインスタンスタイプは、深層学習やハイパフォーマンスコンピューティング (HPC) アプリケーションに最良のパフォーマンス機能を提供します。機能の詳細については、インスタンスタイプのリンクを選択してください。
+ [P6 ファミリー](https://aws.amazon.com/ec2/instance-types/p6/)
+ [P6 ファミリー](https://aws.amazon.com/ec2/instance-types/p6/)
+ [P5 ファミリー](https://aws.amazon.com/ec2/instance-types/p5/)
高速化インスタンスタイプのインスタンスタイプ仕様に関する完全なリストについては、「*Amazon EC2 Instance Types*」リファレンスで「[Accelerated computing](https://docs.aws.amazon.com/ec2/latest/instancetypes/ac.html)」を参照してください。
**ソフトウェア設定**
最新世代の GPU アクセラレーテッドインスタンスタイプの使用を開始する最も簡単な方法は、すべての必須ソフトウェアで事前設定されている AWS Deep Learning AMI からインスタンスを起動することです。GPU アクセラレーテッドインスタンスタイプで使用する最新の AWS Deep Learning AMIs については、「**AWS Deep Learning AMIs デベロッパーガイド」の「[P6 でサポートされる DLAMI](https://docs.aws.amazon.com/dlami/latest/devguide/p6-support-dlami.html)」を参照してください。
深層学習または HPC アプリケーションをホストするインスタンスを起動するためにカスタム AMI を構築する必要がある場合は、ベースイメージ上に以下の最小ソフトウェアバージョンをインストールすることをお勧めします。
| インスタンスタイプ | NVIDIA ドライバー | CUDA | NVIDIA GDRCopy | EFA インストーラ | NCCL | EFA K8s ¹ |
| --- | --- | --- | --- | --- | --- | --- |
| G7e | 575 | 12.9 | 2.5 | 1.45.0 | 2.28.3 | 0.5.10 |
| P5 | 530 | 12.1 | 2.3 | 1.24.1 | 2.18.3 | 0.4.4 |
| P5.4xlarge | 530 | 12.1 | 2.3 | 1.43.1 ² | 2.18.3 | 0.4.4 |
| P5e | 550 | 12.1 | 2.3 | 1.24.1 | 2.18.3 | 0.5.5 |
| P5en | 550 | 12.1 | 2.3 | 1.24.1 | 2.18.3 | 0.5.6 |
| P6-B200 | 570 | 12.8 | 2.5 | 1.41.0 | 2.26.2-1 | 0.5.10 |
| P6e-GB200 | 570 | 12.8 | 2.5 | 1.41.0 | 2.26.2-1 | 0.5.10 |
| P6-B300 | 580 | 13.0 | 2.5 | 1.44.0 | 2.28.3 | 0.5.10 |
** ¹**「**EFA K8**」の列には、`aws-efa-k8s-device-plugin` に推奨される最低限のバージョンが含まれています。
** ²** GPU-to-GPU 通信で Elastic Fabric Adapter (EFA) および NVIDIA Collective Communications Library (NCCL) が使用される場合、`P5.4xlarge` インスタンスに影響する互換性の問題が発生します。この問題を軽減するには `FI_HMEM_DISABLE_P2P` 環境変数を `1` に設定し、EFA バージョン 1.43.1 以降がインストールされていることを確認してください。
**注記**
バージョン 1.41.0 の EFA インストーラを使用している場合、`aws-ofi-nccl plugin` が付属しています。以前のバージョンの EFA インストーラでは、`aws-ofi-nccl plugin` バージョン `1.7.2-aws` 以降を使用してください。
また、より深い C ステートを使用しないようにインスタンスを設定することをお勧めします。詳細については、*Amazon Linux 2 ユーザーガイド*の「[より深い C ステートの制限による高パフォーマンスと低レイテンシー](https://docs.aws.amazon.com/linux/al2/ug/processor_state_control.html#c-states)」を参照してください。最新の AWS Deep Learning Base GPU AMI は、より深い C ステートを使用しないように事前設定されています。
ネットワークと Elastic Fabric Adapter (EFA) 設定については、「[複数のネットワークカードを使用して Amazon EC2 インスタンスのネットワーク帯域幅を最大化する](efa-acc-inst-types.md)」を参照してください。