Nvidia DGX H100 User Manual

4.4.2 Shutdown Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.5 Verifying Functionality - Quick Health Check . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.6 Running the Pre-ight Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.7 Running NGC Containers with GPU Support . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.7.1 Using Native GPU Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.7.2 Using the NVIDIA Container Runtime for Docker . . . . . . . . . . . . . . . . . . . . . . . 31
4.8 Managing CPU Mitigations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.8.1 Determining the CPU Mitigation State of the DGX System . . . . . . . . . . . . . . . . 32
4.8.2 Disabling CPU Mitigations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.8.3 Re-enabling CPU Mitigations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5 SBIOS Settings 35
5.1 Accessing the SBIOS Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.2 Conguring the Boot Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.3 Conguring the Local Terminal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.3.1 Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.3.2 Windows and MacOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.4 Power on or Reboot the System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
6 Using the Baseboard Management Controller (BMC) 39
6.1 Connecting to the BMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
6.2 Overview of BMC Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
6.3 Changing the BMC Login Credentials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
6.4 Using the Remote Console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
6.5 Setting Up Active Directory, LDAP, or E-Directory . . . . . . . . . . . . . . . . . . . . . . . . 43
6.6 Conguring Platform Event Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.7 Uploading or Generating SSL Certicates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.7.1 Viewing the SSL Certicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.7.2 Generating the SSL Certicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
6.7.3 Uploading the SSL Certicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.7.4 Updating the SBIOS Certicate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7 Security 51
7.1 User Security Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7.1.1 Securing the BMC Port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7.2 System Security Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7.2.1 Secure Flash of DGX H100 Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.2.2 Encryption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.2.3 NVIDIA System Manager Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3 Secure Data Deletion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3.1 Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3.2 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
8 Redsh APIs Support 55
8.1 Supported Redsh Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
8.2 Redsh Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.2.1 BMC Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
8.2.2 Firmware Update . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
8.2.3 BIOS Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.2.4 Telemetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
8.2.5 Chassis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
8.2.6 SEL Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.2.7 Virtual Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
8.2.8 Collect BMC Debug Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
ii

Nvidia DGX H100 Specifications

General

Brand	Nvidia
Model	DGX H100
Category	Computer Hardware
Language	English