Nvidia DGX H100 User Manual

Contents
1 Introduction to the NVIDIA DGX H100 System 1
1.1 Hardware Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 DGX H100 Models and Component Descriptions . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Mechanical Specications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3 Power Specications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3.1 Support for 4+2 Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.4 DGX H100 Locking Power Cord Specication . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.5 Using the Locking Power Cords . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.6 Environmental Specications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.7 Front Panel Connections and Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.7.1 With a Bezel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.7.2 With the Bezel Removed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.8 Rear Panel Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.9 Motherboard Connections and Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.10 Motherboard Tray Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.11 GPU Tray Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Network Connections, Cables, and Adaptors . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Network Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.2 Compute and Storage Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 Network Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.4 Supported Network Cables and Adaptors . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 DGX H100 System Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 DGX OS Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Customer Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 Connecting to the DGX H100 17
2.1 Connecting to the Console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 Direct Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2 Remote Connection through the BMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 SSH Connection to the OS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3 First Boot Setup 23
3.1 System Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 Post Setup Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.1 Obtaining Software Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.2 Enabling the SRP Daemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Quickstart and Basic Operation 27
4.1 Installation and Conguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.3 Obtaining an NGC Account . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4 Turning DGX H100 On and O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4.1 Startup Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
i

Nvidia DGX H100 Specifications

General

Brand	Nvidia
Model	DGX H100
Category	Computer Hardware
Language	English