Dells PowerEdge R7415 mit AMDs Epyc

Underdog

Hubert Sieverding

Dells PowerEdge R7415 ist einer der ersten Server mit AMDs neuer Epyc-CPU. Er glänzt mit hoher I/O-Leistung, bleibt im SPEC-Benchmark aber hinter Intels Xeon zurück.

Dells PowerEdge R7415 im Detail

Die Front des Testservers prägen 24 2,5-Zoll-Einschübe. Links davon ist das Panel mit den Status-LEDs und der Systemidentifikationstaste untergebracht, mit der Nutzer vorne klicken und hinten sehen, welcher Einschub gemeint ist. Ganz rechts folgt das Panel für den Administrator: Ein-/Aus-Schalter, zwei USB-Ports, ein Micro-USB-Anschluss zum kabelgetriebenen Ansteuern des iDRAC und ein VGA-Anschluss, falls der Kunde das System wie in alten Tagen installieren möchte. Unterhalb der Festplattensteckplätze befindet sich ein Plastikschild mit den MAC-Adressen, der Geräte-ID und einem QR-Code, der das Smartphone direkt zu den Handbüchern im Internet leitet.

Während kaum ein Dell-Kunde auf den iDRAC verzichten möchte, ist der PERC nur dann notwendig, wenn ein Nutzer partout auf SAS oder SATA setzt oder ein Software-RAID die Performance arg ausbremst. Dell unterstützt mit der R7415 die Disk-Standards SATA, SAS und NVMe. Möglich macht dies ein Einheitsstecker, Enterprise SSD Form Factor genannt. Die Komponenten schraubt der Anwender in einen Schlitten, der in jeden PowerEdge-Server passt. Doch nicht jedes Protokoll funktioniert in jedem Steckplatz: Im Fall der R7415 stehen 24 Steckplätze zur Verfügung, die 12 rechten lassen sich mit NVMe-SSDs bestücken, denn sie sind über sechs dicke Kabel direkt mit den PCIe-Kanälen der CPU verbunden. Beginnend ab Nummer 0 handelt es sich um SAS- oder SATA-Steckplätze, die einen RAID-Controller erwarten. Dank der hybriden Auslegung kann die CPU die schnellen NVMe-SSDs direkt ansprechen und der PERC organisiert ausschließlich SAS- oder SATA-Massenspeicher zu virtuellen Disks.

Kein Leichtgewicht

Öffnet man das über 23 kg schwere Stahlblechgehäuse, fallen sofort die sechs starken, steckbaren Lüfter ins Auge, die leistungsbedarfsgerecht kühlende Luft durch das System treiben. Leider sind sie nicht im laufenden Betrieb austauschbar, das ist Disks und Netzteilen vorbehalten. Die beiden Letzteren stapeln sich mit einem eigenen kleinen Lüfter auf der linken hinteren Seite.

Entfernt man das große Luftleitblech, zeigt sich, mit wie wenig externen Komponenten die Epyc-CPU auskommen kann. Dell hat links und rechts von ihr jeweils acht DDR4-Speichersteckplätze platziert, getrieben von den insgesamt acht Kanälen der CPU. Die Testmaschine erhielt acht DDR4-Double-Rank-Riegel mit je 32 GByte. Sechs PCIe-Kabelstränge gehen nach vorne zu den SSDs, nach hinten landet ein PCIe-Kanal beim PERC H740p, der seinen Akku huckepack nimmt und selbst als kleine Zusatzplatine in einer Verlängerung der rechten Speicherbank steckt.

Der letzte PCIe-Kanal der CPU landet beim Broadcom-Ethernet-Adapter und den Steckplätzen für die Zusatzkarten. Die Testmaschine ist mit zwei zusätzlichen Ethernet-Adaptern auf einer Piggyback-Karte ausgestattet, allesamt vom Typ BCM57416 NetXtreme-E 10GBase-T. Es bleibt reichlich Platz für zwei stehend steckbare und über eine Riser-Konstruktion zwei liegend montierbare Erweiterungen.

Abgesehen von den beiden Netzteilen besteht die Rückseite des Rack-Einschubservers vor allem aus durchlöchertem Blech. Neben den insgesamt vier RJ45-Buchsen finden sich zur Kommunikation mit dem iDRAC ein separater Ethernet-Anschluss ans Servicenetz, zwei USB-Buchsen, ein VGA-Anschluss und eine serielle Schnittstelle RS-232. Auch hier dürfen Systemidentifikationstaste und -anzeige nicht fehlen.

Der neue RAID-Controller H740P verfügt über acht GiB DDR4 2133 MHz Cache, bisher war er auf 1 GiB beschränkt und ist mit „Fast Path“ (umgeht den Cache) nun ebenfalls auf SSDs optimal ausgelegt. Jedoch erfordert er einen neuen Treiber. Beim Aufsetzen eines bewährten Betriebssystems wie Debian GNU/Linux 9.3 wundert man sich, dass nicht alle Disks zur Auswahl stehen. Andere Distributionen erleichtern die Arbeit mit passenden Treibern, darunter Ubuntu 18.4 LTS oder Red Hat Server 7.5.

Nur einmal konnte der ewige Zweite AMD dem Marktführer Intel ernsthaft Paroli bieten. Am 5. Oktober 1999, nur einen Tag nachdem der Itanium als 64-Bit-Nachfolger des x86 das Licht der Welt erblickte, kündigte AMD seine Befehlssatzerweiterung x86-64 an. Opteron und Athlon waren so erfolgreich, dass Intel auf den x86-64-Zug aufspringen musste. Itanium fristet mittlerweile ein Nischendasein, während Intels Xeon auf Basis des einst konkurrierenden Befehlssatzes den Servermarkt dominiert – ein Markt, in dem AMD-Prozessoren kaum eine Rolle spielen. Mit Epyc soll sich das ändern. Die Serverprozessoren basieren auf der Zen-Architektur und erscheinen inzwischen in ersten Servern. Als Testmaschine dient Dells PowerEdge R7415, ein Rack-Einschubserver in doppelter Höhe, der mit einer Epyc-7551P-CPU ausgestattet ist und zeigen soll, ob er AMDs Versprechungen einlösen kann.

AMD argumentiert mit drei Vorteilen gegenüber der Xeon-Konkurrenz: mehr Kerne und Interfaces auf dem Chip, sodass teure 2-Sockel-Systeme überflüssig sind, höhere Leistung und mehr Sicherheit, unter anderem durch ein Verschlüsseln des Hauptspeichers. Die 7551P-CPU beherbergt 32 Kerne, 64 Threads und bietet eine Basisfrequenz von 2 GHz. Das System-on-a-Chip-Design (SoC) beeindruckt, denn es vereint eine dreistufige Cache-Architektur mit 64 MiB L3-Cache, acht DDR4-, 128 PCIe-3.0- und 16 USB-3.1-Kanälen auf einem Chip. Dell nutzt die vielen PCIe-Kanäle und bietet neben dem hauseigenen RAID-Controller die Option, NVMe-SSDs direkt mit der CPU zu koppeln und so Höchstwerte beim I/O zu erzielen.

Alles auf einem Chip

Mit Zen hat AMD den x86-64-Kern komplett neu entwickelt. Herausgekommen ist ein Design, das über einen L2-Cache mit 512 KiB mit der Außenwelt kommuniziert. Das Frontend nutzt 64 KiB Level-1-Cache für Instruktionen, die ein Vierwege-Decoder auf sechs Integer- und vier FP/SIMD-Einheiten verteilt und so 168 Integer-Register und 160 FP-Register bedient. Nicht alle Recheneinheiten sind gleichwertig. So stehen auf Integer-Seite zwei Branch-, eine IMUL-, eine IDIV-Einheit zur Verfügung. Zwei FPUs addieren, zwei weitere multiplizieren. Zwei Load/Store-Einheiten bedienen einen L1-Write-Back-Daten-Cache von 32 KiB.

Wie im Legoland: Vier Kerne bilden einen Knoten mit L3-Cache, zwei Knoten teilen sich Speicher und PCIe. Vier davon bilden eine 7551P-CPU, genannt Naples (Abb. 1).

Einige NUMA-Knoten müssen mehr als andere arbeiten. P#2 treibt Ethernet-Adapter und Erweiterungskarten, P#3 die SSDs (Abb. 2).

Vier Zen-Kerne teilen sich einen acht MiB großen Level-3-Cache. Zwei dieser Vierereinheiten bilden einen Knoten und sprechen via Datenbus, Scalable Data Fabric genannt, wahlweise über zwei DDR4-, vier PCIe-x8- oder vier USB-3.1-Kanäle mit der Peripherie. Vier dieser Knoten finden sich auf dem Chip der 7551P-CPU wieder (siehe Abbildung 1). Dieses Non-Uniform-Memory-Access-Design (NUMA) zieht nach sich, dass ein gewünschter Speicherinhalt eventuell nicht direkt zugreifbar oder die gewünschte I/O-Einheit nicht direkt adressierbar ist. In diesem Fall tauschen sich die Knoten über jeweils drei Global-Memory-Interconnect-Verbindungen (GMI) aus, was jedoch der Leistung nicht dienlich ist und was das Betriebssystem möglichst vermeiden sollte. Im Fall der Testmaschine bedient NUMA Node#2 die Netzwerkadapter und PCI-Karten-Slots und Node#3 die SSDs, wahlweise direkt oder über den RAID-Controller (siehe Abbildung 2).

Fernsteuerung per iDRAC

Um die R7415 in Betrieb nehmen zu können, benötigt man lediglich Strom und ein Ethernet-Kabel. Möglich macht dies Dells integrierter Remote Access Controller (iDRAC). Statt also Monitor und Tastatur anklemmen zu müssen, genügt die IP-Adresse zur leicht einsehbaren MAC-Adresse und ein Browser. Das Standardpasswort für den Root-Nutzer findet sich auf den ersten Seiten des Handbuchs. Nach dem Start der virtuellen Konsole folgt das Einrichten eines virtuellen Datenträgers, verantwortlich für den Zugriff auf ein Boot-Image via NFS oder CIFS. Möchte man das Startvolumen via RAID-Controller absichern, muss man vorher den Massenspeicher konfigurieren.

Ist das Betriebssystem installiert, kann man per iDRAC bequem das System ein- oder ausschalten, beobachten und den RAID-Controller fernsteuern (siehe Abbildung 3). Prinzipiell lassen sich auch Änderungen am BIOS vornehmen. Diese führt das System nicht sofort aus, sondern sammelt sie in einer Queue und nimmt sie beim nächsten Reboot vor. Auf dem virtuellen Monitor sieht man, wie der Server quasi ferngesteuert die BIOS-Dialoge durchläuft, bevor er neu startet. Was in der Praxis die Konsistenz absichert, stört im Laborbetrieb, da der Vorgang erst nach mehreren Minuten beginnt. Man sollte sich jedoch entscheiden, ob man BIOS-Änderungen per F2 über die Konsole oder über den iDRAC vornimmt. Eine Mischung führt dazu, dass der iDRAC sich verheddert. Bei der Testmaschine passierte dies mehrfach und zudem fiel hier ein kleiner Fehler auf: Hat man die Anzahl der CPU-Kerne einmal reduziert, ist eine Reanimation aller Kerne nur durch einen Komplett-Reset möglich.

Zum Bau eines Servers reicht es im Prinzip aus, der Epyc-CPU reichlich DDR4-Steckplätze zur Seite zu stellen, einige PCIe-Kanäle mit NVMe-SSDs zu verbinden, einen Broadcom-Chip in der Nähe der RJ45-Buchse an einen PCIe-Kanal zu hängen und für Lüfter und Netzteil ins Regal der Standardbauteile zu greifen. Dell geht mit der PowerEdge R7415 diesen einfachen Weg nicht – die Kunden haben sich im Laufe der Jahre an bestimmte Komfortdetails der Server des Herstellers gewöhnt. Dazu gehören der Wartungs-Controller iDRAC und optional der RAID-Controller, genannt PERC P740H.

VerSPECuliert

Auf der Epyc-Webseite wirbt der Hersteller mit der Meldung „AMD Epyc x86 SoC stellt Weltrekord bei SPEC CPU Benchmarks auf“. Bei der Vorstellung des Prozessors versprach CEO Lisa Su eine um 47 Prozent höhere SPEC-Integer-Leistung auf Basis des GCC-6.3-Compilers mit -O2-Optimierung – und dem kleinen Zusatz „estimated“. Inzwischen liegen die ersten Ergebnisse für die 7551P-CPU unter spec.org vor und dürften AMD nicht in Jubelstimmung versetzen.

Im Wartungsmonitor iDRAC kann man die SPEC-Benchmarks am Stromverbrauch identifizieren (Abb. 3).

SPEC-Benchmarks muss das System kompilieren, daher machen sie prinzipiell jede Hardware vergleichbar. In der Praxis wenden Entwickler jedoch viele Optimierungstricks an. Man unterscheidet zwischen Integer- und Floating-Point-Messungen sowie nach rate und speed. Im Fall rate startet die Software mehrere Kopien des Benchmarks parallel, simuliert also einen Multiuser-Betrieb. speed bildet per Multiprocessing einen rechenintensiven Einzelnutzerbetrieb ab. Wird ein Einheitssatz an Optionen verwendet, gelten die Ergebnisse als base. peak zeigt Werte an, bei denen spezielle Compiler-Tricks angewendet werden.