Was ist das Sparse-Format in der Virtualisierung? (VMDK & VHD Erklärt)

Jede Virtualisierungsumgebung steht vor dem gleichen betrieblichen Dilemma. Eine großzügige Bereitstellung berücksichtigt das Wachstum, lässt jedoch physische Kapazitäten ungenutzt. Eine konservative Bereitstellung bewahrt die Speichereffizienz, doch der verfügbare Spielraum geht schnell zur Neige. Das Sparse-Format löst diese Einschränkung.

Eine spärlich besetzte virtuelle Festplatte belegt nur den Speicherplatz, auf den das Gastbetriebssystem geschrieben hat. Eine 100-GB-Festplatte, auf der ein 20-GB-Betriebssystem gespeichert ist, belegt etwa 20 GB Speicherplatz im Datenspeicher, sodass der Rest für andere virtuelle Maschinen verfügbar bleibt. Die Vorteile dieses Ansatzes sind beträchtlich. Die Kompromisse sind ebenso bedeutend, und beide treten deutlich zutage, wenn es zu einem Ausfall der Speicherschicht kommt.

Das Verständnis der Funktionsweise des Sparse-Formats und der damit verbundenen Risiken ist daher für jeden Administrator, der für die Verwaltung einer virtuellen Infrastruktur verantwortlich ist, unerlässlich.

Was ist ein virtuelles Festplattenformat?

Ein virtuelles Festplattenformat ist eine Datei – oder manchmal eine kleine Sammlung von Dateien –, die der Hypervisor einem Gastbetriebssystem als physisches Speichergerät präsentiert. Das Gastbetriebssystem erkennt einen SCSI- oder SATA-Controller. Die Festplatte ist im Grunde ein Container, der sich innerhalb eines größeren Host-Dateisystems befindet – ein Detail, das für den Gast transparent bleibt und keine Kenntnis auf Gast-Ebene erfordert.

Jedes Element, das ein physisches Laufwerk enthält, ist in diesem Container vorhanden: Partitionstabellen, Master-Boot-Records, Dateisysteme und Benutzerdaten. Der Speicherort variiert je nach Plattform. VMware speichert diese Dateien im Virtual Machine File System (VMFS), während Hyper-V NTFS oder das Resilient File System (ReFS) verwendet. Unabhängig von der Plattform bestimmt das Format, wie die Lese- und Schreibvorgänge des Gastbetriebssystems in tatsächliche Vorgänge auf der zugrunde liegenden physischen Festplatte umgesetzt werden.

Was ist das „Sparse“-Format?

Eine „Sparse“-Festplatte weist Speicherplatz dynamisch zu und belegt Speicherplatz auf dem Array erst dann, wenn der Gast Daten darauf schreibt. Dies steht im Gegensatz zu einer „Thick-Provisioned“-Festplatte, auch als „Flat“-Festplatte bezeichnet, die bei ihrer Erstellung ihre gesamte zugewiesene Kapazität beansprucht und jeden Block auf dem Array mit Nullen füllt, bevor Gastdaten eintreffen.

An dieser Stelle ist eine kurze Klarstellung der Terminologie angebracht. Sparse- und Thin-Provisioning beziehen sich auf dasselbe zugrunde liegende Konzept: Kapazität wird bedarfsgerecht zugewiesen und erweitert sich mit zunehmender Datenmenge. Wenn in Diskussionen „Sparse-Provisioning versus Thin-Provisioning“ verglichen wird, wird in der Regel das Sparse-Format eines Anbieters dem Thin-Format eines anderen Anbieters gegenübergestellt, anstatt zwei unterschiedliche Zuweisungsstrategien zu beschreiben. Die für die Kapazitätsplanung tatsächlich relevante Unterscheidung besteht zwischen Sparse- oder Thin-Provisioning auf der einen Seite und Thick- oder Flat-Provisioning auf der anderen Seite.

Wie weisen „Sparse“-Festplatten Speicherplatz bedarfsgerecht zu?

Wenn eine Gastanwendung einen Schreibvorgang auslöst, fängt der Hypervisor diesen ab, ermittelt den logischen Speicherort für diese Daten, fügt sie an das Ende der Host-Datei an und aktualisiert eine interne Metadatentabelle, um den logischen Sektor des Gasts mit seinem neuen physischen Offset zu verknüpfen. Logische Blöcke nehmen selten eine zusammenhängende physische Reihenfolge ein, was eine inhärente Folge der bedarfsorientierten Zuweisung ist.

Wenn eine Datei im Gast gelöscht wird, schrumpft die entsprechende Host-Datei nicht. Der Hypervisor markiert die zugrunde liegenden Blöcke als zum Überschreiben verfügbar, doch ist ein separater Rückgewinnungsprozess erforderlich, bevor dieser Speicherplatz auf dem Host freigegeben wird.

Sparse-VMDK (VMware)

In einer VMware-Produktionsumgebung besteht eine „Sparse“-VMDK aus zwei Komponenten: einer Text-Deskriptordatei, die die Festplattengeometrie festlegt, und einer oder mehreren Extent-Dateien, die die Binärdaten enthalten. Ausgehend vom Deskriptor erstreckt sich eine Kette von Zeigern nach unten durch das Grain-Verzeichnis und die Grain-Tabellen bis hin zu den Datenblöcken selbst, die als „Grains“ bezeichnet werden. Standardmäßig misst jedes Grain 64 KB.

In Produktionsumgebungen gibt es zwei Varianten. „Monolithic Sparse“ konsolidiert alle Daten in einer einzigen zusammenhängenden Datei und stellt die Standardkonfiguration für die meisten Produktionssysteme dar. „Split Sparse“ unterteilt die Festplatte in 2-GB-Extents und wird ausschließlich aus Gründen der Abwärtskompatibilität mit älteren Dateisystemen beibehalten, die keine großen Einzeldateien verarbeiten können.

Sparse VHD/VHDX (Hyper-V)

Das entsprechende Microsoft-Format durchlief einen bedeutenden Generationswechsel. Das ältere VHD-Format ist auf eine Kapazität von 2 TB begrenzt. VHDX erhöhte diese Obergrenze auf 64 TB und führte eine Blockzuordnungstabelle ein, um den Datenstatus innerhalb der gesamten Struktur zu verfolgen.

Ein weiteres Merkmal von VHDX ist für die Speicherplanung von Bedeutung. Seine physische Sektorgröße ist auf 4 KB ausgerichtet, was der Spezifikation moderner Laufwerke im Advanced-Format entspricht und die Schreibverstärkung reduziert. Die Blockgröße bezieht sich auf die Speichereinheit, die VHDX bei jeder Erweiterung verwendet, und beträgt standardmäßig 32 MB auf dynamischen Datenträgern. Größere Blöcke erfordern weniger Metadaten-Overhead, lassen sich jedoch in gröberen Schritten erweitern. Microsoft empfiehlt, diesen Wert für Linux-Gastbetriebssysteme auf 1 MB zu reduzieren.

Vergleich zwischen Sparse- und Flat-/Raw-Format

Flat-Datenträger reservieren bereits bei der Erstellung die volle Kapazität. Ein 50-GB-Flat-Datenträger belegt sofort 50 GB Speicherplatz im Datenspeicher, unabhängig davon, wie viel Speicherplatz innerhalb des Gastbetriebssystems tatsächlich genutzt wird. Der Hypervisor setzt bei der Erstellung jeden Block auf Null, weshalb die Bereitstellung eines großen Flat-Datenträgers zeitaufwendig ist.

Die betrieblichen Auswirkungen des Sparse-Formats sind im Vergleich dazu wie folgt:

• Der restliche Speicherplatzbedarf bleibt minimal und wächst erst mit dem Schreiben von Daten.
• Die Bereitstellung erfolgt schnell, da die Phase des Nullens der Blöcke entfällt.
• Der Metadaten-Overhead ist aufgrund ständiger Aktualisierungen der Zuordnungstabelle höher.
• Die logische Fragmentierung im Dateisystem des Hosts nimmt im Laufe der Zeit zunehmend zu.
• Restliche physische Kapazität bleibt für andere Workloads verfügbar.

Die folgende Tabelle fasst die Unterschiede zwischen dem „sparse“- und dem „flat“-Format zusammen: