Details zu Googles KI-Updates für die Cloud-Infrastruktur • The Register

Aug 10, 2023

Cloud Next Google konzentriert sich bei der diesjährigen Cloud Next ganz klar auf KI und bietet eine Reihe von Hardwareprojekten an, darunter TPU-Updates, GPU-Optionen und eine Vielzahl von Softwaretools, damit alles funktioniert.

Bei der ersten persönlichen Version der Veranstaltung seit vor der Pandemie, die im riesigen Moscone Center in San Francisco stattfand, gab Google Einzelheiten zu seinem Cloud TPU v5e, dem neuesten seiner Tensor Processing Unit AI-Beschleuniger, sowie zu betriebenen Instanzen virtueller Maschinen preis von Nvidia H100 GPUs.

TPUs sind Googles benutzerdefiniertes Silizium zur Beschleunigung des maschinellen Lernens, und der Cloud-TPU-Dienst basiert neben anderen Frameworks, darunter Jax und PyTorch, auf dem firmeneigenen TensorFlow-Framework für maschinelles Lernen.

Sein bisheriger KI-Chip, TPU v4, wurde offiziell im Jahr 2021 veröffentlicht, obwohl der Suchriese ihn bereits mehrere Jahre zuvor getestet hatte.

Mit Cloud TPU v5e behauptet Google, im Vergleich zu Cloud TPU v4 die Trainingsleistung pro Dollar und die Inferenzleistung pro Dollar bei großen Sprachmodellen (LLMs) und generativer KI verdoppelt zu haben.

Der Cloud-Riese nutzt TPUv4-Engines, um Rückschlüsse auf seine eigenen Suchmaschinen- und Adserving-Plattformen zu ziehen.

Google wird acht verschiedene Konfigurationen virtueller Maschinen anbieten, die von einem TPU-Chip bis zu über 250 in einem einzigen Slice reichen.

Es geht natürlich nicht nur um Hardware. Sie konzentrieren sich auf eine größere Skalierbarkeit für die Bewältigung großer KI-Arbeitslasten in Cloud TPU v5e mit einer Funktion namens Multislice. Dies befindet sich derzeit in der Vorschau und wurde entwickelt, um Benutzern die Skalierung von Modellen über die Grenzen eines einzelnen TPU-Pods hinaus zu ermöglichen, um bei Bedarf Zehntausende von TPU-Chips zu umfassen. Bisher waren Schulungsaufgaben auf ein einzelnes Stück TPU-Chips beschränkt.

Ebenfalls auf anspruchsvolle KI-Workloads wie LLMs ausgerichtet sind die A3-VM-Instanzen von Google, die über acht Nvidia H100-GPUs, zwei skalierbare Intel Xeon-Prozessoren der 4. Generation und 2 TB Arbeitsspeicher verfügen. Diese Instanzen wurden erstmals im Mai bei Google IO angekündigt, sollen nun aber nächsten Monat verfügbar sein, hieß es.

Mit Verbesserungen der Netzwerkbandbreite aufgrund eines Offload-Netzwerkadapters und der Nvidia Connective Communications Library (NCCL) erwartet Google, dass die virtuellen A3-Maschinen Benutzern, die immer ausgefeiltere KI-Modelle erstellen möchten, einen Schub geben werden.

Google Next lieferte auch Details zu GKE Enterprise, das als Premium-Edition des verwalteten Google Kubernetes Engine (GKE)-Dienstes des Unternehmens für containerisierte Arbeitslasten beschrieben wird.

Die GKE Enterprise Edition, die ab Anfang September als Vorschau verfügbar sein wird, verfügt über eine neue Multi-Cluster-Funktion, mit der Kunden ähnliche Arbeitslasten als „Flotten“ gruppieren und benutzerdefinierte Konfigurationen und Richtlinienleitlinien auf die gesamte Flotte anwenden können, so Google.

Diese Edition verfügt über verwaltete Sicherheitsfunktionen, darunter Erkenntnisse über Workload-Schwachstellen, Governance und Richtlinienkontrollen sowie ein Managed Service Mesh. Das Unternehmen behauptet, dass die GKE Enterprise Edition mit Funktionen, die von der Anthos-Plattform von Google stammen, Hybrid- und Multi-Cloud-Szenarien umfassen kann, um Benutzern die Ausführung von Container-Workloads in anderen öffentlichen Clouds und vor Ort sowie in GKE zu ermöglichen.

Darüber hinaus unterstützt GKE selbst jetzt sowohl Cloud TPU v5e als auch die A3-Virtual-Machine-Instanzen mit H100-GPUs für anspruchsvolle KI-Workloads, so Google.

Google setzt das KI-Thema ebenfalls fort und bringt Ergänzungen zu seinem Google Distributed Cloud (GDC)-Angebot sowie aktualisierte Hardware zur Unterstützung der On-Prem-Erweiterung seiner Cloud-Plattform.

Die drei neuen KI- und Datenangebote sind Vertex AI Integrations, AlloyDB Omni und Dataproc Spark. Die Vertex-Integrationen bringen Vertex Prediction und Vertex Pipelines zu GDC Hosted, obwohl diese erst ab dem zweiten Quartal 2024 in der Vorschau verfügbar sein werden.

AlloyDB Omni ist eine neue verwaltete Datenbank-Engine, die angeblich die doppelte Geschwindigkeit von PostgreSQL für Transaktions-Workloads bietet und derzeit in der Vorschau verfügbar ist.

Dataproc Spark ist ein verwalteter Dienst zum Ausführen von Analyse-Workloads unter Apache Spark, der den Benutzern angeblich geringere Kosten bietet als die Bereitstellung von Spark selbst. Die Vorschau wird ab dem vierten Quartal verfügbar sein.

Schließlich gab Google bekannt, dass es einen aktualisierten Hardware-Stack für GDC einführt, der skalierbare Intel Xeon-Prozessoren der 4. Generation und leistungsstärkere Netzwerkstrukturen mit einem Durchsatz von bis zu 400 Gbit/s umfasst.

Außerdem werden die AmpereOne Arm-kompatiblen Prozessoren von Ampere irgendwann als private Vorschau in Form einer C3A-Recheninstanz verfügbar sein. ®

Senden Sie uns Neuigkeiten