Google Cloud Managed Lustre
File system parallelo ad alte prestazioni
Accelera l'addestramento e l'erogazione dell'AI e dell'HPC con il file system parallelo di Google ad alte prestazioni e conforme a POSIX.
Funzionalità
Prestazioni e scalabilità per i workload IA/ML
L'addestramento di modelli di deep learning di grandi dimensioni richiede set di dati enormi. Managed Lustre, basato su DDN EXAScaler, distribuisce l'accesso ai dati, riducendo i tempi di addestramento, consentendo insight più rapidi, una maggiore accuratezza e la gestione di progetti di AI complessi. La sua scalabilità è progettata per garantire che le prestazioni riescano a stare al passo con la crescita dei dati, prevenendo i colli di bottiglia di archiviazione. Guarda la panoramica di Omdia su Managed Lustre qui.
Accelera l'inferenza dell'AI con la KV cache
L'AI agentica continua a guidare le grandi finestre contestuali e questo può rappresentare una sfida di archiviazione per fornire un'esperienza adattabile mentre interagisci con i modelli linguistici di grandi dimensioni. Le finestre contestuali di grandi dimensioni aumentano la sensibilità alla latenza poiché la memoria locale sugli acceleratori è spesso esaurita, il che richiede al modello di accedere alla unità di archiviazione esterna.
Massimizza la saturazione della GPU e il ROI di calcolo
Il vero costo dell'AI non è solo l'archiviazione, ma anche il calcolo inattivo. Managed Lustre offre la distribuzione di dati a bassa latenza e con throughput elevato necessaria per mantenere i tuoi asset più costosi completamente saturi. Ottimizzando la distribuzione dei dati e accelerando il checkpointing rapido, si migliora notevolmente l'utilizzo dell'acceleratore, con conseguente riduzione dell'overhead e prestazioni superiori per dollaro.
Promuovi l'innovazione in tutti i settori
| Settori |
|---|
AI e ML Elimina la carenza di dati e addestra modelli di base su larga scala. Disaccoppiando calcolo e archiviazione, Managed Lustre aumenta la velocità effettiva dell'inferenza LLM, con la memorizzazione nella cache KV esterna in meno di un millisecondo, mantenendo i tuoi acceleratori più costosi completamente saturi. Esplora l'AI su Google Cloud. |
Sanità e scienze biologiche Promuovi un'innovazione rivoluzionaria verso nuove cure. Fornisci gli IOPS estremi necessari per accelerare la scoperta di farmaci, analizzare il sequenziamento genomico complesso e alimentare suite di imaging medico basate sull'AI, riducendo drasticamente il time-to-insight per ricercatori e medici. Esplora sanità e scienze biologiche in Google Cloud. |
Visione artificiale, robotica e veicoli autonomi Accelera la pipeline dei veicoli software-defined. Consenti agli innovatori di importare senza sforzo la telemetria dei sensori su scala petabyte, potenziando al contempo la ricerca e lo sviluppo ingegneristico con l'archiviazione a latenza zero per le simulazioni di aerodinamica, sicurezza e ottimizzazione termica. Esplora il settore automotive su Google Cloud. |
Mercati di capitali Esegui workload che richiedono una precisione inferiore al millisecondo. Che si tratti di eseguire analisi quantitative complesse del rischio e simulazioni di mercato in tempo reale per i servizi finanziari, di accelerare il rendering VFX ad alta risoluzione e i flussi di lavoro di post-produzione per gli studi multimediali globali. Esplora i mercati finanziari e i servizi finanziari di Google Cloud. |
Media e intrattenimento Rispetta le scadenze di produzione con prestazioni di archiviazione senza compromessi. Offri ai tuoi studi la velocità effettiva ultra elevata necessaria per un editing video ad alta risoluzione senza interruzioni, il rendering VFX in tempo reale e flussi di lavoro di post-produzione accelerati. Esplora media e intrattenimento su Google Cloud. |
AI e ML
Elimina la carenza di dati e addestra modelli di base su larga scala. Disaccoppiando calcolo e archiviazione, Managed Lustre aumenta la velocità effettiva dell'inferenza LLM, con la memorizzazione nella cache KV esterna in meno di un millisecondo, mantenendo i tuoi acceleratori più costosi completamente saturi.
Esplora l'AI su Google Cloud.
Sanità e scienze biologiche
Promuovi un'innovazione rivoluzionaria verso nuove cure. Fornisci gli IOPS estremi necessari per accelerare la scoperta di farmaci, analizzare il sequenziamento genomico complesso e alimentare suite di imaging medico basate sull'AI, riducendo drasticamente il time-to-insight per ricercatori e medici.
Esplora sanità e scienze biologiche in Google Cloud.
Visione artificiale, robotica e veicoli autonomi
Accelera la pipeline dei veicoli software-defined. Consenti agli innovatori di importare senza sforzo la telemetria dei sensori su scala petabyte, potenziando al contempo la ricerca e lo sviluppo ingegneristico con l'archiviazione a latenza zero per le simulazioni di aerodinamica, sicurezza e ottimizzazione termica.
Esplora il settore automotive su Google Cloud.
Mercati di capitali
Esegui workload che richiedono una precisione inferiore al millisecondo. Che si tratti di eseguire analisi quantitative complesse del rischio e simulazioni di mercato in tempo reale per i servizi finanziari, di accelerare il rendering VFX ad alta risoluzione e i flussi di lavoro di post-produzione per gli studi multimediali globali.
Esplora i mercati finanziari e i servizi finanziari di Google Cloud.
Media e intrattenimento
Rispetta le scadenze di produzione con prestazioni di archiviazione senza compromessi. Offri ai tuoi studi la velocità effettiva ultra elevata necessaria per un editing video ad alta risoluzione senza interruzioni, il rendering VFX in tempo reale e flussi di lavoro di post-produzione accelerati.
Esplora media e intrattenimento su Google Cloud.
Inizia
- Crea un'istanza Managed Lustre: esegui il deployment della tua istanza Managed Lustre con pochi clic.
- Importa e connetti: esegui facilmente l'idratazione del tuo file system Managed Lustre con dati direttamente da Google Cloud Storage.
- Elabora su larga scala: inserisci set di dati di grandi dimensioni in cluster di addestramento Vertex (VTC) o GKE con latenza bassissima.
- Accelera: fornisci dati ad alta velocità di trasmissione direttamente all'hardware di nuova generazione, assicurandoti che le GPU funzionino al massimo utilizzo.
Tutorial, guide rapide e lab
- Crea un'istanza Managed Lustre: esegui il deployment della tua istanza Managed Lustre con pochi clic.
- Importa e connetti: esegui facilmente l'idratazione del tuo file system Managed Lustre con dati direttamente da Google Cloud Storage.
- Elabora su larga scala: inserisci set di dati di grandi dimensioni in cluster di addestramento Vertex (VTC) o GKE con latenza bassissima.
- Accelera: fornisci dati ad alta velocità di trasmissione direttamente all'hardware di nuova generazione, assicurandoti che le GPU funzionino al massimo utilizzo.
Prezzi
| Prezzi di Managed Lustre | I prezzi di Managed Lustre si basano principalmente sulla località e sul livello di servizio. |
|---|---|
| Livello del servizio | Prezzi |
1000 MB/s/TiB Il meglio per i workload ad alte prestazioni, come l'addestramento AI/ML, in cui il throughput è fondamentale. | A partire da 0,60 $ per GiB al mese |
1000 MB/s/TiB Ideale per un equilibrio tra prestazioni elevate: eccellente per workload AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma che possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato. | A partire da 0,34 $ per GiB al mese |
250 MB/s/TiB Ideale per HPC per uso generico e AI a elevato throughput: adatto a un'ampia gamma di workload HPC, inferenza AI/ML, pre-elaborazione dei dati e applicazioni che necessitano di prestazioni significativamente migliori rispetto all'NFS tradizionale, a un prezzo conveniente. | A partire da 0,21 $ per GiB al mese |
125 MB/s/TiB Ideale per workload incentrati sulla capacità con esigenze di accesso parallelo: progettato per scenari in cui sono fondamentali grandi capacità e accesso al file system parallelo. Ideale per attività parallele meno vincolate all'I/O. | A partire da 0,145 $ per GiB al mese |
Esplora i prezzi di Google Cloud. Visualizza tutti i dettagli sui prezzi
Prezzi di Managed Lustre
I prezzi di Managed Lustre si basano principalmente sulla località e sul livello di servizio.
1000 MB/s/TiB
Il meglio per i workload ad alte prestazioni, come l'addestramento AI/ML, in cui il throughput è fondamentale.
A partire da 0,60 $ per GiB al mese
1000 MB/s/TiB
Ideale per un equilibrio tra prestazioni elevate: eccellente per workload AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma che possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato.
A partire da 0,34 $ per GiB al mese
250 MB/s/TiB
Ideale per HPC per uso generico e AI a elevato throughput: adatto a un'ampia gamma di workload HPC, inferenza AI/ML, pre-elaborazione dei dati e applicazioni che necessitano di prestazioni significativamente migliori rispetto all'NFS tradizionale, a un prezzo conveniente.
A partire da 0,21 $ per GiB al mese
125 MB/s/TiB
Ideale per workload incentrati sulla capacità con esigenze di accesso parallelo: progettato per scenari in cui sono fondamentali grandi capacità e accesso al file system parallelo. Ideale per attività parallele meno vincolate all'I/O.
A partire da 0,145 $ per GiB al mese
Esplora i prezzi di Google Cloud. Visualizza tutti i dettagli sui prezzi
Business case
Ascolta le testimonianze dei nostri clienti di Managed Lustre
Dai un'occhiata ai nostri ultimi lanci:
"La nostra capacità di aiutare le aziende a identificare e bloccare audio, video e immagini deepfake dipende esclusivamente dalla qualità dei nostri modelli. Managed Lustre è fondamentale per l'addestramento di successo del nostro modello con i nostri set di dati dinamici. Possiamo saturare completamente le nostre GPU ed è 6 volte più veloce delle altre soluzioni di archiviazione che abbiamo valutato."
—Zohaib Ahmed, CEO Resemble AI
"Managed Lustre ci consente di scalare l'addestramento del modello di AI per AFEELA Intelligent Drive di 3 volte rispetto ad altre soluzioni Google Cloud."
-Motoi Kataoka, Senior Manager, AI e Data Analytics Platform, Sony Honda Mobility Inc.
"Integrando Managed Lustre con VTC (vertex training clusters), Salesforce AI Research ha eliminato i tipici colli di bottiglia dell'onboarding, consentendoci di iniziare subito a lavorare con il workload di inferenza. Questa archiviazione a bassa latenza e ad alta velocità di trasmissione dati mantiene le nostre GPU B200 completamente sature, determinando un sostanziale aumento delle prestazioni nell'inferenza dei modelli linguistici di grandi dimensioni rispetto all'H200. Per i nostri clienti, questo si traduce direttamente in agenti AI più veloci e adattabili, in grado di gestire ragionamenti complessi con una latenza molto inferiore rispetto a prima."
-Lavanya Karanam, Principal Software Engineer, Salesforce
Scalare i workload GKE con Managed Lustre
Una guida sull'utilizzo del driver Managed Lustre CSI gestito con Google Kubernetes Engine (GKE) per eseguire il provisioning senza problemi di spazio di archiviazione ad alte prestazioni per workload containerizzati di AI, ML e HPC (computing ad alte prestazioni). Leggi il blog.
Accelerare l'AI e l'HPC (computing ad alte prestazioni) con Managed Lustre
Panoramica di come Managed Lustre semplifica il deployment di file system paralleli per workload di computing ad alte prestazioni. Leggi il blog.
Cache KV esterna con Managed Lustre
Un approfondimento sull'utilizzo di Lustre per scaricare le cache KV per l'inferenza del modello linguistico di grandi dimensioni (LLM), riducendo l'overhead di memoria su TPU/GPU. Leggi il blog.
