加速器最佳化機器系列

本文介紹加速器最佳化機器系列,這類機器系列提供預先附加 NVIDIA GPU 的 Compute Engine 執行個體。這些執行個體專為人工智慧 (AI)、機器學習 (ML)、高效能運算 (HPC) 和需要大量繪圖資源的應用程式設計。

加速器最佳化機器家族適用於下列機器系列:A4X Max、A4X、A4、A3、A2、G4 和 G2。每個系列中的機型都配備特定型號和數量的 NVIDIA GPU。您也可以將部分 GPU 型號附加至 N1 一般用途機器類型。

下列各節會根據 GPU 工作負載,提供建議的機器系列:

工作負載類型 建議的機型
預先訓練模型 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High 和 A2

如要找出最合適的選項,請參閱 AI Hypercomputer 說明文件中的「 預先訓練模型的建議做法」。

微調模型 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High、A2 和 G4

如要找出最合適的選項,請參閱 AI Hypercomputer 說明文件中的 模型微調建議

提供推論結果 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High、A3 Edge、A2 和 G4

如要找出最合適的選項,請參閱 AI Hypercomputer 說明文件中的「 推論服務建議」。

需要大量圖形的工作負載 G4、G2 和 N1+T4
高效能運算 對於高效能運算工作負載,任何加速器最佳化機器系列都適用。哪一種最適合取決於需要卸載到 GPU 的運算量。

詳情請參閱 AI Hypercomputer 說明文件中的「 HPC 建議」。

定價和用量方案

計費方案是指取得及使用運算資源的方式。Google Cloud 會根據連接的 GPU、預先定義的 vCPU、記憶體和隨附的本機 SSD (如適用),針對加速器最佳化機型計費。加速器最佳化執行個體的折扣會因您使用的消耗量選項而異。如要進一步瞭解加速器最佳化執行個體的定價資訊,請參閱 VM 執行個體定價頁面的「加速器最佳化機型系列」一節。

加速器最佳化執行個體的折扣會因您選擇的消耗量選項而異:

  • 隨選:購買依資源計算的承諾使用合約後,部分資源可享有承諾使用折扣 (CUD)。不過,透過隨選選項使用的 GPU 和本機 SSD 磁碟不適用於 CUD。如要取得 GPU 和本機 SSD 磁碟的承諾使用折扣,請改用其中一個預留項目選項。
  • Spot:Spot VM 會透過 Spot VM 定價自動獲得折扣。
  • 彈性啟動:使用彈性啟動消耗選項佈建的執行個體,會透過 Dynamic Workload Scheduler 定價自動獲得折扣。
  • 預留項目:購買依資源計算的承諾使用合約,即可取得加速器最佳化機型資源的 CUD。GPU 和本機 SSD 磁碟的承諾使用合約必須附加這些資源的保留項目

各機型的計費模式

下表摘要列出各機型適用的消費選項。如要進一步瞭解如何選擇計費模式,請參閱 AI Hypercomputer 說明文件中的「選擇計費模式」一文。

機型 (GPU 型號) 隨選 Spot Flex-start 隨需預留項目 未來預留項目 日曆模式的未來預留項目 AI Hypercomputer 的未來預留項目

加速器最佳化機器類型的維護體驗

Compute Engine 執行個體生命週期中,執行個體所在的主機將經歷多個主機事件。 主機事件可能包括 Compute Engine 基礎架構的定期維護,或極少數情況下的主機錯誤。Compute Engine 也會在背景套用一些輕量級升級,不會中斷虛擬機器監控程式和網路。

下表說明加速器最佳化機型的主機維護功能:

機型 GPU 數量 定期維護事件的典型頻率 維護行為 預定維護作業的進階通知 隨選維護 模擬維護作業
A4X Max2 和 A4X2 4 至少 90 天 終止於 本機 SSD 資料保存 90 天
A42 8 至少 90 天 終止並保留本機 SSD 資料 90 天
A3 Ultra2 8 至少 90 天 終止並保留本機 SSD 資料 90 天
A3 Mega2 和 A3 High2 8 至少 30 天1 終止並重新啟動 7 天
A3 High 1、2、4 至少 30 天1 終止並重新啟動 7 天1
A3 Edge 8 至少 30 天 終止並重新啟動 7 天
A2 Ultra 1、2、4、8 至少 30 天 終止並重新啟動 7 天 是 (僅限 8 個 GPU)
A2 Standard 1、2、4、8 或 16 至少 30 天 終止並重新啟動 7 天 是 (僅限 8 個和 16 個 GPU)
G4 1、2 或 4 至少 30 天 終止並重新啟動。如果已連結本機 SSD 磁碟,執行個體會終止,但本機 SSD 資料會保留。 7 天
G4 8 至少 90 天 終止並重新啟動。如果已連結本機 SSD 磁碟,執行個體會終止,但本機 SSD 資料會保留。 30 天
G2 1、2、4 或 8 至少 30 天 終止並重新啟動 7 天 是 (僅限 8 個 GPU)
N1+T4 1 或 2 最少 15 天 終止並重新啟動 7 天
N1+T4 4 至少 30 天 終止並重新啟動 7 天
N1+P4 1 或 2 最少 15 天 終止並重新啟動 7 天
N1+P4 4 至少 30 天 終止並重新啟動 7 天
N1+P100 1 或 2 最少 15 天 終止並重新啟動 7 天
N1+P100 4 至少 30 天 終止並重新啟動 7 天
N1+V100 1、2 或 4 最少 15 天 終止並重新啟動 7 天
N1+V100 8 至少 30 天 終止並重新啟動 7 天

1 排除特定客戶維護協議涵蓋的執行個體。
2 另請參閱 AI Hypercomputer 說明文件中的「瞭解主機維護作業」。

上表顯示的維護頻率為概略值,而非保證值。Compute Engine 有時執行維護的頻率可能會更高。

A4X Max 和 A4X 機器系列

A4X Max 和 A4X 機器系列採用以 NVIDIA 的機架規模架構為基礎的百億級平台,並針對運算和記憶體密集型、受網路限制的機器學習訓練和 HPC 工作負載進行最佳化。A4X Max 和 A4X 的主要差異在於 GPU 和網路元件。A4X Max 也提供裸機執行個體,可直接存取主機伺服器的 CPU 和記憶體,中間沒有 Compute Engine 的管理程序。

A4X Max 和 A4X 系列的所有機型都有兩個插槽,搭載 NVIDIA Grace™ CPU,並採用 Arm® Neoverse™ V2 核心。這些 CPU 會透過快速的晶片對晶片 NVLink-C2 通訊,連線至四個 GPU。

A4X Max 和 A4X 機器系列均採用 NVIDIA 的 NVL72 機架規模架構,可使用 NVLink 網域,實現大規模高效能 GPU 運算。NVLink 網域是一組互連的 NVIDIA NVSwitch 晶片和與其連線的 GPU,可形成高速網路架構,讓 GPU 之間直接快速通訊。對於 A4X Max 和 A4X 機型,單一 NVL72 (NVLink) 網域由 18 個執行個體和 72 個 GPU 組成。

比較 A4X Max 和 A4X

下表詳細比較 A4X Max 和 A4X 機型:

功能 A4X Max A4X
GPU 加速 A4X Max 執行個體會自動連接 NVIDIA GB300 Ultra Superchip。 這些超級晶片搭載 NVIDIA B300 GPU,每個 NVL72 網域最多可提供 20 TB 的 GPU 總記憶體,每個 GPU 約可提供 279 GB。 A4X 執行個體會自動附加 NVIDIA GB200 Superchip。 這些超級晶片搭載 NVIDIA B200 GPU,每個 GPU 提供 186 GB 記憶體。
透過 RoCE 提升網路效能

對於 A4X Max 執行個體,RoCE 會結合 NVIDIA ConnectX-8 (CX-8) SuperNIC 和 Google 的全資料中心網路,後者採用八向軌道對齊,藉此提升網路效能。這項設定可提供高達 3,200 Gbps 的頻寬,效能更上一層樓,最適合用於大規模訓練和 HPC 工作等要求嚴苛的作業。

如為一般用途網路,每個執行個體也有最高 400 Gbps 的頻寬。

對於 A4X 執行個體,基於融合乙太網路的 RDMA (RoCE) 結合 NVIDIA ConnectX-7 (CX-7) NIC 和 Google 的全資料中心網路 (具備四向軌道對齊),可提升網路效能。這種架構提供高達 1,600 Gbps 的頻寬,可為大規模分散式工作負載提供高總處理量、低延遲的通訊。

如為一般用途網路,每個執行個體的頻寬最高可達 400 Gbps。

效能

NVIDIA GB300 Ultra Superchip 提供 15 PetaFLOPS 的密集 FP4 效能。在大型 FP4 推論方面,GB300 Ultra Superchip 的效能預計比 GB200 Superchip 高出 20% 至 40%。

NVIDIA GB200 Superchip 提供 10 PetaFLOPS 的密集 FP4 效能。
支援 Bare Metal 和 VM 僅限 Bare Metal 執行個體 僅限 VM 執行個體
作業系統支援 A4X Max 執行個體支援各種 Linux OS 映像檔。不過,由於 Bare Metal 執行個體使用 IDPF 網路驅動程式,因此 OS 映像檔必須支援 IDPF。如要使用 Compute Engine 提供的 OS 映像檔,請參閱支援 IDPF 的 OS 映像檔 A4X 執行個體支援各種 Linux OS 映像檔。如需 Compute Engine 支援的作業系統完整清單,請參閱「GPU 的作業系統支援」。
CPU 平台 A4X Max 和 A4X 機器類型都使用 NVIDIA Grace CPU 平台,搭載 Arm® Neoverse™ V2 核心。如要進一步瞭解平台,請參閱「CPU 平台」。
NVLink 擴充性 對於 A4X Max 和 A4X 機器類型,多節點 NVLink 在單一網域中最多可擴充至 72 個 GPU,並提供每個 GPU 雙向 1800 GBps 的 GPU NVLink 頻寬。
磁碟支援

A4X Max 和 A4X 執行個體支援本機 SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以附加 Hyperdisk 磁碟區。

系統會自動為 A4X Max 和 A4X 執行個體新增 12,000 GiB 的本機 SSD。

如要使用耐久儲存空間,您也可以附加最多 512 TiB 的 Hyperdisk 儲存空間。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

支援密集分配和拓撲感知排程 A4X Max 和 A4X 機型都支援要求密集分配容量的區塊。主機彼此靠近,並以資源模塊形式佈建,再透過動態機器學習網路架構互連,可盡量減少網路躍點數與延遲時間。此外,對於 A4X Max 和 A4X 執行個體,您可以在節點和叢集層級取得拓撲資訊,用於工作放置。

A4X Max 機型 (裸機)

A4X Max 加速器最佳化 機型使用 NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300),非常適合基礎模型訓練和部署。A4X Max 機型可做為裸機執行個體使用。

A4X Max 是以 NVIDIA GB300 NVL72 為基礎的百京級平台。每部機器都有兩個插槽,搭載 NVIDIA Grace CPU 和 Arm Neoverse V2 核心。這些 CPU 會連線至四個 NVIDIA B300 Blackwell GPU,並透過快速晶片對晶片 (NVLink-C2C) 通訊。

已連結 NVIDIA GB300 Grace Blackwell Ultra Superchip
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A4X 機型

A4X 加速器最佳化 機型使用 NVIDIA GB200 Grace Blackwell Superchip (nvidia-gb200), 非常適合基礎模型訓練和服務。

A4X 是以 NVIDIA GB200 NVL72 為基礎的百京級平台。每部機器都有兩個插槽,搭載 NVIDIA Grace CPU 和 Arm Neoverse V2 核心。這些 CPU 會連線至四個 NVIDIA B200 Blackwell GPU,並透過快速晶片對晶片 (NVLink-C2C) 通訊。

已連結 NVIDIA GB200 Grace Blackwell 超級晶片
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A4X Max 和 A4X 的限制

以下限制適用於 A4X Max 和 A4X 執行個體:

A4X Max 執行個體

A4X 執行個體

A4X Max 和 A4X 執行個體支援的磁碟類型

A4X Max

A4X Max 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是唯一支援做為開機磁碟的磁碟類型
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD:使用任何 A4X Max 機器類型建立執行個體時,系統會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

A4X 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是唯一支援做為開機磁碟的磁碟類型
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • 本機 SSD:使用任何 A4X 機器類型建立的執行個體會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a4x-highgpu-4g 128 128 0 0 128 8 4

1 Hyperdisk 使用費用會分開計算,不包含在機型定價中。如需磁碟定價,請參閱 Hyperdisk 定價

磁碟和容量限制

您可以將不同類型的 Hyperdisk 混合連接至執行個體,但所有磁碟類型的總磁碟容量 (以 TiB 為單位) 不得超過 512 TiB。

如要進一步瞭解容量限制,請參閱 Hyperdisk 大小和附加限制

A4 機器系列

A4 系列機器的機型最多可搭載 224 個 vCPU,以及 3,968 GB 的記憶體。對於大多數 GPU 加速工作負載,A4 執行個體提供的效能最高可達前一代 GPU 執行個體類型的 3 倍。建議使用 A4 處理機器學習訓練工作負載,尤其是在大規模作業時 (例如數百或數千個 GPU)。A4 機器系列僅提供一種機型。

使用 A4 機型建立的 VM 執行個體提供下列功能:

  • 使用 NVIDIA B200 GPU 進行 GPU 加速NVIDIA B200 GPU 會自動附加至 A4 執行個體, 每個 GPU 提供 180 GB 的 GPU 記憶體。

  • 第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids):單一核心的長期 Turbo 時鐘頻率最高可達 4.0 GHz。如要進一步瞭解這個處理器,請參閱「CPU 平台」。

  • 業界領先的 NVLink 可擴充性:NVIDIA B200 GPU 提供 1,800 GBps 的 GPU NVLink 頻寬,每個 GPU 雙向。

    在系統中 8 個 GPU 之間採用全面 NVLink 拓撲,NVLink 總頻寬最高可達 14.4 TBps。

  • 透過 RoCE 提升網路效能:基於融合乙太網路的 RDMA (RoCE) 結合 NVIDIA ConnectX-7 網路介面卡 (NIC),以及 Google 的全資料中心四向符合軌道 (rail-aligned) 網路,可提升網路效能。與大多數 A3 執行個體相比,A4 執行個體運用基於融合乙太網路的 RDMA (RoCE),在叢集中的執行個體之間實現更高的處理量,但執行於 A3 Ultra 機型上的執行個體除外。

  • 網路速度提升:與前一代 A2 執行個體相比,網路速度最高可提升 4 倍。

    如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

  • 資料移轉和復原的虛擬化最佳化:A4 執行個體的周邊元件互連高速 (PCIe) 拓撲可提供更準確的區域資訊,工作負載可用於最佳化資料移轉。

    GPU 也會公開函式層級重設 (FLR),以便從故障中順利復原,並支援原子作業,在特定情況下提升並行作業。

  • 磁碟支援:A4 執行個體支援本機 SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以附加 Hyperdisk 磁碟區。

    系統會自動為 A4 執行個體新增 12,000 GiB 的本機 SSD。對於需要耐用區塊儲存空間的工作負載,您也可以將最多 512 TiB 的 Hyperdisk 連接至 A4 執行個體。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

  • 密集分配和拓撲感知排程支援:佈建 A4 執行個體時,您可以要求密集分配的容量區塊。主機的實體位置彼此鄰近,以資源區塊的形式佈建,並透過動態機器學習網路架構互連,可大幅減少網路躍點,並將延遲降至最低。此外,您還可以在節點和叢集層級取得拓撲資訊,用於工作放置。

A4 機型

A4 加速器最佳化 機型連接 NVIDIA B200 Blackwell GPU (nvidia-b200), 適合基礎模型訓練與部署。

已連結的 NVIDIA B200 Blackwell GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A4 限制

  • 您只能使用 A4 機型 的支援用量選項來要求容量。
  • 使用 A4 機器類型的執行個體無法享有續用折扣彈性承諾使用折扣
  • A4 機型只能在特定區域和可用區使用。
  • 您無法使用永久磁碟 (區域或可用區)。只能使用 Google Cloud Hyperdisk
  • A4 機型僅適用於 Emerald Rapids CPU 平台
  • 您無法將執行個體的機型變更為 A4 機型,也無法從 A4 機型變更為其他機型。您必須使用這個機型建立新的執行個體。
  • A4 機器類型不支援單一租戶
  • 您無法在 A4 機器類型上執行 Windows 作業系統。
  • 如果是 A4 執行個體,使用 ethtool -S 監控 GPU 網路時,結尾為 _phy 的實體連接埠計數器不會更新。這是使用 MRDMA 虛擬函式 (VF) 架構的執行個體預期行為。詳情請參閱「MRDMA functions and network monitoring tools」。
  • 您無法將 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟連結至 A4 機器類型。

A4 執行個體支援的磁碟類型

A4 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是唯一支援的開機磁碟類型
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • 本機 SSD:使用任何 A4 機器類型建立執行個體時,系統會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a4-highgpu-8g 128 128 不適用 128 8 32

1 Hyperdisk 使用費用會分開計算,不包含在機型定價中。如需磁碟定價,請參閱 Hyperdisk 定價

磁碟和容量限制

您可以將不同類型的 Hyperdisk 混合連接至執行個體,但所有磁碟類型的總磁碟容量 (以 TiB 為單位) 不得超過 512 TiB。

如要進一步瞭解容量限制,請參閱 Hyperdisk 大小和附加限制

A3 系列機器

A3 機器系列最多可搭載 224 個 vCPU 和 2,944 GB 記憶體。這個機器系列經過最佳化調整,適合耗用大量運算資源和記憶體、受網路限制的機器學習訓練,以及 HPC 工作負載。A3 機器系列提供 A3 Ultra、A3 Mega、A3 High 和 A3 Edge 機型。

使用 A3 機型建立的 VM 執行個體提供下列功能:

功能 A3 Ultra A3 Mega、High、Edge
GPU 加速

NVIDIA H200 SXM GPU ,每個 GPU 提供 141 GB 的 GPU 記憶體,並提供更大、更快的記憶體,支援大型語言模型和 HPC 工作負載。

NVIDIA H100 SXM GPU,每個 GPU 提供 80 GB 的 GPU 記憶體,非常適合大型 Transformer 架構語言模型、資料庫和 HPC。

Intel Xeon 可擴充處理器

第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids),單一核心的長期 Turbo 時鐘頻率最高可達 4.0 GHz。如要進一步瞭解這個處理器,請參閱「CPU 平台」。

第 4 代 Intel Xeon 可擴充處理器 (Sapphire Rapids),單一核心的持續最高 Turbo 頻率可達 3.3 GHz。如要進一步瞭解這個處理器,請參閱「CPU 平台」。

領先業界的 NVLink 擴充性

NVIDIA H200 GPU 提供單向 900 GB/s 的GPU NVLink 頻寬

在系統的 8 個 GPU 之間採用全面 NVLink 拓撲,NVLink 匯總頻寬最高可達 7.2 TB/s。

NVIDIA H100 GPU 提供 450 GB/s 的單向GPU NVLink 頻寬

在系統的 8 個 GPU 之間採用全面 NVLink 拓撲,NVLink 匯總頻寬最高可達 7.2 TB/s。

強化網路 對於這類機型,基於融合乙太網路的 RDMA (RoCE) 會結合 NVIDIA ConnectX-7 網路介面卡 (NIC) 和我們的全資料中心四向符合軌道 (rail-aligned) 網路,進而提升網路效能。透過融合乙太網路的 RDMA (RoCE),a3-ultragpu-8g 機型在叢集中的執行個體之間,可達到比其他 A3 機型更高的處理量。
  • 對於 A3 Mega 機型,GPUDirect-TCPXO 會卸載 TCP 通訊協定,進一步提升 GPUDirect-TCPX 的效能。與 A3 High 和 A3 Edge 機型相比,a3-megagpu-8g 機型運用 GPUDirect-TCPXO 技術,網路頻寬可達兩倍。
  • 對於 A3 Edge (a3-edgegpu-8g) 和 A3 High (a3-highgpu-8g) 機型,GPUDirect-TCPX 可讓資料封包酬載直接從 GPU 記憶體傳輸至網路介面,進而提升網路效能。與 A2 或 G2 加速器最佳化機型相比,這些機型運用 GPUDirect-TCPX 技術,可大幅提升叢集內執行個體之間的處理量。
提升網路速度

與上一代 A2 機器系列相比,網路速度最高可提升 4 倍。

如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

與上一代 A2 機器系列相比,網路速度最高可提升 2.5 倍。

如要進一步瞭解網路,請參閱「網路頻寬和 GPU」。

虛擬化最佳化

A3 執行個體的周邊元件互連高速 (PCIe) 拓撲可提供更準確的區域資訊,工作負載可用於最佳化資料傳輸。

GPU 也會公開函式層級重設 (FLR),以便從故障中順利復原,並支援原子作業,在特定情況下提升並行作業效能。

磁碟支援

A3 執行個體支援本機 SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以附加 Persistent Disk 和 Hyperdisk 磁碟區。

本機 SSD 的連結方式如下:

  • 系統會自動為 A3 Ultra 執行個體新增 12,000 GiB 的本機 SSD。
  • 系統會自動為 A3 Mega、High 和 Edge 執行個體新增 6,000 GiB 的本機 SSD。

對於需要耐用區塊儲存空間的工作負載,您也可以將最多 512 TiB 的永久磁碟和 Hyperdisk 連接至這些系列的機器類型。部分機型也支援最多 257 TiB 的永久磁碟。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

支援密集配置政策

讓您進一步控管執行個體在資料中心內的實際位置。

這可為位於單一可用區的執行個體提供較低的延遲時間和較高的頻寬。

詳情請參閱「 關於密集配置政策」。

A3 Ultra 機型

A3 Ultra 機型連接 NVIDIA H200 SXM GPU (nvidia-h200-141gb),並提供 A3 系列中最高的網路效能。A3 Ultra 機型非常適合基礎模型訓練和服務。

附加的 NVIDIA H200 GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Ultra 的限制

A3 Mega 機型

A3 Mega 機型配備 NVIDIA H100 SXM GPU,非常適合大型模型訓練和多主機推論。
附加的 NVIDIA H100 GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Mega 限制

A3 High 機型

A3 High 機型配備 NVIDIA H100 SXM GPU,適合大型模型推論與模型微調。
附加的 NVIDIA H100 GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 High 的限制

A3 Edge 機型

A3 Edge 機型搭載 NVIDIA H100 SXM GPU,專為部署工作負載而設計,僅適用於部分區域
附加的 NVIDIA H100 GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5
  • 600:適用於 asia-south1 和 northamerica-northeast2
  • 400:適用於所有其他 A3 Edge 區域
8 640

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Edge 限制

A3 執行個體支援的磁碟類型

A3 Ultra

A3 Ultra 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是唯一支援的開機磁碟類型
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD:使用任何 A3 機器類型建立的執行個體都會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器
類型
所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-ultragpu-8g 128 128 128 不適用 不適用 8 32

1 Hyperdisk 使用費用會分開計算,不包含在機型定價中。如需磁碟定價,請參閱 Hyperdisk 定價

A3 Mega

A3 Mega 執行個體可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:使用任何 A3 機器類型建立執行個體時,系統會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器
類型
所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-megagpu-8g 128 32 32 64 64 8 16

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價

A3 High

A3 High 執行個體可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:使用任何 A3 機器類型建立執行個體時,系統會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器
類型
所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-highgpu-1g 128 32 32 64 64 不適用 2
a3-highgpu-2g 128 32 32 64 64 不適用 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價

A3 Edge

A3 Edge 執行個體可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:使用任何 A3 機器類型建立執行個體時,系統會自動新增本機 SSD
每個執行個體的磁碟數量上限1
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a3-edgegpu-8g 128 32 32 64 64 8 16

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價

磁碟和容量限制

如果機型支援,您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體,但須遵守下列限制:

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過:

    • 如果機器類型少於 32 個 vCPU:

      • 所有 Hyperdisk 或所有 Persistent Disk 為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB
    • 對於具有 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 總計 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料,請參閱 Hyperdisk 大小和附加限制,以及永久磁碟最大容量

A2 機器系列

A2 機器系列提供 A2 Standard 和 A2 Ultra 機型。這些機器類型可搭載 12 到 96 個 vCPU,最多可提供 1,360 GB 記憶體。

使用 A2 機型建立的 VM 執行個體提供下列功能:

  • GPU 加速:每個 A2 執行個體都有 NVIDIA A100 GPU。A100 40GB 和 A100 80GB 選項均提供這項功能。

  • 業界領先的 NVLink 規模,可提供 600 GBps 的 GPU 對 GPU NVLink 頻寬峰值。舉例來說,如果系統有 16 個 GPU,NVLink 總頻寬最高可達 9.6 TBps。這 16 個 GPU 可做為單一高效能加速器,提供統一的記憶體空間,運算能力高達 10 PFLOPS,推論運算能力高達 20 PFLOPS,可用於人工智慧、深度學習和機器學習工作負載。

  • 提升運算速度:與前一代 NVIDIA V100 GPU 相比,連接的 NVIDIA A100 GPU 可提升高達 10 倍的運算速度。

    使用 A2 系列機器時,網路頻寬最高可達 100 Gbps。

  • 磁碟支援:A2 執行個體支援本機 SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以附加 Persistent Disk 和 Hyperdisk 磁碟區。

    本機 SSD 支援方式如下:

    • 建立執行個體時,A2 Standard 機器類型最多可新增 3,000 GiB 的本機 SSD。
    • 如果是 A2 Ultra 機型,建立執行個體時會自動連接本機 SSD。

    對於需要耐用區塊儲存空間的工作負載,您最多可以將 257 TiB 的永久磁碟和 512 TiB 的 Hyperdisk 磁碟區連接至 A2 執行個體。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

  • 支援密集配置政策:讓您進一步控管執行個體在資料中心內的實際位置。這樣一來,位於單一可用區的執行個體就能享有較低的延遲時間和較高的頻寬。詳情請參閱「使用密集配置政策縮短延遲時間」。

A2 機器系列提供下列機器類型。

A2 Ultra 機型

這類機型配備固定數量的 A100 80GB GPU。使用 A2 Ultra 機器類型建立的執行個體會自動連接本機 SSD。

連接 NVIDIA A100 80GB GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A2 Ultra 的限制

  • 您只能透過 A2 Ultra 機型支援的用量選項要求容量。
  • 使用 A2 Ultra 機型類型的執行個體不適用續用折扣彈性承諾使用折扣
  • 您只能在特定區域和可用區使用 A2 Ultra 機型。
  • A2 Ultra 機型僅適用於 Cascade Lake 平台
  • 如果執行個體使用 A2 Ultra 機型,就無法變更機型。如要使用其他 A2 Ultra 機型或其他機型,請建立新的執行個體。
  • 您無法將任何其他機型變更為 A2 Ultra 機型。如要使用 A2 Ultra 機型建立執行個體,請建立新的執行個體。
  • 如果 Windows 執行個體使用 A2 Ultra 機器類型,您就無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD,請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs,執行完整格式化。

A2 Standard 機型

這類機型配備固定數量的 A100 40GB GPU。 您也可以在建立 A2 Standard 執行個體時新增本機 SSD 磁碟。如要瞭解可附加的磁碟數量,請參閱「必須選擇本機 SSD 磁碟數量的機器類型」。

已連結 NVIDIA A100 40GB GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 支援本機 SSD 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3
(GB HBM2)
a2-highgpu-1g 12 85 24 1 40
a2-highgpu-2g 24 170 32 2 80
a2-highgpu-4g 48 340 50 4 160
a2-highgpu-8g 96 680 100 8 320
a2-megagpu-16g 96 1,360 100 16 640

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

A2 Standard 的限制

  • 您只能透過 A2 Standard 機型支援的用量選項要求容量。
  • 使用 A2 Standard 機器類型的執行個體不適用續用折扣彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A2 Standard 機器類型。
  • A2 Standard 機器類型僅適用於 Cascade Lake 平台
  • 如果執行個體使用 A2 Standard 機型,只能從一種 A2 Standard 機型切換至另一種 A2 Standard 機型。您無法變更為任何其他機器類型。 詳情請參閱「修改加速器最佳化執行個體」。
  • 您無法搭配使用 Windows 作業系統和 a2-megagpu-16g 機器類型。使用 Windows 作業系統時,請選擇其他 A2 Standard 機型。
  • 在採用 A2 Standard 機型的 Windows 執行個體上,您無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD,請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs,執行完整格式化。

A2 執行個體支援的磁碟類型

A2 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk ML (hyperdisk-ml)
  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • 標準永久磁碟 (pd-standard)
  • 本機 SSD:系統會自動將本機 SSD 連接至使用 A2 Ultra 機型建立的執行個體。

A2 Ultra

每個執行個體的磁碟數量上限1
機器類型 所有磁碟 2 Hyperdisk ML 附加本機 SSD
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價
2這項限制適用於 Persistent Disk 和 Hyperdisk,但不包括本機 SSD 磁碟。

A2 Standard

每個執行個體的磁碟數量上限1
機器類型 所有磁碟 2 Hyperdisk ML 本機 SSD
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價
2這項限制適用於 Persistent Disk 和 Hyperdisk,但不包括本機 SSD 磁碟。

如果機型支援,您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體,但須遵守下列限制:

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過:

    • 如果機器類型少於 32 個 vCPU:

      • 所有 Hyperdisk 或所有 Persistent Disk 為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB
    • 對於具有 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 總計 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料,請參閱 Hyperdisk 大小和附加限制,以及永久磁碟最大容量

G4 系列機器

G4 機器系列採用 AMD EPYC Turin CPU 平台,並搭載 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU。與前一代 G2 機器系列相比,這個機器系列有顯著的改良,GPU 記憶體大幅增加、GPU 記憶體頻寬提升,網路頻寬也更高。

G4 執行個體最多可搭載 384 個 vCPU、1,440 GB 記憶體,以及 12 TiB 的 Titanium SSD 磁碟。G4 執行個體還提供高達 400 Gbps 的標準網路效能。

這個機器系列特別適合 NVIDIA Omniverse 模擬工作負載、需要大量繪圖資源的應用程式、影片轉碼和虛擬桌面等工作負載。與 A 系列機型相比,G4 機器系列也提供低成本解決方案,可執行單一主機推論和模型調整作業。

使用 G4 機型的執行個體提供下列功能:

  • 使用 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 加速: G4 執行個體會自動附加 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU, 每個 GPU 提供 96 GB 的 GPU 記憶體。

  • 第 5 代 AMD EPYC Turin CPU 平台:這個平台提供高達 4.1 GHz 的持續最大加速頻率。如要進一步瞭解這個處理器,請參閱 CPU 平台

  • 新一代繪圖效能:NVIDIA RTX PRO 6000 GPU 相較於 G2 機器系列所連接的 NVIDIA L4 GPU,效能和功能大幅升級。升級項目如下:

    • 第 5 代 Tensor 核心:這些核心支援 FP4 精確度和 DLSS 4 多幀生成。與 NVIDIA L4 GPU 相比,NVIDIA RTX PRO 6000 GPU 採用第 5 代張量核心,可提升效能,加速執行本機 LLM 開發和內容創作等工作。
    • 第 4 代 RT 核心:這些核心的射線追蹤效能是前一代 NVIDIA L4 GPU 的兩倍,可加速設計和製造工作負載的算繪作業。
    • 核心數:NVIDIA RTX PRO 6000 GPU 包含 24,064 個 CUDA 核心、752 個第 5 代 Tensor 核心,以及 188 個第 4 代 RT 核心。與前幾代產品 (例如 L4 GPU) 相比,這項更新大幅提升了效能。L4 GPU 具有 7,680 個 CUDA 核心和 240 個 Tensor 核心。
  • GPU 共用:您可以使用多種選項,允許多個工作負載存取單一實體 GPU。如果工作負載不需要完整 GPU 的資源,GPU 共用功能就非常實用,可協助您節省成本。G4 執行個體提供下列 GPU 共用選項:

    • 部分 GPU (vGPU) 支援 (搶先版):這項功能可讓多個虛擬機器 (VM) 執行個體共用單一實體 GPU。由於每個 vGPU 都是獨立的 VM 執行個體,因此 vGPU 提供多租戶安全隔離。如要使用 vGPU,Compute Engine 提供下列 VM 執行個體形狀:g4-standard-6 (1/8 GPU)、g4-standard-12 (1/4 GPU) 和 g4-standard-24 (1/2 GPU)。
    • 多重執行個體 GPU (MIG):這項功能可將單一 GPU 分割為最多四個完全獨立的執行個體,並在單一虛擬機器上執行。這個選項無法提供多租戶安全隔離,因為所有磁碟分割區都屬於單一 VM。
  • 支援 Peripheral Component Interconnect Express (PCIe) 第 5 代:G4 執行個體支援 PCI Express 第 5 代,與 G2 執行個體使用的 PCIe 第 3 代相比,可提升 CPU 記憶體到 GPU 的資料移轉速度。

  • 磁碟支援:G4 執行個體支援 Titanium SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以連結 Hyperdisk 磁碟區。

    G4 執行個體支援附加最多 12,000 GiB 的 Titanium SSD。 對於需要耐用區塊儲存空間的工作負載,G4 執行個體也支援連結最多 512 TiB 的 Hyperdisk。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

  • GPU 對等 (P2P) 通訊:G4 執行個體支援 GPU P2P 通訊,可在同一執行個體內的 GPU 之間直接傳輸資料。這項功能可減少資料移轉延遲時間,並釋放 CPU 資源,因此能大幅提升多 GPU 工作負載的效能。詳情請參閱「G4 GPU 對等 (P2P) 通訊」。

G4 機型

G4 加速器最佳化 機型使用 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU (nvidia-rtx-pro-6000), 適用於 NVIDIA Omniverse 模擬工作負載、需要大量圖形處理的應用程式、影片轉碼和虛擬桌面。與 A 系列機型相比,G4 機型也提供低成本解決方案,可執行單一主機推論和模型微調。

已連結的 NVIDIA RTX PRO 6000 GPU
機型 vCPU 數量1 執行個體記憶體 (GB) 支援的 Titanium SSD 容量上限 (GiB)2 實體 NIC 數量 網路頻寬上限 (Gbps)3 GPU 數量 GPU 記憶體4
(GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2建立 G4 執行個體時,可以新增 Titanium SSD 磁碟。如要瞭解可附加的磁碟數量,請參閱需要選擇本機 SSD 磁碟數量的機器類型
3輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。請參閱「網路頻寬」。
4GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

G4 限制

  • 您只能透過 G4 機型的支援用量選項要求容量。
  • 使用 G4 機器類型的執行個體不適用續用折扣彈性承諾使用折扣
  • G4 機器類型只能在特定區域和可用區使用。
  • 您無法在採用 G4 機器類型的執行個體上使用永久磁碟 (區域或可用區)。
  • G4 機器類型僅適用於 AMD EPYC Turin 第 5 代平台
  • 您無法建立使用 G4 機型的 Confidential VM 執行個體。
  • 您無法在單一用戶群節點上建立 G4 執行個體。
  • g4-standard-384 執行個體無法使用 Windows 作業系統。
  • 您無法將 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟連結至 G4 機器類型。

G4 執行個體支援的磁碟類型

G4 執行個體可使用下列區塊儲存空間類型:

  • Hyperdisk Balanced (hyperdisk-balanced):這是唯一支援做為開機磁碟的磁碟類型
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme):這個磁碟類型僅支援連接兩個以上 GPU 的 G4 執行個體
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Titanium SSD:您可以將 Titanium SSD 新增至使用 G4 機器類型建立的執行個體。

每個執行個體的磁碟數量上限1
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

1 Hyperdisk 使用費用會分開計算,不包含在機型定價中。如需磁碟定價,請參閱 Hyperdisk 定價

您可以將不同類型的 Hyperdisk 混合連接至執行個體,但所有磁碟類型的磁碟總容量 (以 TiB 為單位) 不得超過 512 TiB。

如要進一步瞭解容量限制,請參閱 Hyperdisk 大小和附加限制

GPU 點對點 (P2P) 通訊

G4 執行個體使用直接 GPU 對等 (P2P) 通訊,提升多 GPU 工作負載效能,但只有具備兩個以上 GPU 的機型才支援這項功能。這樣一來,附加至相同 G4 執行個體的 GPU 就能透過 PCIe 匯流排直接交換資料,不必透過 CPU 的主記憶體傳輸資料。這條直接路徑可縮短延遲時間、降低 CPU 使用率,並提高 GPU 之間的有效頻寬。P2P 通訊可大幅加速多 GPU 應用程式,例如機器學習 (ML) 訓練和高效能運算 (HPC)。

這項功能通常不需要修改應用程式程式碼。您只需要設定 NCCL 使用 P2P 即可。如要設定 NCCL,請先根據機型,在 G4 執行個體上設定 NCCL_P2P_LEVEL 環境變數,再執行工作負載:

  • 如為搭載 2 個或 4 個 GPU 的 G4 執行個體 (g4-standard-96g4-standard-192):請設定 NCCL_P2P_LEVEL=PHB
  • 如為搭載 8 個 GPU 的 G4 執行個體 (g4-standard-384):請設定 NCCL_P2P_LEVEL=SYS

使用下列任一選項設定環境變數:

  • 在指令列中,於打算執行應用程式的殼層工作階段中,執行適當的匯出指令 (例如 export NCCL_P2P_LEVEL=SYS)。如要讓這項設定持續生效,請將這個指令加到殼層的開機指令碼 (例如 ~/.bashrc)。
  • /etc/nccl.conf 的 NCCL 設定檔中新增適當設定 (例如 NCCL_P2P_LEVEL=SYS)。

主要優點和效能

  • 在搭載兩個以上 GPU 的 G4 執行個體上加速多 GPU 工作負載:為在 g4-standard-96g4-standard-192g4-standard-384 機型上執行的應用程式提供更快的執行階段。
  • 提供高頻寬通訊:可在 GPU 之間實現高速資料移轉。
  • 提升 NCCL 效能:與未使用 P2P 的通訊相比,使用 NVIDIA Collective Communication Library (NCCL) 的應用程式效能大幅提升。Google 的管理程序會在執行個體中安全地隔離這項 P2P 通訊。

    • 在四個 GPU 執行個體 (g4-standard-192) 上,所有 GPU 都位於單一 NUMA 節點,可實現最有效率的 P2P 通訊。這可讓 AllgatherAllreduceReduceScatter 等集合的效能提升最多 2.04 倍
    • 在八個 GPU 執行個體 (g4-standard-384) 上,GPU 會分散在兩個 NUMA 節點中。這類節點內和節點間的流量都會加速 P2P 通訊,相同集合的效能最多可提升 2.19 倍

G2 機器系列

G2 系列機器提供標準機型,搭載 4 到 96 個 vCPU,以及最多 432 GB 的記憶體。這個機器系列專為推論和圖形工作負載最佳化,G2 機器系列提供單一標準機型,但有多種設定。

使用 G2 機型建立的執行個體提供下列功能:

  • GPU 加速:每個 G2 機型都配備 NVIDIA L4 GPU

  • 提升推論速率:G2 機型支援 FP8 (8 位元浮點數) 資料型別,可加快機器學習推論速率並減少記憶體需求。

  • 新一代圖形效能:NVIDIA L4 GPU 採用第三代 RT 核心NVIDIA DLSS 3 (深度學習超取樣) 技術,圖形效能提升高達 3 倍。

  • 高效能網路頻寬:使用 G2 機器類型時,網路頻寬最高可達 100 Gbps。

  • 磁碟支援:G2 執行個體支援本機 SSD,可做為快速暫存磁碟,有助於將資料饋送至 GPU,同時避免 I/O 瓶頸。如要使用耐久儲存空間,可以附加 Persistent Disk 和 Hyperdisk 磁碟區。

    您最多可以為 G2 執行個體新增 3,000 GiB 的本機 SSD。 對於需要持久區塊儲存空間的工作負載,您可以將 Hyperdisk 和 Persistent Disk 磁碟區連結至 G2 執行個體。儲存空間容量上限取決於執行個體擁有的 vCPU 數量。如要進一步瞭解磁碟類型,請參閱「選擇磁碟類型」。

  • 支援密集配置政策:讓您進一步控管執行個體在資料中心內的實際位置。這樣一來,位於單一可用區的執行個體就能享有較低的延遲時間和較高的頻寬。詳情請參閱「使用密集配置政策縮短延遲時間」。

G2 機型

G2 加速器最佳化機型連接的是 NVIDIA L4 GPU,非常適合用於成本最佳化的推論、需要大量圖形處理的作業,以及高效能運算工作負載。

每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍會定義每個機型可分配給執行個體的記憶體大小。您也可以在建立 G2 執行個體時新增本機 SSD 磁碟。如要瞭解可附加的磁碟數量,請參閱需要選擇本機 SSD 磁碟數量的機器類型

附加的 NVIDIA L4 GPU
機型 vCPU 數量1 預設執行個體記憶體 (GB) 自訂執行個體記憶體範圍 (GB) 支援的最大本機 SSD (GiB) 網路頻寬上限 (Gbps)2 GPU 數量 GPU 記憶體3 (GB GDDR6)
g2-standard-4 4 16 16 至 32 375 10 1 24
g2-standard-8 8 32 32 至 54 375 16 1 24
g2-standard-12 12 48 48 到 54 歲 375 16 1 24
g2-standard-16 16 64 54 到 64 375 32 1 24
g2-standard-24 24 96 96 至 108 750 32 2 48
g2-standard-32 32 128 96 到 128 375 32 1 24
g2-standard-48 48 192 192 至 216 1,500 50 4 96
g2-standard-96 96 384 384 至 432 3,000 100 8 192

1 在其中一個可用的 CPU 平台中,我們會以單一硬體超執行緒的形式提供 vCPU。
2輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬,請參閱「網路頻寬」。
3GPU 記憶體是 GPU 裝置上的記憶體,可用於暫時儲存資料。這與執行個體的記憶體不同,專門用於處理需要高頻寬的繪圖密集型工作負載。

G2 限制

  • 您只能透過 G2 機器類型支援的用量選項要求容量。
  • 使用 G2 機器類型的執行個體不適用續用折扣彈性承諾使用折扣
  • G2 機器類型僅適用於特定區域和可用區
  • G2 機器類型僅適用於 Cascade Lake 平台
  • 使用 G2 機器類型的執行個體不支援標準永久磁碟 (pd-standard)。如需支援的磁碟類型,請參閱「G2 支援的磁碟類型」。
  • 您無法在採用 G2 機器類型的執行個體上建立 多重執行個體 GPU
  • 如要變更 G2 執行個體的機器類型,請參閱「修改加速器最佳化執行個體」。
  • 使用 G2 機器類型的執行個體無法使用深度學習 VM 映像檔做為開機磁碟。
  • Container-Optimized OS 目前的預設驅動程式不支援在 G2 機器類型上執行的 L4 GPU。此外,Container-Optimized OS 僅支援特定驅動程式集。如要在 G2 機器類型上使用 Container-Optimized OS,請參閱下列注意事項:
    • 使用支援最低建議 NVIDIA 驅動程式版本 525.60.13 以上的 Container-Optimized OS 版本。詳情請參閱 Container-Optimized OS 版本資訊
    • 安裝驅動程式時,請指定適用於 L4 GPU 的最新版本。例如:sudo cos-extensions install gpu -- -version=525.60.13
  • 您必須使用 Google Cloud CLI 或 REST,才能在下列情境中建立 G2 執行個體
    • 您想指定自訂記憶體值。
    • 您想自訂可見的 CPU 核心數量。

G2 執行個體支援的磁碟類型

G2 執行個體可使用下列區塊儲存空間類型:

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD:您可以將本機 SSD 新增至使用 G2 機器類型建立的執行個體。

每個執行個體的磁碟數量上限1
機器類型 所有磁碟 2 Hyperdisk ML Hyperdisk Throughput 本機 SSD
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

1 Hyperdisk 和永久磁碟的使用費用會分開計算,不包含在機器類型定價中。如需磁碟定價,請參閱永久磁碟和 Hyperdisk 定價
2這項限制適用於 Persistent Disk 和 Hyperdisk,但不包括本機 SSD 磁碟。

如果機型支援,您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體,但須遵守下列限制:

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。
  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過:

    • 如果機器類型少於 32 個 vCPU:

      • 所有 Hyperdisk 或所有 Persistent Disk 為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB
    • 對於具有 32 個以上 vCPU 的機器類型:

      • 所有 Hyperdisk 總計 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料,請參閱 Hyperdisk 大小和附加限制,以及永久磁碟最大容量

後續步驟