NVIDIA H200 GPU TEE
Özel modeller için H200 yuvaları.
Daha büyük LLM servisi, ince ayar ve korumalı toplu işler için yüksek bellekli H200 kapasitesi.
H200 TEE capacity with 141GB HBM3e memory, confidential GPU mode, CVM runtime, and TEE operations.
Kapasite hücresi
Slot hazır
hardware proof rail
Bu GPU, aynı doğrulanabilir GPU kanıt yolundan geçer.
GPU TEE
H200
GPU TEE
141GB HBM3e
GPU TEE
TEE proof
Bellek
141GB HBM3e
Bant genişliği
4.8 TB/s
Bölge
US-West / India
Ölçek
1-8 GPU
GPU alıcı ayrıntıları
GPU teklifinden fazlası.
GPU satıcıları genellikle fiyat ve kullanılabilirlikte durur. Bu sayfa, ek TEE gereksinimlerini görünür kılar: çalışma zamanı sınırı, gizli GPU modu, attestation ve operasyonlar.
En uygun
GPU iş yükü şekli
Erişim
1-8 GPU slotu
Taahhüt
Ayrılmış H200 kapasitesi
Kurumsal
Çok düğümlü özel model kümeleri
TEE hazırlık kontrol listesi
01
Kapasite
GPU belleği, bant genişliği, bölge ve ölçek satış görüşmesinden önce görünür.
02
Bulut yolu
Confidential VM’ler, bare metal yolları veya kurumsal dağıtımlar üzerinden çalıştırın.
03
TEE hazırlığı
Intel TDX, NVIDIA gizli bilişim, sürücüler, BIOS ve doğrulayıcı hazırlığı Phala tarafından yönetilir.
04
Satın alma modeli
24 saatlik denemeyle başlayın, bir yuva rezerve edin veya ayrılmış bir küme için fiyat alın.
GPU teknik profili
Darboğaz bellekse H200 kullanın.
H200, daha büyük LLM servisleri, uzun bağlamlı çıkarım, korumalı toplu işler ve daha fazla model veya KV-önbellek belleği gerektiren ince ayar koşuları için; doğrudan Blackwell kümesine geçmeden önce daha uygun bir seçenektir.
Bellek
141GB HBM3e, daha büyük modeller ve daha uzun bağlamlara parçalamadan önce daha fazla alan sağlar.
Bant genişliği
4,8TB/s bellek bant genişliği, yüksek bellekli çıkarım ve ince ayar işlerinin beslenmesine yardımcı olur.
Ölçek
Ayrılmış çalıştırmalar, benchmark pencereleri veya üretim özel model sunumu için 1-8 GPU yuvası kullanın.
TEE katmanı
Phala, GPU kapasitesini CVM izolasyonu, çift kanıt ve TEE-farkındalıklı operasyonlarla eşleştirir.
Özel AI GPU planlaması için performans metrikleri
relative index
1x
1.9x
LLM çıkarımı
model + KV cache
80GB
141GB
GPU belleği
feed batches
3.35TB/s
4.8TB/s
Bellek bant genişliği
NVIDIA H100
80GB HBM3
NVIDIA H200
141GB HBM3e
Performans karşılaştırması
NVIDIA H200 vs NVIDIA H100
H100, gizli GPU denemeleri için pratik başlangıç noktasıdır. H200, daha büyük modeller ve daha uzun bağlamlara parçalamadan önce daha fazla alan sağlar.
İş yükünün kısa bir H100 doğrulama penceresine mi yoksa ayrılmış H200 yüksek bellek kapasitesine mi ihtiyacı olduğunu karar vermek için bu karşılaştırmayı kullanın.
GPU satın alma yolları
İş için satın alma yolunu seçin.
Tek bir makineyi deneyin, ayrılmış bir yuva için fiyat alın veya iş yükü üretim altyapısına dönüştüğünde özel bir kümeye geçin.
01 / İsteğe bağlı
24 saat içinde gizli bir GPU deneyin.
Özel çıkarım, model servisi veya kanıt üretimini doğrulayan geliştiriciler için kısa test pencereleri.
02 / Slot
Bir sonraki çalışmadan önce kapasite ayırın.
Sürekli eğitim, ince ayar ve benchmark pencereleri için öngörülebilir GPU erişimi.
03 / Kurumsal
TEE operasyonları olan ayrılmış kümeler.
TEE farkındalıklı altyapı desteği ve dağıtım planlamasıyla özel H100, H200 veya B300 anlaşmaları.
Kanıt yolu
Bu GPU’nun faydası doğrulanabilir olmasıdır.
GPU ham donanım olarak satılmaz. GPU confidential computing ve yerleşik çift attestation ile confidential VM yolu üzerinden sunulur.
01
CVM çalışma zamanı
Docker iş yükleri, GPU passthrough ile Intel TDX gizli VM içinde çalışır. Çalışma zamanı operatöre karşı mühürlenir ve iş yükü başlamadan önce firmware tarafından ölçülür.
02
GPU CC modu
NVIDIA Confidential Computing, model ağırlıklarını, aktivasyonları ve KV cache’i korumalı GPU belleği içinde mühürler. GPU, CPU TEE ile birlikte çalışma izolasyonunu uygular.
03
Çift doğrulama
Intel TDX ve NVIDIA ayrı ayrı imzalı quote üretir. Phala ikisini birden toplar ve tek bir doğrulayıcı üzerinden sunar; böylece CVM ve GPU birlikte kendilerini kanıtlar.
Diğer gizli GPU’lar
Bir sonraki kapasite yolunu karşılaştırın.
Aynı pazar yeri modelini H100, H200 ve B300 genelinde kullanın: kapasite, fiyat, bölge ve kanıt durumu görünür kalır.
