Confidential AI Models
Private LLMs.
Verified results.
Frontier inference without exposing prompts, tools, or memory.
OpenAI-compatible APIs run inside hardware-backed TEEs and return proof of the runtime that handled the request.
Verify private inferenceAI çağrıları yalnızca istemden ibaret değildir.
TEE sınırı
Phala özel LLM
Private AI calls prompts, keys, tools, and memory stay inside the runtime. providers route the request without becoming the trust boundary. Proof follows the answer. verify GPU, container, model route, and response. same API shape, hardware-backed receipt, private inference. streaming, tool calls, and agent memory keep their normal developer flow. auditors can inspect evidence without reading the prompt. users get answers plus runtime proof, not another black box.
Traditional AI
- Prompts, tools, keys, and memory can become provider-visible state
- Security depends on policy, contracts, and audit logs after the fact
- The model result cannot carry a hardware-backed runtime receipt
Confidential AI
- Inference runs inside TEE-backed infrastructure
- The runtime can be verified before the result is trusted
- Customers can inspect proof without operating on-prem GPUs
Private LLM catalog
Frontier models with private runtime.
OpenAI-compatible models with hardware-backed privacy and ACI verification. Keep your SDK flow, change the endpoint, and copy the real call when you need it.
DeepSeek: DeepSeek V4.1 Flash 1017
Beta
1.0M bağlam
$0.75/M input
$1.60/M output
$0.15/M cache read
Phala: Qwen3.8 27B Uncensored (Aggressive)
262K bağlam
$0.30/M input
$1.50/M output
$0.05/M cache read
Z.ai: GLM 5.3 Flash
Beta
1.0M bağlam
$0.15/M input
$0.50/M output
$0.03/M cache read
Qwen: Qwen3.8 27B
Beta
1M bağlam
$0.20/M input
$2.50/M output
$0.05/M cache read
DeepSeek: DeepSeek V4 Flash 0731
1.0M bağlam
$0.44/M input
$1.32/M output
$0.028/M cache read
MoonshotAI: Kimi K3
1.0M bağlam
$3.00/M input
$15.00/M output
$0.30/M cache read
Qwen: Qwen3.6 27B
262K bağlam
$0.32/M input
$3.25/M output
$0.03/M cache read
Qwen: Qwen3 32B
41K bağlam
$0.12/M input
$0.50/M output
$0.052/M cache read
Google: Gemma 4 31B
262K bağlam
$0.15/M input
$0.46/M output
$0.075/M cache read
Integrate in minutes
Same SDK, Change Endpoint, Verify the Proof.
Keep your OpenAI-compatible client. Point it at the private endpoint, choose a Phala model slug, and read the proof when the output needs an audit trail. To verify the gateway before each request, use Private AI Proxy or the TypeScript SDK.
selected proof
Private LLM Gateway
The OpenAI-compatible endpoint terminates inside the verified gateway boundary.
Coding agents
Run your coding agent on private models.
Private AI Proxy verifies the Phala gateway on your machine and gives agents a local API. Agents get a local token instead of your Phala key. The endpoint serves Chat Completions, Responses, and Messages requests.
Yapay zeka çözüm yolları
Yapay zeka gizliliğe duyarlı verilere dokunduğunda özel modeller kullanın.
Özel model uç noktası ilk giriş noktasıdır. Aynı gizlilik ilkesi ajanlara, veri iş akışlarına ve eğitime de genişler.
Özel AI çıkarımı
Promptların, çıktıların ve müşteri bağlamının kullanım sırasında şifreli korunması gereken OpenAI uyumlu model çağrılarını sunun.
DeepSeek: DeepSeek V4.1 Flash 1017
1.0M
$0.75/M input
Phala: Qwen3.8 27B Uncensored (Aggressive)
262K
$0.30/M input
Z.ai: GLM 5.3
1.0M
$1.40/M input
Z.ai: GLM 5.3 Flash
1.0M
$0.15/M input
Qwen: Qwen3.8 27B
1M
$0.20/M input
DeepSeek: DeepSeek V4 Flash 0731
1.0M
$0.44/M input
Özel yapay zekâ temsilcileri
Ajanları, görülebilir bir otomasyon bulutu yerine anahtarlar, araçlar, bellek ve eylemlerle birlikte doğrulanmış bir çalışma zamanında çalıştırın.
Özel model eğitimi
Veri kümelerini, gradyanları, checkpoint’leri ve değerlendirme izlerini sınırın içinde tutarken tescilli veriler üzerinde modelleri uyarlayın.
private training run
Observe without exposing weights.
01
dataset
sealed
02
fine-tune
running
03
eval
private
04
checkpoint
verified
loss curve
proof attached
attestation.json
Private AI verisi
Modelleri hassas kayıtlara taşıyın ve ham veriyi model operatörüne açmadan onaylı çıktılar döndürün.
source
EHR data
source
Customer records
source
Internal docs
TEE clean room
query without raw access
approved output
aggregate only
Sorular
Ekiplerin geçmeden önce sorduğu sorular.
Özel LLM’ler yalnızca bir başka endpoint değildir. SaaS kolaylığı ile kendi yönettiğiniz AI altyapısı arasında bir dağıtım tercihidır.
Bu, normal bir LLM API’den nasıl farklı?
Normal bir LLM API, sağlayıcı sınırına güvenmenizi ister. Phala model çağrısını donanım destekli TEE içinde çalıştırır ve isteği neyin koruduğunu gösteren çalışma zamanı kanıtı ekleyebilir.
Bu, modelleri kurum içinde çalıştırmaktan nasıl farklı?
On-prem kontrol sağlar, ancak GPU’ları, model servislerini, yükseltmeleri ve kapasiteyi siz işletirsiniz. Phala API iş akışını korurken private execution ve doğrulanabilir çalışma zamanı durumu ekler.
Mevcut uygulamama özel LLM’leri entegre etmek ne kadar zor?
OpenAI uyumlu API yapısını kullanın: temel URL'yi değiştirin, özel bir model slug'ı seçin ve mevcut SDK veya ajan çerçevenizi koruyun.
Hangi model türleri mevcut?
The catalog includes coding, reasoning, general chat, embedding, and decision models from open-weight families such as DeepSeek, Qwen, Z.ai GLM, Moonshot Kimi, Google Gemma, Meta Llama, and OpenAI gpt-oss.
Müşteriler verinin korunduğunu nasıl doğrulayabilir?
Each response can be checked against an ACI attestation report, signed receipt, response hash, and the upstream.verified session recorded by the gateway.
Can private models reuse cached prompts?
Providers can cache repeated prompt prefixes automatically. Keep system instructions and reference material at the start. Cached input tokens use the model’s listed cache-read rate, or the normal input rate when none is listed. Check usage.prompt_tokens_details.cached_tokens in the response; cache hits depend on the provider and model.
Özel bir private stack’i ne zaman kullanmalıyım?
Özel modeller, ayrılmış GPU’lar, müşteriye özel dağıtımlar veya paylaşımlı çıkarımdan daha güçlü bir uyumluluk ve denetim sınırı gerektiğinde özel bir stack kullanın.
Geliştirmeye başlayın
Kanıtlayabildiğiniz yapay zekayı geliştirin.
Özel iş yüklerini dağıtın, yürütmeyi doğrulayın ve modellerden GPU işlerine kadar ölçekleyin.
