Inférence privée

Inférence sans exposer le prompt.

Compatible OpenAI. Reçus signés. Par conception, aucun log.

vos pensées restent les vôtres

Private LLM catalog

Frontier models with private runtime.

OpenAI-compatible models with hardware-backed privacy and ACI verification. Keep your SDK flow, change the endpoint, and copy the real call when you need it.

chiffré

DeepSeek: DeepSeek V4.1 Flash 1017

Beta

1.0M contexte

$0.75/M input

$1.60/M output

$0.15/M cache read

Vérifier le détail
chiffré

Jared Palmer: Kev 4B

Beta

8K contexte

$0.042/M input

Free/M output

Vérifier le détail
chiffré

Phala: Qwen3.8 27B Uncensored (Aggressive)

262K contexte

$0.30/M input

$1.50/M output

$0.05/M cache read

Vérifier le détail
chiffré

Z.ai: GLM 5.3

1.0M contexte

$1.40/M input

$4.40/M output

$0.26/M cache read

Vérifier le détail
chiffré

Z.ai: GLM 5.3 Flash

Beta

1.0M contexte

$0.15/M input

$0.50/M output

$0.03/M cache read

Vérifier le détail
chiffré

Qwen: Qwen3.8 27B

Beta

1M contexte

$0.20/M input

$2.50/M output

$0.05/M cache read

Vérifier le détail
chiffré

DeepSeek: DeepSeek V4 Flash 0731

1.0M contexte

$0.44/M input

$1.32/M output

$0.028/M cache read

Vérifier le détail
chiffré

MoonshotAI: Kimi K3

1.0M contexte

$3.00/M input

$15.00/M output

$0.30/M cache read

Vérifier le détail
chiffré

Z.ai: GLM 5.2

1.0M contexte

$1.26/M input

$3.00/M output

$0.22/M cache read

Vérifier le détail
chiffré

Qwen: Qwen3.6 27B

262K contexte

$0.32/M input

$3.25/M output

$0.03/M cache read

Vérifier le détail
chiffré

Qwen: Qwen3 32B

41K contexte

$0.12/M input

$0.50/M output

$0.052/M cache read

Vérifier le détail
chiffré

Google: Gemma 4 31B

262K contexte

$0.15/M input

$0.46/M output

$0.075/M cache read

Vérifier le détail
Model requests are routed through confidential AI providers with TEE support.
Check all

Private inference, by construction.

What you say to the model stays between your client and an attested CVM. Three primitives — encryption, TEE, no-logs — make that a property of the build, not a promise.

Encrypted into the TEE

  • Encrypted on both hops, each channel key bound to attestation
  • RA-TLS terminates inside the CVM, not at a load balancer
  • No plaintext intermediary on the host
Fonctionnement

Parcourez une requête unique, de bout en bout.

Désactivez dstack pour voir exactement quelle garantie disparaît.

Inférence privée sur dstack

ACI gateway attestation, signed receipts, and verified upstream model sessions

1
Étape 1 / 5

Vérifiez le build avant d’envoyer un seul octet

Client SDK fetches the gateway’s TDX quote with a fresh nonce and runs dcap-qvl locally — when the caller pins accepted compose hashes, it confirms the measured release is one of them. The trust decision is client-side; Phala is not asked to vouch for itself.

With dstack: L’utilisateur détient la racine de confiance, ancrée dans la signature matérielle TDX d’Intel.

Même SDK. Même endpoints. Confidential par défaut.

cURL · prêt à l’emploi

Hit inference.phala.com/v1/chat/completions with the OpenAI request shape. Receipt headers come back on every response — even from curl.

cURL
$ curl https://inference.phala.com \/v1/chat/completions \-H "Authorization: …" \-d '{"model":…}'x-receipt-id: rcpt-e0ee..x-aci-keyset-digest: sha256:3eff..
PYTHON
from openai import OpenAIc = OpenAI(base_url="…phala.com/v1",api_key=os.environ["PHALA_AI_API_KEY"])r = c.chat.completions.create(…)

SDK Python OpenAI

`base_url="https://inference.phala.com/v1"` and you’re done. Existing code keeps working; capture x-receipt-id from the raw response when you need proof.

Un vérificateur unifié

Every route returns the same ACI artifacts: a gateway attestation report, a signed receipt, and an attested-session reference for the serving upstream.

UNIFIED PROOF
unified verifierall match
TinfoilDeepSeek V4.1 Flash 1017
PhalaKev 4B
PrivatemodeGLM 5.3
0G Private ComputerGLM 5.3
FortanixGLM 5.3 Flash
Near AIGLM 5.3 Flash
ChutesQwen3.8 27B
one format · any provider
OPENROUTER
openrouter · phala2026-10-25
41.6Btokens / day
models with traffic10
sourceopenrouter.ai/provider/phala

Live on OpenRouter

Phala serves confidential models as a provider on OpenRouter. The daily token count comes from OpenRouter’s public Phala provider page.

two-hop RA-TLS · TLS key bound to TDX quote

tunneled · no plaintext intermediary

hop 01 · client → gateway

inference.phala.comSPKI in gateway report

hop 02 · gateway → model CVM

Phala model CVMSPKI in model quote
RA-TLSSPKI pinX.509tunneled

RA-TLS en deux sauts, jusqu’au modèle

The first TLS hop terminates inside the gateway CVM, whose TLS key is bound to its TDX quote. For Phala-hosted models, the second terminates inside the model CVM, whose TLS key is bound to its own quote. Other providers bind the second hop to keys from their own evidence. There is no plaintext intermediary on the host.

response · /v1/chat/completions

200
x-receipt-idrcpt-e0eefe…x-aci-identitysha256:3def…x-aci-keyset-digestsha256:3eff…sessionupstream.verified
verify receiptmatches attestation

Signed receipt + attested session, every response

Every response carries x-receipt-id. Fetch the ACI receipt, verify its signature and response hash against a fresh gateway attestation, then follow upstream.verified.session_id when you need deeper audit evidence.

in production today · 3 live partners

Confidential inference, in production.

OpenRouter routes its enterprise tier through Phala. NEAR AI ships verifiable agent inference. OODA AI runs decentralized GPU TEE.

01enterprise · live

OpenRouter

enterprise tier · drop-in

“Drop-in OpenAI-compatible endpoint with verifiable, no-log routing. The receipt is the audit trail.”

18B+ tokens

no-log · verified routing

02web3 · live

NEAR AI

verifiable agent inference

“Verifiable agent inference for autonomous, on-chain workflows. Every model call lands on-chain with proof.”

100% receipts

on-chain verified · zk inference

03public-co · live

OODA AI

NASDAQ-listed · decentralized GPUs

“Decentralized GPUs with hardware attestation guarantees. No host root, no off-band access, no policy promises.”

12M tokens / day

TDX + H100 · hardware-attested

OpenAI-compatible

drop-in /v1 surface

TDX + H100/H200/B300

CPU + GPU TEE

5–15% overhead

vs bare-metal

No host root

compose-hash IS the policy

Parcours de solution IA

Utilisez des modèles privés lorsque l’IA accède à des secrets.

Le point de terminaison du modèle privé est le premier point d’entrée. Le même principe de confidentialité s’étend aux agents, aux workflows de données et à l’entraînement.

Agents

Agents IA privés

Exécutez des agents avec clés, outils, mémoire et actions dans un runtime vérifié au lieu d’un cloud d’automatisation visible.

Ouvrir la solution
Training

Entraînement de modèle privé

Adaptez les modèles sur des données propriétaires tout en conservant les jeux de données, gradients, checkpoints et traces d’évaluation à l’intérieur de la frontière.

Ouvrir la solution

private training run

Observe without exposing weights.

H100 CC

01

dataset

sealed

02

fine-tune

running

03

eval

private

04

checkpoint

verified

loss curve

proof attached

attestation.json

Data

Données d’IA privées

Déplacez les modèles vers des dossiers sensibles et renvoyez des résultats approuvés sans exposer les données brutes à l’opérateur du modèle.

Ouvrir la solution

source

EHR data

source

Customer records

source

Internal docs

TEE clean room

query without raw access

approved output

aggregate only
no row exportproof linked

Deploy private inference

OpenAI-compatible. Attested. Receipt-backed.

Drop in with the OpenAI SDK you already use. Point at inference.phala.com and capture x-receipt-id for the signed ACI receipt.

View docsParler aux ventes
  • 01OpenAI-compatible base URL
  • 02TDX + H100 / H200 / Blackwell
  • 03Signed ACI receipt per response
  • 04Gateway attestation + upstream sessions
  • 055–15% TEE overhead vs bare-metal