Une passerelle,
cinq garde-fous.
Tout appel vers un modèle passe par le même point d’entrée. C’est là que se jouent la sécurité des données, la traçabilité, la dépense et la règle. Voici les cinq capacités de LLM Gateway, une par une.
Ce qui sort de chez vous, vous le décidez
Sécurité et audit travaillent sur le contenu des échanges : ce qui part vers un fournisseur, et ce qu’il en reste chez vous.
Sécurité
La passerelle lit chaque requête avant qu’elle ne quitte votre réseau. Les secrets, les identifiants et les données personnelles sont repérés, puis masqués ou refusés selon la règle que vous avez posée. Les clés des fournisseurs restent côté passerelle : aucune application n’en détient une copie.
- Détection et masquage des données sensibles avant l’envoi
- Clés fournisseurs centralisées, jamais distribuées aux applications
- Chiffrement en transit et cloisonnement par équipe
- Journal complet : utilisateur, application, modèle, volume, latence
- Durée de conservation paramétrable, export CSV ou vers votre SIEM
- Rejeu d’un échange pour comprendre une réponse contestée
Audit
Chaque appel laisse une trace : qui, quand, quel modèle, quel volume, quelle réponse. Le journal est horodaté, complet et exportable. Vous n’avez plus à reconstituer un usage à partir d’une facture de fin de mois.
La dépense et la charge, au jour le jour
Contrôle des coûts et monitoring répondent à la même question posée deux fois : combien, et pour qui.
Contrôle des coûts
Un budget se pose par équipe, par application ou par clé, sur le mois ou sur la journée. À l’approche du plafond, la passerelle prévient. Au plafond, elle applique ce que vous avez choisi : refus, mise en attente, ou bascule vers un modèle moins cher.
- Enveloppes mensuelles par équipe, par application ou par clé
- Alerte au seuil, puis blocage ou bascule automatique
- Coût réel de chaque requête, refacturable en interne
- Volume, latence, taux d’erreur et dépense, suivis en continu
- Alerte sur une dérive d’usage ou la panne d’un fournisseur
- Bascule vers un modèle de secours sans toucher au code
Monitoring
Le trafic, la latence et les erreurs sont mesurés requête par requête. Quand un fournisseur ralentit ou tombe, vous le voyez avant vos utilisateurs, et le trafic repart sur un modèle de secours.
Une règle écrite une fois, appliquée partout
La gouvernance tient les quatre autres garde-fous. Elle décide qui a le droit de faire quoi, et avec quel modèle.
Règles & gouvernance
Les droits se déclarent une seule fois, au niveau de la passerelle, et valent pour toutes les applications. Vous choisissez les modèles autorisés, les usages permis et les équipes qui y accèdent. Un changement de règle prend effet sans redéployer une seule application.
- Catalogue des modèles autorisés, par équipe et par usage
- Droits et quotas déclarés au même endroit, pour tout le parc
- Historique des changements de règle, avec auteur et date