Suite – Utilisez votre propre LLM

Ce guide explique ce qu'il faut prévoir pour connecter votre propre grand modèle de langage (LLM) à notre plateforme. Il s'adresse aux utilisateurs métier et aux décideurs, pas aux ingénieurs. Il se concentre sur ce que vous devez préparer pour une intégration simple et fiable.

SOMMAIRE

• Utiliser votre LLM – Exigences générales ✨
  • 1️⃣ Accès via une API publique sécurisée
  • 2️⃣ Compatibilité avec notre intégration
  • 3️⃣ Types de modèles pris en charge
  • 4️⃣ Exigences de qualité et de performance du modèle
• Utiliser votre LLM – Azure OpenAI ☁️
  • 1️⃣ Déploiement Azure OpenAI
  • 2️⃣ Quotas requis
  • 3️⃣ Gestion des secrets
  • 4️⃣ Informations sur le modèle et le déploiement

Utiliser votre LLM – Exigences générales ✨

1️⃣ Accès via une API publique sécurisée

Pour connecter votre LLM, celui-ci doit être accessible via une API publique correctement sécurisée. La communication entre votre modèle et notre plateforme est ainsi sûre et stable.

• Votre modèle doit être exposé derrière un point d'accès (endpoint) d'API public.
• L'API doit être sécurisée par une clé d'API.
• Vous devez nous transmettre cette clé d'API de manière sécurisée pour que nous puissions établir la connexion.

Pourquoi c'est important : une API sécurisée protège vos données et garantit que seuls les systèmes autorisés peuvent accéder à votre modèle.

2️⃣ Compatibilité avec notre intégration

Pour une mise en place plus rapide et plus simple, votre API doit idéalement être compatible avec l'API OpenAI. Cela signifie qu'elle peut être appelée avec les bibliothèques officielles d'OpenAI et qu'elle suit la même structure de requêtes et de réponses.

De nombreux fournisseurs de modèles proposent désormais des endpoints compatibles OpenAI : ils peuvent donc être connectés de la même façon. Par exemple, Google Gemini propose une couche de compatibilité OpenAI et peut donc être utilisé avec notre intégration « Bring Your Own LLM ». Pour en savoir plus, consultez la documentation de Google : Gemini API: OpenAI compatibility.

Si votre API n'est pas compatible OpenAI (c'est possible, mais soumis à étude), vous devrez fournir :

• La documentation technique complète de votre API
• Des exemples clairs de requêtes et de réponses de l'API
• Des spécifications détaillées, notamment :
  • Les formats d'entrée et de sortie
  • Les endpoints disponibles
  • La méthode d'authentification

À partir de ces informations, notre équipe évaluera si l'intégration est réalisable.

Conseil : les API compatibles OpenAI réduisent fortement le temps de mise en place et l'effort d'intégration.

3️⃣ Types de modèles pris en charge

Nous pouvons intégrer un large éventail de modèles d'IA générative, à condition qu'ils remplissent ces critères de base :

• Le modèle doit accepter du texte en entrée
• Le modèle doit renvoyer du texte en sortie

Cela inclut les modèles utilisés pour les résumés, les chatbots, les assistants et d'autres usages basés sur le texte.

4️⃣ Exigences de qualité et de performance du modèle

Pour garantir une bonne expérience utilisateur, votre LLM doit respecter des niveaux minimaux de qualité et de performance. Ces exigences sont indispensables pour traiter de façon fiable des volumes de travail réels.

Taille de la fenêtre de contexte

• Résumé de documents et procès-verbaux de réunion : au moins 256k tokens
• Chatbot et usages conversationnels : au moins 1M tokens, avec de bonnes performances sur les contextes longs

Capacités linguistiques

• La prise en charge de plusieurs langues est obligatoire
• De bonnes performances en anglais et dans les langues utilisées par vos équipes

Raisonnement et utilisation d'outils

• De bonnes capacités de raisonnement et de respect des instructions
• La capacité à prendre en charge l'appel d'outils (tool calling) pour des usages avancés basés sur des agents (en cours de développement)

Débit et latence

• Vitesse de génération minimale : 150 tokens par seconde pour les requêtes à contexte long
• La capacité de l'API doit permettre :
  • Au moins 3000 requêtes par minute
  • Au moins 5 000 000 tokens par minute

Pourquoi c'est important : ces limites garantissent des réponses rapides et des performances stables, même en période de forte utilisation.

Utiliser votre LLM – Azure OpenAI ☁️

Si vous utilisez Azure OpenAI, les exigences spécifiques suivantes s'appliquent.

1️⃣ Déploiement Azure OpenAI

• Créez un déploiement dédié dans votre service Azure OpenAI
• Utilisez un modèle récent pour garantir une bonne qualité et un bon respect des instructions (par exemple : gpt-4.1 ou plus récent)

Les déploiements dédiés permettent d'isoler les charges de travail et d'obtenir des performances prévisibles.

2️⃣ Quotas requis

Votre abonnement Azure et votre ressource OpenAI doivent permettre au minimum les quotas suivants :

• Requêtes par minute (RPM) : au moins 500
• Tokens par minute (TPM) : au moins 1 000 000

Avant de commencer l'intégration, vérifiez que le niveau de votre abonnement Azure permet ces limites.

3️⃣ Gestion des secrets

Pour vous connecter de manière sécurisée au déploiement de votre modèle Microsoft Foundry, vous devez fournir :

• AZURE_OPENAI_API_KEY – la clé d'API de votre ressource Foundry, utilisée pour l'authentification
• AZURE_OPENAI_ENDPOINT – l'endpoint v1 de votre ressource Foundry, par exemple : https://<your-resource-name>.openai.azure.com/openai/v1/
• AZURE_OPENAI_API_VERSION – le nom du déploiement de votre modèle dans Foundry (par exemple : gpt-6.1-sol)

Tous les identifiants doivent être transmis de manière sécurisée pour protéger vos données et vos droits d'accès.

4️⃣ Informations sur le modèle et le déploiement

Enfin, merci de nous transmettre les informations suivantes sur votre configuration Azure :

• Nom du déploiement (Deployment Name) – le nom propre à Azure utilisé dans les appels d'API
• Nom du modèle (Model Name) – l'identifiant d'origine du modèle OpenAI (par exemple : gpt-4.1)

Ces informations nous permettent d'acheminer correctement les requêtes et de valider l'intégration.

Si vous ne savez pas si votre modèle remplit ces exigences, notre équipe se fera un plaisir d'examiner votre configuration et de vous guider pour les étapes suivantes.