Le LLM n'est que les 10 % : construire les 90 % d'un écosystème GenAI d'entreprise

Tout le monde sait aujourd’hui appeler un LLM avec une clé API. Le véritable défi commence lorsque l’IA doit s’intégrer durablement au système d’information d’une entreprise : protéger des données de différents niveaux de sensibilité, respecter les contraintes de souveraineté et d’export control, offrir une expérience simple aux développeurs, tout en restant capable d’évoluer au rythme effréné des modèles.

Cette session présente les 90 % dont on parle rarement : les composants, les services et les outils qui transforment un simple appel à un LLM en un véritable écosystème GenAI. SDK développeur, AI Gateway, plateformes de modèles, orchestration agentique, applications cognitives, observabilité, gouvernance, sécurité… autant de briques qui deviennent rapidement indispensables lorsque l’IA passe du POC à la production.

Ce talk est nourri par plusieurs années d’expérience passées à construire et faire évoluer un écosystème GenAI utilisé par plus de 80 000 collaborateurs répartis dans 67 pays, manipulant des données couvrant plusieurs niveaux de sensibilité, du domaine public aux environnements les plus sensibles. Sans dévoiler d’informations propres à cette mise en œuvre, je partagerai les problématiques rencontrées sur le terrain, les enseignements qui en découlent et les raisons pour lesquelles certaines briques deviennent incontournables pour permettre aux développeurs de construire des applications d’IA qui s’intègrent naturellement aux exigences de sécurité, de gouvernance, de confidentialité et de conformité de l’entreprise.