Générative et Large Language Models (GPT, Gemini, etc.)
21 heures sur 3 jours
à Paris & à distance
(Zoom, Google Meet, etc.).
2 100 € HT / personne
Etudions ensemble vos options
de financement
Objectifs de la formation
Générative et Large Language Models (GPT, Gemini, etc.)
Identifier les principes des modèles de langage de grande taille (LLM).
Utiliser GPT, Gemini et d'autres LLM via leurs API respectives.
Adapter et fine-tuner des modèles de langage pour des cas d’usage spécifiques.
Évaluer et optimiser les performances des modèles génératifs.
Développer une application intégrant un modèle génératif avancé.
Pré-requis pour suivre cette formation
Maîtrise de Python et de ses bibliothèques standards (NumPy, Pandas) Notions de machine learning et deep learning Familiarité avec les API d’IA et les frameworks de NLP (Hugging Face, TensorFlow/PyTorch) Environnement Python installé avec Transformers (Hugging Face), OpenAI API, Google AI Studio (Gemini)
A qui s'adresse cette formation ?
Développeurs, ingénieurs en IA, data scientists, chercheurs et toute personne souhaitant explorer les modèles de langage de grande taille (LLM) et l'IA générative.
Formations recommandées
Aucun programme supplémentaire n'est requis pour suivre cette formation.
Au programme de la formation
Générative et Large Language Models (GPT, Gemini, etc.)
Comprendre les modèles de langage
Définition et historique des LLM
Différences entre NLP classique et LLM
Applications pratiques de l’IA générative
- Limites actuelles des LLM
Architecture des LLMFonctionnement des transformers
Mécanismes d’attention (self-attention, multi-head attention)
Empilement d’encodeurs/décodeurs
Compréhension du training massif et pré-entraînement
Panorama des principaux modèlesPrésentation de GPT (OpenAI), Gemini (Google), Claude (Anthropic), Llama (Meta), Mistral
Comparaison des capacités, context window, performances
Limites techniques, licences et accès API
Positionnement selon les cas d’usage
Manipulation des API et génération de texteUtilisation de l’API OpenAI (GPT-4) et Google AI Studio
Paramètres de génération (température, top-p, max tokens)
Création d’un chatbot simple via API
Exercices pratiques de génération contrôlée
Approches d’adaptationPrompt engineering : principes et bonnes pratiques
Fine-tuning : définition, cadre d’application
Comparaison des deux approches (coût, flexibilité, résultats)
Cas concrets de choix entre les deux stratégies
Utilisation de Hugging Face TransformersPrésentation de la bibliothèque Transformers
Chargement d’un modèle pré-entraîné
Préparation et nettoyage d’un dataset personnalisé
Début d’un fine-tuning supervisé
Techniques avancées de prompt engineeringIn-context learning : définition et mise en œuvre
Zero-shot et few-shot prompting
Chaînes de prompts (Chain of Thought)
Intégration de contraintes dans les prompts
Atelier pratique de personnalisationSélection d’un domaine métier (finance, santé, droit, etc.)
Création d’un prompt ou d’un modèle personnalisé
Tests comparés avec différents types d’adaptation
Analyse qualitative des réponses générées
Intégration technique des LLM dans des applications
Rappel sur les architectures client-serveur
Appels d’API dans une application web
Gestion de sessions et contexte utilisateur
Problèmes de coût et latence
Conception d’un assistant intelligentDéfinition du périmètre fonctionnel
Création de dialogues multi-tours
Gestion des mémoires contextuelles
Simulation d’un agent conversationnel autonome
Déploiement et mise en productionConteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Projet final et perspectivesRéalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Fonctionnement des transformers
Mécanismes d’attention (self-attention, multi-head attention)
Empilement d’encodeurs/décodeurs
Compréhension du training massif et pré-entraînement
Présentation de GPT (OpenAI), Gemini (Google), Claude (Anthropic), Llama (Meta), Mistral
Comparaison des capacités, context window, performances
Limites techniques, licences et accès API
Positionnement selon les cas d’usage
Manipulation des API et génération de texteUtilisation de l’API OpenAI (GPT-4) et Google AI Studio
Paramètres de génération (température, top-p, max tokens)
Création d’un chatbot simple via API
Exercices pratiques de génération contrôlée
Approches d’adaptationPrompt engineering : principes et bonnes pratiques
Fine-tuning : définition, cadre d’application
Comparaison des deux approches (coût, flexibilité, résultats)
Cas concrets de choix entre les deux stratégies
Utilisation de Hugging Face TransformersPrésentation de la bibliothèque Transformers
Chargement d’un modèle pré-entraîné
Préparation et nettoyage d’un dataset personnalisé
Début d’un fine-tuning supervisé
Techniques avancées de prompt engineeringIn-context learning : définition et mise en œuvre
Zero-shot et few-shot prompting
Chaînes de prompts (Chain of Thought)
Intégration de contraintes dans les prompts
Atelier pratique de personnalisationSélection d’un domaine métier (finance, santé, droit, etc.)
Création d’un prompt ou d’un modèle personnalisé
Tests comparés avec différents types d’adaptation
Analyse qualitative des réponses générées
Intégration technique des LLM dans des applications
Rappel sur les architectures client-serveur
Appels d’API dans une application web
Gestion de sessions et contexte utilisateur
Problèmes de coût et latence
Conception d’un assistant intelligentDéfinition du périmètre fonctionnel
Création de dialogues multi-tours
Gestion des mémoires contextuelles
Simulation d’un agent conversationnel autonome
Déploiement et mise en productionConteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Projet final et perspectivesRéalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Utilisation de l’API OpenAI (GPT-4) et Google AI Studio
Paramètres de génération (température, top-p, max tokens)
Création d’un chatbot simple via API
Exercices pratiques de génération contrôlée
Prompt engineering : principes et bonnes pratiques
Fine-tuning : définition, cadre d’application
Comparaison des deux approches (coût, flexibilité, résultats)
Cas concrets de choix entre les deux stratégies
Utilisation de Hugging Face TransformersPrésentation de la bibliothèque Transformers
Chargement d’un modèle pré-entraîné
Préparation et nettoyage d’un dataset personnalisé
Début d’un fine-tuning supervisé
Techniques avancées de prompt engineeringIn-context learning : définition et mise en œuvre
Zero-shot et few-shot prompting
Chaînes de prompts (Chain of Thought)
Intégration de contraintes dans les prompts
Atelier pratique de personnalisationSélection d’un domaine métier (finance, santé, droit, etc.)
Création d’un prompt ou d’un modèle personnalisé
Tests comparés avec différents types d’adaptation
Analyse qualitative des réponses générées
Intégration technique des LLM dans des applications
Rappel sur les architectures client-serveur
Appels d’API dans une application web
Gestion de sessions et contexte utilisateur
Problèmes de coût et latence
Conception d’un assistant intelligentDéfinition du périmètre fonctionnel
Création de dialogues multi-tours
Gestion des mémoires contextuelles
Simulation d’un agent conversationnel autonome
Déploiement et mise en productionConteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Projet final et perspectivesRéalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Présentation de la bibliothèque Transformers
Chargement d’un modèle pré-entraîné
Préparation et nettoyage d’un dataset personnalisé
Début d’un fine-tuning supervisé
In-context learning : définition et mise en œuvre
Zero-shot et few-shot prompting
Chaînes de prompts (Chain of Thought)
Intégration de contraintes dans les prompts
Atelier pratique de personnalisationSélection d’un domaine métier (finance, santé, droit, etc.)
Création d’un prompt ou d’un modèle personnalisé
Tests comparés avec différents types d’adaptation
Analyse qualitative des réponses générées
Intégration technique des LLM dans des applications
Rappel sur les architectures client-serveur
Appels d’API dans une application web
Gestion de sessions et contexte utilisateur
Problèmes de coût et latence
Conception d’un assistant intelligentDéfinition du périmètre fonctionnel
Création de dialogues multi-tours
Gestion des mémoires contextuelles
Simulation d’un agent conversationnel autonome
Déploiement et mise en productionConteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Projet final et perspectivesRéalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Sélection d’un domaine métier (finance, santé, droit, etc.)
Création d’un prompt ou d’un modèle personnalisé
Tests comparés avec différents types d’adaptation
Analyse qualitative des réponses générées
Rappel sur les architectures client-serveur
Appels d’API dans une application web
Gestion de sessions et contexte utilisateur
Problèmes de coût et latence
Définition du périmètre fonctionnel
Création de dialogues multi-tours
Gestion des mémoires contextuelles
Simulation d’un agent conversationnel autonome
Déploiement et mise en productionConteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Projet final et perspectivesRéalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Conteneurisation avec Docker
Sécurisation des appels API
Monitoring des performances
Bonnes pratiques pour la scalabilité
Réalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)
Évaluation des performances (coût, vitesse, pertinence)
Identification des biais et limites éthiques
Perspectives d’évolution des LLMs et innovations à venir
Méthode pédagogique
8 participants maximum, un poste par stagiaire et un support de cours est remis en fin de stage. La formation est constituée d'apports théoriques, de démonstrations et de mises en pratique basées sur des exercices (méthode démonstrative).
Accessibilité
Cette formation est accessible aux personnes en situation de handicap.
Modalité de validation des acquis
Évaluation continue des connaissances via des exercices et/ou ateliers et des acquis via un questionnaire en fin de formation. Attestation de fin de stage (certificat de réalisation). Émargement quotidien d'une feuille de présence.
Demander des informations
Vous souhaitez en savoir plus ou directement vous inscrire à une session ?
Contactez-nous pour monter votre dossier !

Formations similaires
Ces formations pourraient vous intéresser