Formation Générative et Large Language Models (GPT, Gemini, etc.)

Comprendre les modèles de langage

• Définition et historique des LLM

• Différences entre NLP classique et LLM

• Applications pratiques de l’IA générative

• Limites actuelles des LLM

Architecture des LLM

• Fonctionnement des transformers

• Mécanismes d’attention (self-attention, multi-head attention)

• Empilement d’encodeurs/décodeurs

• Compréhension du training massif et pré-entraînement

Panorama des principaux modèles

• Présentation de GPT (OpenAI), Gemini (Google), Claude (Anthropic), Llama (Meta), Mistral

• Comparaison des capacités, context window, performances

• Limites techniques, licences et accès API

• Positionnement selon les cas d’usage

Manipulation des API et génération de texte

• Utilisation de l’API OpenAI (GPT-4) et Google AI Studio

• Paramètres de génération (température, top-p, max tokens)

• Création d’un chatbot simple via API

• Exercices pratiques de génération contrôlée

Approches d’adaptation

• Prompt engineering : principes et bonnes pratiques

• Fine-tuning : définition, cadre d’application

• Comparaison des deux approches (coût, flexibilité, résultats)

• Cas concrets de choix entre les deux stratégies

Utilisation de Hugging Face Transformers

• Présentation de la bibliothèque Transformers

• Chargement d’un modèle pré-entraîné

• Préparation et nettoyage d’un dataset personnalisé

• Début d’un fine-tuning supervisé

Techniques avancées de prompt engineering

• In-context learning : définition et mise en œuvre

• Zero-shot et few-shot prompting

• Chaînes de prompts (Chain of Thought)

• Intégration de contraintes dans les prompts

Atelier pratique de personnalisation

• Sélection d’un domaine métier (finance, santé, droit, etc.)

• Création d’un prompt ou d’un modèle personnalisé

• Tests comparés avec différents types d’adaptation

• Analyse qualitative des réponses générées

Intégration technique des LLM dans des applications

• Rappel sur les architectures client-serveur

• Appels d’API dans une application web

• Gestion de sessions et contexte utilisateur

• Problèmes de coût et latence

Conception d’un assistant intelligent

• Définition du périmètre fonctionnel

• Création de dialogues multi-tours

• Gestion des mémoires contextuelles

• Simulation d’un agent conversationnel autonome

Déploiement et mise en production

• Conteneurisation avec Docker

• Sécurisation des appels API

• Monitoring des performances

• Bonnes pratiques pour la scalabilité

Projet final et perspectives

• Réalisation d’un projet complet (chatbot avancé, assistant rédactionnel, etc.)

• Évaluation des performances (coût, vitesse, pertinence)

• Identification des biais et limites éthiques

• Perspectives d’évolution des LLMs et innovations à venir