Fine-tuning supervisé des LLM pour PME : Des modèles ouverts aux solutions internes

Détails de l'atelier
Informations pratiques
Un ordinateur portable. Tous les logiciels, ensembles de données et scripts requis sont fournis via le dépôt de l'atelier. Le crédit de calcul pour l'accès GPU est aimablement fourni par Exoscale.
Compétences de base en programmation Python et une familiarité générale avec le fonctionnement des LLM, comme comprendre ce que signifient approximativement les prompts, les tokens, l'inférence et l'accélération GPU.
À propos de cet atelier
Les grands modèles de langage (LLM) transforment la façon dont l'information est accédée, traitée et livrée, mais de nombreuses petites et moyennes entreprises (PME) dépendent encore de fournisseurs d'API externes, ce qui limite leur capacité à assurer la souveraineté des modèles et des données et à façonner des solutions alimentées par l'IA autour des besoins concrets de leurs propres utilisateurs. Cet atelier présente aux participants le fine-tuning supervisé (SFT) comme une méthode pratique et accessible pour adapter les LLM à poids ouverts. Il est conçu pour les praticiens des PME qui se situent entre les rôles IT et IA et qui ont besoin de méthodes pratiques pour ramener la personnalisation des LLM en interne en utilisant des outils entièrement open-source. À travers trois cas d'usage appliqués, les participants apprendront le workflow complet du SFT : préparer et structurer des ensembles de données spécifiques au domaine, concevoir des prompts et des modèles, optimiser l'entraînement dans le matériel disponible, surveiller les progrès, évaluer les performances du modèle, passer à des configurations multi-GPU, préparer un modèle fine-tuné pour le déploiement et l'exposer via une interface interactive. À la fin, les participants seront prêts à développer et à exploiter des LLM personnalisés qui s'alignent sur les objectifs de leur organisation et à livrer une valeur significative à leurs utilisateurs finaux.
Intervenants & Organisateurs
Andrei Coman
Chercheur postdoctoral
AISLab at HES-SO Valais-Wallis
Andrei Coman est chercheur postdoctoral à l'AISLab de la HES-SO Valais-Wallis. Avant de rejoindre l'AISLab, Andrei a terminé son doctorat à l'Institut de recherche Idiap et à l'Ecole Polytechnique Fédérale de Lausanne (EPFL), où son travail s'est concentré sur les architectures d'apprentissage profond pour le traitement du langage naturel, particulièrement à l'intersection de la représentation du texte et des graphes. Il a également acquis de l'expérience en tant que stagiaire scientifique appliqué chez Amazon AGI, contribuant à des systèmes de génération augmentée par récupération et à la modélisation de récompenses contextuelles. Andrei apporte une expérience de recherche appliquée et une exposition pratique aux défis du monde réel, travaillant en étroite collaboration avec des chercheurs, des ingénieurs et des praticiens dans plusieurs projets et institutions. Il valorise les environnements de travail ouverts, respectueux et collaboratifs et croit que le progrès dans la science et la technologie est mieux réalisé grâce à la gentillesse, la curiosité et l'effort partagé.
Pamela Delgado
Professeure
IICT at HEIG-VD/HES-SO
Pamela Delgado est professeure à l'IICT de la HEIG-VD/HES-SO. Avant de rejoindre la HES-SO, elle a travaillé au SDSC et obtenu son doctorat de l'EPFL. Ses recherches se concentrent sur la gestion efficace des ressources GPU à grande échelle/limitée à l'intersection entre les systèmes et l'apprentissage automatique avec un focus sur la durabilité.