Ce cinquième cas d’usage du benchmark Noroit/NoroTech se concentre sur un sujet clé pour les collaborateurs : comment demander une formation, qui la valide, si elle se fait sur le temps de travail et quel est le “droit” annuel à la formation.
Les modèles évalués :
- Gemma 3 12B – Google – 🇺🇸
- Phi‑4 14B – Microsoft – 🇺🇸
- Ministral‑3 14B – Mistral AI – 🇫🇷
- Qwen3 14B – Alibaba – 🇨🇳
- DeepSeek‑R1 14B – DeepSeek – 🇨🇳
Objectif : identifier quel LLM est le plus fiable pour piloter la formation des collaborateurs dans un futur assistant IA RH.
1. Rappel des règles Formation chez NoroTech
Dans l’entreprise fictive NoroTech Services, les règles de référence pour la formation sont :
- Objectif de 2 jours de formation par an minimum par collaborateur.
- Processus standard :
- Le collaborateur remplit une demande dans MyHR > Formations.
- La demande est validée par le manager, puis par RH Formation.
- Les formations se déroulent sur le temps de travail, sauf mention contraire.
L’assistant IA RH doit donc respecter strictement ces règles et renvoyer, quand c’est pertinent, vers MyHR et les contacts RH.
2. Méthodologie – Cas d’usage 5 : Formation
Les cinq LLM sont testés avec le même prompt système d’assistant IA RH : ton professionnel et bienveillant, réponses en 1 phrase + puces, rappel de MyHR / RH / manager.
Les questions posées pour ce cas d’usage “Formation & développement des compétences” :
- Comment je fais pour demander une formation sur Excel avancé ?
- Qui doit valider ma demande de formation ?
- Est-ce que les formations se font sur le temps de travail ?
- L’entreprise garantit combien de jours de formation par an ?
On évalue pour chaque modèle :
- Le respect des règles (MyHR > Formations, validation manager + RH Formation, 2 jours/an, temps de travail).
- L’utilisation des bons canaux & documents (MyHR, RH Formation, service RH).
- La clarté & pédagogie pour un collaborateur non expert RH.
- La bonne gestion de la notion “objectif de 2 jours de formation”.
- La fidélité stricte à la base de connaissances (pas de docs hors sujet, pas d’extrapolations bizarres).
3. Résultats question par question
3.1 Comment demander une formation Excel avancé ?
Règle de référence :
Demande via MyHR > Formations, validation manager puis RH Formation, formation sur temps de travail.
Comportement des modèles :
- Ministral‑3 14B
- Donne un processus très complet :
- Demande dans MyHR > Formations en précisant Excel avancé, durée et objectifs.
- Validation par le manager, puis examen par RH Formation (budget, dispo formateurs…).
- Formation réalisée sur le temps de travail.
- Rappelle l’objectif de 2 jours de formation/an et précise qu’il n’est pas nécessaire de contacter RH pour une simple demande.
- Donne un processus très complet :
- Gemma 3 12B
- Explique clairement : demande dans MyHR > Formations, validation manager puis RH Formation, formation sur temps de travail.
- Ton simple et opérationnel, parfaitement aligné avec les règles.
- Qwen3 14B
- Suit le bon processus (MyHR > Formations, validation manager, formation sur temps de travail).
- Mais renvoie vers la « Note Mutuelle & Prévoyance 2023 » pour des détails sur les formations éligibles… un document qui concerne la mutuelle, pas la formation.
→ Légère confusion documentaire, même si la marche à suivre est correcte.
- DeepSeek‑R1 14B
- Donne les bonnes étapes (MyHR > Formations, préciser les objectifs, validation manager, organisation par RH Formation).
- Renvoie ensuite vers le document « Process Onboarding – Salariés France v4 », qui traite de l’onboarding et non de la formation.
→ Le fond est bon, mais la référence documentaire est hors sujet.
- Phi‑4 14B
- Commence par répondre que les formations se font généralement sur le temps de travail, puis décrit le process MyHR > Formations, validation manager puis RH Formation.
- La réponse est un peu plus générique (moins centrée sur “Excel avancé”), mais reste globalement utile et correcte.
👉 Sur cette première question, Ministral‑3 et Gemma 3 ressortent comme les plus propres et opérationnels.
👉 Qwen3 et DeepSeek‑R1 suivent la bonne procédure mais ont tendance à mélanger les documents (Mutuelle / Onboarding).
3.2 Qui doit valider ma demande de formation ?
Règle de référence :
Validation par le manager, puis par RH Formation.
Résultats :
- Ministral‑3, Qwen3, DeepSeek‑R1, Gemma 3
- Disent tous clairement : 2 étapes d’approbation
- 1️⃣ Manager
- 2️⃣ RH Formation
- Ils renvoient systématiquement vers MyHR > Formations pour la demande et mentionnent la validation dans le flux MyHR.
- Disent tous clairement : 2 étapes d’approbation
- Phi‑4
- Indique que la demande doit être validée par le manager.
- Ajoute ensuite que la demande, une fois approuvée, est “traitée” par le service RH Formation.
→ Le rôle de RH Formation apparaît davantage comme traitement que comme étape explicite de validation, ce qui est légèrement en‑deçà des autres.
👉 Tous les modèles comprennent bien l’enchaînement manager → RH Formation, mais Phi‑4 l’exprime de façon un peu moins nette.
3.3 Est‑ce que les formations se font sur le temps de travail ?
Règle de référence :
Oui, sur temps de travail, sauf mention contraire.
Résultats :
- Les 5 modèles (Ministral‑3, Qwen3, DeepSeek‑R1, Gemma 3, Phi‑4) répondent :
- Oui, les formations se font en général sur le temps de travail, sauf mention spécifique dans la convocation ou le planning.
- Tous renvoient vers MyHR > Formations pour vérifier les détails (horaires, modalités) et préconisent de contacter RH Formation ou le manager en cas de doute.
👉 Sur cette question, alignement parfait de tous les modèles avec la base de connaissances.
3.4 L’entreprise garantit combien de jours de formation par an ?
Règle de référence :
Objectif de 2 jours de formation minimum par an et par collaborateur.
Comportement des modèles :
- Ministral‑3
- Parle d’un “objectif de 2 jours de formation par an minimum” par collaborateur, ce qui est très fidèle au texte RH.
- Gemma 3, DeepSeek‑R1, Phi‑4
- Expliquent que l’entreprise garantit 2 jours de formation par an minimum.
- C’est cohérent avec l’idée d’objectif minimal, même si le mot “objectif” n’apparaît pas toujours.
- Qwen3
- Indique un “objectif minimum de 2 jours de formation par an”, ce qui colle parfaitement.
- Renvoie toutefois à nouveau vers la « Note Mutuelle & Prévoyance 2023 » pour plus de détails… une mauvaise référence de document.
👉 Tous les modèles respectent la règle des 2 jours de formation/an.
👉 Ministral‑3 et Qwen3 sont les plus proches du vocabulaire exact (“objectif minimum”), mais Qwen3 se pénalise lui‑même avec une référence documentaire douteuse.
4. Tableau comparatif – Cas d’usage 5 : Formation
Notation qualitative /10 par critère (basée sur la lecture des réponses).
| Critère / Modèle | Gemma 3 | Phi‑4 | Ministral‑3 | Qwen3 | DeepSeek‑R1 |
|---|---|---|---|---|---|
| Respect des règles formation (MyHR > Formations, manager + RH Formation, 2 j/an, temps de travail) | 10 | 9 | 10 | 10 | 10 |
| Canaux & documents (MyHR, RH Formation, pas de doc hors sujet) | 10 | 9 | 10 | 8 | 8 |
| Clarté & pédagogie (étapes concrètes, adaptation aux questions) | 9 | 8 | 10 | 9 | 9 |
| Gestion de la notion “2 jours de formation/an” (objectif vs droit rigide) | 9 | 9 | 10 | 10 | 9 |
| Fidélité stricte au corpus RH (pas de mélange mutuelle/formation, pas d’onboarding hors sujet) | 10 | 9 | 10 | 8 | 8 |
| Score moyen (indicatif) | 9,6 | 8,8 | 10,0 | 9,0 | 8,8 |
Ces scores servent à visualiser les tendances sur ce cas d’usage Formation, pas à établir un “classement absolu” des modèles.
5. Lecture du tableau : forces & faiblesses par modèle
Ministral‑3 14B – Le plus “RH‑compatible” sur la formation
- Score moyen : 10,0/10 sur ce cas.
- Suit à la lettre le processus : MyHR > Formations → validation manager → validation RH Formation.
- Explique très bien le cas concret “Excel avancé” (objectifs, durée, faisabilité, temps de travail).
- Formule parfaitement la règle “objectif de 2 jours de formation/an minimum”.
👉 Pour NoroTech, Ministral‑3 est un excellent candidat pour piloter le module “Formation” d’un assistant IA RH.
Gemma 3 12B – Très solide, propre et simple
- Score moyen : 9,6/10.
- Processus Formation maîtrisé : MyHR > Formations, manager + RH Formation, temps de travail.
- Réponses claires, bien structurées, sans sur‑interprétation ni doc hors sujet.
- Parle de 2 jours de formation/an minimum de façon cohérente, même si la nuance “objectif” est un peu moins marquée que chez Ministral‑3.
👉 Un modèle très rassurant pour des usages RH en production.
Qwen3 14B – Pédagogique, mais un peu “créatif” sur les documents
- Score moyen : 9,0/10.
- Très bon sur le fond : processus de demande, validation manager + RH Formation, formations sur temps de travail, objectif 2 jours/an.
- Ton pédagogique, listes d’étapes claires.
- Mais cite à plusieurs reprises la « Note Mutuelle & Prévoyance 2023 » comme référence pour la formation, ce qui n’est pas cohérent avec le corpus RH.
👉 Excellent assistant si on encadre un peu les références documentaires.
DeepSeek‑R1 14B – Fiable sur le process, moins sur les références
- Score moyen : 8,8/10.
- Aligne correctement processus, validation et temps de travail.
- Exprime bien l’idée de 2 jours de formation/an minimum.
- Mais renvoie au document « Process Onboarding – Salariés France v4 » pour des questions de formation, ce qui n’est pas la bonne référence.
👉 Un modèle utilisable, mais à surveiller sur le choix des documents proposés aux collaborateurs.
Phi‑4 14B – Correct, mais moins précis sur certains points
- Score moyen : 8,8/10.
- Donne le bon process MyHR > Formations, avec validation manager puis traitement par RH Formation.
- Confirme que les formations se déroulent sur le temps de travail, et que l’entreprise garantit 2 jours de formation/an minimum.
- Réponses parfois plus génériques :
- Moins centré sur “Excel avancé” dans la première question.
- Met moins clairement en avant la double validation manager + RH Formation.
👉 Un bon socle, mais qui demande un peu plus de cadrage éditorial pour coller au niveau d’exigence RH.
6. Ce que Noroit peut en tirer pour son assistant IA RH (Formation)
Sur ce Cas d’usage 5 – Formation & développement des compétences, le benchmark montre que :
- Tous les LLM savent :
- Orienter vers MyHR > Formations.
- Rappeler la validation par le manager et RH Formation.
- Confirmer que les formations se font sur le temps de travail.
- Mentionner l’objectif de 2 jours de formation par an minimum.
- Les différences se jouent principalement sur :
- La qualité pédagogique des réponses (Ministral‑3, Gemma 3 en tête).
- La précision des documents cités (Qwen3 et DeepSeek‑R1 mélangent parfois mutuelle / onboarding / formation).
- La netteté de la double validation manager + RH Formation (un peu moins claire chez Phi‑4).
En synthèse :
- Ministral‑3 est le meilleur candidat pour un module “Formation” : très rigoureux, très pédagogique.
- Gemma 3 suit de très près, avec un style simple et fiable.
- Qwen3 et DeepSeek‑R1 sont bons sur le fond, mais demandent un garde‑fou documentaire.
- Phi‑4 est utilisable, mais nécessite un peu plus de guidage sur la précision des réponses.
Pour Noroit, ce cas d’usage confirme que, sur la formation, un assistant IA RH doit être capable de :
- Industrialiser le process MyHR > Formations,
- Rappeler systématiquement la validation manager + RH Formation,
- Et bien cadrer la notion d’“objectif” de 2 jours de formation/an, sans sur‑promettre.