Ce neuvième cas d’usage pousse les LLM hors de la simple FAQ pour tester leur capacité à gérer des questions RH complexes, mêlant plusieurs sujets dans une même demande : congés, RTT, télétravail, mobilité géographique, formation.
Les modèles évalués :
- Gemma 3 12B – Google
- Phi‑4 14B – Microsoft
- Ministral‑3 14B – Mistral AI
- Qwen3 14B – Alibaba
- DeepSeek‑R1 14B – DeepSeek
L’objectif : voir qui est capable de structurer la réponse en sous‑parties, de croiser correctement plusieurs règles RH et de ne pas halluciner de nouvelles politiques (mobilité, remboursement de trajets, etc.).
1. Le cas d’usage 9 : des questions RH “à tiroirs”
Trois prompts multi‑thèmes ont été soumis à chaque LLM :
- Passage cadre au forfait 39h « Je vais passer cadre au forfait 39h et je voudrais savoir ce que ça change pour mes congés, mes RTT et le télétravail. »
- Changement de site (Lyon → Lille – production) « Je change de site (Lyon → Lille) : qu’est‑ce que ça implique pour le télétravail et mes trajets ? »
- Organisation globale formation + congés + télétravail « Je voudrais planifier une formation, prendre 3 jours de congés et télétravailler plus souvent, comment organiser tout ça correctement ? »
Les critères d’analyse :
- Capacité à segmenter la réponse (sous‑titres, étapes, sous‑thèmes).
- Exactitude des règles (congés, RTT, télétravail, site de Lille, etc.).
- Absence d’hallucination (pas de fausse règle sur les trajets, les remboursements, la mobilité).
- Qualité de la synthèse et de la pédagogie.
2. Passage cadre au forfait 39h : congés, RTT, télétravail
Rappel des règles NoroTech
- Passage cadre au forfait 39h → 10 jours de RTT/an.
- Congés payés : restent à 25 jours ouvrés/an pour tous les temps plein.
- Télétravail : dépend de la fonction (support vs production), pas du statut cadre/non‑cadre.
Comportement des modèles
- Ministral‑3, DeepSeek‑R1, Gemma 3, Phi‑4
- Tous indiquent correctement :
- 25 jours ouvrés de congés (inchangé) ;
- 10 jours de RTT/an pour les cadres au forfait 39h.
- Ministral‑3, DeepSeek‑R1, Phi‑4 ajoutent que le télétravail peut aller jusqu’à 3 jours/semaine avec 2 jours min sur site, sans toujours rappeler que cela dépend de la fonction (production vs support).
- Tous indiquent correctement :
- Qwen3
- Fait la distinction de manière exemplaire :
- congés : 25 jours ; RTT : 10 jours ;
- télétravail : dépend de la fonction et non du statut ;
- jusqu’à 3 jours/semaine pour les fonctions support ; interdit en production (Lille), sauf exception RH.
- Fait la distinction de manière exemplaire :
- Gemma 3
- Reste prudent :
- rappelle congés/RTT ;
- indique que les règles de télétravail peuvent varier selon le poste et renvoie vers la Politique Télétravail v2 – France plutôt que d’affirmer un droit automatique.
- Reste prudent :
👉 Sur ce premier prompt, tous les modèles gèrent bien l’aspect congés/RTT, mais Qwen3 et Gemma 3 sont les plus rigoureux sur le lien entre télétravail et type de poste (support vs production), là où les autres généralisent un peu trop.
3. Changement de site Lyon → Lille : télétravail & trajets
Rappel des règles NoroTech
- Lille = site de production → télétravail non autorisé, sauf très rare cas administratif validé par RH.
- Rien dans le corpus ne définit des règles de remboursement spécifiques liées à la mobilité Lyon → Lille.
Comportement des modèles
- Ministral‑3
- Télétravail : explique clairement que le site de Lille (production) ne permet pas le télétravail, sauf cas administratif exceptionnel validé par RH.
- Trajets : suggère de vérifier d’éventuelles aides aux transports (forfait mobilités durables, remboursement partiel) auprès de la paie ou des RH.
→ C’est pertinent en pratique, mais ce n’est pas dans le corpus RH → légère extrapolation (hallucination de politique transport).
- Qwen3
- Télétravail : très net → télétravail interdit sur le site de Lille (production), sauf exception RH.
- Trajets : indique explicitement qu’aucune prise en charge spécifique n’est mentionnée dans les règles RH, et renvoie vers RH/manager pour discuter au cas par cas.
→ Parfaitement aligné avec l’exigence “ne pas inventer de règle”.
- DeepSeek‑R1
- Télétravail : nuance selon la fonction (support vs production) ; rappelle qu’en production, il n’est pas habituellement autorisé sauf exception RH.
- Trajets : mentionne que le changement de site implique des frais de transport plus élevés, et propose de voir avec RH pour d’éventuels dispositifs ; sans affirmer qu’ils existent.
- Phi‑4
- Télétravail : confirme l’interdiction sur le site de production de Lille, sauf cas particulier.
- Trajets : reste factuel (“vous devrez vous rendre sur le site de Lille”), sans inventer de dispositif de remboursement.
- Gemma 3
- Télétravail : aligne bien l’interdiction en production.
- Trajets : affirme que les trajets ne sont plus remboursés, car le télétravail n’est pas autorisé – ce qui n’apparaît nulle part dans les règles RH.
→ C’est une hallucination métier sur la politique de remboursement.
👉 Sur cette question, Qwen3 est le plus propre (pas de règle inventée, mention explicite “rien n’est prévu dans les règles”).
👉 Gemma 3 est pénalisé par une affirmation fausse (“plus remboursé”).
👉 Ministral‑3 et DeepSeek‑R1 flirtent avec la spéculation sur d’éventuelles aides transport, même s’ils renvoient prudemment vers RH.
4. Tout organiser : formation + 3 jours de congés + plus de télétravail
Rappel des règles
- Formation
- Demande via MyHR > Formations.
- Validation manager puis RH Formation.
- En principe sur temps de travail.
- Congés
- 25 jours ouvrés/an, demande via MyHR > Congés & Absences.
- Saisie au moins 5 jours ouvrés à l’avance.
- Congés de l’année N à prendre jusqu’au 31/05 N+1.
- Télétravail
- Fonctions support : jusqu’à 3 jours/semaine, 2 jours min sur site, 1 jour max en période d’essai.
- Production (Lille) : télétravail non autorisé, sauf exception RH.
Comportement des modèles
- Ministral‑3
- Structure la réponse en 3 blocs + un bloc de synthèse :
- Planifier la formation (MyHR > Formations, validation manager + RH Formation, temps de travail).
- Prendre 3 jours de congés (MyHR > Congés & Absences, 5 jours d’anticipation, rappel de la date du 31/05 N+1).
- Télétravailler plus souvent (vérifier éligibilité, 3 jours max, 2 jours min sur site, 1 jour en essai, interdiction en production).
- Ordre recommandé (calendrier : formation → congés → télétravail) + rappel canaux (MyHR, manager, RH).
→ Très bon pilotage multi‑thèmes, sans contradiction.
- Structure la réponse en 3 blocs + un bloc de synthèse :
- Qwen3
- Même logique :
- bloc Formation (MyHR > Formations, validation manager + RH Formation, temps de travail) ;
- bloc Congés (MyHR > Congés & Absences, 5 jours d’anticipation, 31/05 N+1) ;
- bloc Télétravail (3 jours max pour support, 2 jours min sur site, interdiction production).
- Ton très opérationnel, pas d’invention de règle.
- Même logique :
- DeepSeek‑R1
- Découpe en 4 : Formation, Congés, Télétravail, Coordination.
- Respecte bien le process MyHR sur les trois volets, rappelle le 31/05, insiste sur la discussion avec le manager.
- Gemma 3
- Donne les bonnes démarches pour chaque volet (Formations / Congés & Absences / Télétravail), mais avec une structure un peu plus compacte et moins de conseils d’ordonnancement.
- Phi‑4
- Décrit les bons canaux et validations (Formations, Congés, Télétravail), mais reste assez générique sur les règles détaillées du télétravail (3 jours max, 2 jours min, production vs support).
👉 Sur cette question multi‑thèmes, Ministral‑3, Qwen3 et DeepSeek‑R1 ressortent comme de très bons orchestrateurs (découpage clair, process complet, pas de contradictions).
5. Tableau comparatif – Cas d’usage 9 : multi‑thèmes & requêtes complexes
Notation qualitative /10 (indicative) par critère et par modèle, à partir des réponses du cas 9.
| Critère / Modèle | Gemma 3 | Phi‑4 | Ministral‑3 | Qwen3 | DeepSeek‑R1 |
|---|---|---|---|---|---|
| Gestion multi‑thèmes (segmentation, sous‑parties, ordonnancement) | 8 | 8 | 9 | 9 | 9 |
| Exactitude des règles (congés, RTT, télétravail, Lille production…) | 6 | 8 | 9 | 10 | 8 |
| Absence d’hallucinations (mobilité, trajets, remboursements, aides…) | 6 | 10 | 7 | 10 | 9 |
| Clarté & pédagogie (lisibilité, conseils concrets, renvoi MyHR/RH) | 9 | 8 | 10 | 9 | 9 |
| Score moyen (indicatif) | 7,3 | 8,5 | 8,8 | 9,5 | 8,8 |
Ces scores servent à comparer les tendances entre modèles sur ce cas d’usage spécifique. Ils ne constituent pas un classement global des LLM.
6. Lecture des résultats : qui gère le mieux les questions RH complexes ?
Qwen3 14B – Le meilleur sur les questions multi‑thèmes
- Excellente moyenne (~9,5/10).
- Très solide sur :
- la segmentation des réponses (blocs clairs par sujet) ;
- l’exactitude des règles (cadre 39h, production, télétravail) ;
- l’absence d’hallucinations, notamment sur la mobilité et les trajets (précise même que les règles n’en parlent pas).
👉 Pour un assistant IA RH devant gérer des questions “mélangées” (ex : statut + site + télétravail + congés), Qwen3 est un excellent candidat.
Ministral‑3 14B – Très bon orchestrateur RH, une petite tendance à extrapoler
- Très bonne moyenne (~8,8/10).
- Brille particulièrement sur :
- la structuration multi‑thèmes (notamment sur la question formation + congés + télétravail) ;
- la pédagogie et les conseils pratiques (ordre recommandé, rappels MyHR, RH, manager).
- Légèrement pénalisé pour avoir évoqué des aides transports (forfait mobilités durables, remboursement partiel) qui ne figurent pas dans le corpus RH.
👉 Idéal si tu veux un assistant RH très structurant, à condition de surveiller les extrapolations sur les sujets de mobilité/avantages.
DeepSeek‑R1 14B – Structuré, solide, mais un peu “généraliste”
- Moyenne ~8,8/10.
- Très bon sur la structuration (check‑lists, étapes Formation / Congés / Télétravail / Coordination) et sur la cohérence globale des réponses.
- Reste parfois un peu général (par exemple sur la mobilité et les aides aux trajets), sans affirmer de règles erronées.
👉 Un très bon LLM pour un assistant RH “coach procédural”, qui guide l’utilisateur dans les démarches.
Phi‑4 14B – Propre sur les règles, mais moins riche en détails
- Moyenne ~8,5/10.
- Peu ou pas d’hallucinations, bon alignement global avec les règles congés/RTT/télétravail.
- Moins détaillé sur :
- les contraintes spécifiques (production, 3 jours max, 2 jours min sur site) ;
- l’ordonnancement multi‑thèmes (formation + congés + télétravail).
👉 Phi‑4 convient bien si tu privilégies un assistant au discours sobre, complété par d’autres briques pour les cas complexes.
Gemma 3 12B – Clair et pédagogique, mais une vraie erreur métier
- Moyenne ~7,3/10.
- Points forts : lisibilité, rappel des bons canaux (MyHR, RH), prudence sur le télétravail dans le passage au forfait 39h.
- Point faible majeur : dans le changement de site Lyon → Lille, Gemma affirme que les trajets ne sont plus remboursés car le télétravail est interdit, ce qui n’est jamais stipulé dans les règles RH.
👉 Un modèle intéressant, mais qui montre qu’un assistant IA RH doit être surveillé spécifiquement sur les sujets de mobilité et d’avantages.
7. Ce que Noroit peut en tirer pour son futur assistant IA RH
Ce cas d’usage 9 montre clairement que :
- La gestion de questions multi‑thèmes (statut + site + télétravail + congés + formation) est un bon révélateur des forces/faiblesses de chaque LLM.
- Les modèles peuvent être très bons sur les règles “de base”, mais déraper sur les sujets non couverts (ici : mobilité, aides transports, remboursements).
- Pour un assistant IA RH en production, il faudra :
- choisir 1–2 modèles forts en structuration et rigueur (Qwen3, Ministral‑3, DeepSeek‑R1) ;
- compléter par des garde‑fous métier (filtrage des réponses contenant des mentions de remboursements, primes, indemnités non présentes dans le corpus) ;
- et prévoir une revue RH systématique sur les domaines sensibles (mobilité, financier, avantages).