Dans ce cas d’usage, le benchmark Noroit/NoroTech se concentre sur un public clé : les managers de proximité. L’objectif est de voir comment cinq LLM open-weight se comportent comme copilotes RH pour gérer les congés, les RTT et le télétravail de leur équipe, dans le cadre des règles NoroTech et du portail SIRH MyHR.
Modèles évalués (≈12–14B paramètres) :
- Gemma 3 12B – Google – 🇺🇸
- Phi-4 14B – Microsoft – 🇺🇸
- Ministral-3 14B – Mistral AI – 🇫🇷
- Qwen3 14B – Alibaba – 🇨🇳
- DeepSeek-R1 14B – DeepSeek – 🇨🇳
1. Cas d’usage 7 : questions type d’un manager NoroTech
Le cas d’usage 7 simule quatre questions fréquentes côté manager :
- Validation des congés de l’équipe « En tant que manager, où je valide les demandes de congés de mon équipe ? »
- Consultation du solde de RTT d’un collaborateur « Je veux vérifier le solde de RTT d’un de mes collaborateurs, je vais où ? »
- Refus d’une demande de télétravail dans le respect des règles « Comment faire pour refuser une demande de télétravail tout en restant dans les règles ? »
- Présence sur site et télétravail « Est-ce que je peux imposer 3 jours de présence sur site à mon équipe ? »
Les réponses attendues doivent :
- S’appuyer sur MyHR (notamment MyHR > Mon équipe pour les managers).
- Respecter les règles NoroTech :
- Congés saisis dans MyHR > Congés & Absences, 5 jours ouvrés à l’avance.
- RTT réservés aux cadres au forfait 39h (10 j/an).
- Télétravail : jusqu’à 3 jours/semaine, 2 jours minimum sur site, 1 jour max en période d’essai, aucun télétravail pour la production (Lille), demandes via MyHR > Télétravail.
- Proposer un ton managérial : clair, professionnel, avec des conseils de communication (refus de télétravail, arbitrage présence / distance).
2. Méthodologie d’évaluation
Pour ce cas d’usage, chaque modèle a été évalué sur plusieurs axes :
- Respect des règles RH
- Congés, RTT, politique télétravail (éligibilité, plafonds, présence minimale).
- Utilisation des bons canaux MyHR
- En particulier la capacité à orienter les managers vers MyHR > Mon équipe pour les informations d’équipe.
- Conseils de communication
- Qualité des formulations proposées pour refuser une demande de télétravail, rappeler une règle, arbitrer une situation sensible.
- Clarté & pédagogie
- Lisibilité des réponses, structuration en étapes, orientation pratique.
- Fidélité stricte au corpus RH
- Pas de confusion de modules MyHR, pas de mauvaise interprétation des règles (notamment sur le nombre de jours de présence imposables).
3. Résultats détaillés par question
3.1 Où valider les congés de l’équipe ?
Sur la question :
« En tant que manager, où je valide les demandes de congés de mon équipe ? »
Tous les modèles renvoient vers MyHR et le module Congés & Absences.
- Ministral-3, Qwen3, Gemma 3, Phi-4, DeepSeek-R1
- Indiquent que les demandes sont saisies par les collaborateurs dans MyHR > Congés & Absences et que le manager les valide ou refuse depuis ce même module.
- Mentionnent la nécessité de respecter les 5 jours ouvrés de délai (sauf exception) pour un traitement correct.
En revanche, aucun modèle ne met vraiment en avant le module MyHR > Mon équipe pour accéder à une vue globale des demandes de l’équipe, alors que c’était un des points observés du benchmark.
➜ Sur cette question, les modèles jouent correctement le rôle de “guide MyHR”, mais restent en deçà de ce qui est attendu pour exploiter pleinement les fonctions “manager” du SIRH.
3.2 Où consulter le solde de RTT d’un collaborateur ?
« Je veux vérifier le solde de RTT d’un de mes collaborateurs, je vais où ? »
Les attentes : MyHR > Mon équipe, sélection du collaborateur, consultation de son solde RTT (pour les cadres forfait 39h).
- Ministral-3
- Propose une approche double :
- pour le manager : MyHR > Mon équipe, puis fiche du collaborateur ;
- pour le collaborateur : MyHR > Congés & Absences > Solde RTT.
- Rappelle que les RTT sont réservés aux cadres au forfait 39h (10 jours/an).
- Propose une approche double :
- Gemma 3
- Oriente clairement le manager vers MyHR > Mon équipe, avec une logique simple :
- connexion SSO,
- sélection de la section “Mon équipe”,
- consultation du solde RTT par collaborateur.
- Oriente clairement le manager vers MyHR > Mon équipe, avec une logique simple :
- Qwen3 et Phi-4
- Renvoient vers MyHR > Congés & Absences pour consulter le solde RTT, ce qui est acceptable mais moins spécifique au rôle manager (on perd la logique “Mon équipe”).
- DeepSeek-R1
- S’écarte du parcours attendu : propose de consulter MyHR > Mes documents > Bulletins de paie pour avoir des informations sur les RTT.
- Ce n’est pas aligné avec l’usage normal du SIRH (les bulletins ne sont pas la source principale pour le solde RTT).
➜ Mistral-3 et Gemma 3 se détachent nettement sur cette question, DeepSeek-R1 est en dessous du niveau attendu.
3.3 Comment refuser une demande de télétravail “dans les règles” ?
« Comment faire pour refuser une demande de télétravail tout en restant dans les règles ? »
Tous les modèles s’appuient sur la “Politique Télétravail v2 – France” et la distinction éligible / non éligible (production).
- Ministral-3
- Vérifie l’éligibilité (production Lille non éligible, période d’essai limitée à 1 jour/semaine, 3 jours max pour les autres).
- Propose un exemple de formulation empathique pour refuser tout en expliquant la règle.
- Renvoie vers le document de politique télétravail et RH en cas de cas sensible.
- Qwen3
- Structure la réponse en étapes : vérifier éligibilité, vérifier conformité à la politique, utiliser MyHR > Télétravail pour refuser avec justification, puis orienter vers RH en cas de contestation.
- Gemma 3
- Rappelle clairement les règles (1 jour en période d’essai, pas de télétravail en production, 3 jours max pour les fonctions support).
- Insiste sur la nécessité d’expliquer les raisons du refus en s’appuyant sur les règles écrites.
- DeepSeek-R1
- Approche process : vérifier admissibilité, vérifier limites, documenter le refus dans MyHR, proposer des alternatives.
- Moins explicite sur les valeurs exactes (3 jours, 1 jour en essai), mais bon réflexe managérial.
- Phi-4
- Reste plus générique : rappelle le plafond de 3 jours de télétravail, mentionne MyHR > Télétravail, invite au dialogue avec le collaborateur.
- Ne distingue pas explicitement production / période d’essai.
➜ Sur cette question, Ministral-3, Qwen3 et Gemma 3 offrent le meilleur équilibre règles + communication managériale.
3.4 Peut-on imposer 3 jours de présence sur site à l’équipe ?
« Est-ce que je peux imposer 3 jours de présence sur site à mon équipe ? »
C’est la question la plus délicate, car elle touche à l’interprétation de la politique télétravail :
- Règle NoroTech : télétravail jusqu’à 3 jours par semaine pour les fonctions éligibles, avec 2 jours minimum de présence sur site. Pour la production Lille : pas de télétravail → présence 5 jours sur site.
Réponses des modèles :
- Mistral-3
- Répond “Non”, en indiquant que la politique fixe un maximum de 3 jours de télétravail et une présence minimale de 2 jours.
- Interprète la politique comme un “cadre standard” difficilement modulable par le manager, ce qui est assez protectionniste côté collaborateurs mais discutable côté conformité stricte (3 jours de présence = 2 jours de télétravail, toujours dans les bornes).
- Qwen3
- Indique que si l’équipe est éligible au télétravail, le manager ne peut pas imposer plus de 2 jours de présence sur site (le reste pouvant être télétravail).
- Là encore, la réponse privilégie une lecture “droits des collaborateurs”, moins nuancée sur la marge de manœuvre managériale.
- Gemma 3
- Explique que la politique ne permet pas d’imposer un nombre fixe de jours, et rappelle la règle des 3 jours / 2 jours.
- Décourage l’idée d’imposer 3 jours de présence, en invitant plutôt à trouver un équilibre avec l’équipe.
- DeepSeek-R1
- Donne une réponse confuse, indiquant qu’à Lille (production), “il est généralement nécessaire que les collaborateurs soient présents 2 jours minimum sur place”, ce qui est contraire à la règle réelle (télétravail interdit → 5 jours sur site).
- Phi-4
- Répond “Oui, vous pouvez imposer 3 jours de présence” pour les salariés éligibles au télétravail, en rappelant simplement que la politique impose au moins 2 jours de présence.
- C’est la lecture la plus proche d’une interprétation stricte de la politique (3 jours de présence = 2 jours de télétravail, donc conforme), même si le volet “concertation avec l’équipe” est peu développé.
➜ Sur ce point précis, Phi-4 est le plus conforme au texte de la politique, quand Mistral-3, Qwen3 et Gemma 3 adoptent une posture plus protectrice, au prix d’une légère divergence avec la lettre de la règle. DeepSeek-R1 se trompe sur la production.
4. Tableau comparatif – Cas d’usage 7 : support aux managers
Notation qualitative /10 par critère et par LLM, basée sur les réponses du cas 7.
| Critère / Modèle | Gemma 3 | Phi-4 | Ministral-3 | Qwen3 | DeepSeek-R1 |
|---|---|---|---|---|---|
| Respect des règles congés/RTT/télétravail | 8 | 9 | 8 | 8 | 6 |
| Utilisation des bons canaux MyHR (dont “Mon équipe”) | 9 | 7 | 8 | 7 | 5 |
| Qualité des conseils de communication (refus télétravail, posture manager) | 9 | 8 | 10 | 9 | 9 |
| Clarté & pédagogie pour le manager | 9 | 8 | 9 | 9 | 8 |
| Fidélité stricte au corpus RH (pas d’erreur manifeste, pas de confusion) | 7 | 9 | 7 | 7 | 5 |
| Score moyen (indicatif) | 8,5 | 8,2 | 8,5 | 8,0 | 6,6 |
Les scores sont indicatifs : ils servent à comparer les tendances entre modèles sur ce cas d’usage “support aux managers”, pas à établir un classement absolu.
5. Lecture du tableau : qui est le meilleur copilote RH pour les managers ?
Ministral-3 14B – Excellent sur la posture managériale
- Très bon sur les congés et les RTT côté manager, avec un bon usage de MyHR > Mon équipe.
- Excellente qualité de conseils de communication (exemple de mail de refus de télétravail, explication des règles).
- Légèrement discutable sur l’interprétation de la question “3 jours de présence imposés”, où il privilégie une lecture très pro-collaborateur.
👉 Idéal si Noroit veut un copilote RH qui “éduque” les managers et pousse à une posture équilibrée et empathique.
Gemma 3 12B – Très bon guide SIRH pour les managers
- Très clair sur les parcours MyHR, notamment pour le solde RTT via MyHR > Mon équipe.
- Bonne pédagogie sur les congés, RTT et télétravail, avec des réponses structurées en listes d’actions.
- Même biais pro-collaborateur que Mistral sur les “3 jours de présence imposés”, avec une interprétation prudente des règles.
👉 Excellent pour un assistant IA RH orienté “accompagnement pas-à-pas” des managers dans MyHR.
Phi-4 14B – Plus rigoureux sur la lettre de la politique télétravail
- Très bon alignement texte de la règle / interprétation sur la question des 3 jours de présence (réponse “oui, c’est possible” dans le cadre des bornes 3 jours télétravail max / 2 jours min sur site).
- Un peu plus générique sur les conseils de communication et sur l’usage fin de MyHR (peu de mention de “Mon équipe”).
👉 Intéressant si Noroit veut un copilote RH très “normatif”, qui colle à la lettre des politiques, quitte à compléter le discours managérial dans la couche UX.
Qwen3 14B – Très bon fond, un peu trop protecteur sur certains points
- Solide sur la gestion des congés et du télétravail, avec un bon rappel des limites (production, période d’essai, 3 jours max).
- Bon niveau de conseil (justification, recours à RH, MyHR > Télétravail).
- Interprétation très protectrice de la présence sur site (refus d’imposer 3 jours), ce qui peut être apprécié du point de vue collaborateur, mais moins fidèle à la lettre de la politique.
👉 Bon candidat si le ton recherché est très orienté “équilibre vie pro / vie perso” et droits des collaborateurs.
DeepSeek-R1 14B – Bon sur la posture, fragile sur certains chemins & règles
- Très intéressant sur la posture managériale (propose des alternatives, insiste sur le dialogue).
- Mais des erreurs notables :
- consultation du solde RTT via les bulletins de paie,
- confusion sur la présence minimale en production (2 jours au lieu de 5).
👉 Utilisable comme brique de raisonnement, mais à encadrer fortement pour les sujets “canal MyHR” et certains points de règles.
6. Enseignements pour Noroit : co-piloter les managers avec un LLM
Ce cas d’usage 7 montre que les LLM sont capables de :
- Orienter les managers vers les bons modules MyHR pour valider des congés, consulter des RTT ou traiter des demandes de télétravail.
- Proposer des conseils de communication pertinents pour refuser une demande de télétravail tout en restant dans le cadre RH.
- Aider à rappeler et faire appliquer les politiques internes (télétravail, RTT, production vs fonctions support).
En synthèse :
- Ministral-3 et Gemma 3 sont les meilleurs candidats pour un copilote RH “manager”, grâce à leur pédagogie et à leur bonne intégration des usages MyHR.
- Phi-4 est le plus rigoureux sur la lettre de la politique télétravail, au prix d’un style un peu plus sec.
- Qwen3 est très bon sur le fond, mais interprète certaines règles dans un sens très favorable aux collaborateurs.
- DeepSeek-R1 doit être encadré sur les chemins MyHR et certains points de règles, mais apporte une vraie valeur sur la dimension dialogue / alternatives.
Pour Noroit, cela plaide pour un assistant IA RH qui :
- dispose d’un mode “manager” dédié,
- s’appuie sur un ou deux modèles bien cadrés en amont (Ministral-3, Gemma 3, éventuellement Phi-4),
- et est complété par des garde-fous RH (revue régulière des réponses, mises à jour en fonction de l’évolution des politiques).