Pour ce deuxième cas d’usage, Noroit évalue cinq LLM open‑weight sur un sujet très sensible en entreprise : le télétravail et l’organisation hybride. L’objectif : voir quels modèles gèrent le mieux les règles différenciées de NoroTech (période d’essai, fonctions support, site de production de Lille).
Les modèles testés :
- Gemma 3 12B – Google – 🇺🇸 États‑Unis
- Phi‑4 14B – Microsoft – 🇺🇸 États‑Unis
- Ministral‑3 14B – Mistral AI – 🇫🇷 France
- Qwen3 14B – Alibaba – 🇨🇳 Chine
- DeepSeek‑R1 14B – DeepSeek – 🇨🇳 Chine
1. Rappel des règles de télétravail chez NoroTech
Le cas d’usage s’appuie sur la politique télétravail fictive de NoroTech, définie dans le document « Politique Télétravail v2 – France » :
- Salariés éligibles (fonctions support, IT, back‑office)
- Jusqu’à 3 jours de télétravail par semaine.
- Présence minimale : 2 jours sur site.
- Période d’essai
- Limité à 1 jour de télétravail par semaine maximum.
- Production – site de Lille (ateliers & lignes de production)
- Télétravail non autorisé, sauf cas très particulier administratif validé par les RH.
- Déclaration du télétravail
- Toujours dans MyHR > Télétravail.
- Validation obligatoire du manager.
C’est par rapport à ces règles que les réponses des LLM sont évaluées.
2. Méthodologie – Cas d’usage 2 : Télétravail & organisation hybride
Les cinq modèles sont testés avec le même prompt système d’assistant IA RH NoroTech (ton professionnel, bienveillant, format “1 phrase + puces”, rappel des canaux MyHR / RH / manager).
Pour ce cas d’usage, quatre questions types ont été posées :
- Période d’essai – fonctions support « Je suis en période d’essai sur un poste de contrôleur de gestion à Lyon, combien de jours de télétravail par semaine sont possibles ? »
- Production – site de Lille « Je travaille sur la ligne de production à Lille, est‑ce que je peux télétravailler 2 jours par semaine ? »
- Parcours de déclaration « Où je dois déclarer mes jours de télétravail ? »
- Limite haute – télétravail 4 jours/semaine « Est‑ce que je peux télétravailler 4 jours par semaine si mon manager est d’accord ? »
Les réponses ont été analysées selon :
- Respect des règles (1 jour en période d’essai, pas de télétravail en production, 3 jours max / 2 jours min sur site).
- Utilisation des canaux (MyHR, manager, RH, Politique Télétravail v2).
- Clarté & pédagogie pour les collaborateurs.
- Gestion des cas limites & exceptions.
- Fidélité stricte à la base de connaissances (pas de réponses hors sujet ou contradictoires).
3. Résultats question par question
3.1 Télétravail en période d’essai (contrôleur de gestion, Lyon)
Rappel de la règle : 1 jour de télétravail par semaine maximum pendant la période d’essai, y compris pour les fonctions support.
Ce que font les LLM :
- Gemma 3, Phi‑4, Ministral‑3, Qwen3, DeepSeek‑R1
→ Les cinq modèles donnent la bonne règle : 1 jour par semaine maximum. - La plupart :
- renvoient vers MyHR > Télétravail pour déclarer la journée,
- mentionnent la nécessité de l’accord du manager,
- citent explicitement la « Politique Télétravail v2 – France ».
👉 Sur cette question, tous les modèles sont alignés avec la politique télétravail NoroTech.
3.2 Télétravail en production à Lille (2 jours/semaine ?)
Rappel de la règle : télétravail non autorisé pour la population de production à Lille, sauf cas administratifs très particuliers validés par les RH.
Résultats :
- Gemma 3, Ministral‑3, Qwen3, DeepSeek‑R1
- répondent clairement “non, télétravail non autorisé” pour la production ;
- précisent que seules des exceptions administratives peuvent être étudiées avec les RH ;
- invitent à contacter
rh@norotech-services.frou le référent RH local.
- Phi‑4
- se trompe de contexte et répond sur la limite des 3 jours / 4 jours (comme pour la question suivante),
- ne rappelle pas la règle spécifique “production = non éligible”.
👉 Ici, Ministral‑3, Qwen3, Gemma 3 et DeepSeek‑R1 appliquent très bien la règle “pas de télétravail en production”.
👉 Phi‑4 montre une fragilité : confusion de question (réponse hors sujet).
3.3 Où déclarer ses jours de télétravail ?
Rappel de la règle : toutes les demandes de télétravail doivent être déclarées dans MyHR > Télétravail, avec validation du manager.
Résultats :
- Gemma 3, Ministral‑3, Qwen3, DeepSeek‑R1
- indiquent tous MyHR > Télétravail comme canal unique ;
- détaillent les étapes : se connecter à MyHR, choisir “Télétravail”, remplir le formulaire, attendre la validation du manager.
- Phi‑4
- répète à nouveau une réponse sur la limite “3 jours vs 4 jours”, au lieu de répondre sur le lieu de déclaration ;
- la réponse est donc hors sujet et n’aide pas le collaborateur sur le “où”.
👉 Pour cette question, 4 modèles sur 5 se comportent comme un assistant IA RH opérationnel.
👉 Phi‑4 échoue clairement sur la compréhension de la question (réponse copié‑collée de la Q4).
3.4 Peut‑on télétravailler 4 jours/semaine si le manager est d’accord ?
Rappel de la règle : même avec l’accord du manager, le télétravail est limité à 3 jours par semaine, avec 2 jours minimum de présence sur site.
Résultats :
- Gemma 3, Phi‑4, Ministral‑3, Qwen3
- répondent tous “non, 4 jours ne sont pas possibles” ;
- rappellent clairement :
- 3 jours de télétravail maximum ;
- 2 jours minimum sur site ;
- déclaration dans MyHR > Télétravail avec accord du manager ;
- référence à la « Politique Télétravail v2 – France ».
- DeepSeek‑R1
- répond “oui, c’est possible si le manager est d’accord”, en prévoyant éventuellement une validation RH ;
- ce qui contredit directement la règle (3 jours max).
👉 Sur cette question, DeepSeek‑R1 fait une erreur majeure, là où les quatre autres modèles respectent strictement la politique télétravail.
4. Tableau comparatif – Cas d’usage 2 : Télétravail & organisation hybride
Le tableau ci‑dessous propose une notation /10 par critère et par modèle (évaluation qualitative basée sur la lecture des réponses).
| Critère / Modèle | Gemma 3 | Phi‑4 | Ministral‑3 | Qwen3 | DeepSeek‑R1 |
|---|---|---|---|---|---|
| Respect des règles télétravail (1j essai, pas de télétravail en production, 3j max) | 10 | 7 | 10 | 10 | 6 |
| Utilisation des bons canaux & docs (MyHR, manager, RH, Politique Télétravail v2) | 9 | 7 | 10 | 10 | 9 |
| Clarté & pédagogie pour le collaborateur | 9 | 7 | 10 | 9 | 8 |
| Gestion des cas limites & exceptions (production, demande de 4j/semaine) | 9 | 7 | 10 | 9 | 5 |
| Fidélité stricte à la base de connaissances (pas de hors sujet/contradiction) | 10 | 8 | 10 | 9 | 6 |
| Score moyen (indicatif) | 9,4 | 7,2 | 10,0 | 9,4 | 6,8 |
Les scores sont approximatifs et servent surtout à comparer les tendances entre modèles.
5. Lecture du tableau : forces & faiblesses par LLM
Ministral‑3 14B – Référence sur le télétravail
- 10/10 sur l’ensemble des critères dans ce cas d’usage.
- Applique parfaitement les règles :
- 1 jour en période d’essai,
- aucun télétravail pour la production à Lille,
- 3 jours max / 2 jours min sur site.
- Réponses claires, structurées, avec un bon rappel de MyHR et des RH pour les cas particuliers.
👉 Sur le télétravail, Ministral‑3 apparaît comme le meilleur candidat pour un assistant IA RH NoroTech.
Qwen3 14B – Très solide, pédagogique et complet
- 9,4/10 de moyenne, au niveau de Gemma 3.
- Excellente gestion des règles de fond (période d’essai, production, 3 jours max).
- Réponses très bien structurées, avec des puces claires et des explications détaillées.
👉 Un modèle très convaincant pour un assistant IA RH spécialisé télétravail.
Gemma 3 12B – Fiable et bien aligné
- 9,4/10 de moyenne, comme Qwen3.
- Bon respect de l’ensemble des règles, y compris les exceptions sur la production et la limite de 3 jours.
- Utilisation systématique de MyHR et rappel du rôle du manager.
👉 Un excellent choix également, légèrement moins “verbeux” que Qwen3 mais très fiable.
Phi‑4 14B – Pertinent sur le fond, mais gêné par des réponses hors sujet
- 7,2/10 de moyenne.
- Quand il répond à la bonne question (période d’essai, 4 jours/semaine), Phi‑4 applique très bien les règles.
- Mais sur deux questions (“production Lille ?” et “où déclarer ses jours ?”), il répète la même réponse sur “3 jours vs 4 jours”, ce qui le rend hors sujet.
👉 Phi‑4 a un très bon potentiel, mais ce cas d’usage montre un risque de réponse décalée qu’il faudra encadrer (prompting, monitoring).
DeepSeek‑R1 14B – Bon sur la mécanique, mais erreur majeure sur la limite de 3 jours
- 6,8/10 de moyenne, le plus bas sur ce cas d’usage.
- Correct sur la plupart des questions (période d’essai, production, MyHR).
- Mais il autorise 4 jours de télétravail/semaine si le manager est d’accord, en contradiction directe avec la politique NoroTech (3 jours max).
👉 DeepSeek‑R1 devra être fortement encadré pour des sujets où les limites sont critiques (plafonds de jours, droits, montants).
6. Ce que Noroit peut en tirer pour son futur assistant IA RH
Sur ce Cas d’usage 2 – Télétravail & organisation hybride, le benchmark montre que :
- Ministral‑3 est aujourd’hui le meilleur candidat pour gérer la FAQ Télétravail & organisation hybride.
- Gemma 3 et Qwen3 offrent une très bonne base, fiable et pédagogique.
- Phi‑4 est solide sur les règles, mais nécessite une surveillance des réponses hors sujet.
- DeepSeek‑R1 est intéressant pour le raisonnement, mais son erreur sur la limite des 3 jours en fait un candidat à encadrer de près pour les règles RH.
Pour Noroit, ce cas d’usage télétravail confirme :
- Qu’un assistant IA RH peut devenir un point d’entrée fiable pour les questions de travail hybride,
- À condition de choisir un modèle rigoureux sur les règles internes et de mettre en place une gouvernance claire (prompt, supervision RH, tests réguliers).