Pour ce quatrième cas d’usage, Noroit met à l’épreuve cinq LLM open‑weight sur un sujet très fréquent côté collaborateurs : la mutuelle d’entreprise et les avantages associés. L’objectif : vérifier quels modèles répondent correctement, sans inventer de montants, tout en renvoyant vers les bons documents et contacts RH.
Les modèles évalués :
- Gemma 3 12B – Google – 🇺🇸 États‑Unis
- Phi‑4 14B – Microsoft – 🇺🇸 États‑Unis
- Ministral‑3 14B – Mistral AI – 🇫🇷 France
- Qwen3 14B – Alibaba – 🇨🇳 Chine
- DeepSeek‑R1 14B – DeepSeek – 🇨🇳 Chine
1. Rappel des règles Mutuelle & avantages chez NoroTech
Dans le contexte fictif de NoroTech Services, la base de connaissances RH précise :
- Mutuelle d’entreprise obligatoire pour tous les salariés.
- Possibilité d’ajouter des ayants droit (conjoint, enfants) moyennant surcoût.
- Les détails (couverture, conditions, éventuellement tarifs) sont décrits dans le document :
« Note Mutuelle & Prévoyance 2023 », accessible via MyHR.
Aucune grille tarifaire précise n’est fournie dans le contexte du benchmark : un bon assistant IA RH doit donc éviter d’inventer des montants et reconnaître qu’il lui manque l’info.
2. Méthodologie – Cas d’usage 4 : Mutuelle & avantages sociaux
Les cinq LLM sont testés avec le même prompt système d’assistant IA RH (ton professionnel, bienveillant, format “1 phrase + puces”, rappel des canaux MyHR / RH / manager).
Quatre questions sont posées :
- Obligation de la mutuelle « La mutuelle est-elle obligatoire chez NoroTech ? »
- Ajout d’ayant(s) droit « Est-ce que je peux ajouter mon conjoint et mes enfants sur la mutuelle ? »
- Détail des garanties « Où trouver le détail des garanties de la mutuelle ? »
- Coût de la mutuelle pour la famille « Est-ce que vous pouvez me dire combien coûte la mutuelle pour ma famille ? »
Les réponses sont analysées selon :
- Respect des règles (mutuelle obligatoire, ayants droit, surcoût, doc de référence).
- Respect de la contrainte “ne pas inventer de montants”.
- Utilisation des bons canaux (MyHR, « Note Mutuelle & Prévoyance 2023 », e‑mail RH).
- Clarté & pédagogie des réponses.
- Fidélité stricte à la base de connaissances (pas de sur‑interprétation inutile).
3. Résultats question par question
3.1 La mutuelle est‑elle obligatoire chez NoroTech ?
Règle de référence : mutuelle d’entreprise obligatoire pour tous les salariés.
Ce que font les LLM :
- Les cinq modèles (Ministral‑3, Qwen3, DeepSeek‑R1, Gemma 3, Phi‑4) répondent clairement “Oui, la mutuelle est obligatoire”.
- Tous citent la mutuelle d’entreprise obligatoire, la possibilité d’ajouter des ayants droit avec surcoût, et renvoient vers la « Note Mutuelle & Prévoyance 2023 » sur MyHR.
- La plupart proposent également de contacter le Service RH via
rh@norotech-services.frpour les questions spécifiques.
👉 Sur cette première question, les cinq LLM sont alignés avec les règles RH.
3.2 Peut‑on ajouter conjoint et enfants sur la mutuelle ?
Règle de référence : possibilité d’ajouter des ayants droit (famille) moyennant surcoût.
Résultats :
- Tous les modèles répondent “Oui” et parlent d’ayants droit (conjoint, enfants) avec surcoût.
- Ils renvoient vers la « Note Mutuelle & Prévoyance 2023 » sur MyHR pour les conditions détaillées, et vers l’e‑mail
rh@norotech-services.frpour les démarches ou questions individuelles. - Qwen3 mentionne même une section MyHR > Mutuelle & Prévoyance, ce qui reste cohérent avec le contexte.
👉 Sur l’ajout d’ayant(s) droit, les cinq LLM se comportent comme de bons assistants RH.
3.3 Où trouver le détail des garanties de la mutuelle ?
Règle de référence : les détails liés à la mutuelle sont dans « Note Mutuelle & Prévoyance 2023 » accessible via MyHR.
Résultats :
- Tous les modèles renvoient vers la « Note Mutuelle & Prévoyance 2023 » dans MyHR, souvent en indiquant le chemin MyHR > Mes documents > Mutuelle ou similaire.
- Ministral‑3 donne un parcours très détaillé (SSO, Mes documents, Mutuelle, téléchargement du document).
- Qwen3 insiste sur le fait que le document contient le détail des garanties, franchises, plafonds – ce qui est plausible, même si ces éléments ne sont pas explicitement listés dans notre base de connaissances.
- DeepSeek‑R1 et Gemma 3 proposent un accès simple et clair (MyHR + document).
- Phi‑4 répond correctement en termes de canal, mais oriente sa réponse davantage sur le coût que sur les garanties, ce qui est un peu décalé par rapport à la question.
👉 Tous renvoient vers le bon document, certains étant plus pédagogiques (Ministral‑3, Qwen3), Phi‑4 étant un peu à côté du focus “garanties”.
3.4 Peut‑on donner le coût de la mutuelle pour une famille ?
C’est la question clé du cas d’usage : on souhaite vérifier que les modèles ne donnent pas un tarif inventé.
Règle de référence : le contexte ne donne aucun montant de mutuelle ; le modèle doit donc refuser de chiffrer et renvoyer vers le document ou RH.
Résultats :
- Ministral‑3
- Répond : « Je ne peux pas vous indiquer le coût exact… car les informations précises sur les tarifs ne sont pas détaillées dans le contexte fourni. »
- Renvoie vers la Note Mutuelle & Prévoyance 2023 dans MyHR + contact RH.
→ Comportement exemplaire : reconnaît explicitement sa limite, ne tente pas de deviner.
- Gemma 3
- Répond : « Je ne peux pas vous donner le montant exact… »
- Explique que le coût dépend de la composition de la famille et des options, et renvoie vers la note et le RH.
→ Très bon respect de la contrainte, avec une explication pédagogique.
- Qwen3
- Explique que le coût dépend du nombre de personnes couvertes et est détaillé dans la note ; ajoute que les tarifs peuvent varier selon les options (santé, prévoyance…).
- Ne donne aucun chiffre et renvoie vers MyHR + RH.
→ Respect de la contrainte “pas de montant”, mais avec un peu plus de “créativité” sur les options, non présentes explicitement dans la base de connaissances.
- DeepSeek‑R1
- Indique que les détails des frais sont dans la Note Mutuelle & Prévoyance 2023 sur MyHR, à consulter pour obtenir les informations exactes.
- Ne mentionne pas explicitement “je ne peux pas vous dire le montant”, mais ne donne aucun chiffre.
→ Correct sur le fond, un peu moins explicite sur la gestion de l’incertitude.
- Phi‑4
- Donne une réponse très proche de sa réponse précédente (Q3) : renvoie au document sur MyHR pour les détails de coût et propose de contacter RH.
- Ne fournit aucun montant, mais ne dit pas clairement qu’il ne peut pas répondre précisément.
👉 Aucun modèle n’invente de tarif, ce qui est un point très positif.
👉 Ministral‑3 et Gemma 3 se distinguent par une formulation claire de leurs limites.
4. Tableau comparatif – Cas d’usage 4 : Mutuelle & avantages sociaux
Voici une notation /10 par critère et par LLM, basée sur la lecture des réponses.
| Critère / Modèle | Gemma 3 | Phi‑4 | Ministral‑3 | Qwen3 | DeepSeek‑R1 |
|---|---|---|---|---|---|
| Respect des règles mutuelle (obligatoire, ayants droit, surcoût, doc de référence) | 10 | 10 | 10 | 10 | 10 |
| Ne pas inventer de montants & gestion de l’incertitude | 10 | 8 | 10 | 9 | 8 |
| Utilisation des bons canaux (MyHR, « Note Mutuelle & Prévoyance 2023 », e‑mail RH) | 9 | 10 | 10 | 10 | 9 |
| Clarté & pédagogie (phrase + puces, réponses centrées sur la question) | 9 | 8 | 10 | 9 | 9 |
| Fidélité stricte à la base de connaissances (pas de sur‑interprétation inutile / confusion) | 10 | 9 | 10 | 8 | 9 |
| Score moyen (indicatif) | 9,6 | 9,0 | 10,0 | 9,2 | 9,0 |
Ces scores sont qualitatifs et servent surtout à comparer les tendances entre modèles sur ce cas d’usage Mutuelle & avantages sociaux.
5. Lecture du tableau : forces & faiblesses par LLM
Ministral‑3 14B – Référence sur la mutuelle d’entreprise
- 10/10 sur tous les critères pour ce cas d’usage.
- Respecte parfaitement les règles : mutuelle obligatoire, ayants droit, surcoût, renvoi systématique vers la « Note Mutuelle & Prévoyance 2023 » et vers
rh@norotech-services.fr. - Surtout, indique très clairement : « Je ne peux pas vous donner le coût exact… » → exemplarité sur la gestion de l’incertitude.
👉 Pour la mutuelle & les avantages sociaux, Ministral‑3 est un excellent candidat pour un assistant IA RH.
Gemma 3 12B – Très solide et prudent sur les tarifs
- Score moyen 9,6/10.
- Respect total des règles et des canaux (MyHR, Note Mutuelle, RH).
- Comme Ministral‑3, Gemma 3 dit clairement qu’il ne peut pas donner le montant exact et explique pourquoi (manque d’information, dépend de la composition de la famille).
👉 Un modèle très rassurant pour des questions sensibles comme les coûts de mutuelle.
Qwen3 14B – Pédagogique, mais un peu “créatif”
- Score moyen 9,2/10.
- Réponses très claires, bien structurées, avec un fort sens pédagogique (détails sur garanties, franchises, plafonds…).
- Respecte la contrainte “pas de montant” mais ajoute parfois des éléments non présents explicitement dans la base de connaissances (variation selon options, prévoyance, etc.), ce qui relève d’une légère sur‑interprétation.
👉 Excellent pour expliquer, mais à encadrer légèrement si l’on veut une fidélité stricte au corpus RH.
DeepSeek‑R1 14B – Correct, mais moins explicite sur ses limites
- Score moyen 9,0/10.
- Répond correctement sur l’obligation de la mutuelle, les ayants droit, le surcoût et les canaux MyHR + RH.
- Sur la question des tarifs, renvoie bien vers la note sur MyHR, mais sans formuler clairement qu’il ne dispose pas du montant exact.
👉 Un modèle fiable, mais qui gagnerait à être un peu plus transparent sur ce qu’il sait / ne sait pas.
Phi‑4 14B – Correct sur le fond, parfois un peu “à côté” de la question
- Score moyen 9,0/10 également.
- Applique bien les règles (mutuelle obligatoire, ayants droit, surcoût) et renvoie vers la note et RH.
- Sur la question du détail des garanties, Phi‑4 met surtout l’accent sur le coût plutôt que sur les garanties ; sur la question du tarif, il réutilise quasiment la même réponse que pour la question précédente, sans expliciter qu’il ne peut pas donner de montant.
👉 Un modèle valable, mais qui manque un peu de finesse dans l’adaptation de la réponse à la question précise.
6. Ce que Noroit peut en tirer pour son futur assistant IA RH (Mutuelle)
Sur ce Cas d’usage 4 – Mutuelle & avantages sociaux, le benchmark montre que :
- Tous les LLM sont capables de :
- rappeler que la mutuelle est obligatoire,
- mentionner la possibilité d’ajouter des ayants droit moyennant surcoût,
- renvoyer vers la « Note Mutuelle & Prévoyance 2023 » et vers le Service RH.
- Les différences se jouent surtout sur :
- la gestion de la contrainte “pas de montants inventés”,
- la transparence sur les limites du modèle,
- la finesse dans la reformulation des questions (garanties vs coût).
En synthèse :
- Ministral‑3 et Gemma 3 se démarquent comme les meilleurs choix pour un module “Mutuelle & avantages sociaux” de l’assistant IA RH.
- Qwen3 est excellent pédagogiquement, mais nécessite un léger cadrage pour éviter la sur‑interprétation.
- DeepSeek‑R1 et Phi‑4 sont utilisables, mais moins exemplaires sur la façon de signaler leurs limites.
Pour Noroit, ce cas d’usage confirme qu’un bon assistant IA RH doit être ultra‑fiable sur les règles d’éligibilité, prudente sur les montants et systématiquement renvoyer vers les bons documents (MyHR) et le service RH pour tout ce qui relève de la tarification individuelle.