Dans ce troisième cas d’usage, Noroit teste cinq LLM open‑weight sur un sujet ultra‑concret pour les collaborateurs : où trouver ses bulletins de paie, quand ils sont disponibles, combien de temps ils restent accessibles, et qui contacter en cas de problème.
Les modèles évalués :
- Gemma 3:12B – Google – 🇺🇸
- Phi‑4 – Microsoft – 🇺🇸
- Ministral‑3 14B – Mistral AI – 🇫🇷
- Qwen3 14B – Alibaba – 🇨🇳
- DeepSeek‑R1 14B – DeepSeek – 🇨🇳
Objectif : voir quel LLM gère le mieux les questions de paie courantes pour un futur assistant IA RH NoroTech.
1. Rappel des règles Paie & bulletins chez NoroTech
Dans l’entreprise fictive NoroTech Services, les règles de référence sont :
- Les bulletins de paie sont disponibles dans
MyHR > Mes documents > Bulletins de paie. - La mise en ligne est prévue autour du 28 de chaque mois.
- L’historique accessible sur MyHR couvre les 5 dernières années.
- En cas de problème ou d’anomalie sur la paie, le contact générique est le
Service Paie :paie@norotech-services.fr.
Ces éléments constituent la base de vérité utilisée pour évaluer les réponses des LLM.
2. Méthodologie – Cas d’usage 3 : Paie & bulletins
Les cinq modèles sont testés avec le même prompt d’assistant IA RH (format “1 phrase + puces”, ton pro & bienveillant, rappel de MyHR / RH / Paie).
Les questions posées :
- Où je trouve mes bulletins de paie ?
- À quelle date mon bulletin de paie est normalement disponible chaque mois ?
- Je ne vois plus mes fiches de paie d’il y a 6 ans, c’est normal ?
- Je n’ai pas mon bulletin de paie ce mois-ci, qui dois-je contacter ?
Pour chaque LLM, on analyse :
- Respect des règles (MyHR, date ~28, historique 5 ans).
- Utilisation des bons canaux (MyHR, Service Paie, éventuellement RH).
- Clarté & pédagogie des réponses.
- Gestion des cas particuliers (bulletins >5 ans, absence du bulletin).
- Fidélité stricte à la base de connaissances (pas de hors‑sujet ou de contradictions).
3. Résultats question par question
3.1 Où trouver ses bulletins de paie ?
Règle de référence :
Les bulletins sont dans MyHR > Mes documents > Bulletins de paie, avec 5 ans d’historique.
Comportement des LLM :
- Ministral‑3, Qwen3, Gemma 3, Phi‑4
- indiquent clairement le chemin MyHR > Mes documents > Bulletins de paie ;
- rappellent la mise en ligne autour du 28 ;
- précisent l’historique de 5 ans ;
- renvoient vers
paie@norotech-services.fren cas de problème.
- DeepSeek‑R1
- donne le bon chemin MyHR et la bonne date de mise en ligne ;
- mentionne aussi l’historique sur 5 ans, mais sans insister sur le contact Paie.
👉 Sur cette question, tous les modèles sont corrects, avec un léger plus de complétude pour Ministral‑3, Qwen3, Gemma 3 et Phi‑4 qui cochent tous les items (chemin + 28 + 5 ans + e‑mail Paie).
3.2 À quelle date le bulletin est-il disponible ?
Règle de référence :
Bulletin mis en ligne autour du 28 de chaque mois sur MyHR.
Comportement des LLM :
- Ministral‑3, Qwen3, DeepSeek‑R1, Gemma 3
- annoncent tous une disponibilité autour du 28 ;
- renvoient vers MyHR > Mes documents > Bulletins de paie.
- Qwen3 ajoute une précision discutable (“environ 5 jours après la fin du mois”), tout en citant quand même le 28 → légère sur‑explication qui n’est pas dans les règles.
- Phi‑4 répond surtout comme si le bulletin manquait déjà (“si votre bulletin n’est pas disponible, contactez le Service Paie…”), puis rappelle en conclusion que les bulletins sont mis en ligne autour du 28. La règle est correcte, mais la réponse est centrée sur le cas d’anomalie, pas sur la date “normale”.
👉 Sur cette question, les 4 modèles hors Phi‑4 sont très bien alignés.
👉 Phi‑4 donne la bonne date, mais la forme est moins directement utile pour un collaborateur qui demande simplement “quand ?”.
3.3 Fiches de paie d’il y a 6 ans : normal ou pas ?
Règle de référence :
Les bulletins sont accessibles en ligne pendant 5 ans ; ceux de plus de 5 ans ne sont plus visibles dans MyHR mais peuvent être demandés au Service Paie.
Comportement des LLM :
- Gemma 3, Qwen3, DeepSeek‑R1
- rappellent clairement que MyHR ne conserve que 5 ans d’historique ;
- expliquent que les bulletins plus anciens ne sont plus en ligne ;
- conseillent de contacter
paie@norotech-services.frpour obtenir une copie.
- Ministral‑3
- commence par “Non, il n’est pas normal de ne plus voir vos fiches de paie d’il y a 6 ans”,
- puis explique que MyHR ne conserve que 5 ans et qu’il faut contacter Paie pour des archives.
→ Le fond est correct (5 ans + contact Paie), mais la première phrase est mal formulée : en réalité, il est justement normal de ne plus voir des bulletins de 6 ans sur MyHR.
- Phi‑4
- ne parle ni de la limite de 5 ans, ni de la notion d’archives ;
- réutilise une réponse type “mois en cours” (vérifier MyHR, contacter Paie) qui ne répond pas à la question sur 6 ans → réponse hors sujet.
👉 Sur cette question clé, Gemma 3, Qwen3 et DeepSeek‑R1 sont très bien alignés avec les règles.
👉 Ministral‑3 est juste sur le fond, mais avec une accroche confuse.
👉 Phi‑4 passe à côté du cœur du sujet (limite de 5 ans).
3.4 Bulletin manquant ce mois‑ci : qui contacter ?
Règle de référence :
En cas de bulletin manquant, vérifier MyHR puis contacter le Service Paie à paie@norotech-services.fr.
Comportement des LLM :
- Ministral‑3, Qwen3, DeepSeek‑R1, Gemma 3, Phi‑4
- proposent tous de vérifier d’abord MyHR > Mes documents > Bulletins de paie ;
- renvoient ensuite vers
paie@norotech-services.fr; - souvent avec des conseils pratiques (indiquer le mois concerné, relancer, informer éventuellement le manager, contacter RH au besoin).
👉 Sur cette question, tous les LLM jouent correctement leur rôle d’assistant RH, en rappelant le bon canal et les bons réflexes.
4. Tableau comparatif – Cas d’usage 3 : Paie & bulletins
Le tableau ci‑dessous propose une notation /10 par critère et par modèle (évaluation qualitative basée sur la lecture des réponses).
| Critère / Modèle | Gemma 3 | Phi‑4 | Ministral‑3 | Qwen3 | DeepSeek‑R1 |
|---|---|---|---|---|---|
| Respect des règles paie & docs (MyHR, date ~28, historique 5 ans) | 10 | 7 | 9 | 9 | 9 |
| Utilisation des bons canaux (MyHR, Service Paie, RH) | 10 | 9 | 10 | 10 | 9 |
| Clarté & pédagogie (phrase + puces, étapes concrètes) | 9 | 8 | 10 | 9 | 9 |
| Gestion des cas particuliers (bulletins >5 ans, bulletin manquant) | 9 | 6 | 8 | 10 | 9 |
| Fidélité stricte à la base de connaissances (pas de hors sujet / contradictions) | 10 | 6 | 9 | 8 | 9 |
| Score moyen (indicatif) | 9,6 | 7,2 | 9,2 | 9,2 | 9,0 |
Ces scores sont indicatifs : ils servent à comparer les tendances entre modèles sur ce cas d’usage précis.
5. Lecture du tableau : forces & faiblesses par LLM
Gemma 3 – Le plus équilibré sur la paie & les bulletins
- Score moyen le plus élevé (≈ 9,6/10).
- Respect parfait des règles (MyHR, 28 du mois, historique 5 ans) et aucune contradiction détectée.
- Très bon sur les cas particuliers : explique clairement que les bulletins de plus de 5 ans ne sont plus visibles et qu’il faut solliciter le Service Paie.
👉 Sur la paie et les bulletins, Gemma 3 apparaît comme un excellent candidat pour un assistant IA RH.
Ministral‑3 – Très pédagogique, une petite maladresse sur les 6 ans
- Score moyen ≈ 9,2/10.
- Réponses très complètes et bien structurées, avec un bon rappel des canaux (MyHR +
paie@norotech-services.fr). - Seul bémol : sur la question des bulletins de 6 ans, la première phrase (“ce n’est pas normal”) est mal alignée avec la règle des 5 ans, même si la suite de la réponse explique correctement la limite d’historique.
👉 Un modèle très solide, à peine pénalisé par une formulation ambiguë.
Qwen3 – Très bon, mais parfois un peu “créatif”
- Score moyen ≈ 9,2/10, à égalité avec Ministral‑3.
- Gère très bien MyHR, la date du 28, l’historique de 5 ans et le contact Paie ; très pédagogique.
- Ajoute cependant une précision non prévue (“environ 5 jours après la fin du mois”) qui ne figure pas dans les règles et n’est pas cohérente avec la date du 28 → légère sur‑interprétation.
👉 Un excellent modèle, à condition de surveiller les petites extrapolations.
DeepSeek‑R1 – Fiable et clair, avec un bon sens pratique
- Score moyen ≈ 9,0/10.
- Réponses correctes sur la date du 28, l’historique de 5 ans et l’accès via MyHR.
- Bonne gestion des cas particuliers (6 ans, bulletin manquant), avec des conseils pratiques (vérifier MyHR, contacter Paie, informer le manager).
👉 DeepSeek‑R1 est tout à fait utilisable sur la paie, même s’il met un peu moins l’accent sur le mail du Service Paie dans certaines réponses.
Phi‑4 – Pertinent sur certaines questions, en difficulté sur les 6 ans
- Score moyen ≈ 7,2/10, nettement en dessous des autres sur ce cas d’usage.
- Sur les questions “où trouver mon bulletin ?” et “que faire s’il manque ce mois‑ci ?”, Phi‑4 se comporte très bien (MyHR + Service Paie + rappel de la date du 28).
- En revanche :
- Sur la question “à quelle date est disponible mon bulletin ?”, la réponse est focalisée sur le cas d’anomalie plutôt que sur la date normale.
- Sur la question “bulletins d’il y a 6 ans”, aucune mention de la limite de 5 ans, ni du caractère normal de la situation → hors sujet par rapport à la base de connaissances.
👉 Phi‑4 reste intéressant, mais nécessite une vigilance accrue sur les cas où une règle précise (ici les 5 ans) doit être appliquée.
6. Ce que Noroit peut en tirer pour son assistant IA RH (Paie)
Sur ce Cas d’usage 3 – Paie & bulletins de salaire, le benchmark montre que :
- Tous les LLM savent pointer les collaborateurs vers MyHR et, le plus souvent, vers
paie@norotech-services.fr. - Les différences se jouent sur :
- la prise en compte correcte de l’historique à 5 ans,
- la capacité à traiter le cas des bulletins anciens (6 ans),
- la rigueur dans l’application des règles sans extrapoler.
En synthèse :
- Gemma 3 est le plus équilibré sur la paie & les bulletins : très rigoureux et pédagogique.
- Ministral‑3 et Qwen3 sont excellents également, avec un style très adapté à un assistant RH.
- DeepSeek‑R1 est fiable, avec un bon sens pratique.
- Phi‑4 reste valable sur certaines questions mais montre des faiblesses spécifiques sur l’historique des 6 ans.
Pour Noroit, ce cas d’usage confirme que la paie est un domaine où l’assistant IA RH doit être extrêmement précis sur les règles d’archivage et les canaux de contact, et où une gouvernance RH forte (tests réguliers, prompts bien cadrés, revue humaine) reste indispensable.