Crédit Mutuel
Leasing

Audit de modèles en partenariat avec Ailancy
Crédit Mutuel  Leasing par Agence Web Kernix

Client

Crédit Mutuel Leasing

Expertises

Technos

Python
R
Cobol

Année

2022
Kernix a audité, pour le compte du Crédit mutuel Leasing, la refonte de deux modèles de machines learning. Une mission menée en partenariat avec le cabinet Ailancy.

Contexte

Crédit Mutuel Leasing est la filiale de Crédit Mutuel Alliance Fédérale dédiée au financement des biens d’équipements mobiliers (IT, matériel bureautique,…) en crédit-bail et en location. Comme de nombreux organismes de crédit, Crédit Mutuel Leasing dispose de nombreux modèles statistiques ou de machine learning pour épauler les équipes dans leurs prises de décisions.

A chaque création ou refonte de modèle, les instances stratégiques de Crédit Mutuel Leasing se réunissent pour valider le modèle avant sa mise en production. Compte-tenu de la criticité de ces modèles dans leurs processus opérationnels, celles-ci ont décidé de faire auditer les modèles candidats. Il s’agit là d’une pratique vertueuse destinée à tirer le meilleur du travail effectué en le soumettant à un regard extérieur.

Une analyse exhaustive du modèle doit porter à la fois sur l’implémentation du modèle mais également sur son approvisionnement et son exploitation. C’est la raison pour laquelle un travail sur la partie fonctionnelle, en partenariat avec les métiers utilisant le modèle, est absolument nécessaire. Aussi, avons-nous travaillé sur cette mission avec notre partenaire, expert des processus d’exploitation, le cabinet Ailancy.

Réalisation

Nous avons audité deux modèles : le premier est destiné à prédire la valeur de cession des véhicules à la sortie d’une période de leasing. Le second modèle, lui, est destiné à détecter des tentatives de fraudes lors de la sollicitation d’un crédit-bail sur du matériel mobilier (bureautique, IT,…).

Nos audits, s’ils n’étaient pas tout à fait exhaustifs, étaient relativement complets. Ils comportaient chacun :

  • un audit des données destiné à évaluer la qualité des données et la difficulté de la tâche de modélisation,
  • un audit du modèle en tant que tel, c’est-à-dire du travail de modélisation et des choix qui l’ont structuré,
  • un audit du code qui, ici, ne consistait pas en une correction du code, lequel ne comportait pas d’erreur, mais en une série de recommandations. Celles-ci doivent permettre d’adopter de bonnes pratiques de programmation optimisant la lisibilité, la consommation de ressources ou le temps d’exécution,
  • un audit du workflow et des processus d’exploitation. Il consiste en une série d’ateliers, réalisés par un consultant expert d’Ailancy, assurant une convergence de vues, sur les objectifs et les résultats du modèle, entre les modélisateurs et les métiers utilisateurs.

Résultats

Pour chaque modèle, nous avons remis un rapport complet compilant les quatre parties de notre audit, mentionnées précédemment. Ces rapports relatent d’abord tous les choix qui constituent le modèle. Nous exposons ensuite notre diagnostic sur chacun des éléments analysés et enfin nous formulons des recommandations ou des suggestions accompagnées d’un score de priorité. Nous avons livré également une matrice des risques pesant sur le modèle et son exploitation.

Nous soulignons l’efficacité et la fluidité du travail avec l’équipe MID en charge de la modélisation chez Crédit Mutuel Leasing, ainsi qu’avec les métiers et les instances stratégiques. Preuve, s’il en fallait une, que l’audit n’est pas forcément une évaluation sentencieuse du travail effectué mais, bien davantage, un temps de prise de recul et de réflexion salutaire aux modèles et à leurs utilisations.

Prochaine réalisation

Exp’OSE TA PEAU

Œuvre d’art collective générée grâce à l’IA