Agence JIN

Data Sciences
Agence JIN par Agence Web Kernix

Client

Agence JIN

Expertises

Technos

Python
Mistral
LangChain

Année

2024
Création d’un modèle d’IA générative (LLM) pour faciliter la rédaction de communiqués de presse.

Contexte

JIN est une agence européenne de conseil en communication, spécialiste de l’influence digitale et des relations publiques, qui accompagne les entreprises et les organisations pour créer une influence positive.

Consciente que l’innovation technologique est primordiale pour maintenir la compétitivité des entreprises, en 2024, JIN se rapproche de l’agence Kernix dans le but de développer un outil capable de fournir aux entreprises françaises une solution intelligente et souveraine de production de communiqués de presse.
Cet outil doit pouvoir être exploité au moyen d’un prompt unique et sur la base d’un historique de données propriétaires.

Grâce à la région Île-de-France, ce projet a pu être partiellement financé dans le cadre du programme Pack IA.

Focus Pack IA

Depuis 2019, la Région Ile-de-France a développé le « pack IA » à destination des PME et des ETI franciliennes. Ce pack est une offre de conseils pour la mise en œuvre d’une stratégie IA dans les entreprises qui souhaitent renforcer leur compétitivité. 100 entreprises sont sélectionnées chaque année.

Le dispositif se traduit par un accompagnement personnalisé de 3 mois (37 jours d’intervention) sur la mise en œuvre d’un projet IA (identification du besoin jusqu’à mise en production). La Région a noué des partenariats avec une cinquantaine de startups afin de pouvoir composer des équipes d’experts qui accompagnent les entreprises. La Région finance 50% de la mission de conseil (plafond de 18 500 €).

En savoir plus sur le pack IA : https://www.packia.fr/

Focus sur les modèles d'entraînement

Des entraînements spécifiques de modèles pré-entraînés ont été fait de manière à apprendre le style des communiqués de presse du groupe et exploiter les données issues d’autres communiqués de presse.
Pour cela, compte tenu de la volumétrie des modèles utilisés (nombres de paramètres), des méthodes Parameter Efficient Fine Tuning (PEFT) ont été employées. Notons que les méthodes de génération augmentée de récupération (RAG), souvent utilisées pour ces besoins, ne pouvaient pas être employées dans ce cas compte tenu de la taille du contexte à présenter à l’étape de génération.
La fervente ébullition autour de ces sujets et la sortie de nombreux grands modèles de langage toujours plus performants durant cette période (ex : Mistral, Llama2 et leurs nombreux dérivés) a conduit à de nombreuses adaptations au cours du projet.

Résultats

En à peine trois mois et dans le cadre du dispositif Pack IA, nous avons :

  • Créer un modèle génératif dédié permettant de créer des communiqués de presse guidés par des prises de notes
  • Générer une APIsation de code afin de faciliter son intégration chez le client
  • Développer une interface graphique permettant d’exploiter la fonctionnalité de génération facilement
Le projet se base sur des technologies naissantes pour lesquelles personnes, y compris les créateurs des modèles n’étaient en mesure d’anticiper les résultats. Nous avons donc dû adopter une approche empirique par itération, passant d’un modèle à un autre en exploitant les toutes dernières méthodes d’optimisation. Les résultats, décevants au début du projet, se sont avérés de plus en plus satisfaisants à mesure que nous avancions mais ont aussi révélé les exigences inhérentes à ces technologies.
Frédéric DIAZ, Directeur des opérations, agence JIN
Prochaine réalisation

Trancoso
Capital

Cabinet d'investissements immobiliers