La création d’un modèle d’IA générative (LLM) pour faciliter la rédaction de communiqués de presse

La création d’un modèle d’IA générative (LLM) pour faciliter la rédaction de communiqués de presse
  • Loïc Virlouvet
  • Slanislas Morbieu

L’émergence des technologies liées à l’intelligence artificielle générative a transformé de nombreux secteurs, notamment celui de la communication, grâce aux modèles de langage de grande taille (Large Language Models ou LLM). Ces derniers sont capables de générer du texte de manière impressionnante.

Un exemple récent avec cette réalisation de l’agence pour notre client JIN illustre les avantages de l’IA dans ce domaine.

JIN est une agence européenne de conseil en communication, spécialiste de l’influence digitale et des relations publiques, qui accompagne les entreprises et les organisations pour créer une influence positive.
Consciente que l’innovation technologique est primordiale pour maintenir la compétitivité des entreprises, Jin se rapproche de l’agence Kernix dans le but de développer un outil capable de fournir aux entreprises françaises une solution intelligente et souveraine de production de communiqués de presse. Cet outil doit pouvoir être exploité au moyen d’un prompt unique et sur la base d’un historique de données propriétaires.
Cerise sur le gâteau : dans le cadre du programme Pack IA de la Région Île-de-France, ce projet a pu être partiellement financé.

Premiers pas : entraîner un modèle.

Des entraînements spécifiques de modèles pré-entraînés ont été fait de manière à apprendre le style des communiqués de presse du groupe et exploiter les données issues d’autres communiqués de presse.
Pour cela, compte tenu de la volumétrie des modèles utilisés (nombres de paramètres), des méthodes Parameter Efficient Fine Tuning (PEFT) ont été employées. Notons que les méthodes de génération augmentée de récupération (RAG), souvent utilisées pour ces besoins, ne pouvaient pas être employées dans ce cas compte tenu de la taille du contexte à présenter à l’étape de génération.
La fervente ébullition autour de ces sujets et la sortie de nombreux grands modèles de langage toujours plus performants durant cette période (ex : Mistral, Llama2 et leurs nombreux dérivés) a conduit à de nombreuses adaptations au cours du projet.

Les résultats sont très rapides

En à peine trois mois, et dans le cadre du dispositif Pack IA, nous avons :

  • créer un modèle génératif dédié permettant de créer des communiqués de presse guidés par des prises de notes.
  • Générer une APIsation de code afin de faciliter son intégration chez le client.
  • Développer une interface graphique permettant d’exploiter la fonctionnalité de génération facilement

La collaboration entre JIN et Kernix, soutenue par le programme Pack IA de la région Île-de-France, a donc permis de développer un modèle d’IA générative performant et intégré, facilitant la rédaction de communiqués de presse et démontrant ainsi les avantages significatifs de l’innovation technologique dans le domaine de la communication.

Focus Pack IA

Depuis 2019, la Région Ile-de-France a développé le « pack IA » à destination des PME et des ETI franciliennes. Ce pack est une offre de conseils pour la mise en œuvre d’une stratégie IA dans les entreprises qui souhaitent renforcer leur compétitivité.
100 entreprises sont sélectionnées chaque année.
Le dispositif se traduit par un accompagnement personnalisé de 3 mois (37 jours d’intervention) sur la mise en œuvre d’un projet IA (identification du besoin jusqu’à mise en production). La Région a noué des partenariats avec une cinquantaine de startups afin de pouvoir composer des équipes d’experts qui accompagnent les entreprises. La Région finance 50% de la mission de conseil (plafond de 18 500 €).

En savoir plus sur le pack IA : https://www.packia.fr/

Témoignage de Frédéric DIAZ, directeur des opérations au sein de l'agence JIN
Le projet se base sur des technologies naissantes pour lesquelles personnes, y compris les créateurs des modèles n’étaient en mesure d’anticiper les résultats. Nous avons donc dû adopter une approche empirique par itération, passant d’un modèle à un autre en exploitant les toutes dernières méthodes d’optimisation. Les résultats, décevants au début du projet, se sont avérés de plus en plus satisfaisants à mesure que nous avancions mais ont aussi révélé les exigences inhérentes à ces technologies.
La création d’un modèle d’IA générative (LLM) pour faciliter la rédaction de communiqués de presse
  • Loïc Virlouvet
  • Slanislas Morbieu