× STEPS
Référence | LLM souverain, Afreximbank

Llama 3, un LLM fine-tuné sur les données de la banque

Pour Afreximbank, STEPS a fine-tuné Llama 3 sur les données internes de la banque : constitution du corpus, entraînement, évaluation et mise en service d’un modèle open source dont la banque garde le contrôle.

Modèle open source
Données internes
Mise en service sécurisée
01 - Le contexte

Une IA générative, mais pas à n'importe quel prix

La banque voulait tirer parti de l'IA générative sur sa propre documentation : rapports, politiques, notes internes. Mais les solutions du marché posaient des questions de confidentialité et de pertinence.

!

Des documents sensiblesLes données internes d'une banque ne peuvent pas être confiées à un service externe sans garanties.

!

Un vocabulaire spécialiséLes modèles généralistes connaissent mal le financement du commerce et le langage propre à la banque.

!

Une dépendance à éviterConstruire sur une API propriétaire, c'est dépendre de ses prix, de ses règles et de sa disponibilité.

02 - Le choix

Pourquoi un modèle à soi plutôt qu'une API

Une banque ne peut pas envoyer ses documents internes n'importe où. Un modèle open source fine-tuné reste sous son contrôle.

LLM GÉNÉRALISTE VIA API

Pratique, mais

  • Données envoyées à un tiers
  • Vocabulaire métier mal maîtrisé
  • Dépendance à un fournisseur
LLAMA 3 FINE-TUNÉ

Le choix de la banque

  • Modèle hébergé et contrôlé par la banque
  • Langage et contexte de la banque appris
  • Garde-fous définis en interne
03 - La démarche

Du corpus au modèle en service

01Corpus

Collecte, nettoyage et anonymisation des documents internes.

02Fine-tuning

Entraînement de Llama 3 sur ce corpus, au vocabulaire de la banque.

03Évaluation

Tests de qualité des réponses et garde-fous avant toute mise en service.

04Mise en service

Déploiement sécurisé, accès contrôlés et suivi en production.

04 - Les usages

Interroger les documents de la banque

Le modèle alimente une plateforme de recherche d'information : les équipes chargent leurs documents et posent leurs questions en langage naturel, avec retour d'expérience intégré.

05 - Les bénéfices

Ce que le modèle apporte à la banque

Un actif IA que la banque possède, maîtrise et peut faire évoluer.

Bénéfice principalLa souveraineté sur son IA

La banque dispose d'un modèle de langage adapté à son métier, hébergé et contrôlé par elle : ses données ne la quittent pas et elle décide de son évolution.

ConfidentialitéDonnées protégées

Le corpus et le modèle restent dans un environnement maîtrisé.

PertinenceDes réponses métier

Le modèle comprend le vocabulaire et le contexte de la banque.

CoûtsPas de facturation à l'usage

Un modèle open source évite de payer chaque requête à un fournisseur.

IndépendanceAucun verrou fournisseur

Le modèle peut être réentraîné, déplacé ou remplacé librement.

ProductivitéUne recherche plus rapide

Les équipes trouvent l'information dans les documents en langage naturel.

SocleUne base pour d'autres usages

Le même modèle alimente assistants, résumés et agents IA.

06 - Notre intervention

Quatre phases, de l'idée au modèle en service

PHASE 01Cadrage

Choix des cas d'usage, des documents à inclure et des règles de confidentialité.

PHASE 02Données

Collecte, nettoyage, anonymisation et structuration du corpus d'entraînement.

PHASE 03Entraînement

Fine-tuning de Llama 3, itérations et évaluation sur des questions métier.

PHASE 04Production

Déploiement sécurisé, plateforme de recherche et boucle de retour des utilisateurs.

07 - Architecture

Sous le capot

Une chaîne MLOps complète, de la préparation des données au suivi en production.

Llama 3Fine-tuningLoRAPythonRAGMLOps
  • DonnéesCorpus interne nettoyé, dédoublonné et anonymisé
  • ModèleLlama 3 open source, fine-tuné sur le corpus de la banque
  • ÉvaluationJeux de questions métier et garde-fous de sécurité
  • ServiceHébergement dans un environnement contrôlé par la banque
  • InterfacePlateforme de recherche d'information avec retour utilisateur
FAQ

Questions fréquentes

Pourquoi Llama 3 ?

C'est un modèle open source performant : la banque peut l'héberger, l'adapter et le faire évoluer sans dépendre d'un fournisseur.

Les données quittent-elles la banque ?

Non. Le corpus, l'entraînement et la mise en service restent dans un environnement contrôlé par la banque.

Faut-il refaire l'entraînement régulièrement ?

Le modèle peut être réentraîné quand le corpus évolue ; la démarche est documentée et reproductible.

Vous voulez une IA générative qui reste chez vous ? Parlons de votre LLM souverain.

Réserver une session de cadrage ↗