#8 - Pas de data, pas d'IA. Vision de la CTO digital de BPI France

Dans ce nouvel épisode du podcast, nous avons le plaisir d'accueillir Ludi Akue, CTO Digital de la BPI France : un échange sincère autour de l'importance de la data pour initier des projets IA / Gen AI.  

Au programme de cet échange : 
💪 Mission de la BPI et rôle d’un « CTO Digital »
🏗️ Quel socle data solide pour démarrer des projet IA / Gen AI ?
👑 Rester souverain malgré les lacunes de la filière hardware française / européenne
👀 Construire une IA frugale
💸 Gestion des coûts des projets Gen AI

• (00:00) - Introduction
• (01:20) - Le rôle de CTO Digitale de BPI France
• (04:05) - Le plus grand défi de cette prise de fonction
• (07:40) - Projets ou initiatives actuels les plus passionnants.
• (10:35) - Les défis de la gestion des données à BPI
• (13:10) - Le concept de Data Mesh et de Data Contract
• (17:05) - Les éléments clés pour créer un socle data solide afin d’initier des projets IA / Gen AI
• (24:30) - Question d'Arnault Ioualalen (précédent podcast) : Comment rester souverain, sans filière hardware française / européenne qui permet de soutenir l’effort de l’IA ?
• (28:50) - La tendance vers des modèles plus petits et l'utilisation de CPU pour l'inférence
• (34:05) - Comment identifier et prioriser les use cases IA / Gen AI ? (coûts vs utilisation vertueuse vs vitesse d'entrainement)
• (38:55) - Diminution drastique des coûts d'entrainement vs optimisation / re-use
• (42:30) - La question de la souveraineté et le cadre d'utilisation vertueuse de l'IA frugale

Creators & Guests

Host

Pierre Vannier

Fondateur et PDG Flint, Dev Backend / IA, agitateur Tech ✨

Host

Thomas Meimoun

Machine Learning Engineer / Data Scientist

Guest

Ludi Akue

CTO Digital @Bpifrance • Co-founder @Women of Influence • Strategy & Tech advisor • Independent Tech Expert France 2030

What is IA pas que la Data - Reprendre le contrôle sur tout ce qui se dit autour de l’intelligence artificielle?

Reprendre le contrôle sur tout ce qui se dit autour de l’intelligence artificielle, voilà pourquoi nous avons créé ce podcast IA pas que la Data !

Tous les mois, nous aurons le plaisir d’accueillir des experts de l’IA, de la data et de la tech, qui nous partageront leur opinion et regard critique sur cette révolution.

Technophiles, ce podcast vous apportera un éclairage sur ce qui se cache derrière l’IA et vous permettra de prendre de la hauteur sur ce que l’on entend quotidiennement.

#IA #GenAI

Pierre Vannier | 00:09.374
Et bienvenue dans ce nouvel épisode du podcast IA pas que la data. Si ma mémoire est bonne, je pense que c'est le 8ème. Je suis très content aujourd'hui de recevoir une invitée que je connais maintenant depuis quelques années puisqu'on fréquente les mêmes bancs d'une association qui s'appelle TechRocks qu'on salue au passage, qui est une super assos de CTO. Ils nous écoutent sûrement, on les embrasse et on les aime beaucoup. J'ai pu assister aussi à sa conférence lors du Tech Rock Summit de 2023 sur le rôle de CTO et les challenges qu'il apporte. On a régulièrement échangé sur les défis techniques d'aujourd'hui, mais aussi les défis techniques de demain. J'ai le plaisir d'accueillir aujourd'hui Ludi Akoué, qui est la CTO digitale de BPI France. Et je suis toujours accompagné de Thomas Memoun, mon acolyte. Alors, salut Thomas.

Thomas Meimoun | 01:08.190
Salut Pierre, salut Ludi.

Pierre Vannier | 01:09.688
Et bonjour Ludi et bienvenue à toi.

Ludi Akue | 01:11.768
Merci, bonjour Pierre, bonjour Thomas, merci pour l'invitation. Je suis très heureuse d'être avec vous aujourd'hui.

Pierre Vannier | 01:17.449
Avec plaisir.

Thomas Meimoun | 01:18.328
Bon Ludi, on va commencer assez simplement pour la question. Déjà, ravi de t'avoir avec nous. Tu es arrivé au poste de CTO digital il y a quelques mois maintenant au sein de la BPI. Quel est précisément ton périmètre d'action ? Au moins, je n'avais jamais entendu ce terme CTO digital justement.

Ludi Akue | 01:33.841
Tu as bien raison. Écoute, déjà pour commencer, je vais présenter la BPI France. Pour ceux et celles qui nous écoutent, donc la BPI France, c'est la Banque publique d'investissement. C'est une banque qui est détenue par l'État et la Caisse des dépôts et qui finance et accompagne les entreprises, peu importe leur stade de maturité, dans leur développement, de la création jusqu'à l'internationalité, c'est l'objectif de l'entreprise, jusqu'à leur croissance, notamment via des outils tels que des prêts, du crédit, de l'aide à l'innovation, la garantie, il y a aussi de l'equity puisqu'il y a aussi des fonds propres, etc. Donc c'est tout type d'entreprise française et start-up, TPE, PME, STI, etc. Et donc moi au niveau de BPI France, au sein de BPI France, je suis à la direction du digital, qui est une direction de la transformation digitale. et qui a pour mandat d'utiliser le levier digital pour transformer BPI France en une fintech avec un réseau. Et là je parle des réseaux d'agences de BPI France, puisque BPI France possède 50 agences régionales pour être au plus proche des entrepreneurs. Et au sein de cette direction du digital, il y a une branche qui s'appelle Digital Factory, qui a les expertises produits, tech, infras, data, etc. Et c'est là où je suis située. Je suis CTO digitale chez BPI France à la Digital Factory. Mon rôle, c'est quoi ? Notre mission, c'est de créer la meilleure expérience digitale bancaire au service de l'économie française. On est réellement dans notre périmètre d'exclusivité, c'est la digitalisation de l'expérience de BPI France, donc de cette boîte à outils. C'est toute la partie parcours en ligne, répondre au vrai pain de poing des entrepreneurs. C'est pas juste... Sortir d'une logique produit bancaire mais vraiment répondre au pain point, rentrer dans une démarche FinTech axée sur l'expérience utilisateur. Utiliser tous les leviers du digital pour mieux servir les clients, les entrepreneurs, mais pas que, et aussi les partenaires. On travaille avec les partenaires bancaires, mais aussi le réseau. Je vous ai parlé du réseau d'agences, qui a les collaborateurs internes, qui permettent de servir de bout en bout la promesse de financer et d'accompagner les entreprises françaises.

Pierre Vannier | 04:04.664
Et du coup, Ludi, je voulais savoir, quand tu arrives comme ça, sur un poste, sur un énorme paquebot comme ça, on te dit, voilà, allez, si. CTO Digital BPI France, moi je prendrais un peu le vertige, c'est quoi les grands défis de la prise de fonction ? Parce que je crois que tu en as parlé un petit peu dans la conférence Tech Rocks aussi.

Ludi Akue | 04:45.764
Oui, alors ça c'est une partie des défis. Je pense que c'est super important déjà de poser le fait de... Je ne sais pas pour ceux qui connaissent BPI France, c'est plus facile. Moi, j'ai toujours été d'une certaine façon client de BPI France. J'ai un parcours plutôt très start-up, scale-up. Et même avant start-up, scale-up, quand j'étais même en thèse, quand je faisais de la recherche, j'avais déjà les prédécesseurs.

Pierre Vannier | 05:13.520
Tu les connaissais en tant que cliente finalement, utilisatrice.

Ludi Akue | 05:16.393
Exactement, parce que j'ai eu du fonds propre, j'ai eu de l'aide à l'innovation, etc. Et moi, je suis vraiment au digital. Je pense qu'on doit être un peu plus de 300 quand je regarde tous les profils. Et moi, vraiment, je dirais que mon rapport d'étonnement, c'est super important ça, clé, c'est que j'arrive dans une scale-up au digital, j'entends. Donc il y a effectivement BPI France dans sa globalité et au digital, donc cette impulsion de transformation digitale, de créer une expérience en même canal et tout ça. J'arrive avec des équipes qui ont des pratiques de produits et tech assez modernes. Enfin, pas assez, mais moderne. Et donc ça, ça a été plutôt le rapport d'étonnement, en fait, la belle surprise. Et j'ai parlé pendant le Tech Rock, j'étais avec mon homologue de la DSI, où on a parlé effectivement de comment le digital et la DSI travaillent ensemble. plutôt dans un rôle qui est en train de se éclaircir, puisque c'était la conclusion de notre présentation. On est en train de définir des périmètres d'exclusivité. Nous, on est vraiment sous la partie customer facing, donc l'externe, les entrepreneurs, les entrepreneurs, les partenaires, donc vraiment l'externe. Et la DSI est en train de tenir ce rôle-là qui est hyper important, c'est le cœur bancaire, les cercles bancaires. mais aussi toute la partie IT collaborateur qui va avec. Donc on est en train de spécialiser tout ça, donc de définir des permis d'exclusivité et de nouer la relation client-fournisseur. Et c'est comme ça, c'est avec ces deux ponts-là que la... que le paquebot et je reviendrai là-dessus aussi parce que moi je ne crois pas que BPI soit un paquebot en fait j'ai pas beaucoup d'expérience en grand groupe non plus . mon expérience de grand groupe remonte à très très loin, je pense que ça remonte même à 15 ans c'était chez Atos Origines, c'était le nom à l'époque, qui est plutôt dans l'actualité en ce moment. Et moi, ce que je vois vraiment chez BPI France, c'est vraiment une entreprise, un groupe qui bouge beaucoup. C'est assez dynamique. C'est un autre rapport d'étonnement. C'est assez dynamique. Et donc, avec ces deux jambes digitales et DSI, il y a une très belle histoire qui est en train d'être créée, à la fois sur la tech, produits, mais aussi sur l'IA, on va en parler.

Pierre Vannier | 07:58.409
Justement, je voulais rebondir un petit peu là-dessus. Tu as des projets ou des initiatives qui te viennent à l'esprit ? qui sont un peu tes médailles, j'ai envie de dire, ou des choses qui sont vraiment passionnantes en termes d'innovation technologique ou de développement de produits ou de services numériques ?

Ludi Akue | 08:19.009
Bien sûr, en fait, alors, aujourd'hui, à la Digital Factory, on opère à peu près une vingtaine de produits digitaux. C'est quand même assez grand. Le plus gros produit digital, c'est le BPI France en ligne. Belle, c'est son petit nom. Il y a plein d'initiatives. Il y a par exemple une initiative qui me vient en tête et qui est assez super. C'est qu'on a toute la partie, un offre d'abonnement pour les pros, enfin les entreprises plutôt, pour consommer à la fois... On a des outils qui peuvent utiliser les actes de gestion, etc. pour suivre leur encours, des choses comme ça. On atteint récemment les 1000 abonnés. C'est quelque chose qui a été lancé assez récemment, c'est une vraie fierté. On est en train de développer toute une partie retail, donc investissement retail. C'est-à-dire que toi, comme moi, on peut placer des fonds dans le fonds de fonds. Babyvrons, c'est un fonds de fonds, donc c'est un fonds qui va venir rejoindre un ensemble de fonds. et financer des entreprises.

Pierre Vannier | 09:29.801
Tu veux dire qu'on peut être des actionnaires, des petits porteurs, des petits actionnaires en private equity ?

Ludi Akue | 09:37.832
C'est ça, c'est du retail, c'est la branche retail. Moi, je suis très contente parce que les équipes sont en train de sortir en espace investisseurs. La première plateforme est sortie l'année dernière, donc elle a rencontré un bon succès dans la mesure où je pense que ça y est, c'est fermé. Mais ils sont en train de sortir un espace investisseur pour faciliter la vie de l'investisseur. C'est du B2C, donc on parlait jusque-là de B2B, les Français sont connus pour ça. Mais là, on parle du B2C avec une plateforme d'investissement et il y a une prochaine plateforme d'investissement qui va ouvrir. Je ne sais pas encore la date, mais c'est une belle fierté. Il y a aussi, moi je peux vous citer un travail de fond que je suis en train de mettre en place. Là, une grosse fierté, c'est effectivement une logique de plateformisation, c'est-à-dire de mettre en place une business platform. qui va nous permettre de pouvoir s'appuyer sur des socles et aller plus vite, des socles de prêt, des socles retail, ainsi de suite. Et je suis très contente parce que j'ai posé les bases de cette business platform, c'est-à-dire disposer des briques qui vont favoriser le reuse, parce que l'objectif c'est de pouvoir développer plus vite, en tout cas le time to market, accélérer le time to market et moins cher.

Thomas Meimoun | 10:54.864
Quand tu parles de plateforme, ça me fait penser à d'autres choses. Je ne pense pas que ce soit totalement corrélé, mais déjà, merci pour l'explication de la distinction entre la DSI et la Digital Factory. Là, c'est beaucoup plus clair. Et je voulais savoir, du coup, côté Digital Factory, c'est quoi les défis rencontrés en matière de gestion des données, notamment en ce qui concerne l'intégration, la qualité, la gouvernance, la sécurité des données ? Parce qu'en fait, à première vue, j'aurais tendance à penser que c'est le côté DSI que ces questions doivent se poser. Mais dans quelle mesure vous les appropriez-vous, vous les accompagnez ?

Ludi Akue | 11:27.524
Je pense que c'est une super question parce qu'effectivement, côté DSI, on est plutôt sur la donnée d'entreprise. Et à la design factory, on est vraiment sur l'usage, donc les données d'usage. Donc il faut bien séparer les deux. Il y a des données qui vont rejoindre les données d'entreprise, mais on a aussi des données d'usage. Et à la Digital Factory, on a vraiment tout un pôle data. C'est mon homologue à la data qui gère ce pôle-là. Et notamment, on est sur la mise en place, ça tombe très bien, on est en plein dedans, d'une architecture data mesh justement. Il faut commencer à décentraliser toute la partie data et responsabiliser plutôt les producteurs. Donc sortir des logiques traditionnelles qui ont pu avoir lieu, on connaît leurs limites. C'est vraiment rentrer dans cette logique décentralisée où on a les producteurs. Typiquement là, mes équipes travaillent avec les équipes de Ruben qui est notre head of data à définir des data contracts. L'objectif c'est de commencer à produire des data products. Et le nerf de la guerre quand on arrive à ça, tu as posé de très bonnes questions. Premier nerf de la guerre c'est la qualité de la donnée et on a des vrais enjeux de qualité de la donnée. Je te dis, le parallèle avec la scale up est très vrai. Avec un gros scale, le proof of concept, le product market fit qui s'est avéré au niveau de cette digitalisation de PPI France. Aujourd'hui, il s'agit de consolider, de stabiliser, de consolider. Une démarche à passer, c'est de retravailler la qualité des données. Les équipes sont dessus, notamment en utilisant des outils qui permettent déjà de faire un état d'allié de la qualité des données. et en se remettant en marche pour nettoyer et qualifier les données, d'autant plus que côté tech, on va être producteur de la donnée, selon un contrat, un data contract qui va être négocié.

Thomas Meimoun | 13:24.387
Justement, j'ai deux questions, parce que c'est des termes assez importants. Est-ce que tu pourrais expliquer ce que c'est le data mesh et les data contracts ? Le data mesh, c'est beaucoup plus technique, mais...

Ludi Akue | 13:34.548
Oui, data mesh, en fait, c'est une organisation, c'est plus une architecture. On a vu arriver côté tech ce qu'on appelle l'architecture, le domaine driven design, c'est-à-dire une architecture qui est orientée métier finalement. On a dans le code, dans l'architecture, on pense métier. On représente le métier, le domaine. On peut avoir plusieurs domaines. C'est à peu près la même chose aussi lorsqu'on parle de l'architecture data mesh. C'est une architecture, pour moi, qui est sociotechnique, c'est-à-dire organisationnelle et technique, où on va réfléchir également par domaine. Et on va réfléchir par un domaine, on va décentraliser le recueil des données, donc il ne va pas y avoir un gros ETL, ce n'est pas la Tata qui va avoir un gros ETL, qui va essayer de pousser, de tirer toutes les données, etc. On va décentraliser déjà le recueil de données, et c'est les producteurs qui vont alimenter, là on est en train de mettre en place Snowflake, enfin on a mis en place, donc on est en train de... Donc vous voyez les données dans Snowflake, c'est les producteurs qui sont honneurs finalement de leurs données. Et ce que ça amène, c'est que derrière, il faut penser quand même à une gouvernance. Parce que lorsqu'on parle de qualité de la donnée, on parle de fiabilité. Donc comment on s'assure que la donnée qui est produite et à jour est fiable et complète ? On a ces enjeux-là. Toute la partie sécurisation se passe plutôt au niveau des data, du pôle data, où ils s'assurent effectivement selon plein de standards de travailler sur les données à caractère personnel, toutes ces normes d'anonymisation qui peuvent arriver ou de clés RGPD, etc. Parce qu'on est dans une monde où le volet réglementaire est très important. Il y a aussi, quand je parle des données d'usage, il y a certaines données, typiquement, on n'y pense pas souvent, mais lorsqu'on met des outils en place comme Amplitude sur les parcours, etc., c'est aussi la data qui le gère. Je pense aussi à toute la partie de sécurité. Quand on parle de sécurité, c'est la protection de la donnée, s'assurer via des outils de logique elle n'est pas falsifiée. Il y a aussi ça, on ne pense pas souvent, c'est qu'il y a accès, avoir le bon rôle. gérer les ACL qui vont bien pour être sûr que les personnes qui ont accès à la donnée sont les bonnes personnes, sont les personnes qui ont le droit d'accès à la donnée. Avoir cet audit log également pour être sûr que derrière, la donnée n'est pas altérée et falsifiée.

Thomas Meimoun | 16:09.575
Avant de revenir sur la partie de Data Contract aussi pour l'explication, est-ce que c'est votre rôle en tant que Digital Factory de s'en occuper ou là, c'est le côté Data ?

Ludi Akue | 16:17.195
Alors, la section Data est au sein de la Digital Factory.

Thomas Meimoun | 16:19.514
Ok, d'accord.

Ludi Akue | 16:21.388
Comme je le disais tout à l'heure, c'est vraiment une direction d'expertise tech, produit tech, data, infra, on a des ops, on a des secops aussi. En fait, c'est toutes les expertises qui sont là. Et donc, c'est la data conjointement avec la tech qui définit les contrats. Donc, c'est des questions qu'on se pose. Est-ce que c'est le producteur qui a owner du contrat ? Est-ce que c'est le consommateur qui est owner du contrat ? C'est des questions, on est en plein là-dedans. Aujourd'hui on est en train d'expérimenter entre deux, vu que la section data existe depuis très longtemps. Donc avec des outillages de bord, des espérances du legacy, voilà, c'est ça le terme, avec des data products qui existent déjà. Aujourd'hui, on veut accélérer cette partie-là. Donc ils sont en train d'expérimenter pour essayer de trouver le juste milieu. Mais l'urgence, en revanche, là aujourd'hui, c'est le travail sur la qualité de la donnée.

Pierre Vannier | 17:29.606
Justement, du coup, ça m'amène à une question. On parle beaucoup beaucoup de data, on va commencer à un petit peu parler d'IA. d'IA et de Gen AI aussi. Pour toi, il y a des éléments clés qui vont participer à créer un SOC Data Solide pour pouvoir démarrer des projets IA, Gen AI. Parce que c'est très lié, finalement, tout ça.

Ludi Akue | 17:55.926
Oui. Et je pense que, non seulement c'est très lié, je pense aujourd'hui qu'après la hype, tout le monde... est en train de se rendre compte que c'est moins le modèle, c'est moins l'algo, c'est la data qui est le nerf de la guerre. Et tout le monde est en train de revenir là-dessus et ça fait plaisir parce que il y a une sorte de hype à suivre les benchmarks des LLM chaque semaine, etc. C'est un domaine qui est en mutation et il faut continuer à suivre, mais le vrai investissement, c'est la data. Est-ce qu'on a les bonnes datas ? Est-ce que la data est fiable ? C'est la question, ce que Thomas vient de dire en fait.

Pierre Vannier | 18:36.358
Oui, bien sûr. Qu'est-ce qu'elle représente et à quoi elle correspond dans notre métier ? Et c'est quoi nos use cases ? Parce qu'on n'a pas ça. tu peux mettre n'importe quel algo même ChatGPT

Ludi Akue | 18:49.182
Absolument je peux en parler un petit peu il y a la data qui doit être clean de qualité il y a aussi une prise de recul par rapport à la data qui peut renfermer des biais. C'est-à-dire par rapport à ce qu'on a codé avant, parce qu'on est en train de parler de data qui ont été recueillies, des data historiques. Il y a, pour moi, un des pain points qu'on a, et c'est vrai que c'est plutôt DSI, c'est tous les fonds documentaires. donc généralement les banques et notamment BPI France tout ce que vous avez chez vous en documentaire vous avez une masse de règles de docs et de PDF énormes complètement des données hétérogènes exactement et c'est des données dématérialisées ou sérieuses il y en a beaucoup, des décisions et donc c'est comment exploiter ces fonds documentaires là notamment pour en parler de ce qui est mis en place aujourd'hui. Il y a tout un travail, moi j'ai jamais vu ça, au sens où il y a une très belle énergie, une task-force qui a été montée avec... Une directive qui est venue du top management qui dit on y va, mais on y va selon notre métier, c'est-à-dire on apprécie les use cases, l'usage de la technologie générative AI par les risques, risques, valeurs, avec tous les métiers, notamment la conformité, on est une banque, la conformité, le juridique, la sécurité, la tech, tout le monde, et les métiers bancaires, quand je parle de financement, de garantie, etc., qui sont autour de la table. On a une task force qui se voit chaque deux semaines et qui travaille sur des use cases. Ce que je trouve admirable dans la démarche, c'est que tout a commencé par une acculturation des métiers pour qu'ils identifient leurs use cases. A l'échelle, je pense qu'il y a eu entre 750 et 160 use cases qui ont été identifiées. Donc c'est les métiers qui ont identifié les points où le Gen AI peut les aider, l'IA de façon générale, mais la Gen AI en particulier. Et d'ailleurs, je tiens à souligner que BPI France n'a pas attendu la vague Gen AI pour faire de l'IA. Ça fait très longtemps, niveau compliance par exemple, qu'on fait de l'IA, le scoring, etc. On a une équipe au niveau de la BI, on a une équipe de data scientist. Donc cette IA du machine learning, on va dire, donc l'IA classique, était très courante chez les pays de France auparavant. Là, on parle de comment on accélère sur les IA au global, dont la Gen AI. Et donc ces métiers ont identifié des use cases. Il y a eu tout un pan, enfin quand je dis que je suis admirative, il y a eu tout un pan de formation, il y a des kiosques qu'il y a aujourd'hui. Il y a vraiment un pan de... D'acculturation, tax force, formation, mise en place d'outils comme Copilot, Microsoft Copilot, l'assistant pour utiliser la Gen AI, derrière c'est GPT qui tourne, GPT 3, maintenant c'est passé à 4, GPT 3, 5, maintenant c'est passé à 4 qui tournent, mais dans un univers qui correspond. dans un terrain de ce business. Il y a par exemple aussi des choses qui ont été mises en place par rapport à la conférence de comité, à la compliance, c'est notamment un outil qui s'appelle un proxy LLM qui filtre les messages qui passent. Donc il y a tout un mouvement qui est tiré par un responsable de l'accélération IA chez nous, qui est au digital, qui discute avec toutes les parties prenantes pour avancer.

Pierre Vannier | 22:54.318
Ok, comment il s'appelle ce monsieur ?

Ludi Akue | 22:57.461
Pierre Jarijon.

Pierre Vannier | 22:58.634
Pierre, si tu nous écoutes.

Ludi Akue | 23:00.092
Que tu as dû rencontrer, je crois, Pierre. Non, pas encore. Donc c'est Pierre qui tire tout ça. Et autour de Pierre, il y a une taxe forte de tous les métiers, des SI digitales. Quand je dis digital, c'est une façon de dire digital, digital factoring aussi. C'est tous les métiers, conformité juridique et des SI, pour avancer ensemble sur des use cases. Et notamment donc... Des use cases sur ces 150, 160, des use cases ont été priorisés par rapport à la valeur. Donc, la valeur risque et la valeur. On travaille sur des données synthétiques, parce que pour l'instant, on teste pas mal, et sur des cas d'efficacité opérationnelle. On n'est pas encore sur des cas customer facing, mais d'efficacité opérationnelle avec des gains. Quand tu as un millier, cent milliers de dossiers à traiter et que tu gagnes 10 minutes par dossier, c'est énorme comme gain d'efficacité opérationnelle. Et c'est des use cases de ce type qu'on traite. Et au niveau du digital aussi, on a des use cases là pour le coup, des use cases de... Nous ce qu'on mesure au digital, c'est qu'on mesure l'effort qu'on demande au client final. On suit les héritants autour de l'expérience digitale, donc c'est la meilleure expérience digitale bancaire, et l'effort qu'on demande aux collaborateurs qui vont être traités en dossier. Donc on a réfléchi à des use cases pour atténuer l'effort, notamment le pré-remplissage, qui est aujourd'hui un use case qu'on tire de très près d'ailleurs, notamment dans la mise en relation lorsqu'on doit remplir des formulaires, des parcours, des formulaires. D'ailleurs, il y a la question qui se pose sur l'avenir des formulaires qu'on a. Est-ce que demain, on aura encore des formulaires ? Donc, on tire ce genre de choses.

Thomas Meimoun | 24:51.827
C'est hyper intéressant puisqu'en fait on se rend compte que les sujets de Gen.ai sont souvent apportés par le business et non l'inverse. Donc ça c'est très prometteur. Après tout le sujet va être de ne pas les décevoir sur ce point là. Je voulais quand même faire une aparté puisqu'en fait à un moment tu parlais du shift entre l'importance du modèle vers l'importance de la data. Donc c'est un paradigme qui existait déjà depuis un petit moment, le fait de passer du modèle centrique au data centric. J'en profite pour poser la question à Arnaud... ...à poser au prochain invité qui est toi, lui dit aujourd'hui, qui, bien sûr, en fait, lui, il en parlait dans le rôle de la souveraineté. C'est pas déconnant, parce qu'aujourd'hui, on est auprès d'une banque et tout le sujet souveraineté, il est important, et conformité. Mais sa question était... Alors, je vais essayer de le reformuler avec notre question, mais comment on peut rester souverain si on n'a pas la filière hardware qui permet de soutenir l'effort de l'IA ? Parce qu'en fait, il n'y a pas que les modèles et la data. Il faut aussi que nos machines, au sens très large, puissent suivre ce qu'on est en train de produire.

Ludi Akue | 25:55.160
Je trouve la question super intéressante. Effectivement, la filière hardware, c'est toute la partie GPU. Aujourd'hui, on va quitter la pole position. La valorisation boursière de, je ne sais pas si je dis, tout le monde sait, un peu, de Nvidia. Mais en même temps, on voit que AMD commence à venir sur le terrain et surtout à avoir un écosystème plus ouvert. Et je pense qu'il va y avoir plusieurs offres demain. Mais la question reste que sur, est-ce qu'on est sur l'entraînement, le pré-entraînement en tout cas ? En fait... Pour moi l'inférence, ma conviction, c'est que pour toute la partie inférence, on va de plus en plus aller vers du CPU. Le CPU est disponible à gogo. On commence à voir, moi j'étais, j'avais, j'ai assisté à une, comment dire, une presse de Julien Simon de Hugging Face. qui a montré comment en deux lignes de code on pouvait basculer son modèle, toute la partie inférentielle sur du CPU. Et je pense que de plus en plus on va aller vers... C'est de façon travaillée parce que le CPU et le PU sont disponibles partout. C'est pour la partie référence. Mais toute la partie pré-entraînement, effectivement, on a besoin de GPU. Et il me semble, je n'ai pas tout en tête, mais que l'une des recommandations du rapport interministériel sur l'IA, qui est sorti récemment, il y avait tout un chapitre en recommandations sur accélérer sur la filière des semi-conducteurs, pouvoir développer... notamment des GPU français, européens. Donc, il va falloir passer par là. Donc, il y a deux choses. Comment on va créer des champions qui vont nous fournir des GPU sur la partie pré-entraînement, toute la partie couche modèle, quoi. Comment, et ça, ça va se faire naturellement, moi je le pense, c'est une conviction que j'ai, on va de plus en plus aller, et c'est une deuxième conviction, sur des petits modèles. On va sortir là, il y a eu la hype HLE, c'est moi qui ai le plus grand nombre de paramètres, etc. On se rend compte aujourd'hui que les petits modèles, que de toute manière il n'y aura pas un one size fit all. Ça c'était le rêve initial. On se rend compte qu'on va avoir plusieurs petits modèles qui vont être liés à des buskies. Et donc on va aller vers des petits modèles. On voit très bien, on voit le Mistral sur le benchmark, même si c'est un benchmark, je pense qu'il faut sortir cette logique de benchmark. On voit qu'il est aussi bon en fait, enfin il est aussi bon et que je pense que plus ça va aller, on va aller sur des modèles, je pense qu'il y a un teeny, un teeny modèle, je sais pas si c'est le vrai nom, il faudra vérifier, c'est un billion de paramètres. On va aller plus sur des petits modèles et de plus en plus on va pouvoir utiliser des CPU dans l'usage.

Pierre Vannier | 29:07.143
Je coupe et je monte mon téléphone portable parce qu'en fait l'idée, et je rebondis sur ce que tu dis, dans très peu de temps... Je pense que ça se compte vraiment en mois. On aura très probablement des modèles hébergés et qui tourneront sur nos smartphones. Apple travaille beaucoup dessus. Ils ont sorti un modèle qui s'appelle Realme il n'y a pas très longtemps, plus petit et qui a des performances qui sont au-delà de GPT-4. Donc c'est vraiment ça l'enjeu parce que derrière, tu régleras potentiellement la... La question de la data et privacy aussi, parce que si tout le monde a son propre modèle sur son smartphone, qui plus est avec des fenêtres de contexte qui vont être gigantesques, des possibilités, que ce soit avec du RAG ou autre chose, de venir avoir un assistant personnel qui sera complètement personnalisable finalement. Donc on se dirige vers ça, on n'est peut-être déjà plus dans... Et du coup, la question du rapport interministériel, elle est presque de se dire, est-ce qu'on n'est déjà plus encore dans l'ère d'un besoin en calcul massif ?

Ludi Akue | 30:21.137
Ou pas ? Oui, en fait, je suis d'accord. C'est là où, dans ma réponse, j'ai distingué deux réponses.

Pierre Vannier | 30:27.390
Oui, les inférences. Mais pour revenir, il y a l'entraînement des modèles, qui coûte à la fois très cher et qui demande une capacité de calcul phénoménale sur GPU. Et ensuite l'inférence, c'est pour rappel quand on ouvre son chat GPT qu'on lui pose une question. Là on fait de l'inférence.

Ludi Akue | 30:44.507
C'est ça. Et donc pour moi il y a deux usages. Et donc sur le deuxième usage, c'est-à-dire l'inférence, dans quelques mois on n'aura plus besoin de GPU. C'est une conviction très forte que j'ai. Tu parlais tout à l'heure, j'ai vu cette semaine, mais je pense que ça date déjà d'un peu, Bitnet, Microsoft, qui a sorti un petit modèle aussi, avec l'objectif de le faire tourner sur un téléphone. Je pense que de toute manière, on va aller vers des modèles de plus en plus maigres. et ça participe aussi ça fait aussi du bien à la planète de l'IA frugal aussi et ça c'est ma troisième conviction et c'est quelque chose qui est très important pour moi c'est de l'IA frugal on pourrait en parler plus

Pierre Vannier | 31:33.137
qui rejoint le numérique responsable, le green et les enjeux de développement durable et d'IA, que tu ne sois pas obligé d'installer trois centrales nucléaires à côté de chaque data center.

Ludi Akue | 31:44.494
Exactement. Et notamment, quand je parle d'utilière frugale, effectivement, aujourd'hui, on sait qu'au niveau de la Gen AI, si on en parle rapidement, le coût, c'est effectivement toute la partie pré-entraînement qui coûte très cher. Toute la partie hardware que tu utilises aussi. qui va coûter très cher. L'inférence coûte un peu moins. Ce n'est pas aussi cher que les trois premiers, c'est l'énergie, c'est le pré-entraînement, le hardware. Et en revanche, il y a l'inférence, je peux dire, un peu débile. C'est le côté comment le vrai travail va être, comment je fais pour le moins demander possible de moins faire appel à une requête et d'une certaine manière le RAG a déjà une optimisation mais c'est comment je fais moins appel au modèle comment j'optimise aussi comment à un moment donné je vois se monter des librairies de comptes la consommation etc pour avoir une approche d'IA plus frugale et je vais même loin est-ce que j'ai réellement besoin de Gen AI ici C'est chaque fois interroger la question, est-ce que j'ai réellement besoin de mettre en Gen AI ? Dans la hype, ce que tu vois aussi, c'est que tout le monde veut avoir de la Gen AI partout. C'est vrai que c'est une rupture, c'est pas tant une rupture technologique qu'une rupture d'usage, mais que tout le monde doit considérer la Gen AI dans sa stratégie parce qu'elle transforme radicalement la façon dont on travaille. Mais est-ce que je dois mettre la Gen AI partout ? Est-ce que par exemple j'ai un fonds documentaire templatisé qui ne bouge pas et un bon VOCR fonctionne très bien, est-ce que je dois changer pour la Gen AI ? Non. Je dois remplir des formulaires, est-ce que je n'ai pas des assistances visuelles déjà à ajouter à l'utilisateur, clarifier déjà le message, l'UX, pour que déjà l'utilisateur puisse mieux répondre aux questions. Est-ce que je ne peux pas faire de la pré-complétion de données qui ne sont pas liées avec la Gen AI, en tout cas réserver le cas de Gen AI au vrai cas qui nécessite la Gen AI, et ne pas oublier le... Ce qu'on appelle aujourd'hui l'IA discriminante, je ne sais pas pourquoi, mais ne pas oublier les bonnes IA qui font très bien des jobs.

Thomas Meimoun | 34:14.442
Je suis assez d'accord, je suis assez d'accord, parce que c'est un peu ce qu'on dit nous avec le temps, c'est la meilleure façon de faire du machine learning, c'est de ne pas en faire. Donc si on peut le limiter au maximum, c'est une très bonne façon de faire de la data science au sens très large. Et en fait, j'avais une question vis-à-vis de ça, parce qu'auparavant tu nous parlais de... d'identifier des use cases en Gen AI, que ça arrivait de votre côté, et comment vous faites, bon certes pour les identifier, s'ils viennent à vous c'est très bien, mais comment vous priorisez les use cases, parce qu'effectivement il y a cette notion de gain, risque, efficacité, mais est-ce qu'il y a aussi en plus les paramètres de coûts qui sont super difficiles à évaluer pour de la Gen AI au sens très large, qu'on utilise des API ou qu'on entraîne des modèles, son utilisation vertueuse, puisqu'en fait il y a des enjeux derrière, si on se sent un peu sensible, bah... Il y a une utilisation massive de l'énergie et la vitesse. En fait, l'inférence souvent est rapide, mais la vitesse à entraîner un modèle, quand on n'utilise pas l'API de ChatGPT par exemple, elle est monstrueuse.

Ludi Akue | 35:11.402
Oui, alors aujourd'hui, et ça c'est une super question, je pense qu'on n'y pense pas souvent, et tu as trop raison Thomas, aujourd'hui on est en mode expérimentation. Qui dit expérimentation ne veut pas dire mise en production, c'est-à-dire il y a des expérimentations qui tournent. Et sur ces expérimentations qui sont mises en preuve, mais qui sont quand même encadrées, c'est de l'expérimentation, on voit que les métiers qui fournissent les use cases voient déjà des gains. Et pour revenir sur ces expérimentations qui sont aujourd'hui portées par la DSI, d'ailleurs coucou aux équipes si elles nous écoutent, parce qu'ils font un travail de malade à poser les socles IA. Les inhiblers IA, c'est beaucoup du rag. On a un fonds documentaire qui s'y prête. Même si on a une hétérogénéité de documents, du coup, c'est s'arracher les cheveux sur la partie extraction, sur la partie chunking, etc. Mais bon,

Pierre Vannier | 36:04.070
on pourra en parler. On en revient à la data.

Ludi Akue | 36:05.878
On en revient à la data, exactement. Donc, c'est beaucoup de rags et c'est beaucoup des écosystèmes comme longchain qui sont utilisés. Je sais qu'il y a des réflexions ou même des actions sur du fine tuning, parce qu'aujourd'hui, le fine tuning coûte moins cher qu'il y a quelques mois. avec du LoRa ou du LoRa pour essayer de fonctionner sur un modèle déjà existant. En tout cas, l'idée ici n'est pas de développer ou de créer, de pré-entraîner son propre modèle. Quand je te réponds, c'est là où tu as le coût monstrueux, le coût à l'entrée qui est monstrueux. Aujourd'hui, on travaille plutôt sur, on a un tenant Azure OpenAI. On a également du Mistral. Et c'est plutôt, on travaille sur ces modèles, on préfère s'appuyer sur ces modèles-là. En tout cas, aujourd'hui, avec la connaissance qu'on a et avec les use cases, toujours par rapport à la valeur, on s'appuie sur ces modèles-là quand on rag, d'une certaine manière, quand on met dans une architecture, on rag. Donc, non, il n'y a pas, le coût d'implémentation aujourd'hui n'est pas... D'une certaine manière, c'est plutôt la complexité d'implémentation qui est dans les critères aussi, c'est la valeur en fait, l'effort et le risque. c'est valeur risque et en revanche effectivement il y a les expérimentations il y a un budget qui est alloué aux expérimentations et effectivement il y a ce contrôle budgétaire qui est aussi fait pour pouvoir évaluer les expérimentations le vrai challenge à mon sens et ça aussi je pense que ça montre la maturité de l'écosystème aujourd'hui par rapport à la hype qu'on a pu avoir Il y a deux ans, on se rend compte que c'est dans l'opérationnalisation que tout coûte cher. L'inférence coûte cher, on a de la latence. On n'y pense pas beaucoup mais on a de la latence, comment on va gérer la latence sur le plan en prod. Et aussi, ça c'est une discussion qu'on a avec notre head of product, c'est que nous par exemple, on n'y croit pas beaucoup, tout le monde pense chatbot. Nous on pense que avec le product trio chez nous, c'est design, produit, tech, nous on pense que c'est de nouveaux usages médiés par l'IA générative. C'est pas un chatbot qui va discuter, c'est quand je suis dans l'action, grâce à l'IA, comme avant ce qu'on faisait aussi. L'IA, l'IA générative, je trouve des informations, je vais plus vite, etc. Et je n'ai pas besoin de me mettre devant un chatbot. Le chatbot, c'est une autre conviction, c'est qu'on va de plus en plus aller vers de l'UX médié par la Gen AI que d'aller demander aux utilisateurs, allez vous mettre dans un chatbot.

Pierre Vannier | 39:07.036
Super intéressant, super intéressant. Il y aurait des milliards de questions. Je voulais juste dire aussi que j'ai lu une news hier, j'essaierai de la partager, Les coûts d'entraînement de modèles ont chuté depuis les 18 derniers mois avec un facteur de x1000. C'est-à-dire que là où il a fallu à OpenAI entre 100 et 300 millions pour entraîner GPT-4, Il faudrait aujourd'hui un peu moins de 200 000 euros pour entraîner un modèle pas loin, en tout cas minimum sur GPT-3. Donc en fait, la puissance de calcul fait qu'aujourd'hui, même potentiellement, l'entraînement de son propre modèle pourrait devenir quelque chose d'envisageable. Et ça c'est ça qui est aussi un peu hallucinant. Je vais revenir sur lui-même.

Ludi Akue | 40:00.316
Je vais réagir là-dessus parce que je pense que non seulement c'est un game changer, ça veut dire qu'on va avoir moins de concentration. dans les mains d'un seul acteur, etc. Donc ça, c'est super. Après, c'est un moment où il va falloir avoir une vraie vigilance. Parce que si demain, les gens sont capables d'entraîner leur modèle, Le risque serait, je pense, entraînement au lieu de penser. Alors qu'aujourd'hui, ce que l'IA de manière générale, mais la Gen AI nous amène à avoir comme réflexion, c'est comment j'optimise. Parce que l'impact sur la planète est réel. Comment j'optimise, comment je réutilise, comment je vais voir les modèles qui existent. On a besoin d'ailleurs, il y a un appel à projets qui est passé récemment, qui a été opéré par BPI France dans le cadre de France 2030. D'ailleurs, c'est toujours en cours, il faudra vérifier. C'est la mise en place de commandes numériques autour de l'IA. Donc, pouvoir disposer à un moment donné de modèles qui ont une certaine transparence sur les données d'entraînement. Le modèle en lui-même, les données, les entraînements, pour pouvoir permettre à des gens de construire un dessus, je pense que c'est plutôt une voie vertueuse par rapport à se dire, j'entraîne mon propre modèle. Il y aura toujours des use cases un peu défenses, un peu critiques, où il va falloir rentrer dans une logique où pour une raison X ou Y, il vaut mieux entraîner son propre modèle. Mais dans les usages à avoir, je pense que... Ce qui manque aujourd'hui selon moi, et c'est des choses qui m'intéressent, c'est comment on met en place un cadre. Comment on la fait pour le numérique responsable ? Comment on met en place un cadre, comme on est en train de mettre un cadre pour l'IAC, avec les risques, etc. Un cadre de conception et d'utilisation vertueuse de la générique.

Pierre Vannier | 42:04.872
Et ça, c'est un enjeu qui est... beaucoup plus complexe que le numérique responsable dans la mesure où la matière en elle-même, donc tout ce qui est AI, Gen AI et les formidables avancées que ça a, est extrêmement rapide et difficile pour le législateur et pour la société dans son ensemble finalement. Et toi et moi, et Thomas, on est tous d'accord pour dire que ça va très, voire trop vite. On n'a pas le temps en tant que société humaine et organisation sociale de créer quoi que ce soit comme cadre. Sur une matière qui avance à une vitesse d'un cheval au galop, c'est ça qui est complexe.

Ludi Akue | 42:43.015
Moi je pense que, certes c'est une complexité puisque c'est mouvant, mais dans le même temps il commence à y avoir des fondamentaux. Comme je dis au bout de... Une fois la hype passée, on commence à se dire finalement c'est la data qui fait tout.

Pierre Vannier | 42:55.571
Et pareil pour les questions, l'éthique ça reste l'éthique, la morale ça reste la morale, les risques ça reste des risques, la techno change très vite mais finalement les fondements derrière sont les mêmes.

Ludi Akue | 43:07.412
Donc je pense qu'il y a moyen de commencer à avoir des guidelines, pas de mettre en place quelque chose dans le cadre.

Pierre Vannier | 43:13.644
figé parce qu'on ne peut pas mais plutôt de guidelines de recommandations voilà c'est un peu ce que fait je remettrai nos auditeurs auditrices à écouter le podcast avec Arnaud où on a pas mal parlé de ça mais c'est un vrai sujet je vais un peu te poser une dernière question ce qu'on fait d'habitude c'est de demander à notre invité de poser une question pour l'invité d'après mais tu ne sais pas qui c'est. Donc voilà, c'est la surprise. Mais ça doit forcément tourner autour de tech, d'IA, de data, ce que tu veux. Soit une question qui t'a été un peu évoquée par nos échanges, soit quelque chose que tu avais dans ton crâne qui te gratouille.

Ludi Akue | 43:54.446
En fait, il y a la question, heureusement que Thomas, tu m'as averti, donc j'ai préparé une question. C'était une question, d'ailleurs, on en a discuté. C'est comment faudrait-il faire pour définir un cadre ? Un cadre d'usage d'une IA frugale.

Pierre Vannier | 44:25.462
c'est une colle c'est le prochain invité qui écoute ce podcast et je pense qu'il va nous dire non non je passe la question je passe super question en fait c'est je

Ludi Akue | 44:40.289
pense que c'est maintenant qu'il faut y penser c'est maintenant il y a des fondamentaux de toute manière aussi il y a un élément qui est très intéressant qui commence à émerger c'est que la mise en preuve d'une émergence d'une architecture basée sur la GDA coûte cher. Donc on va commencer à réfléchir à de l'optimisation. Le FinOps tire beaucoup de sujets. On va commencer à réfléchir à de l'optimisation. Et quand on va commencer à réfléchir à de l'optimisation, bien sûr c'est du FinOps, mais il faudra qu'on commence à réfléchir aussi sur l'empreinte de ce qu'on est en train de faire.

Pierre Vannier | 45:17.833
Parfait, c'est une super question et presque un podcast entier à faire et déjà je voulais te remercier je suis toujours très content d'échanger d'avoir un peu le temps d'échanger parce que tu cours beaucoup avec ton poste on peut bien l'imaginer j'aimerais dire à nos auditeurs et auditrices qui nous écoutent et qui sont de plus en plus nombreux à nous écouter ça nous fait vraiment plaisir à Thomas, à moi Merci à toi à Anne et à toutes les personnes qui font le montage derrière. Si vous trouvez que le podcast est cool, n'hésitez pas à laisser des petits avis, des petites étoiles, tout l'amour que vous voulez. Ce sera vraiment top. N'hésitez pas. On a de l'amour à revendre, on en donne. Merci beaucoup, Ludi. Merci beaucoup, Thomas, pour toutes ces questions, interventions, échanges. C'était très agréable.

Thomas Meimoun | 46:08.751
Merci à vous deux.

Ludi Akue | 46:09.492
Merci à vous deux.

Pierre Vannier | 46:10.430
Merci à tous. À bientôt. Salut, Ludi.

Ludi Akue | 46:12.790
À bientôt. Au revoir. Merci.