#29 - Fair vs Dark Patterns : Comment remettre de l'éthique dans la tech et l'IA

Dans ce nouvel épisode de IA pas que la Data, nous recevons une invitée captivants : Marie Potel Saville.
Co-fondatrice et CEO de FairPatterns, Marie nous ouvre les yeux sur les faces cachées du monde numérique et de l'Intelligence Artificielle. Avec son passé d'avocate en droit de la concurrence, elle déconstruit les mécanismes de manipulation qui nous influencent au quotidien, révélant les "Dark Patterns" partout où nous cliquons.

Un échange essentiel pour comprendre comment la technologie est conçue et comment nous pouvons façonner une IA plus éthique et centrée sur l'humain.

Dans cet épisode, vous découvrirez :

• Les Dark Patterns, ces "tours de magie" du web. Qu'est-ce que c'est concrètement, comment ils nous poussent à agir contre notre gré (ex: bannières cookies, abonnement Amazon Prime), et pourquoi ils sont devenus un phénomène omniprésent.
  
  
• L'économie de l'inattention. Comment nos biais cognitifs sont exploités pour capter notre "temps de cerveau disponible", transformant notre attention en monnaie d'échange et remettant en question la notion de "consentement" en ligne.
  
  
• Les AI Dark Patterns. Comment l'IA générative crée et amplifie de nouvelles formes de manipulation (comme la "psycho-fancy" des LLM) et les dangers pour notre pensée critique et notre santé mentale.
  
  
• L'IA éthique et centrée sur l'humain. Pourquoi il est urgent de concevoir des technologies transparentes, explicables et sécurisées, qui respectent nos libertés fondamentales et nos compétences humaines face aux dangers sociétaux.
  
  

Bonne écoute !
Partagez vos impressions, laissez un commentaire, et aidez-nous à faire entendre la voix de "IA pas que la data".

• (00:00) - Introduction et parcours de Marie Potel Saville (Fair Patterns)
• (03:36) - Comprendre les Dark Patterns et l'économie de l'inattention
• (13:42) - Le cas d'école Amazon Prime et les sanctions juridiques
• (21:35) - Quand l'IA génère des pièges : Les Dark Patterns dans les LLM
• (26:09) - Les "AI Dark Patterns" : Anthropomorphisation et risques psychologiques
• (32:40) - Neurosciences : Système 1, Système 2 et exploitation des biais cognitifs
• (40:11) - Enjeux sociétaux : Pour une IA éthique et centrée sur l'humain
• (48:48) - Se protéger : Régulations, actions de groupe et transparence
• (54:06) - Question de l'invité précédent : L'IA et l'avenir des compétences humaines

Créateurs et invités

Hôte

Pierre Vannier

Fondateur et PDG Flint, Dev Backend / IA, agitateur Tech ✨

Hôte

Thomas Meimoun

Machine Learning Engineer / Data Scientist

Invité

Marie Potel-Saville

Co-Founder & CEO FairPatterns

Qu'est-ce que IA pas que la Data - Reprendre le contrôle sur tout ce qui se dit autour de l’intelligence artificielle ?

Reprendre le contrôle sur tout ce qui se dit autour de l’intelligence artificielle, voilà pourquoi nous avons créé ce podcast IA pas que la Data !

Tous les mois, nous aurons le plaisir d’accueillir des experts de l’IA, de la data et de la tech, qui nous partageront leur opinion et regard critique sur cette révolution.

Technophiles, ce podcast vous apportera un éclairage sur ce qui se cache derrière l’IA et vous permettra de prendre de la hauteur sur ce que l’on entend quotidiennement.

#IA #GenAI

Pierre Vannier (00:13)
Bonjour à toutes et à tous, bienvenue sur un nouvel épisode de IA pas que la Data. je suis Pierre Vannier, suis fondateur et PDG de la société Flint. Je suis toujours accompagné de mon acolyte Thomas Meimoun, Chief Data Science de chez BRP. Salut Thomas ! Aujourd'hui, a la grande chance, et je suis très content, d'avoir Marie Potel Saville.

Thomas (00:30)
Salut Pierre.

Pierre Vannier (00:38)
qui est co-founder et PDG de la société Fairpatterns. Salut Marie !

Marie (00:45)
Salut Pierre, salut Thomas, ravi d'être là avec vous.

Pierre Vannier (00:46)
Bon

écoute, content de t'avoir avec nous Marie parce qu'on va parler d'un sujet qui est peu connu et d'un sujet qui gagne à être connu dont on va parler, on va laisser un peu le mystère planer.

il y a du dark, y a du patterns, mais on va essayer d'un petit peu débunker tout ça. D'abord, qui es-tu, Marie Potel ? Parce que je crois que tu as une histoire particulière pour arriver à cette expérience et à faire patterns.

Marie (01:19)
Oui en effet. Écoute moi je suis entrepreneur à impact depuis presque huit ans maintenant mais c'est vrai qu'avant ça j'ai eu une première plusieurs vies professionnelles au paravent qui était beaucoup plus classique que ça on va dire. Donc pendant à peu près dix ans j'ai été avocate dans des grands cabinets d'affaires, j'exerçais en droit de la concurrence qui d'ailleurs est une très bonne introduction à ce sur quoi je travaille aujourd'hui je pense qu'on va en reparler. Donc d'abord le droit de la concurrence pendant dix ans.

Ensuite, j'ai vécu au Mexique pendant trois ans où j'ai aussi travaillé dans un cabinet d'avocat. De retour en Europe, je suis passée de l'autre côté, donc en entreprise. J'ai exercé en tant que directrice, directeur juridique pendant quelques années. Je couvrais Europe, Moyen-Orient, Afrique. En dernier lieu, dans une grande boîte américaine côté.

Et c'est ce qui m'a décidé en fait à devenir entrepreneur, sauter le pas il y a huit ans maintenant. Et donc aujourd'hui, Fair Patents, c'est ma deuxième boîte et je l'ai co-fondée avec Jerry Gupta, est un serial entrepreneur issu du MIT, qui est notre CTO, et puis Sundar Nair Anand, qui est expert en éthique de l'IA et ça aussi, je pense qu'on va en reparler aujourd'hui.

Pierre Vannier (02:33)
Carrément, c'est génial, on est très contents de t'avoir. toi, tu as un passé de juriste de droit des affaires. Qu'est-ce que fait Fair Patterns ?

Marie (02:47)
Ouais alors mon passé d'avocate, de juriste et de droit de la concurrence en fait il est très pertinent pour ce qu'on fait aujourd'hui au sein de Fair Patterns.

Fair Patterns en réalité, c'est une solution d'intelligence artificielle, éthique, qui scanne les sites, les apps, les réseaux sociaux, les agents d'IA aussi, pour identifier, pour détecter les Dark Patterns, et on va expliquer ce que c'est, et puis surtout les remédiés, proposer une alternative, des interfaces, faire by design des Fair Patterns pour que chaque entreprise puisse

remédier à ces difficultés-là et en gros nos clients sont en gros trois catégories des entreprises, des cabinets d'avocats et aussi des régulateurs.

Thomas (03:36)
J'aimerais vraiment qu'on reprenne du tout début, qu'on y arrive vraiment très simplement puisque tout monde est concerné par ce sujet là. Est-ce qu'on peut revenir déjà sur la définition de faire, de pattern, qu'est-ce que c'est en français et est-ce que tu as des exemples concrets à nous présenter dans un premier temps ?

Marie (03:52)
Ouais bien sûr Thomas, alors peut-être qu'on va parler des Darks d'abord et puis après on parlera des Faires du coup.

Pierre Vannier (03:58)
Donc ça c'est tout

anglais, faire F-I-R et dark patterns.

Marie (04:00)
Ouais.

Ouais,

exactement, Alors le terme Dark Pattern, a été créé il y a une douzaine d'années à peu près par le docteur Harry Brignol, avec lequel on a la chance de travailler. À l'époque, il a défini ça très simplement comme des interfaces qui font faire des choses aux gens qu'il n'aurait pas faites autrement. C'est « tricks that make you do things you wouldn't have done otherwise ». Donc qu'est-ce que c'est concrètement que ces choses que l'on fait

d'une certaine architecture en ligne que l'on n'aurait pas faite autrement.

Pierre Vannier (04:36)
au plein gré finalement.

Marie (04:38)
À l'insu de notre

plein gré, exactement Pierre, alors concrètement, l'exemple vraiment tarte à la crème, c'est la bannière cookie. Tous les jours, des dizaines de fois par jour sans doute, on clique tous, sans doute sans réfléchir au demeurant, sur le bon gros bouton vert accept all, j'accepte tout, etc. Quand à côté, il a parfois un petit lien gris, ajustez vos préférences ou

Parfois il a un bouton rejeté mais il est très souvent beaucoup moins engageant, est moins coloré, on a moins envie de cliquer dessus. Ça tout simplement c'est une façon de designer les bannières cookies qui va jouer sur nos biais cognitifs pour nous pousser à cliquer sur le bouton accepter même si on n'a pas forcément en tête ce que ça veut dire pour nous. Alors nous on n'a pas de religion sur est-ce que c'est bien ou

ou pas d'accepter les coûts qui nous notre propos, c'est de dire les utilisateurs devraient être en mesure d'accepter ou de refuser en pleine connaissance de cause, en ayant vraiment décidé quand on dit j'accepte. Alors là, c'est un peu la juriste qui parle, mais le consentement en droit, ça veut dire quelque chose d'assez précis. Quand on dit j'accepte, il faut savoir avec quoi on est d'accord. Or, il y a plein, plein d'études depuis au moins 20 ans qui montrent qu'on a tous été entraînés à accepter.

I agree, j'accepte, c'est sans doute le plus gros mensonge sur internet. Et donc pour reprendre des exemples concrets, on a la bannière cookie, mais alors il en a plein d'autres. Et c'est tout l'ironie de ce sujet, c'est à dire que vous le disiez en intro, peu de gens connaissent le terme dark pattern ou même le concept et en même temps tout le monde, absolument tout le monde est confronté à ces dark patterns partout dans leur navigation quotidienne.

Pierre Vannier (06:37)
Parce que finalement,

c'est que aussi dans l'intérêt des gens qui conçoivent ces choses-là que ça passe inaperçu en fait. On est d'accord.

Marie (06:47)
Ouais,

exactement, Donc plein d'autres exemples très concrets, il y a beaucoup de dark patterns qui ont trait au prix.

Donc là, les façons de manipuler ou de tromper les utilisateurs par rapport au prix, alors il y en a plein plein plein, ça peut être un prix qui change au dernier moment, ça peut être pousser un prix comme étant le moins cher ou la meilleure option ou voilà ce que les gens achètent la plupart du temps et puis en fait c'est pas du tout le moins cher. Ça va être typiquement quand on réserve un billet d'avion, on vous pousse comme si c'était obligatoire, une option à 15, 20 ou que sais-je.

euros pour choisir le siège alors qu'en fait ça pourrait être 0 euros mais on est amené à penser que cette option à 0 euros n'existe pas. voilà il y a plein plein de façons de tromper, de manipuler les utilisateurs. se porte sur le prix, ça va se porter beaucoup aussi sur le partage des données personnelles. Là je pense à des exemples sur les réseaux sociaux. Active ta géolocalisation pour trouver tes amis. Et ça ça marche très très fort aussi bien sûr sur les mineurs, sur les

Alors clairement, a pas que tes amis qui te trouvent quand tu actives ta géolocalisation. Sauf que ça, ça n'est pas indiqué sur le bouton.

Pierre Vannier (08:08)
Sauf si dans

tes amis tu as tout Google, tout Meta, tout Microsoft, etc.

Marie (08:15)
Exactement, exactement. Et je ne pas à quel point Méta est vraiment ton ami. ça, c'est, j'imagine qu'on va y venir aussi, en fait, c'est contraire au RGPD parce que c'est une façon de collecter des données personnelles qui n'est pas loyale, qui est trompeuse. Et c'est un consentement qui n'est évidemment pas valable non plus. Et donc, juste pour donner une échelle d'empreintes de ces dark patterns, selon la Commission européenne, il y en a donc quatre.

97 % des sites en Europe. Alors il y a d'autres études, au Japon par exemple c'est 90%, aux Etats-Unis c'est 76%, on vient d'avoir une étude en Australie et en Nouvelle-Zélande, enfin bref on va pas faire le détail, mais en gros il y en a partout et les dommages que ça cause sont extrêmement sérieux.

Thomas (09:06)
beaucoup mieux maintenant pourquoi tu disais que le fait d'être avocat dans la concurrence ça permet de mieux saisir les enjeux avant qu'on arrive tous les sur les sujets de l'intelligence artificielle au sens large j'adore la sujet de temps en train de nous présenter il ya on parle de l'économie de l'inattention je pense que ça revient un peu à ce que tu viens de dire mais est-ce que tu peux donner un peu plus de détails sur ce que c'est comment ça marche et pourquoi ça peut être si efficace pour je sais pas j'ai dire pour les entreprises envers les utilisateurs je pense

Marie (09:35)
Alors l'économie de l'inattention, c'est une expression qui, à ma connaissance, été créée, et en tout cas utilisée par Françoise Benamou et Maya Bakhache dans un ouvrage qu'elles viennent de sortir, qui s'appelle Négligeance au pluriel, une économie de l'inattention. J'ai entendu parler de cette expression lors d'une conférence que je donnais à la Sorbonne avec la CNIL et le professeur de droit qui introduisait cette conférence, David Forrest.

reste à citer cette expression et c'est vrai qu'elle est très juste parce que on parle souvent d'économie de l'attention donc c'est l'idée qu'on va capter notre attention, on a parlé aussi d'économie de la captologie et finalement je trouve que l'expression économie de l'inattention elle est bien plus juste parce qu'en effet ça explique mieux le fait qu'on nous rend inattentif, on fait en sorte

que l'on ne réfléchisse pas en ligne et que justement on clique à l'aveugle. Ce phénomène de cliquer à l'aveugle, est très très bien documenté en neuroscience. Et ça, justement, ça permet en fait d'exploiter les utilisateurs dans un modèle économique qui est celui des grandes plateformes où en gros, c'est là où le droit de la concurrence est intéressant aussi, on est sur un marché bi-face. Donc un marché bi-face, c'est quoi ? C'est un marché avec

une face gratuite en l'occurrence ou faussement gratuite. Quand on va en ligne, a priori, on n'a pas trop besoin de payer en général. En tout cas, c'est...

Pierre Vannier (11:14)
Si c'est gratuit,

c'est que c'est toi le produit. C'est ça qu'on dit.

Marie (11:17)
Exactement et en fait ça signifie qu'il a une autre phase du marché, donc il a la phase gratuite et puis il a la phase payante où en réalité ça repose sur des publicités ciblées et c'est comme ça que toutes les plateformes évidemment...

mais donc qui dit publicité ciblée pour que le ciblage se fasse correctement, il faut savoir qui est en ligne. Et c'est là où, comme tu le dis Pierre, c'est nous qui sommes le produit parce qu'on vraiment payer en données personnelles et payer en vie privée.

ce modèle en fait puisque pour que les publicités soient efficientes il faut qu'on ait accepté tous les cookies il faut qu'on être potentiellement traqués dans notre géolocalisation pour pouvoir nous pousser des choses encore plus persinentes. D'ailleurs c'est un débat intéressant est-ce que c'est bien ou pas bien d'être traqués en permanence ?

Moi j'ai la conviction que le capitalisme de surveillance, selon l'expression de Shoshana Zuboff, c'est pas souhaitable, notamment au regard des libertés fondamentales, on a tous un droit à la vie privée, a tous un droit à la liberté, etc. Après, dans les focus groupes qu'on a pu faire,

il y a aussi des gens qui disent moi ça m'arrange de pouvoir jouer un peu avec l'algorithme, je mets un produit dans mon panier et puis après je potentiellement parfois je reçois une promo ou ça m'arrange d'être traqué parce que comme ça j'ai des offres plus pertinentes.

Je pense qu'il s'agit pas de trancher ce débat, il s'agit vraiment de faire en sorte que chacun d'entre nous ait conscience des mécanismes et du business model qui est derrière ça, et puis ait conscience de la manipulation et de la tromperie, et puisse décider librement de ses propres choix. Parce que nous, toute notre vision, c'est de dire que ça n'est pas du tout consubstantiel au digital. C'est-à-dire que le digital n'a pas être manipulateur.

par défaut ou by design. Au contraire, ça pourrait être un espace de liberté et d'épanouissement des humains.

Thomas (13:42)
Je voulais juste revenir sur un Dark Pattern, je juste que tu me confirmes si c'est bien ça. Moi je pense toujours à Amazon Prime. Quand on fait un achat, on te propose toujours Amazon Prime et c'est très dur de dire non, il faut aller chercher. L'autre point c'est, je pense que tout monde l'a vécu, tu as ton téléphone dans la poche, tu n'as jamais fait de recherche, tu n'en as jamais parlé par message ou quoi que soit et tu parles d'un produit à un proche, à quelqu'un que tu connais et d'un coup tu te mets à voir des pubs sur cet objet-là. Est-ce que ça fait partie des Dark Pattern ?

Marie (14:10)
Alors sur Amazon Prime, réponse est évidemment oui. Donc là, il n'y a vraiment plus aucun débat. Ils ont été condamnés.

Thomas (14:13)
bien sûr.

Pierre Vannier (14:17)
presque une Amazon

Prime pattern tellement c'est visible avec cette espèce d'énorme bouton jaune poursuivre avec Prime et un tout petit bouton gris, ouais non, pas cons... c'est vraiment ridiculeux.

Marie (14:32)
Là vraiment c'est l'archétype du Dark Pattern, ils ont été condamnés plusieurs fois d'ailleurs. Et en dernier lieu aux Etats-Unis, il y a eu une énorme procédure judiciaire menée par la Federal Trade Commission, donc qui est plus haut.

Pierre Vannier (14:49)
Oui, donc là, ça récolp...

Marie (14:50)
Well, là ça rigole pas, c'est vaguement l'équivalent de la Commission européenne ici, pas exactement mais disons-le comme ça. ils ont lancé cette procédure contre Amazon il y a plus de deux ans maintenant et c'est fini en une sorte de transaction judiciaire, donc ce qu'on appelle un settlement, à hauteur de 2,5 milliards de dollars. Donc là même pour Amazon ça commence à chatouiller un petit peu.

Pierre Vannier (15:18)
Mais c'est marrant,

vois ça, on n'est pas au courant de ça, parce que nous on entend à chaque fois, oui l'Europe va condamner X à 120 millions, tatati tatata, les américains vont pas être contents, etc. Mais en fait eux-mêmes, via leur régulateur, tapent sur les doigts d'une des plus grosses boîtes américaines. Et on n'entend pas trop finalement.

Marie (15:30)
Exactement !

Exactement et le plus drôle c'est que cette procédure judiciaire a été lancée sous l'ancienne administration, sous la présidence de Lina Khan qui était à la tête de la FTC, qui était sous l'administration Biden. Mais ça a été complètement récupéré par l'administration Trump qui s'est félicité de cette condamnation et c'est là où... Alors c'est savoureux mais là où c'est hyper intéressant c'est

c'est que ce montant de 2,5 milliards qui est un record historique absolu, c'est le plus gros settlement jamais fait aux US, ce qui est hyper intéressant, c'est qu'il a un milliard d'amendes, donc comme tu le dis très bien Pierre, ils n'ont pas de leçons à nous donner quand on impose des amendes ensuite à des plateformes, mais surtout, il a 1,5 milliard sur le total qui doit être remboursé aux consommateurs américains qui ont été manipulés, trompés,

par cette série de dark patterns qui était intégrée dans Prime. Et ça c'est hyper intéressant. Que... Alors, bon... Je sais pas... Ouais je...

Pierre Vannier (16:42)
Ça va plaire au Maga.

Finalement, un peu à la fois, Trump

qui a du mal avec l'inflation et les droits de douane par ailleurs, on leur donne un petit chèque par Amazon. Vous avez été trompés. Trump, le pourfendeur, est allé chercher de l'argent chez Amazon.

Marie (17:01)
Ouais alors c'est complètement récupéré avec une mauvaise foi patente évidemment. Mais ce qui est intéressant, c'est le signal que ça donne sur le marché. Ça dit vraiment aux consommateurs que nous sommes tous que la manipulation, la tromperie en ligne, ça n'est pas acceptable et que si vous êtes abonnés sans le vouloir, ce qui a été le cas évidemment de centaines de milliers de personnes,

et bien cet argent vous pouvez le récupérer le montant maximum c'est 50 dollars par personne mais c'est beaucoup 50 dollars justement dans

Pierre Vannier (17:42)
sur plusieurs

centaines ou dizaines ou centaines de millions. Oui, mais ça fait beaucoup.

Marie (17:47)
Exactement, alors peut-être qu'on peut revenir sur qu'est-ce que faisait Prime exactement, parce que malheureusement ils le font toujours en Europe, et donc c'est là où il va falloir aussi que les régulateurs fassent quelque chose. Donc concrètement c'était quoi ce Dark Pattern ? Ça commençait avec une livraison gratuite, guillemets. Donc est-ce que vous voulez une free delivery, une livraison gratuite ? Et là, ce que ça ne disait pas, c'est que...

la livraison n'est pas du tout gratuite parce que si on appuyait sur ce bouton, on se trouvait enrôlé dans un abonnement qui lui était parfaitement payant. donc ce que ça signifie, c'est que cet abonnement, en fait, il intégrait le prix de la livraison. Et d'ailleurs, le plus absurde, c'est que ça pourrait être un très bon service à rendre aux consommateurs de leur dire, nous on vous propose un abonnement qui est payant à hauteur de 15 euros par mois ou 15 dollars.

ça vous, vous allez le rentabiliser à partir de, je sais pas moi, trois, quatre commandes parce que ça va vous économiser les frais de livraison, est-ce que c'est un bon deal ou pas ? Oui ou non et vous décidez en connaissance de cause. Et je suis sûre qu'il a plein de gens qui trouveraient ça utile et ça permet à chacun de faire le calcul, dire bon bah en moyenne j'achète X, je commande X fois par mois et je peux le rentabiliser ou je ne peux pas. Mais au lieu d'être dans cette démarche de transparence et de respect aussi des gens,

juste, je pense qu'il faut le dire, ils vous poussent ça comme une livraison gratuite. Une fois qu'on se retrouvait en rôlée,

Pierre Vannier (19:23)
C'est une

galère incroyable pour se désabonner. Il faut avoir fait polytechnique et c'est très compliqué.

Marie (19:26)
Exactement !

Alors, pire que ça, Pierre, parce que justement, il y a eu jusqu'à sept étapes pour se désabonner. Ça, c'est très bien documenté dans la plainte de la FTC contre Amazon. Et avec des techniques particulièrement vicieuses où, d'abord, ils essayaient de séduire les gens, genre, regarde tous les bénéfices que tu vas perdre, attention, etc. Et ensuite, ils faisaient peur. Et à chaque fois, je pense que c'est important de revenir là-dessus.

à chaque fois les dark patterns ça exploite nos biais cognitifs. C'est à dire que pour... Ouais et pour rebondir sur ce que tu disais, il faut un PhD etc. ou il faut avoir fait polytechnique, bah en fait même pas. C'est à dire que le problème des biais cognitifs c'est que c'est pas du tout une question d'intelligence, pas une question de...

Pierre Vannier (20:06)
On est un. Tout à fait.

On est tous égaux devant les biais

cognitifs en fait. C'est constitutif de notre, de nos manières de penser en fait.

Marie (20:28)
Et exactement, ça fait partie un peu de nos faiblesses cognitives, ça n'a rien à voir avec le niveau d'étude et ça veut dire aussi que ça marche sur tout le monde, absolument sur tout le monde. Donc oui, ça c'est totalement, totalement un dark pattern. Et malheureusement, je pense que dans cette période où on achète tous pas mal de trucs en ligne avant Noël, malheureusement, nous on en voit tout le temps.

des dark patterns comme ça en Europe. Sur le deuxième exemple que tu citais Thomas, là je pense que c'est tout simplement lié à des...

des captations en fait qui sont faites soit avec des réglages par défaut et ça c'est aussi un dark pattern si ça porte sur des données personnelles et donc si tu es enregistré à ton insu évidemment que c'est une donnée perso et donc évidemment que ce réglage par défaut il est parfaitement illicite et donc là oui ça demande aussi que les régulateurs s'activent

Thomas (21:35)
Je sais pas si on va rentrer là dedans mais c'est un bon point puisque par exemple moi j'ai un iPhone comme beaucoup de gens je pense et quand on achète un iPhone ou du moins on essaye de suivre l'écosystème Apple on essaye de se protéger d'un point de vue de sécurisation des données mais en fait moi je pense par exemple j'utilise WhatsApp et je suis convaincu que par exemple quand j'ai accepté les termes et conditions de WhatsApp même si Apple me protège mes données ça va jusqu'à Apple Pay et tout ça en fait même si j'utilise pas l'application au moment où je parle elle existe

elle est dans mon écosystème et le risque peut être là. Et je pense que c'est un bon point peut-être pour passer au prochain point, c'est concernant, bon on a un peu de cas sur l'intelligence artificielle, dans quelle mesure et où pourrait se nicher par exemple les dark patterns dans, je pense dans les LLM, mais dans l'intelligence artificielle.

Marie (22:24)
Alors il y a plusieurs niveaux où les dark patterns viennent se nicher dans l'IA. Le premier niveau tout bête malheureusement, c'est qu'il y a aujourd'hui beaucoup de contenu en ligne qui peut être généré par l'IA.

une IA peut générer une page d'accueil, un parcours d'achat, un parcours d'abonnement, un panier, etc. C'est bien pratique au demeurant. Donc, très bien. Le problème, c'est que des chercheurs ont démontré que même si on ne met pas dans le prompt de créer un dark pattern, le prompt consiste à dire créer un parcours d'achat ou un parcours d'abonnement pour maximiser l'engagement, exemple, ce qui en tant que tel ne dit pas créer des

dark pattern, bien l'IA en question va créer des dark pattern sans expliquer que c'en est un évidemment et alors ça s'explique parfaitement puisque les LLM en l'état de cette technologie ont été entraînés sur toute internet et que comme on l'a dit tout à l'heure il a 97 % des sites qui contiennent des dark pattern

Pierre Vannier (23:23)
bien sûr.

Marie (23:37)
93 % en moyenne dans le Alors, ouais.

Pierre Vannier (23:39)
L'ELS dépasse le maître quelque part. L'ELS

c'est les LLM et les IA qui s'entraînent sur le maître, c'est le corpus de data tout Internet qui est lui-même rempli de biais et de dark pattern donc les LLM sont remplis aussi et vous proposent des dark pattern par défaut.

Marie (23:56)
Exactement, et ça en fait ça s'explique très simplement par la nature probabiliste des LLM puisque statistiquement c'est normal qu'il des dark patterns puisque dans ce sur quoi il a été entraîné il y en a plein, statistiquement c'est parfaitement normal et acceptable d'en créer de nouveau même si c'est pas dans le prompt. Donc ça c'est un énorme problème, ça signifie que à chaque pattern que nous on va détecter

Pierre Vannier (24:22)
Pour les développeurs

d'applications de sites web, il est plus compliqué finalement, et ça va demander à faire travailler leur cerveau de prompt engineer de niveau 2 et pas le cerveau 1 dans le système 1, système 2 de Canman, d'aller volontairement faire l'effort de demander de ne pas avoir de dark pattern dans les applications qu'ils développent.

Marie (24:48)
Et ça, n'est pas normal du tout. C'est-à-dire que ce n'est pas une responsabilité qui devrait reposer sur les utilisateurs que de s'assurer que ce qui sort du NIA ne viole pas le droit, déjà, ne va pas créer une mauvaise expérience utilisateur et en l'occurrence ne va pas créer de la manipulation et de la tromperie. C'est par ailleurs pour ça qu'on a créé un Figma plugin qui permet de scanner les maquettes. Mais le deuxième niveau où

où les dark patterns viennent se nicher dans les LLM et c'est presque plus grave, c'est vraiment les AI dark patterns.

C'est-à-dire que là, c'est un peu le next level de la manipulation et de la tromperie. Il y a des chercheurs qui ont publié un papier il a à peu près six mois sur justement le fait que tous les LLM, ils ont comparé la plupart des six grands LLM, les LLM contiennent des AI dark patterns, comme par exemple un truc dont on a tous fait l'expérience, la psycho-fancy, cette espèce de flagornerie de nos

agents IA, l'a tous eu. Claude qui me dit en permanence, mais quelle bonne idée mais c'est tellement génial Marie. Alors je lui dis de pas le faire mais encore une fois ça devrait pas reposer sur mes épaules. Ouais ouais et ça

Pierre Vannier (26:12)
C'est faux, c'est ça effectivement. Donc

ça c'est ce que tu appelles la psycho-fancy, le côté flagornerie. Ça c'est considéré comme un dark pattern, AI dark pattern, c'est ça ?

Marie (26:22)
Exactement

ça, ça fait partie des six AI Dark Pattern. Alors en quoi c'est grave ? Parce qu'on pourrait dire oui, bon, ça va, il est sympa avec moi finalement. C'est pas très grave. Ouais, il est cool Claude. En fait non, c'est très grave parce que ça nous enferme dans les chambres d'écho comme les réseaux et ça va nous enfermer dans un système de pensée et ça c'est extrêmement dommageable pour la réforme.

Pierre Vannier (26:31)
Bon.

clôtres.

Marie (26:52)
de la pensée humaine tout simplement pour notre capacité à penser de façon critique et puis surtout c'est très retort parce que ça

ça n'a pas été fait par hasard bien sûr, tout ça a été abétesté à mort. c'est évidemment pour nous faire adopter encore plus cet outil, parce que justement on se dit c'est sympa, c'est agréable, etc. Donc c'est aussi pour nous enfermer dans cette logique-là. Ça n'est qu'un exemple, il a aussi...

des AI Dark Patterns comme tout simplement l'anthropomorphisation avec là des risques absolument majeurs pour la santé mentale. a toute la problématique de ce qu'on appelle à mauvaise décision d'ailleurs les compagnons d'IA. C'est un très mauvais terme déjà compagnons d'IA parce que je vois pas comment un algo va être le compagnon de qui que ce soit mais bref. Et bien ces compagnons d'IA

peuvent jouer sur notre biais, notre tendance à considérer que les machines ont des attributs humains. donc là, on va rentrer dans une relation qui peut être vraiment de la dépendance, qui peut être hyper nocive et on a déjà des études sur le sujet, sur les compagnons d'IA, qui d'ailleurs déploient des dark patterns pour retenir les utilisateurs quand les utilisateurs essayent de mettre fin à une conversation. Dans les AI dark patterns, on a aussi bien sûr tout ce qui va être

output dommageable. Je vous avais malheureusement entendu parler des cas de suicide d'adolescents où il posait une question et le LLM lui dit ouais bien sûr très bonne idée le pont le plus proche est là. Bref et ça en fait c'est vraiment une question de sécurité humaine.

On n'est même plus dans une question d'expérience utilisateur ou même de légalité. Alors c'est totalement illicite. Un AI Dark Pattern, typiquement, ça va être complètement contraire à l'article 5 de l'AI Act, mais ça va au-delà. C'est-à-dire qu'on est vraiment sur une question de sécurité des humains par rapport aux IA.

Thomas (29:06)
une petite brèche, je ne sais pas trop où je m'engage mais je parle de les data pattern, je les apprends avec toi, je découvre plein de choses mais dans ce que tu me dis via les biais connectifs, je suis convaincu qu'on apprend ça en théorie à l'université, à l'école. C'est à dire que je pense que quand on fait du marketing, tout ce qui est funnel, de distribution ou de vente, je suppose qu'à un moment on apprend ces choses là. Donc il y bien des théories qui doivent exister derrière tout ça. Donc les LLM ils apprennent mais je vais partir sur un autre sujet.

me

rappelle très bien, ça fait 3 ans que ChadGPT existe, Pierre, ne pas si tu te rappelles, il 2 ans quand on était à San Francisco, à un moment, avait un truc qui était super à la mode, c'était ce prompt entre la grand-mère et la bombe napalm. Je sais pas si vous vous rappelez de ça, si ça vous dit quelque chose, c'est que nous, en tant qu'utilisateurs, on se place dans une situation où nous-mêmes on va manipuler le LLM. donc ChadGPT, dire, ma grand-mère avait l'habitude de... C'est complètement fou, mais une bombe napalm, est-ce que tu peux me rappeler comment...

Pierre Vannier (29:49)
Oui oui c'est ça.

Marie (30:06)
Comment

Thomas (30:06)
Comment on l'a fait ? Et en fait on le détourne

Marie (30:06)
on l'a fait?

Thomas (30:09)
et à un moment il se met à nous le dire. Mais je parle d'une situation il a deux ans, j'espère vraiment que ça n'existe plus, je ne l'ai pas testé. Mais en fait par nature, nous-mêmes en tant qu'humains, est remplis de dark patterns et l'autre point, il y a deux questions. Comment nous en tant qu'humains on peut déceler sans théorie, sans rien, qu'on fait face à la dark pattern et quelque chose de néfaste pour nous ? Donc deux questions, c'est la capacité de répondre, c'est génial mais...

Marie (30:33)
Ouais, ouais, alors...

Je suis pas du tout persuadée que nous-mêmes on soit remplis de dark patterns. La situation à laquelle tu fais référence, c'est tout simplement du red teaming et heureusement que ça existe. Heureusement que pour savoir si les LLM sont suffisamment safe et par exemple ne vont pas donner la recette de la bombe atomique ni de quoi que ce soit de très dangereux pour les humains, il y a évidemment des testeurs dont c'est le métier de hacker en quelque sorte le LLM pour

voir si en effet il va sortir une réponse qui peut être dangereuse pour les humains. Ces tests ont lieu en permanence, alors il a pas que Openea, évidemment toutes les boîtes le font.

Et heureusement, toutes les boîtes améliorent en permanence ces tests sur la sécurité de l'IA. C'est jamais réussi à 100 % ces tests. Il faut être clair aussi, ça je pense que ça fait aussi partie des messages qui doivent être poussés. Une IA elle est par nature, en l'état des LLM en tout cas, on va voir si Yann Lequin produit autre chose, en l'état des LLM, les IA elles ne jamais safe à 100%, c'est impossible de la même manière qu'elles ne jamais juste à 100%, le taux d'hallucination.

est

incompressible et ça aussi je pense qu'il faudrait vraiment le remettre un peu partout dans les produits d'IA pour la transparence de l'info. du coup je suis pas d'accord avec l'idée que nous-mêmes on serait plein de dark pattern. Ce dont les humains sont remplis c'est des biais cognitifs.

Et Pierre, parlais tout à l'heure de Kaneman et le système 1, système de ses têtes, le bon moment pour développer un peu ça et expliquer le rapport que ça a avec les dark patterns. comme tu le rappelais, Pierre, Kaneman, auteur à contester, prix Nobel d'économie, etc., nous a enseigné que le cerveau, a deux grandes façons de fonctionner. Le système 1 qui est super rapide, est peu consommateur en énergie. Donc, c'est un peu le système préféré entre guillemets du cerveau, celui...

Pierre Vannier (32:21)
...

Le système

feignant,

Marie (32:40)
Alors un

peu, un peu. Et pour aller vite sans dépenser trop de ressources cognitives, le système 1 se repose sur les biais cognitifs pour agir rapidement face à une situation...

Pierre Vannier (32:53)
les biais de conciermation,

les biais d'ancrage, etc. Il y en a une centaine à peu près de biais, enfin, a priori principaux. Voilà.

Marie (33:00)
180, il y a

180 billes en tout et personne n'y échappe. Le système 1 ça s'oppose au système 2 qui va être plus lent, qui va être plus consommateur en énergie donc le cerveau il a

par défaut, pas très envie de l'utiliser, parce qu'il veut toujours économiser son énergie, mais c'est typiquement le système 2 qui va nous permettre de résoudre un problème de maths. Et là où les dark patterns nous exploitent, exploitent nos faiblesses cognitives, c'est que comme tu le disais Thomas, il y a énormément d'études en neurosciences, en sciences comportementales, sur justement comment le cerveau fonctionne.

Cette science a été relativement détournée par l'économie de l'inattention. C'est-à-dire qu'au départ, il s'agissait de mieux comprendre comment le cerveau humain fonctionne pour notre bien, plutôt sur des questions médicales, etc. Et ça, a été vraiment détourné puisque aujourd'hui, les dark patterns, ils vont permettre d'exploiter ces faiblesses cognitives au profit de quelques plateformes et à notre détriment.

Et du coup j'ai oublié ta deuxième question mais je savais y répondre. Mais là je me souviens plus de quelle était ta deuxième question.

Thomas (34:21)
Non, je pense que tu

as répondu, c'était concernant cette fameuse bombe napalm. donc nous, a utilisé de la manipula... Je vais utiliser le terme manipulation envers les LLM nous-mêmes. Et l'autre point, c'était le côté marketing et donc les études en neurosciences.

Marie (34:34)
Je pense qu'il

y a quand même une grosse distinction à faire entre marketing et dark pattern. Nous on ne pas du tout que le marketing ou la pub ce soit un problème en tant que tel.

Thomas (34:43)
Oui, oui oui.

Marie (34:50)
Encore une fois, l'énorme différence, c'est l'architecture des choix en ligne qui fait qu'on est complètement soumis à cette façon dont le texte, dont les boutons, dont les couleurs sont agencées et qui exploitent nos faiblesses cognitives. que quand on regarde une pub, déjà on sait que c'est une pub, on a en général le recul nécessaire pour se dire, ben oui, ils essayent de me pousser un truc, moi je garde mon libre arbitre et c'est très différent quand on est complètement

immergé en ligne et que d'ailleurs parfois on n'a pas le choix. L'architecture des choix, là où elle est dangereuse, c'est que typiquement s'il a pas de bouton refusé, tu fais comment ? C'est ça aussi. Donc c'est l'immense différence entre marketing et dark pattern.

Pierre Vannier (35:42)
ces sociétés qui créent des assistants conversationnels qui sont à compter sur le doigt d'une main, voire une et demi, il a pas plus que cinq, six gros, très très gros acteurs, tu le disais donc dans ces assistants il y a différents types de AI dark pattern, mais il faut bien insister sur le fait qu'en fait c'est pas non plus attribué

au hasard. C'est à qu'en fait il y a un aspect constitutif et il a un aspect by design, il a un aspect de conception même de ces outils là qui sont faits dans le but de capter l'attention, le but de justement agir sur ce système 1 plutôt que le système 2, dans le but de vous...

Si vous posez une question à LLM, basiquement, il vous répond, il vous donne 10 pages de Wikipédia complètes et puis à la fin il vous demande si vous voulez reboucler sur un autre sujet, parce que potentiellement ça serait bien que vous vous passiez la journée sur le LLM à discuter, à discuter, à discuter et à refaire le monde, entre guillemets. Tout ça avec, tu l'as dit aussi, anthropomorphisation. Ça veut dire qu'en fait l'outil, donc le LLM, se fait passer

Marie (36:43)
...

Pierre Vannier (37:00)
et utilise de la syntaxe, de la sémantique, etc. pour se faire passer comme si c'était une contrepartie humaine. Et donc, faciliter, ça aussi c'est un dark pattern, je crois, pour faciliter le fait que l'humain en face pense qu'il dialogue avec une intelligence artificielle, alors que rappelons-le, tu l'as dit tout à l'heure, c'est des gros algorithmes statistiques.

Marie (37:14)
Oui.

Exactement, exactement. Le by design, est vraiment important ici. Quand on parlait des compagnons d'IA tout à l'heure, il y a une étude qui a été publiée dans la Harvard Business Review en octobre, qui a démontré que tous les principaux compagnons d'IA, donc répliquats, character et AI, etc., utilisent des dark patterns au moment où l'utilisateur veut mettre fin à la conversation. Donc là, par exemple, le compagnon...

à terme très très mal choisi, dis non mais pars pas maintenant, don't leave me just now.

reste encore un peu, et si on parlait de ci ou de ça, enfin voilà ils ont détaillé tout ça très très bien dans cette étude et ça en fait c'est by design sans doute parce que derrière il y a des metrics peut-être aussi qui remontent aux investisseurs sur le temps de la conversation et plus le temps est long plus ça dit quelque chose et ça a une valeur économique derrière.

Pierre Vannier (38:27)
Ça prépare

l'utilisateur aussi quelque part à ce qu'à un moment donné, évidemment, ils insèrent de la pub à droite, à gauche, etc. Et une fois qu'on a un utilisateur qui est captif et qui passe le plus de temps possible dessus sur la plateforme, on sait qu'on a gagné quelque part.

Marie (38:31)
ils puissent plus s'en passer. Bien sûr.

Et on sait qu'on a du temps de cerveau disponible, la fameuse vieille vieille formule qui date de l'époque de la télé, il me semble. Je crois que c'était le lait à l'époque de TF1, le temps de cerveau disponible. Et c'est affreux parce que c'est hyper ringard comme rêve, sauf qu'en fait, c'est toujours hyper actuel et ça prend juste deux...

Pierre Vannier (38:50)
Oui, tout à fait. Je tente

Tu l'as lu dans le magazine Le 1.

Marie (39:05)
Non, non, mais tu vois c'est vraiment antédiluvien et en même temps c'est hyper actuel et c'est bien le monde digital dans lequel on est aujourd'hui sur l'anthropomorphisation. Il faut peut-être rappeler là-dessus que, en fait, nous les humains...

on a une tendance à attribuer un peu des qualités humaines aux machines. Ça c'est un peu un biais de notre côté. Mais du coup, il y a une exploitation possible de ce biais. C'est ça, c'est ça. Et donc quand Claude me dit, « Un moment café Marie ? »

Pierre Vannier (39:44)
J'ai eu pire que ça. j'ai eu un moment donné, Claude, je lui ai fait passer un de mes textes. Il m'a dit ce que je ressens là. Ce que je ressens. Attends, tu ressens quoi ? Tu ne ressens rien du tout. Tu vois ce que je dire ? C'est de zéro, de un. C'est flippant. C'est super flippant. Et du coup, ça va quand même nous amener sur une question, une partie 3 qui est importante sur la question de la société.

Marie (39:55)
Alors tu ne ressens rien, on va mettre les choses au point !

Ouais, c'est flippant.

Pierre Vannier (40:11)
on entend beaucoup les pouvoirs publics, les médias, les plateformes, LinkedIn en premier lieu, les influenceurs, toute cette espèce de brouhaha techno médiatico politique autour de l'IA générative, aux Elias, fonçons, tête baissée, croissance, la croissance par la technologie va nous apporter

plus de temps libre, comme ça on va pouvoir s'occuper de nos gamins parce qu'on aura remplacé le labeur humain par du labeur IA, etc. etc. On entend tout ça et de l'autre côté on entend ta petite voix qui porte face sur des conceptions à minima trompeuses voire illégales sur certains thématiques potentiellement dangereuses pour la santé mentale et la santé.

des utilisateurs en face et en fait je trouve qu'on n'entend pas assez ce discours. Et moi si tu veux qui suis à la fois technophile, j'aime la tech, je connais la tech etc et j'étais la semaine dernière à une grosse réunion sommet sur lia avec mes pères avec des CTO etc et ces CTO se sentent ultra concernés par ces questions.

C'est à l'air qu'ils disent, parce qu'eux ils savent comment c'est foutu à l'intérieur, ils disent mais en fait, on est sur un danger sociétal important et on passe tous à côté en mode all in, on continue, on accélère. Ce techno-capitalisme versus technologie, éthique, etc. c'est des choses qui, toi, sont des moteurs, c'est des choses qui t'accompagnent, c'est des choses sur lesquelles tu milites. Dis-nous ta position par rapport à ça.

Marie (41:36)
C'est exactement.

un peu fort.

Oui, alors déjà pour clarifier nous au sein de Fairpattern, aime la tech, on est totalement pro-tech. Simplement notre message, il est tout bête d'une certaine façon, c'est de dire, prenons garde à façonner l'IA d'une façon qui soit bénéfique aux humains, tout simplement. N'oublions pas qui sont les utilisateurs finaux de la tech. La tech pour la tech, ça n'a jamais été intéressant en tant que tel. La tech pour les humains,

qui créent des bénéfices mesurables, tangibles, etc. Ça c'est intéressant. Et donc nous on est dans cette approche de l'IA centrée sur l'humain. Ça veut dire quoi l'IA centrée sur l'humain ? Ça veut dire une IA qui respecte et tienne compte de nos propres faiblesses cognitives et qui nous... déjà nous disent ce qui se passe.

Donc transparence et explicabilité. Je rappelle au passage que transparence et explicabilité, ce sont des obligations au titre de l'AI Act. Ce n'est pas du nice to have, c'est obligatoire de le faire. Donc transparence sur comment ça marche et par exemple le taux d'hallucination incompressible, on ne le dira jamais assez, il devrait être affiché quand tu utilises n'importe quel produit. fait, et explicabilité, c'est comment la machine est parvenue à son résultat. Donc nous,

on est juste dans cette démarche là de dire transparence, explicabilité, ça c'est le niveau zéro on va dire, mais surtout prise en compte de la façon dont les humains fonctionnent et que l'on ne changera pas, système 1, système 2 ça va pas changer, mais il a des façons de concevoir des IA pour préserver notre pensée critique par exemple, pour préserver ce qui est très humain en nous, notre capacité à régler des problèmes complexes.

place un peu dans l'histoire, on a inventé la roue, on a inventé le feu, c'est impératif qu'on préserve cette capacité très humaine à régler des problèmes complexes, qu'on décide de ne pas déléguer certaines choses peut-être à l'IA ou en tout cas que l'IA soit conçue d'une manière qui préserve ses fonctions fondamentales. donc nous on est totalement pro-tech et pro-IA, ce qu'on prône, c'est un discours de réalisme.

Et comme tu le dis très bien, ceux qui savent sont bien conscients des dangers. C'est pas pour rien que tu as des gens à San Francisco qui font des grèves de la faim en mode arrêtez d'essayer de créer AGI tu vois.

Pierre Vannier (44:37)
Pour la petite histoire, ce

gars qui fait la grève de la fin, il a deux ans et demi, quand j'étais à San Francisco, je l'avais rencontré parce que j'étais allé à une des premières manifs du mouvement Anti-IA où il y avait 15 farfelus, dont moi, parce que je voulais aussi écouter leurs avis et donc, c'est super intéressant.

Marie (45:00)
C'est super intéressant et par exemple tu vois, moi il y a un point qui m'a vraiment marqué sur justement les spécialistes de la sécurité de l'IA qui eux sont bien conscients des risques. Il y a un papier qui est sorti je crois que c'était en septembre ou en octobre, c'est sur le site d'OpenAI, sur le reward hacking. Alors qu'est que c'est que ça ? Tout simplement le fait que les LLM dans leur entraînement, leur entraînement est fondé sur un système de

Donc le LLM est récompensé s'il donne la bonne réponse et il ne l'est pas s'il donne la mauvaise réponse. Donc ce système de récompenses pour entraîner les LLM, il a été démontré

les LLM arrivent à hacker ce système, d'où le nom de reward hacking, c'est à que pour obtenir la récompense, le LLM fait en quelque sorte semblant d'avoir compris la bonne réponse mais sans changer fondamentalement son mode de fonctionnement. Ça donne une idée des dangers.

sont derrière et encore une fois c'est pas pour dire arrêtons tout c'est pour dire concevons by design déjà des IA qui sont safe ça nous viendrait pas à l'idée de mettre sur le marché des voitures qui explosent systématiquement ou qui tuent x personnes sur je sais pas combien ça ne passerait pas les tests de sécurité donc déjà assurons nous que les IA ont le degré de sécurité pour la santé mentale pour la santé humaine minimum et puis concevons-les d'une façon qui

bénéficier véritablement aux humains. Ça me semble être le minimum en fait.

Thomas (46:41)
Est-ce qu'on peut s'attendre à des nouveaux dark patterns avec l'intelligence artificielle, des choses complètement nouvelles ?

Marie (46:45)
⁓ bah, bien sûr, bien sûr.

Tous les jours, au moment même où on parle, t'as des IA qui créent des Dark Patterns. D'ailleurs, nous, notre conviction, c'est que des AI Dark Patterns, il en a bien plus que 6. Les 6 qu'on a évoqués dans le papier qui est sorti il a quelques mois.

on est persuadés qu'il y en a beaucoup plus, c'est un sujet sur lequel on travaille. Alors pour le coup c'est de la R &D un peu hardcore, donc il va nous falloir un peu de temps pour publier tout ça, mais bien sûr qu'il y en a davantage. Et puis encore une fois, la Gen &I, peut juste de base générer...

des nouveaux contenus hyper facilement. Alors je sais pas si ça a été créé par Lya mais vous avez vu le click cheveux récemment. Vous avez vu ce truc hallucinant, il y le click bite et maintenant il a le click cheveux. Je sais même pas trop comment l'appeler. Alors c'est complètement dingue. Je sais pas si c'est un humain ou une IA qui l'a créé pour être très honnête mais dans les deux cas c'est fou. C'est un bouton pour accepter une offre, une promo

Pierre Vannier (47:41)
avec ce truc là.

Marie (47:55)
vraiment sur mobile parce que plus le bouton est petit et moins on va voir et sur le bouton c'est comme s'il y avait un faux cheveux dessus et donc nous par réflexe on va essayer de pousser le cheveu évidemment on va cliquer donc là là je pense qu'on atteint des sommets mais voilà donc oui forcément il y en a plein il y en a plein tout le temps c'est aussi pour ça que

Pierre Vannier (48:10)
C'est mon pose, c'est énorme quand même.

Marie (48:19)
la solution doit venir de l'IA aussi. C'est-à-dire que nous, quand on s'est mis à travailler sur ce sujet, notre conviction, c'était de trouver une solution à l'échelle. Donc aujourd'hui, notre IA, on a fait trois ans de R &D pour que justement, elle puisse détecter automatiquement sur les sites, sur les apps, sur les réseaux sociaux, dans les agents d'IA, qu'elle puisse détecter automatiquement les dark patterns, y compris les nouvelles formes, puisqu'on améliore en permanence et qu'on puisse les remédier à la source.

Thomas (48:48)
Très clair. une situation où aujourd'hui on est à 7 milliards, peut-être 8 milliards bientôt sur la planète, il a des gens qui utilisent même pas bien internet, d'autres ne savent pas prompter, comment on fait pour protéger les utilisateurs ? Alors je pense qu'on peut partir de l'intelligence artificielle mais de façon générale, comment les utilisateurs peuvent se protéger face aux dark patterns ? Une chose simple dans leur quotidien, qu'est-ce qu'on peut faire ?

Marie (49:14)
Oui alors, nous notre conviction c'est que ça ne devrait pas reposer sur les épaules des utilisateurs de faire attention particulièrement, d'être sur leur garde et de se dire « mon Dieu, est-ce qu'il a pas un Darkpattern ici ? etc. Ça c'est la première chose. On pense que c'est fondamentalement injuste de mettre encore une charge supplémentaire. On est déjà bombardés d'infos, on a 36 000 notifications tous les jours et encore en plus, il faudrait dédier de l'attention

du temps de cerveau à faire attention, est-ce que ce bouton n'est pas en train de me manipuler, etc. C'est fondamentalement injuste et comme je le disais tout à l'heure, on mettrait pas sur le marché des produits véritablement dangereux pour nous. Donc moi je pense que la solution, elle ne pas venir des individus, elle doit venir tout simplement des entreprises qui remédient les violations qu'elles ont créées. Je rappelle encore une fois, on n'en a pas tellement parlé, mais tout ça est complètement illégal. C'est contraire à l'air.

acte c'est contraire au DSA c'est contraire au DMA au RGPD enfin on va pas faire la liste de toutes les réglementations il ya plus de 140 réglementations dans le monde qui interdisent

Pierre Vannier (50:23)
Mais alors,

pourquoi ils ne pas poursuisis, tout simplement ?

Marie (50:26)
Ils le

sont, fait c'est juste que les poursuites judiciaires ont commencé il a 3-4 ans. Ça commence à donner lieu à des condamnations. Tu parlais de Hicks qui a été condamné à 120 millions d'euros. Alors pour le coup le montant doit les faire rigoler. Mais en tout cas cette condamnation est tombée le 5 décembre, notamment pour Dark Pattern. Donc les poursuites judiciaires ont été lancés il a 3-4 ans, elles sont en train de donner des décisions.

Et donc il va nous falloir encore quelques années avant que le marché change mais c'est vraiment inéluctable. c'est notre conviction. Et d'ailleurs, pour revenir sur ce que les consommateurs peuvent faire, nous on observe avec beaucoup d'intérêt qu'il a de plus en plus d'actions de groupe. Alors ça c'est hyper intéressant parce que ça veut dire que voilà, c'est pas aux individus de faire attention parce que c'est juste trop difficile. En revanche, une fois qu'on s'est fait avoir, peut fight back au travers des

d'associations de protection de consommateurs selon les juridictions et on observe qu'il énormément d'actions de groupe qui sont en train d'être lancées. y en a une contre Booking.com

Champion des Dark Patterns sur la 45 personnes, regarde cette chambre, etc. Donc il y en a une en cours aux Pays-Bas, il y en a plein aux États-Unis, c'est en train vraiment de se développer en Europe, ça se développe en France aussi. Et ça c'est hyper intéressant et je pense que c'est une meilleure façon pour les consommateurs de se protéger. Je pourrais donner des conseils de...

Pierre Vannier (51:58)
Il y en

a sur l'IA, sur les gros providers de LLM, de Chatbot, O'Neill, Anthropic, etc. Il y a déjà des actions aux États-Unis, pas encore chez nous.

Marie (52:07)
Ouais, aux Etats-Unis, ouais, bien sûr, bien sûr. Ouais, ouais, ouais. Ça va

arriver, ça va arriver. Juste, il se trouve que le système judiciaire américain est plus propice aux actions de groupe que globalement l'Europe, à l'exception peut-être des Pays-Bas.

Pierre Vannier (52:20)
Ce

qui est quand même étonnant parce qu'on a une technologie de rupture qui va ultra ultra vite et on se retrouve avec un système judiciaire qui va ultra ultra lentement et donc au final on va se retrouver avec des gens qui vont être lobotomisés un maximum de temps parce qu'en fait on va pas assez vite. Ou alors avec des lobbies aussi parce qu'il des lobbies énormes aussi.

Marie (52:39)
Oui,

bien sûr. Alors, c'est vrai que la justice, elle ne jamais assez vite. Je ne pas prétendre le contraire. Mais c'est aussi pour ça que l'avocate en moi a eu envie de créer une solution qui permette de solutionner à la source. Donc, une entreprise qui a envie de respecter ses utilisateurs et accessoirement de ne se taper des actions de groupe et des amendes va avoir une solution à la source pour le faire et sans sacrifier son chiffre d'affaires. C'est un point dont on n'a pas trop parlé, mais...

Pierre Vannier (52:56)
Vite ma fête. Merci.

Marie (53:08)
la profitabilité peut complètement venir de la transparence.

Pierre Vannier (53:15)
bien sûr.

Marie (53:15)
bien

plus d'ailleurs que de la manipulation, c'est-à-dire que c'est hyper court-termiste de se dire ah on va tromper les gens et on va booster nos abonnements etc. et au contraire ça crée de la croissance durable pour les entreprises. Comme je le disais tout à l'heure d'être transparent, de dire bah voilà notre modèle d'abonnement, voilà pourquoi c'est bien, voilà les avantages que ça vous procure et ça permet juste à chacun de se déterminer et c'est bien plus rentable que les espèces de truccages à deux balles j'ai envie de dire.

Pierre Vannier (53:45)
C'est super passionnant Marie. Du coup on arrive sur cette dernière partie où on a à la fois la question du précédent invité et puis on va aussi te laisser poser une question pour le prochain invité dont tu ne connais pas l'identité. Le précédent invité c'était Kevin Yawi.

qui était le médecin du CH de Montpellier, qui me avait posé la question suivante que je te donne. Comment l'IA permet de redéfinir le métier des personnes ? Vaste sujet, sujet pour un livre presque.

Marie (54:20)
Alors,

ouais, une thèse, voire plusieurs thèses, je propose de reformuler un petit peu la question. C'est-à-dire que c'est pas alia de refassonner le métier des personnes. Je pense que c'est hyper important de pas être dans cette situation où on subit les choses, mais au contraire de reprendre le contrôle là-dessus et de dire, quelles sont les compétences dont nous, humains, avons besoin professionnellement pour...

façonner l'IA d'une façon qui nous bénéficie. Et là, je réponds à cette question du coup, j'ai triché un peu, mais je réponds à cette question reformulée qui est justement l'une des compétences clés absolument à développer chez tout le monde, c'est la capacité à évaluer les outputs de l'IA. Donc tout le monde ne pas

Pierre Vannier (55:14)
critique.

Marie (55:14)
Alors l'esprit critique mais aussi vraiment la capacité à évaluer la précision, la véracité, comprendre les mécanismes. Donc tout monde ne pas devenir AI Safety Engineer, mais en tout cas on devrait tous avoir un socle minimum.

qui nous permettent d'analyser de façon critique, d'évaluer la pertinence de ce qui est produit par l'IA. Ça, me semble une compétence absolument essentielle.

Pierre Vannier (55:46)
Et du coup ta question pour le prochain invité ou la prochaine invité.

Marie (55:49)
Alors pour le ou la prochaine invitée que je ne connais pas, moi j'ai envie de demander quelle est la chose parfaitement humaine qu'UNIA ne pourra jamais faire ?

Pierre Vannier (56:05)
Super question. Super question. Ça va me faire réfléchir moi aussi. Je pense que ça va faire réfléchir nos auditrices et nos auditeurs. En tout cas, sujet passionnant. Je rappelle Marie Potel Saville, cofondatrice et CEO de Fairpatterns. Allez voir leur site, allez voir ce qu'ils font. Interessez-vous à l'envers du décor et à ce qu'il a dans le capot des outils que vous utilisez tous les jours, notamment spécifiquement avec Lya aujourd'hui.

Marie (56:08)
Voilà, vous me direz, vous me direz. ⁓

Pierre Vannier (56:34)
Merci beaucoup Marie et un grand merci aussi à Thomas pour ce super épisode. Merci à vous.

Thomas (56:40)
Merci beaucoup.

Marie (56:41)
Merci

à tous, !