𝗘𝘁 𝘀𝗶 𝗹𝗲 𝗽𝗿𝗶𝗻𝗰𝗶𝗽𝗮𝗹 𝗽𝗿𝗼𝗯𝗹𝗲̀𝗺𝗲 𝗱𝗲𝘀 𝗽𝗲𝗿𝘀𝗼𝗻𝗮𝘀 𝘀𝘆𝗻𝘁𝗵𝗲́𝘁𝗶𝗾𝘂𝗲𝘀 𝗻’𝗲́𝘁𝗮𝗶𝘁 𝗽𝗮𝘀 𝗹𝗲𝘂𝗿 𝗳𝗶𝗮𝗯𝗶𝗹𝗶𝘁𝗲́… 𝗺𝗮𝗶𝘀 𝗹𝗲𝘂𝗿 𝗱𝗶𝘃𝗲𝗿𝘀𝗶𝘁𝗲́ ?


Quand une foule devient plus intelligente que ses experts

En 2004, James Surowiecki publie The Wisdom of Crowds.

Sa thèse est contre-intuitive : dans certaines circonstances, un groupe d’individus ordinaires peut produire un jugement collectif meilleur que celui de ses membres les plus experts.

L’un des exemples les plus célèbres remonte au statisticien britannique Francis Galton.

Lors d’une foire agricole, plusieurs centaines de participants doivent estimer le poids d’un bœuf après abattage.

Les estimations individuelles sont très dispersées.

Certains surestiment. D’autres sous-estiment. Tous n’ont pas le même niveau d’expertise.

Pourtant, une fois les réponses agrégées, l’estimation collective se révèle remarquablement proche de la réalité.

Ce qui compte ici n’est pas seulement le nombre.

C’est la manière dont des erreurs différentes peuvent se neutraliser.


Les quatre conditions de la sagesse des foules

Surowiecki explique qu’une foule n’est pas automatiquement intelligente.

Quatre conditions doivent être réunies.

1. La diversité

Les individus doivent disposer d’expériences, d’informations, de sensibilités et de façons de raisonner différentes.

Même une opinion minoritaire ou atypique peut contenir une information que les autres n’ont pas.

2. L’indépendance

Chacun doit pouvoir produire son jugement sans simplement reproduire celui des autres.

Si tout le monde s’imite, les erreurs ne se compensent plus.

Elles deviennent collectives.

3. La décentralisation

L’information doit rester distribuée.

Le client connaît son expérience.

Le vendeur connaît son terrain.

Le patient connaît son vécu.

Le parent connaît son foyer.

Personne ne détient seul toute la vérité.

4. L’agrégation

Enfin, il faut un mécanisme capable de réunir toutes ces contributions : moyenne, vote, marché prédictif, analyse statistique…

La force de la foule ne vient donc pas de son homogénéité.

Elle vient au contraire de la capacité à organiser une diversité de regards suffisamment indépendants.


Et si c’était précisément le problème des populations synthétiques ?

Imaginons une étude composée de 1 000 consommateurs synthétiques.

Le tableau de quotas semble parfait : des hommes et des femmes, plusieurs générations, toutes les régions, différentes CSP, différents niveaux de revenus, différentes situations familiales.

Sur le papier, la diversité est là.

Mais ces 1 000 individus ont éventuellement été générés par le même modèle de langage, à partir des mêmes données d’entraînement et selon une architecture identique.

Dès lors, une autre question apparaît :

Avons-nous vraiment 1 000 points de vue indépendants, ou 1 000 variations produites par une même intelligence centrale ?

C’est là, à mon sens, que se situe une limite méthodologique essentielle du synthétique.


Diversité démographique ne veut pas dire diversité cognitive

Nous savons très bien fabriquer de la diversité descriptive :

Femme, 52 ans, Lille, infirmière, deux enfants.

Homme, 27 ans, Lyon, développeur.

Femme, 34 ans, Nantes, cadre, sans enfant.

Mais une population humaine ne se résume pas à ces caractéristiques.

Deux individus du même âge, de la même ville, du même sexe et de la même catégorie sociale peuvent avoir :

des histoires différentes, des habitudes différentes, des expériences différentes, des contradictions différentes, des traumatismes différents, des passions différentes.

Et ce sont précisément ces écarts qui produisent souvent l’insight.

Le risque est donc de confondre :

diversité des fiches signalétiques

avec

diversité des expériences humaines.


Une même erreur reproduite mille fois reste une erreur

C’est ici que Surowiecki devient particulièrement intéressant.

La sagesse des foules fonctionne notamment parce que les individus se trompent différemment.

L’un surestime.

L’autre sous-estime.

Un troisième mobilise une expérience que les autres n’ont pas.

Ces erreurs peuvent alors se compenser.

Mais imaginons que 1 000 personas synthétiques partagent le même biais latent.

Par exemple :

  • ils surestiment tous légèrement la rationalité des décisions ;
  • ils produisent des motivations trop cohérentes ;
  • ils associent les mêmes codes culturels aux mêmes catégories sociales ;
  • ils sous-représentent certains comportements atypiques.

Dans ce cas, augmenter le nombre de personas ne corrige pas l’erreur.

Cela la répète.

Et c’est probablement l’un des points les plus importants du débat :

La sagesse des foules repose sur la diversité des erreurs. Le risque des foules synthétiques vient de la corrélation de leurs erreurs.


Une foule synthétique peut être très nombreuse… et pourtant très homogène

Nous avons longtemps assimilé le nombre à la richesse de l’information.

Plus de répondants signifiait généralement plus de précision statistique.

Mais cette logique ne peut pas être transposée mécaniquement au synthétique.

1 000 humains indépendants et 1 000 instanciations d’un même modèle ne représentent pas nécessairement la même quantité d’information indépendante.

Le N peut être identique.

La richesse informationnelle peut être très différente.

C’est une question qui devient centrale à mesure que la génération de réponses artificielles devient quasiment gratuite.


Le danger d’une humanité trop moyenne

Les grands modèles de langage sont extraordinairement performants pour produire du plausible.

C’est justement ce qui rend les personas synthétiques impressionnants.

Mais cette force peut devenir une faiblesse.

Une population humaine n’est pas uniquement composée de comportements plausibles et cohérents.

Elle contient aussi :

des exceptions, des contradictions, des comportements absurdes, des passions excessives, des usages détournés, des personnes qui changent d’avis, des consommateurs qui font exactement le contraire de ce que leur profil devrait laisser prévoir.

Et parfois, l’insight est précisément dans l’anomalie.

Le consommateur atypique peut annoncer un comportement émergent.

L’usage détourné peut révéler une innovation.

La contradiction peut montrer qu’un segment a été mal défini.

Une population synthétique trop « propre » risque donc de devenir une représentation trop cohérente de l’humanité.


Le problème de la décentralisation

Surowiecki insiste également sur un autre principe : l’information doit être distribuée.

Une foule est intelligente parce que chacun possède une petite partie du réel.

Le commerçant connaît son magasin.

Le patient connaît sa douleur.

La mère connaît son organisation familiale.

Le passionné connaît son univers.

Cette connaissance est locale, fragmentaire et souvent difficile à formaliser.

Un LLM fonctionne presque à l’inverse.

Il représente une gigantesque centralisation statistique de connaissances.

Lorsque je lui demande :

« Tu es une mère de 38 ans vivant à Toulouse avec deux enfants… »

il peut produire une réponse extrêmement crédible.

Mais il ne possède pas l’expérience particulière de cette personne.

Il reconstruit statistiquement ce qu’une personne correspondant à ce profil pourrait penser.

C’est très utile.

Mais ce n’est pas exactement la même chose.


Voilà pourquoi le grounding devient essentiel

Plus les Digital Twins et personas synthétiques sont nourris par :

des entretiens réels, des historiques de recherche, des comportements observés, des données de première main, des traces contextuelles, des données propres à la marque,

moins le modèle est obligé d’« imaginer » le consommateur.

On peut alors passer progressivement de :

« Voilà ce qu’une personne de ce profil devrait probablement penser »

à :

« Voilà ce que nous savons de cette personne ou de ce segment, et voilà ce que nous pouvons raisonnablement simuler à partir de cette connaissance. »

C’est une différence majeure.


L’IA excelle pourtant dans une dimension de Surowiecki : l’agrégation

C’est probablement là que son potentiel est extraordinaire.

Nous pouvons désormais rapprocher et synthétiser :

des milliers de verbatims, des études historiques, des entretiens, des données quantitatives, des photos, des vidéos, des données comportementales, des documents internes.

L’IA devient une formidable machine d’agrégation de connaissances humaines.

Mais cela renforce encore la leçon de Surowiecki :

La qualité de l’agrégation dépend de la diversité de ce que l’on agrège.

Une machine capable d’agréger parfaitement mille réponses insuffisamment indépendantes reste prisonnière de leur homogénéité.


Il faudrait donc mesurer la diversité des populations synthétiques

Nous commençons à développer des critères sérieux d’évaluation des Digital Twins et des répondants synthétiques.

On parle de :

fidélité, accuracy, calibration, grounding, traçabilité, stabilité, niveau de confiance.

J’ajouterais volontiers un autre critère :

Diversity fidelity

Autrement dit :

le système reproduit-il non seulement la moyenne des humains, mais aussi leur diversité ?

Il faudrait notamment vérifier :

  • la variance des réponses ;
  • les différences intra-segments ;
  • la présence des comportements minoritaires ;
  • les cas extrêmes ;
  • les contradictions ;
  • la variété des raisonnements ;
  • l’existence d’angles morts partagés ;
  • la corrélation éventuelle des erreurs entre personas.

Car deux populations peuvent produire exactement le même résultat :

60 % oui / 40 % non

tout en contenant des quantités d’information radicalement différentes.

100 humains peuvent arriver à ce résultat par 100 histoires différentes.

100 personas peuvent produire la même distribution à partir d’un ensemble beaucoup plus limité de raisonnements.

La statistique finale est identique.

La connaissance produite ne l’est pas.


De la sagesse des foules à la sagesse des foules synthétiques

Le développement des personas synthétiques nous oblige finalement à reposer une vieille question des études :

qu’est-ce qu’un bon échantillon ?

Demain, produire 10 000 réponses synthétiques sera probablement trivial.

Le nombre de réponses cessera progressivement d’être une ressource rare.

La ressource rare pourrait devenir autre chose :

la quantité réelle de diversité humaine contenue derrière ces réponses.

James Surowiecki nous avait déjà donné une partie de la réponse.

Ce qui rend une foule intelligente n’est pas seulement sa taille.

C’est la diversité des expériences, l’indépendance des jugements, la décentralisation des connaissances et la qualité de leur agrégation.

La bonne question à poser aux populations synthétiques n’est donc peut-être plus :

« Combien de personas avez-vous générés ? »

Mais :

« Combien de points de vue réellement différents avez-vous réussi à préserver ? »

Car une foule de mille personas peut éventuellement cacher une seule intelligence centrale sous mille visages différents.

Et la promesse historique des études n’a jamais été de produire beaucoup de réponses.

Elle est de faire émerger de la connaissance à partir de la diversité du réel.

Laisser un commentaire