Répondants synthétiques : et si le problème n’était pas leur fiabilité, mais leur faible pouvoir d’insight ?

Le danger n’est pas que le synthétique soit faux ; c’est qu’il soit banal.

Les répondants synthétiques constituent aujourd’hui l’une des promesses les plus spectaculaires de l’IA appliquée aux études : créer instantanément des consommateurs virtuels, les exposer à un concept, un prix, un packaging ou une communication et recueillir leurs réactions sans passer par un terrain traditionnel.

La proposition est séduisante. Mais à la lecture des travaux publiés récemment, une question mérite d’être posée : simuler des consommateurs est-il réellement l’usage le plus intéressant que l’on puisse faire de l’IA ?

Le doute ne porte pas seulement sur l’exactitude statistique de ces simulations. Il concerne aussi leur capacité à produire ce qui fait la valeur d’une bonne étude : un insight, c’est-à-dire un éclair de compréhension, qui fait voir différemment un marché, une cible ou un problème.

Des réponses plausibles ne font pas nécessairement une population crédible

Les LLM excellent à produire des discours vraisemblables.

Un persona de « mère active de 35 ans, attentive au prix et manquant de temps » pourra expliquer de manière très convaincante pourquoi elle valorise la praticité, l’efficacité ou les produits qui simplifient son quotidien.

Mais cette vraisemblance constitue précisément le piège.

Une étude récente de STRAT7 le montre assez clairement. Sur les grands indicateurs, les résultats produits par des répondants synthétiques ne sont parfois éloignés que de quelques points de ceux obtenus auprès de vrais consommateurs.

Dès que l’analyse devient plus exigeante, en revanche, les difficultés apparaissent : incohérences entre réponses d’un même individu, écarts importants sur certains sous-groupes, résultats différents sur les analyses de drivers et faibles performances lorsqu’il s’agit de reproduire une évolution dans le temps.

Sur un exercice de pricing, par exemple, les répondants entièrement synthétiques ne respectaient pas l’ordre logique des quatre niveaux de prix dans 68 % des cas. Et leur capacité à identifier correctement les évolutions entre deux vagues d’étude n’atteignait que 47 %, soit une performance proche du hasard.

Cela conduit à une distinction essentielle : un ensemble de réponses peut sembler humain sans que le dataset se comporte comme une population humaine.

Une exploration qui émane d’une boîte noire

Face à un consommateur réel, une phrase surprenante peut être approfondie. Une contradiction peut être interrogée. Un comportement inattendu peut être observé. On peut comprendre ce qui, dans une expérience vécue, produit telle réaction.

Le persona synthétique fonctionne autrement. Il fournit généralement une excellente justification de sa réponse. Mais d’où vient cette justification ?

D’une régularité présente dans les données d’entraînement ? D’un stéréotype culturel ? Des informations apportées dans le prompt ? D’une véritable relation statistique ? D’une rationalisation générée après coup ?

La réponse reste largement sortie d’une boîte noire. A chaque fois que j’ai été confronté à du verbatim de panel synthétiques, je me suis ennuyé et je n’ai pas eu envie de poursuivre la lecture alors que, comme tout amateur d’études, je suis friand de retour d’expériences.

Cette difficulté est d’autant plus importante que les LLM tendent naturellement à produire une version cohérente et moyenne des individus. Qualtrics parle à ce sujet d’un « stereotype ceiling » : les modèles généralistes ont tendance à lisser les contradictions, les comportements minoritaires et les réactions atypiques qui font pourtant souvent l’intérêt d’une étude consommateurs.

Or ce sont précisément ces anomalies qui peuvent produire un insight.

Le risque : retrouver dans les résultats ce que l’on avait mis dans le brief

Leslie Walsh pousse la critique un cran plus loin : avant même de savoir si une audience synthétique est fidèle, encore faut-il vérifier que la cible qu’on lui demande de simuler a été correctement définie.

Une cible marketing est souvent résumée par quelques caractéristiques : âge, situation familiale, revenus, attitudes, contraintes. Le modèle va alors produire la version statistiquement plausible de cet archétype.

Le risque est circulaire : une hypothèse entre dans le prompt et ressort quelques secondes plus tard sous la forme d’une conclusion apparemment issue de consommateurs.

Le problème n’est donc pas uniquement celui d’une simulation qui se trompe.

Une simulation qui se trompe franchement finit par être repérée.

Une simulation qui confirme très intelligemment les hypothèses initiales peut être plus dangereuse : elle donne une apparence de validation à ce que l’on croyait déjà.

C’est probablement aussi ce qui explique le caractère parfois peu stimulant des restitutions issues de personas synthétiques. Elles produisent beaucoup de reasonable, de plausible, de cohérent. Mais plus rarement ce moment caractéristique d’une bonne étude où surgit une observation que personne n’avait formulée jusque-là.

Multiplier les personas ne signifie pas nécessairement explorer davantage

Il faut donc être prudent avec l’idée d’« exploration synthétique ».

Créer 100 personas et les faire réagir à 20 scénarios donne évidemment une impression de largeur.

Mais si ces 100 individus sont issus du même modèle, des mêmes représentations culturelles et de mécanismes voisins de génération, dispose-t-on réellement de 100 regards différents ou de 100 variations autour d’un même espace probabiliste ?

Le nombre de réponses augmente. La diversité réelle des points de vue, beaucoup moins sûrement.

C’est une différence fondamentale avec une véritable exploration qualitative, où un individu peut introduire dans la discussion un élément que le chercheur n’avait même pas imaginé devoir rechercher.

Greenbook formule cette limite de manière assez juste : les modèles synthétiques sont performants pour reconnaître et prolonger des patterns existants ; les humains peuvent en créer de nouveaux.

Analyser le réel plutôt que simuler artificiellement sa réception

Cela conduit à privilégier un autre usage de l’intelligence artificielle.

Lorsqu’un matériau réel existe, pourquoi ne pas demander à l’IA de l’analyser directement, plutôt que de construire artificiellement des consommateurs chargés de réagir à ce matériau ?

Pour évaluer une conférence, par exemple, une IA peut analyser sa clarté, sa densité, son rythme, la structure de l’argumentation, la qualité des exemples, les répétitions, les citations ou la nouveauté des idées. Voici l’évaluation par Noota d’une conférence de Nicolas Bouzou sur son dernier livre.

Cette analyse paraît souvent plus informative que dix personas virtuels expliquant ce qu’ils auraient hypothétiquement ressenti.

La même logique s’applique particulièrement bien à la sémiologie et au planning stratégique : comparer de grands corpus, identifier des codes, faire apparaître des récurrences ou des ruptures, mettre en évidence des structures narratives, rapprocher des expressions culturelles et multiplier les angles d’analyse.

L’IA devient alors un instrument qui augmente notre capacité à observer le réel, plutôt qu’une machine chargée d’en fabriquer une imitation.

C’est également la logique des agents développés à partir d’études fondamentales : l’IA n’invente pas la doctrine d’analyse, elle rend applicable et répétable une expertise préalablement construite à partir d’un corpus réel.

Scaler l’humain plutôt que le remplacer

Une autre direction paraît particulièrement féconde : utiliser l’IA pour rendre possible l’analyse d’un nombre beaucoup plus important de vrais consommateurs.

Conveo en fournit un exemple avec une ethnographie vidéo réalisée auprès de 91 foyers américains. Les participants filment leurs véritables usages du lave-vaisselle ; l’IA intervient pour conduire les entretiens, relancer et analyser les vidéos.

L’observation a notamment permis de constater que six foyers sur dix effectuaient des actions correctrices après le lavage, alors que huit sur dix jugeaient néanmoins le résultat conforme à leurs attentes. Cette contradiction entre satisfaction déclarée et comportements compensatoires constitue précisément le type d’information qu’une bonne étude cherche à faire émerger.

De même, l’analyse vidéo a détecté davantage de marques réellement présentes dans les cuisines que les participants n’en avaient spontanément citées.

Ici, l’IA ne remplace pas la réalité humaine.

Elle permet d’en voir davantage.

Cette voie paraît particulièrement prometteuse : non pas moins d’humains grâce à l’IA, mais davantage de réel rendu exploitable grâce à l’IA.

Le synthétique conserve néanmoins des usages légitimes

Tout cela ne condamne pas les répondants synthétiques.

Ils peuvent être utiles pour générer des hypothèses, challenger un questionnaire, effectuer un premier screening de concepts ou explorer rapidement différents scénarios avant de lancer un terrain.

C’est d’ailleurs là que se situe aujourd’hui le consensus le plus solide : le synthétique fonctionne mieux comme outil d’accélération de la recherche que comme substitut à la preuve humaine.

Le principe du jumeau numérique reste très stimulant lorsqu’il ne part plus d’un profil générique mais d’un véritable patrimoine de données, d’expériences et de comportements observés. Un cabinet de stratégie a créé des jumeaux numériques d’ultra-riches pour anticiper leurs réactions à de nouvelles offres. Pour cela ils se sont appuyés sur une grande quantité de vécu collecté.

Mais là encore, il faut distinguer potentiel et preuve. Même plusieurs centaines de données individuelles ne suffisent pas nécessairement à transformer un modèle généraliste en reproduction fidèle d’une personne.

La bonne question n’est pas : « Est-ce accurate ? »

Les débats autour du synthétique sont aujourd’hui dominés par des revendications de précision : 90 %, 95 %, 97 % de correspondance avec les humains.

Ces chiffres doivent évidemment être vérifiés — idéalement sur des populations indépendantes et des prédictions enregistrées avant de connaître les résultats réels.

Mais une seconde question mérite tout autant d’être posée :

« Est-ce que cette étude m’apprend quelque chose que je n’avais pas déjà compris ? »

Une technologie d’études ne devrait pas uniquement être jugée à sa capacité à reproduire des moyennes. Elle devrait aussi être évaluée sur sa capacité à produire de la compréhension.

Pour l’instant, les répondants synthétiques démontrent assez bien leur capacité à produire du plausible rapidement et à grande échelle. La démonstration reste beaucoup moins convaincante sur leur aptitude à produire régulièrement du surprenant, du distinctif et de l’insightful.

Voilà pourquoi une position « synthético-sceptique » peut parfaitement coexister avec un enthousiasme très fort pour l’IA dans les études.

L’enjeu n’est pas de préserver artificiellement les méthodes traditionnelles. Il est de mettre la puissance de l’IA là où elle crée réellement de la connaissance.

Et, à ce stade, l’aider à mieux lire le réel paraît souvent plus fécond que lui demander de jouer au consommateur.

Le vrai sujet pourrait être formulé ainsi : dans une étude, la valeur n’est pas seulement de retrouver le bon pourcentage, mais de restituer correctement la structure du phénomène et d’en faire émerger des insights.

La bonne question n’est pas seulement :

« Est-ce que le synthétique retrouve le bon chiffre ? »

mais plutôt :

« Est-ce qu’il restitue une compréhension suffisamment complète, nuancée et féconde du sujet ? »

Montrez-nous du synthetic enthousiasmant

Les panels synthétiques ont un avantage décisif : leur coût marginal est extrêmement faible. Rien n’empêche donc de les utiliser sur une multitude de sujets non confidentiels, de publier les outputs, de montrer les résultats obtenus, les bonnes surprises comme les échecs, et de les confronter ensuite à des données humaines lorsque c’est possible.

En matière d’IA, il faut probablement sortir du registre des promesses générales. Moins théoriser, davantage montrer. Montrer les verbatims produits, les analyses, les segmentations, les écarts, les insights réellement générés. C’est à partir de ces outputs concrets que l’on pourra juger si le synthétique apporte autre chose que de la vraisemblance.

Si les études synthétiques sont réellement capables de produire des résultats stimulants, surprenants et actionnables, il faut les rendre visibles. C’est par l’exemple que le marché progressera — et que les sceptiques pourront éventuellement devenir des ambassadeurs.

Sur d’autres usages de l’IA, j’ai personnellement publié beaucoup d’outputs non confidentiels notamment sur le blog https://www.analyse-semiologique.com/ concernant le planning stratégique (analyse du loup d’Intermarché), la sémiologie, les agents, les analyses de contenu à grande échelle, etc Les feedbacks et critiques sont les bienvenus.

Quelques références qui ont nourri cette réflexion

  1. STRAT7, Synthetic Data: Is This As Good As It Gets?, 2026. Étude comparative entre données issues de répondants réels et données synthétiques.
    Lire l’étude STRAT7
  2. Liam Kay-McClean, Synthetic data survey responses ‘significantly different’ to humans, finds study, Research Live, juillet 2026. Présentation et analyse des résultats de l’étude STRAT7.
    Lire l’article Research Live
  3. Leslie Walsh, Your synthetic audience will agree with you, Research Live, 26 août 2026. Sur le risque de voir les audiences synthétiques reproduire les stéréotypes et hypothèses contenus dans le brief initial.
    Lire l’article de Leslie Walsh
  4. Derrick McLean & Jordan Harper (Qualtrics), Capturing more value from synthetic research, Quirk’s, août 2026. Sur le « stereotype ceiling », l’illusion de personnalisation et les limites des LLM généralistes pour simuler les consommateurs.
    Lire l’article Qualtrics / Quirk’s
  5. Carlos Ochoa (Netquest-Bilendi), Synthetic respondents and the future of survey research, Quirk’s. Analyse critique de la capacité des répondants synthétiques à décrire et surtout à prédire les comportements humains.
    Lire l’article de Carlos Ochoa
  6. Jeffrey Mead, Is there a better way to validate synthetic data?, Quirk’s, 14 juillet 2026. Proposition de valider les modèles par des prédictions publiées avant que les résultats humains soient connus.
    Lire l’article de Jeffrey Mead
  7. Ashley Shedlock, Synthetic Respondents Explained: What They Are, How They Work, and When to Trust Them, Greenbook, 25 août 2026. Synthèse des usages pertinents, limites et conditions de validation des répondants synthétiques.
    Lire l’article Greenbook
  8. Keith Rinzler, How to turn synthetic data into strategy-grade insights, Quirk’s, 1er août 2026. Sur la validation humaine indépendante, les problèmes de boucle fermée, de qualité des données et de dérive des modèles.
    Lire l’article de Keith Rinzler
  9. Tianyi Peng et al., Digital Twins as Funhouse Mirrors: Five Key Distortions, 2026. Recherche expérimentale sur les limites des jumeaux numériques et leur capacité à reproduire les réponses individuelles.
    Lire l’étude sur arXiv
  10. Conveo, Scaling Human Insights with AI-Ethnographies. Dishwashing Tales., Quirk’s, 1er mai 2026. Cas d’ethnographie vidéo assistée par IA auprès de consommateurs réels. Intéressant comme illustration d’un usage de l’IA visant à augmenter l’observation humaine plutôt qu’à la remplacer.
    Lire l’article Conveo

Laisser un commentaire