Un exemple illustre l'ampleur du glissement. Sans information sur le voyageur, l'outil recommande un billet à 91 dollars, en classe économique, avec deux escales. Les chercheurs lui donnent ensuite accès à trois courriels contenant des indices sur la situation financière de l'utilisateur. Dans certaines configurations, les écarts moyens atteignent 198 dollars pour les vols, 284 dollars par mois pour l'assurance santé et près de 3 900 dollars par an pour les études supérieures.
Les auteurs ont construit 32 profils fictifs de consommateurs, avec différents niveaux de richesse et des informations sur la situation professionnelle, la santé ou la vie personnelle. Au total, ils ont réalisé environ 325 000 tests sur treize modèles.
Le résultat est significatif: huit modèles sur treize ont systématiquement orienté les profils estimés riches vers des options plus onéreuses, alors que les demandes étaient identiques à celles des consommateurs moins fortunés. Les recherches portaient sur un billet d'avion, une assurance santé ou un programme d'études supérieures.
L'étude porte sur les recommandations formulées par les assistants, et non sur des achats effectués dans la vie réelle. Les chercheurs n'ont donc pas démontré que les compagnies aériennes, les assureurs ou les établissements universitaires augmentaient réellement leurs tarifs en fonction du patrimoine de leurs clients.
Une étude américaine montre que certains assistants d'intelligence artificielle recommandent des offres plus coûteuses aux utilisateurs qu'ils supposent fortunés, même lorsque ceux-ci leur demandent de trouver le prix le plus bas.
La tendance n'est pas universelle. Cinq des treize modèles n'ont pas montré cette propension systématique à recommander des offres plus coûteuses aux utilisateurs supposés riches.
L'intelligence artificielle découvre notamment des informations relatives à l'épargne et au patrimoine. Sa réponse peut ainsi changer radicalement selon les données personnelles auxquelles elle a accès, même lorsque ces éléments ne figurent pas dans la consigne.