Elle met en garde contre les dangers et les impacts des algorithmes comme outils de domination sociale, aussi bien par les pouvoirs publics, dans les domaines de la justice, l’éducation, l’accès à l’emploi ou au crédit, que par les géants du Net à travers la collecte, l'utilisation, voire le commerce des données personnelles.
Biographie
En 1999, Catherine O'Neil obtient un doctorat en mathématiques de l'université Harvard[1]. Par la suite, elle occupe des postes dans les départements de mathématiques du MIT et Barnard College, faisant des recherches en géométrie algébrique arithmétique[2].
À partir de 2007, elle quitte le milieu universitaire pour travailler pendant quatre ans dans l'industrie de la finance, dont deux ans au sein du fonds d'investissement D. E. Shaw, puis pour RiskMetrics, une société de logiciels qui évalue le risque pour les avoirs des fonds spéculatifs et des banques.
À partir de 2011, elle quitte le milieu de la finance pour travailler dans une start-up qui construit des modèles prédictifs d'achats et des clics des consommateurs[3].
À partir de ses multiples expériences professionnelles, elle fait part de la nécessité de contrôler la conception des algorithmes et de prévenir de potentielles dérives des usages des modèles mathématiques ; et ce dans plusieurs ouvrages consacrés à la science des données, dont Weapons of Math Destruction, paru en France en 2018 sous le titre Algorithmes : la bombe à retardement. Elle appelle ces algorithmes des ADM (Arme de destruction mathématique)[4]. Elle montre que ces algorithmes ne sont rien d'autre que « des choix éminemment subjectifs, des opinions, voire des préjugés insérés dans des équations mathématiques ». Ces outils puissants et coercitifs, instruments d'évaluation et de notation, se répandent dans tous les domaines et constituent une idéologie en soi, propagée par les pouvoirs publics, les industriels et les géants de l'internet, tels Google, Amazon ou Facebook, « entreprise [qui] dispose d'un pouvoir démesuré tout en prétendant être neutre[5]».
Dans son ouvrage The Shame Machine: Who Profits in the New Age of Humiliation, elle analyse un phénomène au sein des interactions des réseaux sociaux qui utilisent intentionnellement le sentiment de honte ou d'humiliation leur permettant ainsi de générer du profit à travers les publicités ciblées ou de maintenir une forme de pouvoir. Elle décrit également que le design des réseaux sociaux visent à conditionner les utilisateurs à humilier autrui en clivant les communautés virtuelles sur la base du rejet ou de l'adhésion et capter ainsi leurs attentions et leurs temps d'utilisations[6].
Publications
(en) Cathy O'Neil, The Shame Machine: Who Profits in the New Age of Humiliation, Couronner, , 272 p. (ISBN1984825453)
(en) Cathy O'Neil, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, Crown, , 259 p. (ISBN978-0-553-41881-1)
traduction en français parue sous le titre Algorithmes : la bombe à retardement, traduit de l'anglais par Sébastien Marty, préface de Cédric Villani, Paris, Les Arènes, 2018, 340 p. (ISBN978-2352049807)
