Le côté obscur du Machine Learning


Cet article est une traduction a posteriori d'un billet d'abord publié en anglais, parfois des mois en arrière, mais que je tiens à traduire.

Le Machine Learning ou l’apprentissage intelligent n’est pas le Mal. Les outils sont des moyens pas des fins.

Cependant, à écrire sur le sujet de la vie privée et des GAFAMs, on passe vite aux yeux de certains pour un parano adepte de la formule “c’est ce qu’ils veulent te faire croire”.

Pour autant, l’époque aide. Grâce aux lanceurs d’alerte, aux activistes, aux hackers, et à bien d’autres qui ne rentrent pas dans ces cases, les dossiers sont dévoilés au grand jour avec de solides preuves et ça change la donne.

Les algos, les équipements et la technologie en général sont ce qu’ils sont mais c’est toujours à l’usage que ça dérape.

Il est à mon avis nécessaire de s’intéresser au Machine Learning car l’outil peut tout à fait être bénéfique si bien utilisé.

Les modèles prédictifs sont la nouvelle poule aux oeufs d’or mais on a envie de dire “drôle de méthodes” quand on s’intéresse aux pratiques des grosses compagnies.

Pour l’instant, ils générent énormément de biais et peuvent même favoriser la discrimination dans le pire des cas.

Permalien pour la section Des conditions d’utilisation incompréhensibles Des conditions d’utilisation incompréhensibles

Les politiques de vie privée et les permissions demandées par les applis sont imbittables la plupart du temps, mêmes pour les internautes avancés.

Les grosses plateformes ont un talent certain pour le charabia juridique et la confusion par les mots.

AMHA, c’est du consentement forcé au final et c’est très problématique. L’utilisateur n’a aucun moyen d’évaluer la légitimité de la demande sauf à prendre un avocat ou faire des études de droit, et encore.

De plus, ce n’est pas rare d’avoir des paramètres incohérents entre les différents réglages de vie privée, si bien qu’on peut carrément désactiver certaines protections sans même s’en rendre compte.

Qui veut de ça ?

Faites gaffe quand vous installez une appli car la liste des permissions demandées est parfois extravagante avec la possibilité de lister tous vos contacts, vos messages, vos appels, alors que l’appli en question n’en n’a absolument pas besoin pour fonctionner.

Beaucoup de gens apparemment acceptent car ils pensent que c’est obligatoire alors que non, il suffit de cliquer sur “refuser” et l’installation se poursuivra quand même.

Permalien pour la section Les données brutes sur le grill Les données brutes sur le grill

Si vous n’activez pas les bons réglages, vos appareils envoient constamment des données aussi critiques que votre localisation à des serveurs externes pour analyse.

Ces données brutes en elles-mêmes n’ont pas grand intérêt mais après traitement leur valeur marchande grimpe en flèche.

Certains imaginent que les GAFAMs ont déjà en leur possession l’IA ultime (~ Skynet dans Terminator) mais pour superviser, entraîner et surtout corriger les modèles, il faut des humains.

Cette intelligence supérieure repose donc sur des centaines voire des milliers de personnes qui travaillent dans des conditions par ailleurs inacceptables. Cela s’appelle le digital labor.

Les grosses boîtes sous-traitent le traitement des données collectées à divers entreprises tierces qui vont parfois les retraiter une à une pour les catégoriser et corriger les errements de l’IA.

Permalien pour la section Automatiser les biais: le cas Amazon Automatiser les biais: le cas Amazon

En 2015, Amazon a réalisé qu’un de ses outils de recrutement basé sur l’IA discriminait en réalité les profils féminins.

Les modèles étaient entraînés à évaluer les candidats sur la base de candidatures envoyées à Amazon depuis 10 ans mais les profils du dataset étaient en grande majorité masculins.

Amazon s’était donc auto-appris avec un énorme biais ce qui a favorisé au final les candidatures masculines automatiquement.

Source: Reuters

C’est une pente très glissante car les résultats du Machine Learning sont parfois pris au pied de la lettre.

Quelques années après, force est de constater que la sphère politique fait la même erreur. Cela pourrait aggraver les discriminations et compliquer le travail de la police dans certaines zones avec une grande quantité de faux positifs.

Permalien pour la section Conclusion Conclusion

Le Machine Learning est censé nous rendre vraiment plus malins et ouvrir l’esprit humain à d’autres possibilités. L’état de l’art actuel est assez decevant et aboutit même parfois à un gigantesque biais de confirmation.

Cette page est aussi disponible dans d'autres langues :