Un système automatisé de prise de décision (en anglais «automated decision-making system», ADMS) est un système technique qui prend des décisions complexes de manière assistée ou totalement autonome. Bien que les conséquences pour les personnes concernées puissent être considérables, celles-ci ignorent souvent qu’un ADMS a été utilisé et ne peuvent ni comprendre ni contester le processus décisionnel. Société Numérique exige donc une réglementation des ADMS qui garantisse que l’utilisation de ces systèmes soit transparente et compréhensible et que les ADMS ne puissent pas être utilisés lorsque le risque associé est inacceptable.
Published documents including translations to English can be found at the end of this article.
Les algorithmes des réseaux sociaux déterminent les informations auxquelles nous avons accès et celles qui nous sont cachées. Les portails de candidature créent automatiquement des profils de personnalité des candidats. Les prévisions d’un système de police prédictive orientent les interventions des patrouilles de police. Ces exemples, parmi d’autres, illustrent l’importance croissante des systèmes automatisés de prise de décision dans notre vie. Cependant, la société dans son ensemble est également influencée, par exemple lorsque les ADMS discriminent ou favorisent certains groupes de personnes en raison de tendances systématiques (en anglais « bias »). Il est donc urgent de mener une réflexion critique sur l’opportunité et les modalités d’utilisation des ADMS : les décisions prises par les ADMS sont-elles équitables et favorisent-elles l’égalité des chances ? Comment les décisions prises de manière automatisée peuvent-elles être comprises et justifiées ? Y a-t-il des décisions individuelles ou des domaines entiers (par exemple, les décisions de justice) que nous ne devrions pas laisser aux algorithmes, mais qui doivent être pris par des êtres humains ?
Malgré les risques associés, l’utilisation des ADMS reste largement incontrôlée à ce jour. Société Numérique demande donc une réglementation efficace centrée sur l’être humain et non la technologie, qui assure la transparence dans l’utilisation des ADMS et évalue soigneusement les bénéfices et les risques. Nous avons élaboré une proposition de réglementation qui est neutre sur le plan technologique et qui se concentre plutôt sur les risques que les ADMS font peser sur les individus et la société. Ainsi, aucune restriction ne devrait s’appliquer aux systèmes présentant « un risque faible ou nul ». En revanche, l’utilisation de systèmes présentant un « risque inacceptable » (tels que la surveillance de masse biométrique) devrait être interdite. Entre les deux se trouvent les systèmes présentant un « risque moyen ou élevé », qui devraient être soumis à des obligations de transparence et de diligence étendues.
La classification du risque devrait être effectuée par l’organisation qui utilise l’ADMS, sur la base d’une auto-déclaration. Une sous-estimation de la catégorie entraînant des sanctions sévères et proportionnelles au chiffre d’affaires. Cela permet d’éviter d’imposer aux entreprises et à l’administration publique des processus de contrôle coûteux. La proposition de réglementation établit une distinction entre les ADMS du secteur privé et ceux qui remplissent des missions de service public. Les personnes concernées, la nouvelle autorité de surveillance des ADM et les ONG habilitées disposeront d’un droit de recours ou d’action en justice afin de garantir la classification correcte des risques et le respect des obligations qui en découlent. Dans le cas d’un ADMS dont le fonctionnement exact est soumis au secret commercial, un renversement de la charge de la preuve s’appliquera. En revanche, pour les systèmes remplissant une mission de service public, une publication étendue de la mise en œuvre technique et des données utilisées à cette fin (s’il s’agit d’un ADMS basé sur des données) est prévue.
En février 2022, Société Numérique a publié une première version de sa prise de position sur la réglementation des ADMS. Depuis lors, les membres du groupe spécialisé ADM ont présenté la proposition de réglementation lors de plusieurs événements, participé à des débats publics et se sont engagés au niveau national et international dans des comités pertinents.
Depuis janvier 2023, Société Numérique est officiellement observatrice auprès du Comité sur l’intelligence artificielle (CAI) du Conseil de l’Europe et s’engage (DE), avec les États membres et d’autres acteurs, dans le débat sur la convention-cadre pour la réglementation de l’intelligence artificielle, qui revêt également une importance pour la Suisse. Les négociations ont abouti en mars 2024, mais Société Numérique critique vivement le résultat sur le fond et l’implication insuffisante de la société civile (DE) dans ces négociations importantes.
En novembre 2023, Société Numérique, en collaboration avec Pour Demain, AlgorithmWatch CH, CH++ et opendata.ch, a demandé dans un document commun (DE, PDF) que la Suisse prenne les devants en matière de réglementation de l’intelligence artificielle et des systèmes automatisés de prise de décision. Selon ces organisations, un cadre réglementaire est nécessaire pour garantir la sécurité juridique et l’innovation orientée vers le bien commun autour de ces nouvelles technologies.
Au cours de la même période, le Conseil fédéral a reconnu la nécessité potentielle de réglementer les systèmes ADM/IA et examine différentes approches réglementaires. La Confédération prévoit de publier fin 2024 un aperçu des approches réglementaires possibles en matière d’intelligence artificielle. Société Numérique participe activement aux débats en cours à ce sujet.
Documents importants
- Position de Société Numérique sur la réglementation des systèmes décisionnels automatisés (Français, PDF, Version 2.0)
- Position der Digitalen Gesellschaft zur Regulierung von automatisierten Entscheidungssystemen (PDF, Version 2.0)
- Position of the Digital Society on the Regulation of Automated Decision-Making Systems (English, PDF, Version 2.0
- Zivilgesellschaftliche Grundsatzforderungen zur Regulierung von Künstlicher Intelligenz und automatisierten Entscheidungssystemen (30.11.2023)
Anciennes versions des documents
