Mesurer la mise en accessibilité (Numérique) ?

Mesurer c’est quoi ?

Je lisais un billet d’Antoine Vayer, celui qui parle cyclisme. Il mesure les performances des sportifs (avec des résultats qui dépassent tout logiques physiologiques humaines).

Il dit :

Je parlais d’un cyclisme “baroque”, c’est-à-dire catholique, où l’effort s’assimilait à une quête désespérée du salut. Je parle aujourd’hui d’un cyclisme devenu “protestant” : la “prédestination” dispense de tout souci du salut, et seule compte la vocation au travail et la prospérité (Seul le résultat compte).

Tout comme pour les frères Ingebrigtsen en demi-fond, entraînés par leur père avec une méthode de mesure (suivi de la fatigue) stricte ; la mesure a fait passer une discipline où on s’entraînait à la “sensation” à une discipline dans laquelle on suit des “indicateurs”.

Le coureur qui connaît désormais son profil de puissance et dispose d’un capteur ne perce pas sa forme : il en épouse les contours connus à l’avance !

Il ne se projette plus vers l’inconnu et le mystère. Cela ne fait pas du cyclisme un sport plus facile.

Mais cela change le sens du récit et surtout le paradigme de l’effort vécu, la phénoménologie de l’effort, qui s’en trouvent profondément changés.

Donc mesurer peut permettre d’améliorer les performances, mais dénature quelque chose de la connaissance de soit-même. Il nous détourne même probablement de cette recherche de chercher comment être meilleur.

La productivité avec l’IA ?

On dit que tout va plus vite avec l’IA, c’est vrai. On dit que ceux qui ne vont pas y passer seront dépassés, au chômage… ça c’est selon les études des entreprises qui développent des IA.

Mais on parle déjà de fin de la bulle IA. On parle de résultat sera médiocre avec l’IA au regard des millions investis (“Où sont les millions ?” : dans les grands groupes français, l’IA générative à l’épreuve du réel), on parle de 25% d’erreurs de sécurité en plus avec l’IA.

Mais pas que, Addy Osmani parle de goulot d’étranglement :

Lorsqu’un développeur de votre équipe écrit du code, le processus de révision humaine a toujours constitué un goulot d’étranglement – mais un goulot d’étranglement productif et formateur.

La lecture de leur pull request oblige à bien comprendre le code. Elle met en lumière des hypothèses cachées, permet de repérer les choix de conception qui entrent en conflit avec l’architecture du système mise en place il y a six mois, et diffuse la connaissance de ce que fait réellement le code parmi les personnes chargées de sa maintenance.

Et pour tout dire, Anthropic (qui développe Claude) a mesuré dans EN - How AI Impacts Skill Formation que les personnes qui utilisent l’IA comme assistant dans des processus de formation sont rapides, mais moins bons aux Quizz. Les concepts ne sont pas bien assimilés.

Les participants ayant eu recours à l’assistance par IA ont accompli la tâche en à peu près autant de temps que le groupe témoin, mais ont obtenu des résultats inférieurs de 17 % lors d’un quiz de compréhension réalisé après coup (50 % contre 67 %).

Les baisses les plus importantes ont été observées dans le domaine du débogage, tandis que des baisses moins marquées, mais néanmoins significatives, ont été constatées en matière de compréhension conceptuelle et de lecture de code.

La productivité n’est pas un évolution linéaire fonction de l’utilisation de l’IA ou non. L’utilisateur d’une IA serait moins fort dans les sujets à forte complexité conceptuelle.

Accessibilité et la mesure

En France, on n’a pas de vraiment de groupe, conférence, chercheurs, spécialistes… avec des personnes qui parleraient de la manière dont on mesure ce qui imposé par la loi : la mise en accessibilité.

Pour tout ceux qui se rendent compte qu’ils ont une obligation légale d’avoir des audits, les discussions tournent autour de :

• On est obligé d’avoir 100% de conformité au référentiel ?
• Pourrez vous me fournir un plan d’actions pour la corrections des anomalies ?
• Donnez nous votre tarif au forfait pour 10 audits de conformité ?

Parfois pour ceux qui font un peu l’effort, c’est : on va faire un grand tableau avec tous les services numérique et puis on va les améliorer un part un et on enverra la moyenne des scores à la direction pour lui montrer que ça avance. Et justifier les budgets.

Sans vouloir tomber dans le commentaire religieux, cette logique c’est celle citée plus haut de la mesure par “capteur”, dans laquelle on ne désire pas rendre un services numérique accessible, mais mettre en place des scores et lancer des actions en espérant que ça marche.

Cette pratique, c’est celle que je vois dans les offres d’embauches : reporting, suivre les projets, rigueur budgétaire… on cherche des chefs de projet qui vont suivre des capteurs. Mais que connaissent-ils de l’effort ?

Accessibilité discipline à forte complexité conceptuelle

Les études semblent le montrent, c’est l’effort de lecture d’une proposition de code, de bugs, de critères accessibilités… qui font qu’on devient pertinent et compétent.

Ainsi, on peut penser que l’utilisation de l’IA, tout comme elle augmente le nombre de failles de sécurité, va augmenter les problèmes d’Accessibilité Numérique. A cause de l’IA, mais aussi parce qu’on ne mesure pas de la bonne manière.

Pour vous donner un exemple, lisez cet article EN - Who are we willing to exclude?. c’est l’histoire d’une équipe de conception informatique à qui on demande : alors on va exclure qui aujourd’hui ?

Si tu demandes aux gens d’exclure délibérément les autres, ils ne se bousculent pas vraiment pour le faire. Ils savent que ça ne fait pas bonne impression, même si c’est ce qu’ils pensent.

Je vous invite à lire l’article avec son tableau et ses post-it, sur lequel l’équipe choisit qui exclure. Le renversement des priorités pour les concepteurs change complètement la donne pour la prise en compte de l’accessibilité.

Ce que doit mesurer l’accessibilité ce ne sont pas des indicateurs techniques, mais bien autre chose.