Ausgelöst durch einen LinkedIn-Beitrag bin ich kürzlich noch einmal über eine Diskussion gestolpert, die bereits 2024 für einigen Gesprächsstoff in der Accessibility-Community gesorgt hat. Die Diskussion drehte sich um die Frage, wie viele Barrieren sich durch automatische Accessibility-Tests erkennen lassen. Eine Frage, die vor dem Hintergrund immer neuer KI-Tools bis heute nichts von ihrer Aktualität verloren hat.

Seinerzeit veröffentlichte Deque Systems einen Bericht mit einer Zahl, die viele überraschte: 57,38 Prozent. So hoch war nach Angaben des auf digitale Barrierefreiheit spezialisierten US-Unternehmens der Anteil der Accessibility-Issues in Erst-Audits, die sich bereits durch automatisierte Tests erkennen ließen. Das schien gegenüber den bis dahin häufig genannten Werten von bis zu 30 Prozent fast einer Verdopplung zu entsprechen.

Kurz darauf meldete sich allerdings der langjährige Accessibility-Experte Steve Faulkner zu Wort. In einem Vortrag nahm er das Ergebnis des Berichts kritisch unter die Lupe. Seine Kritik richtete sich dabei nicht gegen die Zahl selbst, sondern gegen die Schlussfolgerungen, die daraus gezogen wurden.

Seit dieser Debatte sind inzwischen zwei Jahre vergangen. Vor allem im Bereich der Künstlichen Intelligenz hat sich seitdem wieder viel verändert. Large Language Models analysieren heute Quellcode, erkennen Zusammenhänge, beschreiben Bilder und können mithilfe moderner Browser-Agenten sogar komplette Benutzerabläufe durchspielen.

Damit stellt sich die Frage neu: Ist die damalige Diskussion überhaupt noch aktuell? Oder hat KI die automatische Accessibility-Prüfung inzwischen tatsächlich auf ein neues Niveau gehoben?

Worum ging es damals eigentlich?

Deque Systems gehört ohne Zweifel zu den renommiertesten Unternehmen im Bereich der digitalen Barrierefreiheit. Mit axe-core entwickelt Deque eines der wichtigsten Open-Source-Test-Frameworks für automatisierte Accessibility-Tests. Zahlreiche Browser-Erweiterungen und kommerzielle Werkzeuge bauen direkt darauf auf. An der Qualität von axe-core bestehen daher keine Zweifel.

In der Studie wertete Deque nach eigenen Angaben mehr als 2.000 Erst-Audits mit rund 300.000 gefundenen Accessibility-Issues aus. Das Ergebnis: 57,38 Prozent der in diesen Audits festgestellten Issues konnten bereits durch automatisierte Tests erkannt werden. Das klingt zunächst nach einem gewaltigen Fortschritt, denn seit vielen Jahren gilt als Faustregel, dass sich lediglich rund 30 Prozent der WCAG-Erfolgskriterien automatisiert prüfen lassen.

Strengere Analysen – etwa die vergleichsweise aktuelle Auswertung von Accessible.org – kommen sogar zu einem deutlich niedrigeren Wert. Danach lassen sich lediglich rund 13 Prozent der WCAG-2.2-AA-Erfolgskriterien vollständig automatisiert prüfen, also etwa 7 von 55 Kriterien. Für alle übrigen Erfolgskriterien benötigt ein Werkzeug zumindest teilweise Kontext oder menschliches Urteilsvermögen.

Auf den ersten Blick scheint sich hier also ein Widerspruch zu ergeben. Wie können automatische Tests einerseits nur einen vergleichsweise kleinen Teil der WCAG-Erfolgskriterien zuverlässig prüfen, gleichzeitig aber mehr als die Hälfte aller in Audits gefundenen Accessibility-Issues erkennen? An diesem Punkt setzte auch die Kritik von Steve Faulkner an.

Kritik von Steve Faulkner

Die seit vielen Jahren zitierte Aussage, dass sich rund 30 Prozent der WCAG-Erfolgskriterien automatisiert prüfen lassen, beschreibt den Anteil der Erfolgskriterien, für die eine eindeutige automatisierte Prüfung überhaupt möglich ist – unabhängig davon, ob auf einer konkreten Website tatsächlich ein entsprechender Fehler vorliegt.

Die 57,38 Prozent aus dem Deque Bericht beziehen sich dagegen auf eine andere Messgröße. Deque betrachtete ausschließlich die in den untersuchten Erst-Audits tatsächlich festgestellten Accessibility-Issues. Nicht anwendbare Anforderungen, erfüllte Erfolgskriterien oder Prüfschritte ohne Befund flossen in diese Berechnung gar nicht ein. Die Prozentzahl beschreibt also den Anteil der gefundenen Issues, die automatisiert erkannt werden konnten.

Beide Aussagen beantworten damit unterschiedliche Fragen. Die erste fragt, welche WCAG-Erfolgskriterien sich grundsätzlich automatisiert prüfen lassen. Die zweite fragt, wie groß der Anteil der tatsächlich gefundenen Barrieren war, die innerhalb dieser automatisiert prüfbaren Erfolgskriterien lagen. Deshalb schließen sich beide Aussagen keineswegs aus. Im Gegenteil: Sie können gleichzeitig richtig sein.

Auf diesen Unterschied machte Steve Faulkner aufmerksam. Seine Kritik richtete sich nicht gegen die Qualität der Deque-Studie oder gegen den Wert von 57,38 Prozent. Er kritisierte vielmehr, dass beide Zahlen in der anschließenden Diskussion häufig miteinander verglichen wurden, obwohl sie unterschiedliche Sachverhalte beschreiben.

Hat Steve Faulkner also recht? Aus meiner Sicht: Ja – zumindest dann, wenn es um klassische, regelbasierte Accessibility-Scanner, wie axe-core, WAVE oder Lighthouse geht. Diese Werkzeuge prüfen HTML-Strukturen, den DOM, ARIA-Attribute, Farbkontraste oder Formularbeschriftungen anhand klar definierter Regeln. Zwar sind diese regelbasierten Werkzeuge in den vergangenen Jahren kontinuierlich besser geworden, an den grundsätzlichen Grenzen regelbasierter Prüfungen hat sich jedoch wenig geändert.

Ein Werkzeug kann beispielsweise zuverlässig erkennen, ob ein Bild einen Alternativtext besitzt. Ob dieser Alternativtext den Bildinhalt tatsächlich sinnvoll beschreibt, lässt sich auf Grundlage fester Regeln jedoch nicht eindeutig entscheiden. Ebenso kann ein Tool feststellen, dass ein Link einen zugänglichen Namen besitzt. Ob dieser Linktext im jeweiligen Kontext verständlich und aussagekräftig ist, bleibt hingegen eine fachliche Bewertung. Dasselbe gilt für Überschriftenstrukturen, Fokusreihenfolgen, verständliche Fehlermeldungen oder die tatsächliche Nutzbarkeit komplexer Anwendungen mit Screenreader und Tastatur.

Automatisches Accessibility-Testing in Zeiten von KI

Die Diskussion zwischen Deque Systems und Steve Faulkner bezog sich 2024 noch auf klassische, regelbasierte Accessibility-Scanner. Wo eindeutige Regeln existieren, liefern sie zuverlässige Ergebnisse. Wo Kontext oder menschliches Urteilsvermögen erforderlich sind, stoßen sie dagegen an ihre Grenzen. Die spannendere Frage ist jetzt, ob sich diese Grenzen durch den Einsatz von KI inzwischen verschoben haben.

Tatsächlich unterscheiden sich viele aktuelle Accessibility-Werkzeuge deutlich von den Tools, über die wir vor zwei Jahren diskutiert haben. Während die eigentliche WCAG-Prüfung weiterhin überwiegend regelbasiert erfolgt, kommen heute an vielen Stellen Large Language Models oder andere KI-Verfahren zum Einsatz.

Auch die Automatisierung entwickelt sich in eine neue Richtung. Moderne Browser-Agenten analysieren nicht mehr ausschließlich den HTML-Code einer Seite. Sie können mit einer Anwendung interagieren, Dialoge öffnen, Formulare ausfüllen, Tastaturpfade durchlaufen oder komplette Nutzungsszenarien automatisiert ausführen. Dadurch lassen sich heute deutlich komplexere Prüfabläufe vorbereiten und dokumentieren als noch vor wenigen Jahren.

Das bedeutet allerdings nicht automatisch, dass sich dadurch auch deutlich mehr WCAG-Erfolgskriterien vollständig automatisiert prüfen lassen.

Ist die 30 Prozent-Grenze für automatische Tests überholt?

Die häufig zitierte Aussage, dass sich rund 30 Prozent der WCAG-Erfolgskriterien automatisiert prüfen lassen, bezog sich auf Anforderungen, deren Erfüllung ein Werkzeug anhand eindeutig definierter Regeln feststellen kann. Fehlt einem Bild das alt-Attribut? Ist ein Formularfeld mit einer Beschriftung verknüpft? Besitzt ein iframe einen Titel? Solche Fragen lassen sich automatisiert und reproduzierbar beantworten. KI erweitert diese deterministischen Prüfungen jedoch nicht um weitere WCAG-Erfolgskriterien, die automatisiert geprüft werden können. KI ergänzt die deterministischen Prüfungen um eine zusätzliche Ebene.

Ein Large Language Model kann beispielsweise einschätzen, ob ein Alternativtext zum Bild zu passen scheint. Es kann sehr allgemeine oder wenig aussagekräftige Linktexte identifizieren, Überschriftenstrukturen analysieren, sprachliche Inkonsistenzen oder auffällige Muster erkennen, die einem klassischen Regelwerk verborgen bleiben würden. Solche Hinweise können außerordentlich wertvoll sein.

Während ein regelbasiertes Werkzeug einen Verstoß gegen eine eindeutig formulierte Anforderung häufig zweifelsfrei nachweisen kann, liefert ein KI-Modell zunächst eine Plausibilitätsbewertung. Es schätzt Wahrscheinlichkeiten ein, erkennt Auffälligkeiten oder bewertet Zusammenhänge. Ob daraus tatsächlich ein WCAG-Verstoß oder eine relevante Barriere entsteht, muss weiterhin fachlich beurteilt werden. Darin liegt aus meiner Sicht ein entscheidender Unterschied.

KI erweitert also nicht den Umfang deterministisch prüfbarer WCAG-Erfolgskriterien. Sie erweitert vielmehr den Bereich, in dem Werkzeuge den Menschen bei fachlichen Bewertungen unterstützen können. Das ist ein riesiger Fortschritt – aber eben ein anderer als häufig angenommen.

Ein gutes Beispiel sind Alternativtexte. Ein klassischer Accessibility-Scanner kann zuverlässig feststellen, ob ein Bild einen Alternativtext besitzt. Ein KI-Modell kann zusätzlich beurteilen, ob dieser Alternativtext zum Bild zu passen scheint oder ungewöhnlich allgemein formuliert wurde. Ob der Alternativtext den Informationsgehalt des Bildes im jeweiligen Nutzungskontext tatsächlich angemessen beschreibt, bleibt jedoch weiterhin eine fachliche Entscheidung.

Dasselbe gilt für Linktexte, Überschriften, verständliche Fehlermeldungen, die sprachliche Qualität von Formularhinweisen oder zahlreiche Aspekte der Usability. KI kann heute Auffälligkeiten erkennen und sinnvolle Hinweise liefern. Die abschließende Bewertung, ob tatsächlich eine Barriere oder ein Verstoß gegen die WCAG vorliegt, übernimmt sie jedoch nicht.

Gerade deshalb halte ich die Vorstellung für problematisch, KI würde die Grenzen automatischer Accessibility-Tests grundsätzlich verschieben. Aus meiner Sicht verschiebt KI nicht die Grenze automatischer Accessibility-Tests, sondern die Grenze automatisierter Voranalysen. KI hilft dabei, Auffälligkeiten zu identifizieren, Zusammenhänge sichtbar zu machen und menschliche Prüfungen gezielter vorzubereiten. Die eigentliche fachliche Bewertung bleibt davon jedoch unberührt.

Mein Fazit

Die Antwort auf die Ausgangsfrage lautet für mich daher: Nein – jedenfalls nicht, wenn von klassischen, deterministischen Accessibility-Tests die Rede ist.

Ich halte die Diskussion aus dem Jahr 2024 nach wie vor für richtig und wichtig. Steve Faulkner hat überzeugend dargelegt, dass die 57,38 Prozent aus der Deque-Studie und die seit vielen Jahren zitierte 30-Prozent-Aussage unterschiedliche Messgrößen beschreiben. Daran hat sich bis heute nichts geändert. Natürlich liegt es im Interesse von Herstellern, die Leistungsfähigkeit ihrer Werkzeuge möglichst positiv darzustellen. Gerade deshalb lohnt sich ein genauer Blick darauf, was sich genau hinter einer Leistungsbeschreibung eines Accessibility-Scanners oder eines Monitoring-Tools verbirgt.

Die Anzahl der WCAG-Erfolgskriterien, deren Erfüllung sich eindeutig und reproduzierbar automatisiert prüfen lässt, hat sich auch durch KI nicht verdoppelt oder verdreifacht.

Die spannende Frage lautet deshalb aus meiner Sicht heute nicht mehr, wie viele WCAG-Erfolgskriterien sich automatisiert prüfen lassen. Entscheidend ist vielmehr, welche bislang manuellen Prüfschritte künftig sinnvoll durch KI unterstützt werden können und wie zuverlässig diese Unterstützung tatsächlich ist. Eine belastbare Prozentzahl existiert dafür meines Wissens bislang noch nicht.

Fest steht aber schon heute: KI wird die Accessibility-Tests nachhaltig verändern. Prüfprozesse werden effizienter, Voranalysen umfangreicher und Hinweise qualitativ besser werden. Die Verantwortung für die fachliche Bewertung und letztlich auch für die Aussage, ob eine Website, ein Dokument oder eine Anwendung den Anforderungen der WCAG, der EN 301 549 oder den gesetzlichen Vorgaben entspricht, bleibt jedoch auf absehbare Zeit beim Menschen.

Trotz moderner Test-Frameworks wie axe-core, intelligenter Browser-Agenten und KI-gestützter Analysen bleiben vollautomatische Accessibility-Tests daher für eine rechtssichere Bewertung – etwa im Rahmen des BFSG oder der BITV – auch künftig nicht ausreichend. Sie sind und bleiben ein wichtiger Baustein eines Accessibility-Audits, aber kein Ersatz für eine fachlich fundierte manuelle Prüfung.