Der Traum Barrierefreiheit automatisch prüfen zu können ist nicht neu. Die Frage ist, ob der Traum realistisch ist. Das Kompetenzzentrum Digitale Barrierefreiheit der Hochschule der Medien in Stuttgart hat gerade eine Studie über Monitoring-Systeme zur Überprüfung von Websites auf Barrierefreiheit durchgeführt. Zum Zug kamen dabei die Monitoring-Systeme von vier Anbietern (Deque: WorldSpace Comply (mittlerweile axeMonitor), Pope Tech, Siteimprove: Accessibility und The ARC Monitoring von der Paciello Group.

Ende Oktober 2020 hat die HDM Stuttgart die Ergebnisse ihrer Studie veröffentlicht. Das Ergebnis der Studie war eindeutig, keine der vier Accessibility Evaluations Tools kann Barrierefreiheit automatisch vollständig prüfen. axeMonitor (29%), Pope Tech (38%) und ARC Monitoring (33%) decken im Schnitt gerade mal ca. 33 Prozent der tatsächlich prüfbaren BITV-Prüfkriterien ab (genau genommen muss man von WCAG-Kriterien sprechen). Das heißt im Schnitt werden Zweidrittel aller Prüfschritte von automatischen Test-Tools gar nicht geprüft. Das Kompetenzzentrum Digitale Barrierefreiheit hat die Ergebnisse der Studie in einem Webinar vorgestellt. Die Studie über Monitoring-Systeme steht bei der HDM Stuttgart als PDF zum Download zur Verfügung.

Accessibility Monitoring-Systeme im Vergleich

Das Studie-Ergebnis der Hochschule der Medien in Stuttgart ist wenig überraschend. Ein unabhängiger Vergleich der bekanntesten Accessibility Evaluation Tools (Monitoring-Systeme) durch die britische Regierung hat ebenfalls ein eindeutiges Ergebnis gebracht: Barrierefreiheit automatisch prüfen ist nicht möglich. Bewertet wurden die Testtools SortSite, Tenon, AChecker, WAVE, aXe, Siteimprove, ASLint, FAE, Asqatasun, HTML_CodeSniffer, Eiii, Google ADT und Nu Html Checker. Im Ergebnis kam die britische Regierung zum gleichen Fazit: im Schnitt konnten die Test Tools auch hier gerade mal 30 Prozent der vorhandenen Barrieren identifizieren. Allerdings enthielt das konstruierte Testszenario der britischen Regierung auch (sinnvolle) Prüfschritte, die von den Mindestanforderungen der BITV (bzw. WCAG) wenn überhaupt nur als Empfehlung abgedeckt werden. 

Monitoring-Systeme zur Überwachung der Barrierefreiheit

Warum hat die Hochschule der Medien in Stuttgart eigentlich die Studie über Monitoring-Systeme zur Überprüfung von Websites auf Barrierefreiheit durchgeführt? Laut eigener Aussage der Hochschule hatte die Studie das Ziel, das am besten geeignete Monitoring-System für der Hochschule zu finden. Denn auch Hochschulen sind mittlerweile zur Barrierefreiheit gesetzlich verpflichtet. Um das für die Hochschule am besten geeignete System zu ermitteln wurden neben der Abdeckung der WCAG-Kriterien (zur Erklärung: die BITV hat keine eigenen Prüfkriterien mehr) auch einige andere Faktoren wissenschaftlich ausgewertet, darunter der Anteil der tatsächlich gefundenen Fehler und der Anteil der falschen Positive. Aber auch Benutzerfreundlichkeit, Lernkurve, Gamification oder Workflow-Aspekte spielten eine Rolle.

Grundsätzlich ist klar, dass es in der Theorie und auch der Praxis durchaus Vorteile eines Monitoring-Systems zur Überprüfung (Überwachung) auf Barrierefreiheit gibt. Darunter:

• Automatische Überprüfung der automatisch prüfbaren Regeln (immerhin ca. 30%)
• Überwachung kompletter Websites inklusive Unterseiten
• Monitoring-Tools, die einen Überblick über Fortschritt oder Rückschritt geben
• Teamarbeit / Workflow-Integration (zum Beispiel in Bugtracking-Tools / Ticketsysteme)
• Wissen-Management (Anbindung an WCAG-Empfehlungen, Verstöße, Techniken, etc.)
• Erstellung von automatischen Prüfberichten
• Regelmäßige Planung von automatischen Scans
• Definition von eigenen Regeln

Wie dem auch sei, die Studie über Monitoring-Systeme zur Überprüfung von Websites auf Barrierefreiheit des Kompetenzzentrums Digitale Barrierefreiheit der Hochschule der Medien in Stuttgart bestätigt letztendlich, was ein Vergleich der bekanntesten Evaluation Tools (Monitoring-Systeme) durch die britische Regierung im Jahr 2019 bereits hervorgebracht hat.

Fazit: Barrierefreiheit manuell prüfen – automatische Tools zur Unterstützung nutzen

Auch wenn es einem nicht gefällt, Barrierefreiheit muss man manuell prüfen. Accessibility Evaluations Tools bzw. Monitoring-Systeme sind sehr mächtige Tools, um die Überwachung kontinuierlich zu betreiben. Auch Experten nutzen solche Tools, um zumindest automatisch prüfbare Prüfschritte teilweise oder ganz zu automatisieren. Zudem sind Accessibility Evaluations Tools auch hilfreich, um die manuelle Prüfung zu bestätigen. Sie sollten sich aber auf keinen Fall nur auf automatische Tools zur Prüfung von Barrierefreiheit verlassen. Es hilft aber, wenn Sie diese Tools kennen, damit Sie automatisch generierte Prüfergebnisse als solche erkennen. Ich selbst habe im meiner Tätigkeit als Sachverständiger schon erlebt, dass ein positives Ergebnis eines Accessibility Evaluations Tools (Google Lighthouse) Vertragsbestandteil war, also vertraglich festgelegte Grundlage für Barrierefreiheit. Der Kunde hatte in seiner Ausschreibung zwar Barrierefreiheit nach WCAG 2.0 AA gefordert, allerdings 100 % Score im Google Lighthouse Audit im späteren Vertrag mit der Agentur unterschrieben, was de facto nur 30 % Prozent der geforderten WCAG 2.0 AA war.