Studie zu Barrierefreiheitstools: Siteimprove gewinnt den Vergleich

Um Ihre Website barrierefrei zu gestalten, brauchen Sie zweierlei Informationen. Erstens: Eine Übersicht, welche Probleme der digitalen Barrierefreiheit es auf Ihrer Website gibt. Und zweitens: Eine Anleitung dazu, wie Sie diese Probleme effizient beheben und in Zukunft vermeiden können.

Barrierefreiheitstest können manuell, automatisiert oder hybrid durchgeführt werden. Um die besten Ergebnisse für Ihre Organisation zu erzielen, sollten Sie je nach Ihren spezifischen Anforderungen, der Anzahl von zu testenden Seiten, Ihrem Budget und Ihrer internen Expertise in Bezug auf digitale Barrierefreiheit eine geeignete Methode wählen.

Um das geeignete Tool für die Überprüfung und Optimierung ihrer Website zu finden, hat die Hochschule der Medien (HdM) Stuttgart eine unabhängige Studie über Monitoring-Systeme zur Überprüfung von Websites auf Barrierefreiheit durchgeführt. Und wir freuen uns sehr, dass Siteimprove diesen Vergleich von Barrierefreiheitstools gewonnen hat!

Welches Barrierefreiheits-Tool passt genau zu Ihren Anforderungen?

Dank dem 2019 gegründeten Kompetenzzentrum Digitale Barrierefreiheit, das Professoren und Beschäftigten der HdM bei der Umsetzung von Barrierefreiheit in der Lehre, Kommunikation und Verwaltung unterstützt sowie andere Hochschule dazu berät, ist das Bewusstsein für einen zugänglichen Webauftritt an der HdM hoch.

Um jedoch die eigene Website noch zugänglicher zu gestalten und dies auch langfristig zu halten, hat Andreas Burkard am Lehrstuhl von Prof. Dr. Bettina Schwarzer und Prof. Dr. Gottfried Zimmermann einen wissenschaftlichen Vergleich von vier verschiedenen Barrierefreiheitstools durchgeführt. Das Projekt startete als Masterarbeit, doch schnell wurde klar, dass der Vergleich von Monitoring-Systemen ein ganzes Projekt ist, dessen Ergebnisse wissenschaftlich publiziert werden sollten.

Grundlage für die Auswahl der Tools war, dass sie den Datenschutzrichtlinien entsprechen und eine „mächtige automatische Überprüfung“ der digitalen Barrierefreiheit durchführen konnten. Kostenfreie Tools wurden demnach nicht berücksichtigt.

Im Folgenden wird beschrieben, wie der Vergleich durchgeführt wurde – dies kann Ihnen als Anleitung zu Auswahl eines Tools für genau die Bedürfnisse Ihrer Organisation dienen.

1. Anforderungen an das Tool

Im ersten Schritt hat die Hochschule überlegt, welche Eigenschaften ein Barrierefreiheitstool für ihren speziellen Anwendungsfall haben sollte. In der Diskussion im Team stellte sich schnell heraus, dass neben einer einfachen Nutzbarkeit durch „Nicht-Experten“ folgende Anforderungen erfüllt werden müssen:

• Mächtige automatische Überprüfung auf Barrierefreiheit
• Geltungsbereich: komplette Websites mit Unterseiten
• Fortschrittsübersicht
• Team-Arbeit
• (Prüf-)Berichte
• Planung von Scans
• Individualisierbare Festlegung von Regeln der Barrierefreiheitstests

2. Bewertungskriterien

Doch wie wurden die Tools miteinander verglichen? Basierend auf bereits existierenden Studien sowie Feedback und Wünschen vom Team wurden spezielle Kriterien erarbeitet. Diese wurden dann im Expertenkreis diskutiert und gewichtet. Heraus kam folgende Liste:

Kriterium	Beschreibung
Abdeckung von Webseiten	Die Anzahl der gecrawlten Webseiten. Hierfür werden keine doppelten Webseiten oder Sprungmarken zur gleichen Seite gezählt. Nur Seiten mit neuem Inhalt zählen. Automatische Authentifizierung. Evaluation von Prozessen. Die Studie untersuchte hier die Scantiefe 1, das heißt die Hauptseite und eine Schicht an Unterseiten.
Abdeckung der Erfolgskriterien der WCAG	Anzahl der gefundenen verletzten Erfolgskriterien
Vollständigkeit	Verhältnis zwischen „true positives“ und „false negatives“. Ein „true positive“ (TP) ist ein Fehler, der von dem Tool als Fehler angezeigt wurde und der sich durch manuelle Überprüfung als tatsächlicher Fehler herausgestellt hat. Ein „false positive“ (FP) ist ein Fehler, der von dem Tool als Fehler angezeigt wurde, aber der sich nach einer manuellen Überprüfung nicht als Fehler herausgestellt hat.
Korrektheit	Verhältnis zwischen „true positives“ und „false positives“. Ein „false negative“ (FN) ist ein tatsächlicher Fehler der Barrierefreiheit, der von dem Monitoring-System nicht als Fehler wahrgenommen wurde
Unterstützung für das Finden von Fehlern	Wie einfach kann man die Fehler auf einer Website finden?
Unterstützung von manuellen Überprüfungen	Wie gut wird das manuelle Überprüfen von Fehlern unterstützt?
User Experience (empirisch)	Die Ergebnisse einer Nutzerstudie, in welcher der User Experience Questionnaire verwendet wurde.
Gamification Patterns	Anzahl der eingesetzten Typen von “gamification patterns”, d.h. Methoden, die zur Motivation der Nutzer genutzt werden.
Input Formate	Die Anzahl an Dateiformaten, die Überprüft werden können.
Bericht Formate	Die Anzahl an Dateiformaten, die als Bericht exportiert werden können.
Unterstützung für die Methodik WCAG-EM	Unterstützung für die „Website Accessibility Conformance Evaluation Methodology 1.0“ (WCAG-EM) Methodik.
Unterstützung für die Methodik des deutschen BIK BITV-Tests	Unterstützung für die BIK BITV-Test Methodik.

3. Der Vergleich

Nachdem Anforderungen, Bewertungskriterien und deren Gewichtung festgelegt waren, wurden die vier Monitoring-Systeme getestet und die Ergebnisse gegeneinander verglichen.

Der gleichzeitige Scan durch die Tools hat im Mai 2020 stattgefunden, überprüft wurde die allgemeine Website der Hochschule der Medien, sowie die Website des Kompetenzzentrums Digitalisierung der Hochschule.

Eine barrierefreie Excel-Tabelle der Ergebnisse kann hier heruntergeladen werden.

Die Abbildung zeigt das Resultat der Studie gemäß der von der HdM gewählten Kriterien und Gewichtung. Die detaillierten Ergebnisse können in der veröffentlichten Studie nachgelesen werden. Mehr Informationen zur Veröffentlichung im Frontiers Journal, sowie ein vorläufige Veröffentlichung finden Sie auf der Website des Kompetenzzentrums.

 

Alleinstellungsmerkmale von Siteimprove

• Barrierefreiheits-Tool als Teil einer Plattform zum Website-Management

Positiv wurde in der Studie angesehen, dass das Barrierefreiheits-Tool von Siteimprove nur ein Teil einer umfassenden Plattform ist, die zum Website-Management eingesetzt werden kann. Andere Module von Siteimprove helfen neben dem Accessibility-Modul zusätzlich dabei, den Webauftritt zugänglicher zu machen: So können automatisch Rechtschreibfehler, tote Links oder schwer lesbare Sätze gefunden werden. Auch können durch Analysen der Seitenaufrufe datenbasierte Entscheidung zu Priorisierung der Optimierung der verschiedenen Seiten einer Website gefunden werden. Mehr Informationen zu den Produkten von Siteimprove finden Sie hier.

 

• Überprüfung der Konformitätsstufe AAA

Siteimprove war zudem im Vergleich das einzige Tool, das die Website nach der Konformitätsstufe AAA der WCAG 2.1 überprüfen konnte. Das ist nach der BITV 2.0 für Portalseiten und Webformulare relevant. Doch auch bei einer Betrachtung der Überprüfung gemäß der Konformitätsstufe AA deckte Siteimprove die meisten Erfolgskriterien der WCAG ab.

Eine barrierefreie Excel-Tabelle der Ergebnisse kann hier heruntergeladen werden.

 

• Motivation der Nutzer durch Gamification Patterns

Laut der Studie ist einer der größten Unterschiede zwischen Siteimprove und den anderen getesteten Monitoring-Systemen der Fokus auf Gamification, also der „Übertragung von spieltypischen Elementen und Vorgängen in spielfremde Zusammenhänge mit dem Ziel der Verhaltensänderung und Motivationssteigerung bei Anwenderinnen und Anwendern“ (Quelle: Gabler Wirtschaftslexikon).

Andreas Burkard nennt hier in der Studie besonders das individualisierbare Dashboard sowie den Accessibility Score, der einen Überblick über die Barrierefreiheit der eigenen Website im Vergleich mit dem Branchenvergleichswert gibt. Zudem werden die Fortschrittskontrolle im Branchen-Vergleich und die Übersicht der gefundenen Probleme sowie deren Beitrag zum Score genannt.

Eine barrierefreie Beschreibung des Screenshots können Sie sich auf Youtube anhören.

 

• Einfach zu lernen

Auch im Nutzertest schnitt Siteimprove am besten ab. Das Tool erhielt mehr positive Assoziationen als neutrale oder negative und bekam Bewertungen, die im Bereich „Überdurchschnittlich“ oder „Gut“ lagen. Die anderen Barrierefreiheits-Tools lagen hierbei bei deutlich mehr neutralen und/oder negativen Assoziationen und erhielten Bewertungen, die meist in den Bereichen „Unter Durchschnitt“ oder „Schlecht“ lagen.

In der Präsentation der Studie betonte Herr Burkard zudem, wie leicht es war, die Nutzung des Tools zu lernen und sich zurecht zu finden.

Eine barrierefreie Excel-Tabelle der Ergebnisse kann hier heruntergeladen werden.

 

Erfahren Sie mehr über Siteimprove Accessibility

Siteimprove Accessibility enthält folgende Funktionen

• Automatisierte Prüfungen der digitalen Barrierefreiheit entsprechend Ihren Zielen für WCAG-Konformität
• Leitfaden und praktische Empfehlungen zur Behebung von Problemen der Barrierefreiheit im Web
• Seitenberichte mit hervorgehobenen Problemen, die auf einer einzelnen Seite auftreten
• Anhand von Problemkategorien erkennen Sie, wo der Inhalt Probleme aufweist, welcher Konformitätsstufe sie angehören und wie schwierig sie zu beheben sind
• Prüfungen für PDF-Dokumenten
• Konformitätsprüfungen und ständige Fortschrittskontrolle

Sie möchten wissen, wie wir Ihrer Organisation helfen können? Fragen Sie einen Beratungstermin an.