Let op: De standaard Webrichtlijnen versie 2 is per 15 november 2016 vervallen. De standaard is vervangen door de Europese toegankelijkheidsstandaard EN 301 549. Daarom zal deze website binnenkort verdwijnen. De oude standaard is dan nog als downloadbaar document via de website digitoegankelijk.nl (opvolger van webrichtlijnen.nl) te raadplegen.

Logius verwijst naar de internationale evaluatiemethode WCAG-EM voor het uitvoeren van toegankelijkheidstesten van websites. Lees meer over WCAG-EM op digitoegankelijk.nl.

Evaluatiemethode

[Inhoudsopgave]

Deze versie:
http://versie2.webrichtlijnen.nl/evaluatiemethode/201303/
Laatste gepubliceerde versie:
http://versie2.webrichtlijnen.nl/evaluatiemethode/
Vorige versie:
-
Dit document is tot stand gekomen onder redactie van de Normcommissie van de stichting Waarmerk drempelvrij.nl
Leden van de Normcommissie (in alfabetische volgorde):
Ferry den Dopper, TamTam
Bram Duvigneau, Guided Solutions
Wilco Fiers, stichting Accessibility
Marijke van Grafhorst (secretaris)
Stephen Hay, Zero Interface
Gerard Kruijff, Qualityhouse BV
Hanno Lans, Datascape (vanaf augustus 2012)
Jaap van de Putte, 2useIt
Iacobien Riezebosch, Iacobien.nl
Raph de Rooij, Logius
Janita Top, Fronteers / Janita Top Webontwikkeling
Koen Willems, Skaj Standards (tot oktober 2012)

Voorwoord

Dit document beschrijft een evaluatiemethode. Doel is om een zo betrouwbaar mogelijke uitspraak te kunnen doen over de mate waarin een website of deelsite - de officiële term daarvoor is overigens 'verzameling webpagina's' - in overeenstemming is met de internationale toegankelijkheidseisen (WCAG 2.0), of aan de meer uitgebreide set kwaliteitscriteria: Webrichtlijnen versie 2. Het middel dat wordt ingezet om het doel te bereiken is een zo efficiënt mogelijk ingericht inspectieproces. De evaluatiemethode behelst daarom geen 100-procentscontrole over een periode, maar een onderzoek van een selectie webpagina's op een bepaald moment in de tijd.

Het gegeven dat door deze aanpak niet alle afwijkingen (non-conformiteiten) kunnen worden opgespoord wordt ondervangen door het waarmerk - dat op basis van een succesvol doorlopen inspectieproces wordt verleend - te koppelen aan een klachtenregeling. Als een bezoeker van een website die het waarmerk voert onverhoopt een probleem ondervindt dat gerelateerd is aan het niet voldoen aan de richtlijnen[1], dan kunnen bezoekers dat melden. De eigenaar van de website is verplicht het probleem binnen een vastgestelde termijn te verhelpen. Gebeurt dat niet, dan mag het verleende waarmerk niet langer worden gevoerd.

Deze evaluatiemethode vormt input voor een geharmoniseerde evaluatiemethode, die vanaf 2012 wordt ontwikkeld als project van het World Wide Web Consortium (W3C). Het is de bedoeling dat de geharmoniseerde evaluatiemethode na vaststelling als basis gaat dienen voor deze evaluatiemethode.

Inleiding

Dit document beschrijft de volgende onderwerpen:

Scope
hoe een verzameling webpagina's wordt samengesteld (hoofdstuk 2),
Steekproef
hoe uit de verzameling een representatieve steekproef wordt genomen (hoofdstuk 3),
Evaluatie
hoe het onderzoek moet worden uitgevoerd (hoofdstuk 4), en
Aanspraak maken op conformiteit
welke mogelijkheden er voor de eigenaar zijn om te verklaren dat aan de gestelde eisen is voldaan (hoofdstuk 5)

De inspectie zelf is gebaseerd op Webrichtlijnen versie 2 of alleen op de toegankelijkheidsspecificatie WCAG 2.0[2]. In Webrichtlijnen versie 2 is WCAG 2.0 in zijn geheel en zonder aanpassingen opgenomen. WCAG 2.0 geldt internationaal als de norm voor webtoegankelijkheid. Een verzameling webpagina die voldoet aan Webrichtlijnen versie 2 op een bepaald niveau (A, AA of AAA) is dus ook in overeenstemming met WCAG 2.0 op hetzelfde niveau.

Doelgroep

De primaire doelgroepen van dit document zijn:

Overige doelgroepen zijn:

Toepassingsgebied

De evaluatiemethode is van toepassing op alle webcontent en webgebaseerde producten voor alle mogelijke user agents[3] (webbrowsers, mediaspelers, plug-ins, andere programma's en hulptechnologieën die helpen bij het ophalen en weergeven van webcontent, en de interactie met webcontent).

Status van de inhoud van dit document


Inhoudsopgave


1. Over dit document

Dit document is gemaakt door de stichting Waarmerk drempelvrij.nl en is bedoeld als basis voor een waarmerk voor websites. Het is tot stand gekomen in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties en is goedgekeurd door de Normcommissie van Stichting Waarmerk drempelvrij.nl. De evaluatiemethode is in maart 2013 vastgesteld door het bestuur van de stichting Waarmerk drempelvrij.nl.

De relatie tussen de Webrichtlijnen versie 2 en WCAG 2.0 wordt beschreven op http://versie2.webrichtlijnen.nl/#w3c.

1.1 Toepasselijkheid van Webrichtlijnen versie 2

In Webrichtlijnen versie 2 zijn eisen vastgelegd over conformiteit[4]. Deze eisen zijn van toepassing op dit document. In geval van tegenstrijdigheid prevaleert Webrichtlijnen versie 2.

2. Scope van het onderzoek

2.1 Doel

Dit hoofdstuk beschrijft hoe je bepaalt wat de omvang - de scope - van een inspectie is en welke factoren daarbij een rol spelen. Dit is de eerste stap in het inspectieproces. De scope moet voldoende omvatten om waarde te kunnen hechten aan een verklaring dat een verzameling webpagina's in overeenstemming is met Webrichtlijnen versie 2 of WCAG 2.0. Een dergelijke verklaring heet een conformiteitsverklaring.
Het ter inspectie aanbieden van een aantal losse pagina's om hiervoor een waarmerk te behalen is niet aan de orde.

2.2 Hoe wordt de scope bepaald?

Een formele inspectie moet worden uitgevoerd op een of meerdere verzamelingen webpagina's. In de praktijk is dat vaak een website, webapplicatie of deelsite.

WCAG 2.0 en Webrichtlijnen versie 2 definiëren 'webpagina' en een 'verzameling webpagina's' als volgt[5]:

Een verzameling webpagina's die een gemeenschappelijk doel delen en die worden gecreëerd door dezelfde auteur, groep of organisatie.

Opmerking: verschillende taalversies worden beschouwd als verschillende verzamelingen webpagina's.[6]

Het initiatief voor de inspectie ligt bij de opdrachtgever, die hiertoe een aanvraag indient bij een inspectie-instelling. De opdrachtgever kan verzoeken om bepaalde pagina's buiten het onderzoek te houden of er juist bij te betrekken. De opdrachtgever bepaalt dus zelf welke verzameling webpagina's hij ter inspectie aanbiedt.

Het is echter aan de inspecteur om te beoordelen of de aangeboden verzameling webpagina's bruikbaar is voor een inspectie. De inspecteur moet immers aan de hand van een onderzoek een betrouwbare conformiteitsverklaring voor de betreffende verzameling webpagina's kunnen afgeven.

2.2.1 Randvoorwaarden uit WCAG 2.0

De paragraaf 'Conformiteitseisen' van WCAG 2.0[7] maakt ook deel uit van Webrichtlijnen versie 2. In deze paragraaf staan twee eisen die belangrijk zijn bij de beoordeling of een verzameling geschikt is om een inspectie op uit te voeren. Deze eisen zijn:

Voor wat betreft onderdelen van pagina's: voor de bepaling van conformiteit worden alternatieven voor content op de pagina die op een andere URI staan beschouwd als onderdeel van de pagina. In het document 'Conformiteit begrijpen' van het W3C staat hierover:

Note 1: For the purpose of determining conformance, alternatives to part of a page's content are considered part of the page when the alternatives can be obtained directly from the page, e.g., a long description or an alternative presentation of a video.

2.2.2 Het bepalen van de scope

Bij het bepalen van de scope van een inspectie mag er geen sprake zijn van strijdigheid met de paragraaf conformiteitseisen en de definitie van 'verzameling webpagina's'.

De volgende criteria worden door een inspecteur gehanteerd om de scope te bepalen:

URI-basis
De URI-basis is in veel gevallen een bruikbaar startpunt bij het bepalen van de scope. De URI-basis kan een second-level domein zijn (example.com of www.example.com), een subdomein (sub.example.com) of een domein met een padnaam (www.example.com/english/). In geval er sprake is van een duidelijke URI-basis, vallen alle pagina's die er deel van uitmaken binnen de scope. Voorbeelden uit de praktijk zijn www.nu.nl, hallo.kvk.nl en www.microsoft.com/netherlands/toegankelijk. Alle drie de voorbeelden zijn volledig zelfstandige websites met een eigen homepage.
Processen
Een belangrijk criterium wordt gevormd door de processen, zoals beschreven in paragraaf 2.2.1 Randvoorwaarden uit WCAG 2.0, onder punt 2. Een 'volledig proces' bevat een reeks opeenvolgende stappen die een bezoeker of gebruiker nodig heeft om een volledig transactie- of interactiepad op een verzameling webpagina's te volgen. Het bevat een beginpunt, de noodzakelijke tussenstappen en een concreet eindresultaat (dat de tussenstappen nodig maakt). Bij een inspectie stelt de inspecteur eerst vast welke processen in de scope worden opgenomen. Alle pagina's die deel uitmaken van het proces vallen binnen de scope. Voorafgaand aan de inspectie kan de eigenaar doorgeven aan de inspecteur wat de processen zijn van de aangemelde verzameling webpagina's.
Stijlkenmerken
Soms komt het voor dat vanuit een toegankelijke verzameling webpagina's wordt gelinkt naar webpagina's buiten de URI-basis die op het oog niet of nauwelijks te onderscheiden zijn van webpagina's binnen de verzameling. Het risico bestaat dan dat de bezoeker niet doorheeft dat hij zich nu bevindt in een andere verzameling, die mogelijk niet of minder goed toegankelijk is.
Om te voorkomen dat pagina's met ontoegankelijke content bewust buiten de URI-basis geplaatst worden zonder dit duidelijk te maken aan de bezoeker, kan de inspecteur bij een inspectie van een volledige website[9] (homepage plus alle onderliggende webpagina's) ook pagina's buiten de URI-basis toevoegen aan de scope als alle onderstaande identificerende stijlkenmerken nagenoeg identiek zijn aan die van de aangemelde verzameling: Ontbreekt de afzenderinformatie en/of de hoofdnavigatie (bijvoorbeeld als de externe webpagina wordt geopend in een pop-up venster of iframe), maar is de rest van de hierboven genoemde stijlkenmerken nagenoeg identiek? Ook dan valt de pagina binnen de scope.
Verzoek opdrachtgever

De inhoud van paragraaf '2.2.2 Het bepalen van de scope' weergegeven in een stroomschema
Figuur 1: Stroomschema op basis van de inhoud van paragraaf '2.2.2 Het bepalen van de scope'.
(De afbeelding wordt verkleind weergegeven. Bekijk figuur 1 op ware grootte)

Belangrijk: Alle overwegingen op basis waarvan de scope wordt bepaald dienen nauwkeurig te worden gedocumenteerd en te worden opgenomen in het inspectieverslag.

3. Steekproef

3.1 Doel

In de meeste gevallen bevat een aangeboden verzameling te veel pagina's om allemaal te kunnen onderzoeken. Daarom wordt in praktijk geëvalueerd aan de hand van een steekproef. Dit hoofdstuk beschrijft hoe de steekproef samengesteld wordt. De minimale grootte is afhankelijk van de complexiteit en het aantal webpagina's van de te onderzoeken verzameling. Daarnaast moeten bepaalde pagina's altijd onderdeel uitmaken van de steekproef.

3.2 Hoeveel pagina's

Het bepalen van de grootte van de steekproef gebeurt in 2 stappen. Achtereenvolgens wordt gekeken naar:

  1. het aantal pagina's binnen de scope. Dit levert een basisomvang op; en
  2. de complexiteit van de verzameling. Afhankelijk van gebruikte soorten content, opmaaktalen en bestandsformaten worden extra pagina's aan de steekproef toegevoegd.

Stap 1: Basisomvang

De basisomvang van de steekproef wordt bepaald door het aantal pagina's (van alle technologieën) in de verzameling webpagina's. Hierbij wordt onderstaande staffel gehanteerd.

Aantal pagina's Steekproef
0 tot 300 12 pagina's
+ alle pagina's van een compleet proces
300 tot 1000 + 2 pagina's
Elke 5000 pagina's, vanaf 1000 + 2 pagina's

Voorbeeld: Een verzameling met 725 webpagina's, onderverdeeld in 700 HTML-pagina's en 25 PDF-documenten (opmerking: PDF-documenten vallen onder de definitie van een webpagina).
Dit levert, nog zonder de pagina's van een compleet proces, een basisomvang op van minimaal 14 webpagina's: 12 voor de staffel 0 tot 300, plus 2 voor de staffel 300 tot 1000.

Stap 2: Extra pagina's wegens complexiteit

Afhankelijk van de inhoud van de verzameling wordt de basisomvang van de steekproef uitgebreid. Bijvoorbeeld wanneer extra opmaaktalen of gegevensformaten gebruikt worden, of als de verzameling bepaalde soorten content bevat waarvan bekend is dat daar regelmatig toegankelijkheidsproblemen in voorkomen. Hierbij wordt onderstaande staffel gehanteerd.

Soort content Steekproef
Tabellen, grafieken en/of diagrammen inclusief in basis
Formulieren inclusief in basis
Gesynchroniseerde media (voorbeeld: video) inclusief in basis
Rich Internet Application (RIA) functionaliteit[11] maximaal + 5 pagina's
Interfacecomponenten die geen deel uitmaken van de gebruikte specificatie
Voorbeelden: sliders in HTML 4, bedieningselementen in een Flash object
maximaal + 2 pagina's per component
Per andere opmaaktaal, ander gegevensformaat of per overige technologie (zie de lijst in bijlage B: Technologieën voor een webpagina) maximaal + 2 pagina's

Als een van de in de tabel genoemde soorten content of technologieën op minder dan het aangegeven aantal webpagina's voorkomt, hoeft alleen het werkelijke aantal pagina's toegevoegd te worden waarop het soort content of de technologie voorkomt.

Voorbeeld: Een verzameling bevat 700 HTML webpagina's en 25 PDF-documenten. Er komen tabellen voor in 8 PDF-documenten en 3 video's in de HTML-pagina's.
De totale omvang van de steekproef wordt, nog zonder de pagina's van een compleet proces, 16 pagina's:

3.2.1 Minimale en maximale steekproefgrootte

De minimale grootte van een steekproef is 12 webpagina's plus alle pagina's van een compleet proces, tenzij de te onderzoeken verzameling minder pagina's bevat. Een steekproef mag altijd groter zijn dan het minimale aantal.

Voorbeeld: Een verzameling van 100 HTML webpagina's waarop in totaal 8 videofragmenten voorkomen levert een steekproef op van 12 webpagina's plus alle pagina's van een compleet proces.

Een steekproef bestaat maximaal uit 50 webpagina's.

3.3 Welke pagina's

De samenstelling van de steekproef moet representatief zijn voor de te onderzoeken verzameling. Hierbij worden de volgende factoren meegewogen:

De inspecteur bepaalt welke pagina's in de steekproef worden opgenomen

3.3.1 Belangrijke pagina's

Indien aanwezig moeten de volgende webpagina's altijd in de steekproef worden opgenomen:

  1. beginpagina (home)
  2. contactpagina
  3. helppagina
  4. pagina met sitemap
  5. primaire zoekpagina
  6. pagina met multimedia
  7. pagina met een datatabel
  8. pagina met een (i)frame element
  9. pagina met scripts, applets etc.
  10. pagina met een formulier
  11. pagina in een andere taal dan de primaire taal
  12. 404-pagina (foutmelding dat de opgeroepen pagina niet werd gevonden)
  13. alle pagina's die deel uitmaken van een compleet proces

Indien niet alle pagina's aanwezig zijn dient de steekproef te worden aangevuld met willekeurig gekozen pagina's, tot een minimum van 12 pagina's is bereikt. Daaraan toegevoegd worden de pagina's die deel uitmaken van een compleet proces.

Als de omvang van de steekprof groter moet zijn, kan de steekproef worden uitgebreid met:

3.3.2 Variatie in content

Er wordt gestreefd naar een zo gevarieerd mogelijke steekproef. Wanneer moet worden gekozen tussen een webpagina met een tabel of een webpagina met een lange tekst moet worden overwogen of het soort tekst en het soort tabel op de pagina al in de steekproef voorkomt. Het gaat er niet alleen om of er al een tabel in de sample is, maar ook of de tabel lijkt op een andere tabel die al in de sample voorkomt.

Moet er gekozen worden uit webpagina's waarvan het soort content vergelijkbaar is, dan wordt de voorkeur gegeven aan webpagina's die voor gebruikers van groter belang zijn. Een voorbeeld van een indicatie hiervoor is het aantal keer dat naar een pagina wordt verwezen.

3.3.3 Evenwichtig verdeeld over de informatiearchitectuur

De meeste verzamelingen webpagina's zijn georganiseerd volgens een bepaalde structuur, met onderdelen die subonderdelen hebben, die op hun beurt ook weer subonderdelen kunnen hebben.

De steekproef dient webpagina's uit zoveel mogelijk (sub)onderdelen en lagen te bevatten.

3.3.4 Overige overwegingen

4. Inspectie

4.1 Algemeen

De kernactiviteit van een inspectie is om te evalueren of de pagina's in de aangemelde verzameling(en) voldoen aan WCAG 2.0 of Webrichtlijnen versie 2. De richtlijnen in beide specificaties zijn opgebouwd uit toetsbare succescriteria. Beoordeling geschiedt op basis van deze succescriteria. Een succescriterium voldoet wanneer tijdens de inspectie deze niet als 'fout' (fail) wordt beoordeeld.

Overzicht van principes, richtlijnen en succescriteria in de Webrichtlijnen
Figuur 2: Systeemoverzicht van principes, richtlijnen en succescriteria in Webrichtlijnen versie 2.
Conformance kan op drie niveaus behaald worden: A, AA en AAA. Het W3C moedigt aan om bij een conformiteitsverklaring melding te doen van geboekte vooruitgang bij succescriteria boven het behaalde niveau. Het W3C adviseert om voldoen aan niveau AAA niet standaard te gebruiken als eis voor websites, omdat niet altijd mogelijk is om aan alle AAA-succescriteria te voldoen.

(De afbeelding wordt verkleind weergegeven. Bekijk figuur 2 op ware grootte)

Om succescriteria te beoordelen zijn er voor verschillende technologieën technieken beschikbaar. Deze komen in drie variaties: afdoende technieken, aanbevolen technieken en gangbare fouten. Een overzicht van technieken op basis waarvan de evaluatie kan plaatsvinden staat op http://versie2.webrichtlijnen.nl/technieken/ (succescriteria die vallen onder het principe Universeel) en http://www.w3.org/TR/WCAG20-TECHS/ (succescriteria die vallen onder de principes Waarneembaar, Bedienbaar, Begrijpelijk en Robuust; content is enkel beschikbaar in de Engelse taal).

4.2 Beoordelen van succescriteria

Wanneer een pagina wordt geëvalueerd, moet worden beoordeeld welke succescriteria van toepassing zijn. Sommige succescriteria zijn op elke pagina van toepassing, andere zijn alleen van toepassing wanneer bepaalde soorten content aanwezig is, zoals gesynchroniseerde media of afbeeldingen.

WCAG 2.0 en Webrichtlijnen versie 2 zijn zodanig geschreven dat op basis van de succescriteria kan worden geconstateerd of een pagina wel of niet voldoet. Bij het beoordelen van de succescriteria kan aanvullend gebruik worden gemaakt van technieken die zijn gedocumenteerd. Deze technieken hebben een informatieve status.

Volgens de definitie in WCAG 2.0 betekent voldoen aan een succescriterium dat het succescriterium niet tot 'fout' evalueert als het op de pagina wordt toegepast.

Als gebruik wordt gemaakt van de beschikbare technieken, dan is sprake van voldoen aan een succescriterium als achtereenvolgens blijkt dat:

Als een situatie niet voldoet, moet worden beoordeeld of sprake is van een incidentele fout (zie 4.3 Foutmarge). Als dit het geval is, is het resultaat van het succescriterium alsnog 'goed' (pass). Als het probleem niet binnen de acceptabele foutmarge valt, dan wordt dat deel van de content als ontoegankelijk beoordeeld (fail).

Om tot een eindoordeel van een succescriterium te komen, moeten de conformiteitseisen worden gebruikt. Hierbij wordt beoordeeld of er een alternatief beschikbaar is voor de ontoegankelijke content, en of de pagina waarop de ontoegankelijke content voorkomt zelf voldoet aan conformiteitseis 5. niet-interferentie uit WCAG 2.0.

De inspecteur schat in welke versie de minste problemen heeft en benoemt expliciet dat die versie als alternatief voor de ontoegankelijke content is onderzocht. Vervolgens worden alleen de problemen benoemd in de alternatieve versie.
Opmerking: In geval van multimedia wordt het ter download aanbieden van losse bestanden - bijvoorbeeld een videofragment, ondertitelingsbestand met tijdcode en geluidsspoor met tijdcode - beschouwd als alternatieve versie. De gebruiker kan de content vervolgens afspelen in een user agent die met de bestanden overweg kan.

4.2.1 Beoordeling op basis van afdoende technieken

Als een succescriterium van toepassing is, kan aan de hand van de ervoor gedocumenteerde technieken worden onderzocht of aan het succescriterium is voldaan. Hiervoor is bij iedere techniek een test opgenomen. In de techniekendocumenten staat per succescriterium of per soort situatie welke techniek - of combinatie van technieken - moet worden toegepast om aan het succescriterium te voldoen. Aan het succescriterium wordt voldaan als door middel van de test kan worden vastgesteld dat minimaal één van de gedocumenteerde technieken correct is toegepast.

4.2.2 Beoordeling op basis van gangbare fouten

Naast afdoende technieken zijn er ook gangbare fouten. Gangbare fouten zijn bekende, veel voorkomende voorbeelden van fouten. Op basis van de test van een gangbare fout kan een deel van de content als ontoegankelijk worden beoordeeld. Dit mag echter alleen wanneer er geen afdoende techniek is op basis waarvan zo'n situatie als voldoende kan worden beoordeeld. Er is echter geen volledige lijst met gangbare fouten. Het is daarom niet mogelijk om enkel wegens het ontbreken van gangbare fouten te concluderen dat een situatie voldoet aan een succescriterium.

4.2.3 Beoordeling op basis van een succescriterium

Inspecteurs die onderzoek uitvoeren in dienst van een geaccrediteerde inspectie-instelling zijn bevoegd een beoordeling uit te voeren aan de hand van het succescriterium.
De overwegingen en de conclusie dienen in een dergelijk geval [1] door de inspecteur nauwkeurig te worden gedocumenteerd, en [2] te worden goedgekeurd door het management van de inspectie-instelling. Daarna kan de bevinding in het inspectierapport worden opgenomen.

De inspectie-instelling is vervolgens verplicht de bevinding te bespreken in het Inspectie-overleg van de stichting Waarmerk drempelvrij.nl, die het met een advies voorlegt aan de Normcommissie van de stichting. Na instemming door de Normcommissie wordt de bevinding, inclusief de overwegingen en de conclusie, gepubliceerd op de website van de stichting Waarmerk drempelvij.nl. De verzamelde bevindingen worden als input gebruikt bij herziening van de gedocumenteerde technieken en fouten.

In geval het Inspectie-overleg of de Normcommissie niet instemt met de aangemelde bevinding, dan hoeft het inspectierapport waarin de bevinding is opgenomen niet te worden aangepast. Echter, in gevallen waarbij via de klachtenregeling van de stichting Waarmerk drempelvrij.nl een probleem wordt gemeld, is de daarvoor geldende procedure gewoon van toepassing.

4.2.4 Beoordeling met hulptechnologieën (maakt geen deel uit van het standaard inspectieproces)

Behalve het gebruik van gangbare fouten, afdoende en aanbevolen technieken kan bij de beoordeling of aan een succescriterium wordt voldaan ook gebruik worden gemaakt van hulptechnologieën.

Bij een aantal van de technieken die door het W3C zijn gedocumenteerd zijn 'User Agent and Assistive Technology Support Notes' toegevoegd. Daarin wordt informatie gegeven over de ondersteuning van een techniek door (oudere) browsers en (vooral) screenreaders. De notities zijn het eenvoudigst te vinden via pagina http://www.w3.org/TR/WCAG20-TECHS/complete.html: zoeken op 'Assistive Technology Support Notes', 'screen reader' en/of 'JAWS'.
Overigens is het W3C in februari 2012 begonnen met de realisatie van een accessibility support database, die op termijn als referentie kan worden benut voor het gebruik van (combinaties van) browsers en hulptechnologieën.

screenreaders vormen een belangrijke groep software waarmee de toegankelijkheid van websites aan de praktijk kan worden getoetst. Niet in alle landen zijn dezelfde screenreaders populair. In Nederland worden vooral SuperNova screenreader, Jaws en de open source screenreader NVDA gebruikt, in combinatie met het Windows besturingssysteem. Overigens is in de laatste versies van Apple's besturingssysteem OS/X standaard een screenreader ingebouwd.

Testen met screenreaders of andere hulptechnologieën maakt geen deel uit van het standaard inspectieproces, omdat de tijd die aan een inspectie wordt besteed door inzet van deze hulpmiddelen aanzienlijk kan toenemen. Echter, in situaties waarin zowel gedocumenteerde technieken als gangbare fouten niet van toepassing zijn, kan met behulp van een test met een hulptechnologie worden vastgesteld dat de situatie als voldoende toegankelijk kan worden aangemerkt. In een dergelijk geval wordt niet afgekeurd op het betreffende succescriterium. Hoewel testen met hulptechnologieën geen deel uitmaakt van een standaard inspectie, staat het een opdrachtgever van een inspectie vrij om aanvullende tests uit te (laten) voeren. De resultaten van dergelijke tests worden bij een inspectie betrokken als ze [1] nauwkeurig zijn gedocumenteerd en [2] reproduceerbaar zijn.

4.3 Foutmarge

Bij een steekproef die een klein aantal pagina's omvat is het doorgaans niet mogelijk om voor alle soorten fouten een foutmarge te hanteren. Daarvan is sprake als in de steekproef niet meerdere pagina’s voorkomen met dezelfde soort content.

Bij een uitgebreidere steekproef is het wel mogelijk om een foutmarge te hanteren. De tekst in deze paragraaf is in de praktijk alleen van toepassing als een meer uitgebreide steekproef wordt onderzocht.

Een bezoeker van een website die het Waarmerk drempelvrij.nl voert, moet er op kunnen vertrouwen dat zich bij gebruik van de site geen problemen voordoen die in WCAG 2.0 of Webrichtlijnen versie 2 worden beschreven. En mocht zich toch een probleem voordoen, dan kan het euvel worden gemeld, waarna het adequaat wordt verholpen. Het maken en onderhouden van websites is mensenwerk. Bij inspecties komen daarom met regelmaat kleine fouten aan het licht die het gebruik in de praktijk praktisch niet hinderen, maar formeel gelden als een non-conformiteit en dus strijdig met de norm. Dergelijke kleine menselijke fouten kunnen er dus de oorzaak van zijn dat aan een website het Waarmerk drempelvrij.nl niet kan worden toegekend.

Deze paragraaf beschrijft op welke manier in het inspectieproces moet worden omgegaan met kleine menselijke fouten. Het middel dat daarvoor wordt ingezet, is het toestaan van een foutmarge. Daarbij wordt onderscheid gemaakt tussen incidentele en structurele fouten.

In geval van enkel incidentele fouten wordt door de inspectie-instelling aan de opdrachtgever voorgesteld dat deze de tijdens de inspectie gevonden fouten herstelt. Als de opdrachtgever toezegt dat de fouten zullen worden hersteld, wordt het waarmerk verleend. Een herinspectie vindt in dit geval niet plaats. Eventuele problemen die daarna worden gevonden, worden afgehandeld via het systeem van klachtenregeling, dat deel uitmaakt van de waarmerkregeling.

Structurele fouten leiden tot afkeur. Om vast te stellen of structurele fouten afdoende zijn hersteld, is een herinspectie nodig.

4.3.1 Incidentele en structurele fouten

Incidentele fout
Een fout die niet vaak voorkomt; het betreffende succescriterium is verder over de gehele verzameling webpagina's juist geïmplementeerd.
Structurele fout
Een fout die, in de meeste gevallen, vaker voorkomt; hetzelfde type fout wordt herhaaldelijk gemaakt. Structurele fouten wijzen ook vaak op grotere problemen binnen de technische systemen of processen achter de website die een nadelige invloed kunnen hebben op de kwaliteit en toegankelijkheid.

Incidentele fouten mogen niet de 10% overschrijden van het totaal aantal te inspecteren elementen op alle pagina's van de steekproef. Bovendien is ook hier de niet-interferentie-eis van toepassing: fouten mogen niet het vermogen van de gebruiker blokkeren om de rest van de pagina te bereiken, te kunnen gebruiken of te kunnen begrijpen. In dergelijke gevallen is altijd sprake van een structurele fout.

Voorbeeld: De steekproef bestaat uit 34 pagina's, waarop in totaal 73 afbeeldingen voorkomen. Tijdens de inspectie blijkt dat 6 van de afbeeldingen een onvolledige of onjuiste beschrijving hebben, maar niet zodanig dat ze een barrière vormen. Dit is minder dan 10% van het totaal aantal afbeeldingen, waardoor het geconstateerde probleem wordt aangemerkt als een incidentele fout en als zodanig in het onderzoeksrapport wordt opgenomen.

In situaties waarin een bepaald element zeer weinig voorkomt - zoals een steekproef die slechts twee tabellen bevat - wordt een incidentele fout als structureel beschouwd vanwege het relatieve effect die deze zou kunnen hebben op de volledige verzameling webpagina's.
Bovenstaande houdt in dat fouten in navigatie-elementen en templates in de praktijk vrijwel altijd zullen worden aangemerkt als structurele fouten.

Bij een inspectie moet het onderzoek van een individueel succescriterium binnen de steekproef worden volgehouden om vast te stellen of er sprake is van meer dan 10% incidentele fouten. Overgaan tot afkeur van een succescriterium bij het vinden van de eerste fout is dus niet toegestaan.

De inspectie-instelling moet de volledige checklist invullen voor het vastgestelde conformiteitsniveau. Alle gevonden fouten, zowel incidenteel als structureel, moeten worden vastgelegd om de transparantie te waarborgen en om verbetering en volledige conformiteit te bevorderen.

4.3.2 Conformiteit en incidentele en structurele fouten

Er kan alleen aanspraak worden gemaakt op conformiteit als:

In geval van een structurele fout wordt niet voldaan aan een succescriterium. Alle gevonden fouten, zowel incidenteel als structureel, moeten worden vastgelegd om verbetering en volledige conformiteit te bevorderen.

In gevallen dat een succescriterium niet als een 'goed' of 'fout' wordt gerapporteerd, dan wordt het beschouwd als 'niet van toepassing'.

4.4 User agents

Webbrowsers en andere user agents worden gebruikt om informatie van een webserver op te halen en weer te geven. User agents geven deze informatie verschillend weer. Hier zijn twee redenen voor:

Tijdens een inspectie moet rekening worden gehouden met verschillen die kunnen optreden tussen verschillende browsers. Webpagina's moeten toegankelijk zijn in alle algemeen gangbare browsers en andere user agents. Om die reden moet bij een inspectie altijd meer dan één algemeen gangbare browser worden betrokken.

Het is zinvol om de code te controleren op bovengenoemde scripts:

Doel van dit onderzoek is om vast te stellen of de site toegankelijk is in verschillende browsers. Speciale aandacht daarbij is nodig of de webpagina voldoet aan de conformiteitseisen en ook of de code invloed heeft op andere aspecten van de site, bijvoorbeeld doordat het contrast verandert of de toetsenbordtoegankelijkheid wordt aangetast.

4.5 Rapportage van een inspectie

Elke Waarmerk drempelvrij.nl inspectie wordt afgesloten met een rapportage. Wanneer een eigenaar aanspraak wil maken op conformiteit met de toegankelijkheidsrichtlijnen of de Webrichtlijnen, dan dient dit rapport als bewijs van (partiële) conformiteit.

In de rapportage moeten daarom ten minste de volgende gegevens worden opgenomen:

Behalve de minimale gegevens kan ook aanvullende informatie aan het rapport worden toegevoegd.

4.6 Herinspectie

Als tijdens een inspectie fouten zijn gevonden, dan vindt binnen een termijn van 40 werkdagen een herinspectie plaats. Voor dat doel wordt een aparte steekproef gemaakt en wordt door de inspecteur gecontroleerd of de tijdens de eerdere inspectie gevonden fouten zijn hersteld.

Wanneer tijdens een herinspectie blijkt dat enkele pagina's niet langer beschikbaar zijn, dan dient de steekproef te worden aangevuld. Omdat een herinspectie kan worden beschouwd als een volledige inspectie, kan op basis van een herinspectie aan de conformiteitseisen worden voldaan. Geadviseerd wordt om geen herinspectie uit te voeren op een website die sterk is veranderd, of wanneer de originele inspectie meer dan 40 werkdagen geleden heeft plaatsgevonden. Aanpassingen moeten uiterlijk 40 werkdagen na een eerder onderzoek worden doorgevoerd, waarna de herinspectie kan plaatsvinden.

4.7 Momentopnamen

Een inspectie is beperkt qua scope en tijd. Van content die regelmatig verandert kan niet worden gegarandeerd dat deze nooit fouten bevat. De klachtenregeling die deel uitmaakt van de waarmerkregeling is bedoeld om te kunnen omgaan met problemen die zich kunnen voordoen na een (her)inspectie.

5. Conformiteit

5.1 Algemeen

De paragraaf Conformiteit[14] van WCAG 2.0 is ook van toepassing op Webrichtlijnen versie 2. Deze paragraaf bevat een lijst van eisen voor conformiteit[15] en geeft ook informatie over hoe men aanspraken op conformiteit kan maken, wanneer na een inspectie wordt vastgesteld dat de onderzochte verzameling webpagina's aan de gestelde eisen voldoet.

In onderstaande opsomming worden de eisen beknopt weergegeven. Voor de volledige tekst, ga naar de paragraaf Conformiteit van WCAG 2.0.

  1. Conformiteitsniveau
    Aan een van de volgende conformiteitsniveaus wordt volledig voldaan: Niveau A, Niveau AA of Niveau AAA.
  2. Volledige pagina's
    Conformiteit (en conformiteitsniveau) is slechts voor volledige webpagina(s) en kan niet worden bereikt als een deel van de webpagina wordt uitgesloten.
  3. Volledige processen
    Als een webpagina er één is uit een serie van webpagina's die een proces vormen (dat wil zeggen een rij stappen die voltooid moet worden om een activiteit tot stand te brengen), conformeren alle webpagina's in het proces aan het gespecificeerde niveau of beter. (Conformiteit is niet mogelijk op een bepaald niveau als om het even welke pagina in het proces niet aan dat niveau of beter conformeert).
  4. Louter door toegankelijkheid ondersteunde manieren om technologieën te gebruiken
    Om te voldoen aan succescriteria wordt gesteund op de beschikbaarheid van louter door toegankelijkheid ondersteunde manieren om technologieën te gebruiken. Elke informatie of functionaliteit die geleverd wordt op een manier die niet door toegankelijkheid ondersteund wordt is ook beschikbaar op een manier die door toegankelijkheid ondersteund is. (Zie Understanding Accessibility Support).
  5. Niet-interferentie
    Als technologieën gebruikt worden op een manier die niet door toegankelijkheid ondersteund wordt of als ze gebruikt worden op een niet-conforme manier, dan blokkeren ze niet het vermogen van de gebruiker om de rest van de pagina te bereiken.

5.2 Aanspraak maken op conformiteit

Wanneer online informatie of dienstverlening op het web wordt gepubliceerd wordt aanbevolen om informatie op te nemen over de toegankelijkheid en universele bruikbaarheid ervan. In geval de eigenaar van een website aanspraak wil maken op conformiteit met Webrichtlijnen versie 2 of met WCAG 2.0, dan is een vereiste dat de aanspraak verifieerbaar is. Een aanspraak op conformiteit moet aan de volgende vormvereisten voldoen.

Opmerking: niet verplichte onderdelen zijn gemarkeerd met [optioneel]

5.3 Partiële conformiteit

In geval een website onderdelen bevat die niet conformeren aan de gestelde eisen, dan voldoet de website als geheel niet aan het beoogde conformiteitsniveau. Wel kan aanspraak worden gemaakt op partiële conformiteit[17].

Partiële conformiteit is alleen van toepassing bij:

  1. content van derden;
  2. content in een natuurlijke taal waarvan niet bekend is of daarvoor toegankelijkheidsondersteuning bestaat.

[Let op: een verklaring van partiële conformiteit is dus géén verklaring dat aan de eisen is voldaan!]

6. Verklarende woordenlijst

Waar in dit document het begrip 'website' wordt gebruikt, wordt een verzameling webpagina's[18] bedoeld, zoals gedefinieerd in Webrichtlijnen versie 2.

De definities[19] uit Webrichtlijnen versie 2 zijn in dit document van toepassing.

6.1 Definities uit Webrichtlijnen versie 2 die in dit document gebruikt worden

Een aantal definities is dermate belangrijk voor het kunnen begrijpen van dit document, dat ze hieronder zijn toegevoegd.

De definities zijn afkomstig uit de W3C-specificatie WCAG 2.0; bij de term is een link opgenomen naar de geautoriseerde Nederlandse vertaling van WCAG 2.0

conforme alternatieve versie
Zie http://www.w3.org/Translations/WCAG20-nl/#conforming-alternate-versiondef
content (webcontent)
Zie http://www.w3.org/Translations/WCAG20-nl/#contentdef
door toegankelijkheid ondersteund
Zie http://www.w3.org/Translations/WCAG20-nl/#accessibility-supporteddef
gesteund worden (technologieën waarop)
Zie http://www.w3.org/Translations/WCAG20-nl/#reliedupondef
hulptechnologie (zoals gebruikt in dit document)
Zie http://www.w3.org/Translations/WCAG20-nl/#atdef
proces
Zie http://www.w3.org/Translations/WCAG20-nl/#processdef
user agent
Zie http://www.w3.org/Translations/WCAG20-nl/#useragentdef
verzameling webpagina's
Zie http://www.w3.org/Translations/WCAG20-nl/#set-of-web-pagesdef
voldoet aan een succescriterium
Zie http://www.w3.org/Translations/WCAG20-nl/#satisfiesdef
webpagina
Zie http://www.w3.org/Translations/WCAG20-nl/#webpagedef

6.2 Definities van begrippen die alleen in dit document gebruikt worden

inspectie
De evaluatie van een verzameling webpagina's op basis van het document Evaluatiemethode en gedocumenteerde technieken uit WCAG 2.0 en Webrichtlijnen versie 2.
website
Zie de definitie 'verzameling webpagina's'

7 Bronnen en veelgebruikte termen

7.1 Bronnen

Onderstaande bronnen zijn van fundamenteel belang voor de toepassing van dit document, Evaluatiemethode Webrichtlijnen versie 2.

Als er een datum achter de bron staat is alleen de genoemde uitgave van toepassing. Voor verwijzingen zonder datum is de laatste uitgave van de bron, inclusief alle wijzigingen, van toepassing.

Normatieve bronnen
Dit zijn de bronnen waarnaar wordt verwezen in beleid, wet- en regelgeving. Webrichtlijnen versie 2 omvat WCAG 2.0 volledig. Omdat dit document ook kan worden gebruikt voor toetsing op comformiteit met alleen WCAG 2.0, is deze norm hier voor de volledigheid ook opgenomen, inclusief techniekendocumenten en ondersteunende bronnen.
Techniekendocumenten
Op basis van de normatieve bronnen zijn afdoende/aanbevolen technieken en gangbare fouten gedocumenteerd:
Achtergrond / naslag
De volgende Engelstalige bronnen bieden aanvullende informatie bij de normatieve bronnen en de techniekendocumenten:

7.2 Veelgebruikte termen

De beschrijvingen bij de volgende termen zijn bedoeld als toelichting op de termen die in dit document worden gebruikt.

Hoofdstuk 6 bevat de definities die op dit document van toepassing zijn.

W3C
Het World Wide Web Consortium (W3C) heeft als doel het World Wide Web tot zijn volle potentieel te ontwikkelen. W3C ontwikkelt en verspreidt daartoe open en vrij te gebruiken technische standaarden voor websites, browsers en apparatuur die toegang geven tot webcontent. Meer informatie is te vinden op: www.w3.org;
WAI
Het Web Accessibility Initiative (WAI) is, als onderdeel van het W3C, verantwoordelijk voor de ontwikkeling van strategieën, richtlijnen en bronnen die het web toegankelijk maken voor mensen met functiebeperkingen. Meer informatie over WAI is te vinden op www.w3.org/WAI;
WCAG 2.0
De Web Content Accessibility Guidelines zijn ontwikkeld door WAI en bieden richtlijnen voor de toegankelijkheid van webcontent voor mensen met een beperking. Versie 2.0 is in 2008 gepubliceerd;
Webrichtlijnen versie 2
De Webrichtlijnen zijn een kwaliteitsmodel voor het web. Ze zijn ontwikkeld om te voorkomen dat mensen worden buitengesloten van online informatie en dienstverlening door de manier waarop webtechnologie wordt toegepast. WCAG 2.0 is volledig opgenomen in Webrichtlijnen versie 2. Ze bevatten echter geen aanvullende toegankelijkheidsrichtlijnen voor mensen met een beperking, noch worden WCAG-richtlijnen afgezwakt. De richtlijnen betreffen meer universele onderwerpen als semantiek van technologieën, scheiding van inhoud/vorm/gedrag, tekencodering, bruikbaarheid, openheid en duurzaamheid.

Bijlage A: Hoofdstuk Conformiteit uit Webrichtlijnen versie 2

Onder de kop Conformiteit in Webrichtlijnen versie 2 wordt verwezen naar de gelijknamige paragraaf uit WCAG 2.0. Deze paragraaf is te bereiken via de link http://versie2.webrichtlijnen.nl/norm/#wcag20-conformance-nl


Bijlage B: Technologieën voor een webpagina

Van alle technologieën voor een webpagina die op de te onderzoeken verzameling webpagina's worden gebruikt dienen pagina's te worden toegevoegd aan de selectie.

Voor een aantal technologieën voor een webpagina zijn door W3C afdoende technieken, aanbevolen technieken en gangbare fouten gedocumenteerd en gepubliceerd1. Van deze technologieën kan objectief worden vastgesteld of ze zijn toegepast op een manier die door toegankelijkheid wordt ondersteund. Het betreft de technologieën waar in de tabel in de volgende alinea 'Ja' is ingevuld in de kolom met de titel 'Gedocumenteerd in WCAG 2'. Van de andere technologieën in de tabel zijn door W3C (nog) geen technieken en fouten gepubliceerd.

De tweede kolom is van belang als een inspectie wordt uitgevoerd op Webrichtlijnen versie 2, niveau AA. In de Webrichtlijnen is een succescriterium opgenomen met betrekking tot de openheid van specificaties2. Voor een inspectie op enkel WCAG 2.0 niveau is deze kolom niet van belang.

Als een opmaaktaal of gegevensformaat wordt toegepast waarbij in een van beide kolommen 'Nee' is ingevuld, dan moet worden nagegaan of de webcontent óók wordt aangeboden met gebruikmaking van een opmaaktaal of gegevensformaat waarbij in de betreffende kolom 'Ja' is ingevuld.

Ook die pagina's dienen dan aan de selectie te worden toegevoegd.

Onderstaande tabel biedt antwoord op de vraag of een technologie voor webcontent door W3C is gedocumenteerd als 'door toegankelijkheid ondersteund' en op de vraag of de technologie voldoet aan de definitie van open standaard, of van open specificatie. De opmaaktalen en gegevensformaten staan in het eerste deel van de tabel. Voor de volledigheid zijn alle door W3C gedocumenteerde technologieën in het overzicht opgenomen.
Opmaaktaal of gegevensformaat Gedocumenteerd in WCAG 2.0 Open standaard of open specificatie
HTML en XHTML (HyperText Markup Language) Ja Ja
Plain Text ('platte tekst') Ja Ja
Flash Ja Nee
PDF (Portable Document Format): v1.7, PDF/A Ja Ja
PDF (Portable Document Format): anders Ja Nee
Silverlight Ja Nee
Microsoft Office formaat (doc(x), xls(x), ppt(x)) Nee Nee
Open Document Format (ODF: odt, ods, odp) Nee Ja
[alle andere opmaaktalen en gegevensformaten] Nee [niet bepaald]
Overige technologieën voor webcontent Gedocumenteerd in WCAG 2.0 Open standaard of open specificatie
CSS (Cascading Style Sheets) Ja Ja
Client-side scripting (ECMAscript / JavaScript) Ja Ja
Server-side scripting* Ja n.v.t.
SMIL (Synchronized Multimedia Integration Language) Ja Ja
WAI-ARIA (Accessible Rich Internet Applications) Ja Ja
[alle andere technologieën en formaten] Nee [niet bepaald]

*: Betreft geen technologie voor webcontent, maar is voor de volledigheid wel opgenomen.


Voetnoten