Ile powinien kosztować audyt dostępności cyfrowej? Techniczna analiza kosztu, czasu i odpowiedzialności

Dyskusje o wynagrodzeniach w branży technologicznej potrafią być bardzo gorące. Rozmawiamy o stawkach programistów, projektantów UX, analityków, testerów czy konsultantów. Znacznie rzadziej zadajemy jednak podobne pytanie w odniesieniu do audytorów dostępności cyfrowej.

A przecież audyt dostępności również jest specjalistyczną usługą techniczną.

I tutaj pojawia się pytanie:

Ile właściwie powinien kosztować profesjonalny audyt dostępności cyfrowej? 500 zł? 2 000 zł? 10 000 zł? 30 000 zł?

Odpowiedź brzmi oczywiście: to zależy od zakresu. Problem zaczyna się wtedy, gdy „audyt dostępności” traktowany jest jak jeden, zunifikowany produkt, który można porównać wyłącznie ceną. Nie można.

Audyt pięciu prostych stron informacyjnych nie jest tym samym co audyt rozbudowanego serwisu transakcyjnego. Automatyczny skan nie jest tym samym co manualna ocena zgodności z WCAG. Sprawdzenie strony głównej nie jest tym samym co przetestowanie pełnych procesów użytkownika, formularzy, błędów, modali, komponentów dynamicznych, dokumentów i wersji mobilnej.

Dlatego zamiast pytać: „Ile kosztuje audyt?”
należałoby najpierw zapytać: „Co właściwie ma zostać zbadane i ile specjalistycznej pracy wymaga wykonanie tego badania?”

Audyt dostępności nie jest skanem strony

Pierwszy problem rynkowy polega na tym, że pod nazwą „audyt dostępności” sprzedawane są bardzo różne usługi.

Na jednym końcu skali znajduje się automatyczny skan wykonany narzędziem takim jak axe, WAVE (bardzo nie lubię), Lighthouse czy innym systemem monitorującym.

Na drugim końcu znajduje się pełne badanie eksperckie obejmujące między innymi:

• analizę kodu,
• testy klawiaturą,
• testy czytnikiem ekranu,
• ocenę semantyki komponentów,
• analizę kolejności fokusu,
• obsługę formularzy i komunikatów błędów,
• testy powiększenia,
• testy reflow,
• analizę kontrastu,
• testy komponentów dynamicznych,
• ocenę alternatyw tekstowych,
• analizę dokumentów,
• weryfikację procesów użytkownika,
• przygotowanie rekomendacji technicznych,
• raportowanie problemów,
• konsultacje z zespołem,
• retest po wdrożeniu poprawek.

To nie są porównywalne produkty.

Automatyczne narzędzie może być elementem audytu. Nie powinno jednak być utożsamiane z audytem.

Narzędzie wykryje część błędów technicznych. Nie oceni natomiast poprawnie wielu problemów związanych z kontekstem, logiką interfejsu i rzeczywistą użytecznością.

Nie odpowie wiarygodnie na pytania:

• czy tekst alternatywny rzeczywiście opisuje grafikę,
• czy grafika powinna mieć pusty tekst alternatywny,
• czy nazwa dostępna przycisku opisuje jego funkcję,
• czy kolejność fokusu jest logiczna,
• czy okno modalne poprawnie zarządza fokusem,
• czy komunikat błędu jest zrozumiały,
• czy informacja przekazana kolorem ma alternatywną formę,
• czy komponent niestandardowy zachowuje się zgodnie z oczekiwanym wzorcem interakcji,
• czy proces można ukończyć bez użycia myszy.

Dlatego liczba błędów wygenerowanych przez automat nie jest miarą jakości audytu.

Z czego składa się koszt audytu?

Najprostszy model kosztowy można zapisać jako:

Koszt audytu = czas pracy × stawka specjalisty + koszt zarządzania + koszt kontroli jakości + koszt odpowiedzialności

W praktyce zakres pracy można podzielić na kilka etapów.

1. Analiza zakresu

Przed rozpoczęciem audytu należy określić reprezentatywną próbkę.

Serwis może mieć 10 000 podstron, ale wiele z nich korzysta z tych samych szablonów i komponentów.

Audytor powinien więc określić:

• unikalne typy stron,
• kluczowe komponenty,
• najważniejsze procesy użytkownika,
• formularze,
• elementy interaktywne,
• dokumenty,
• wersje językowe,
• technologie używane w serwisie.

Już ten etap wymaga wiedzy.

Źle dobrana próbka może spowodować, że audyt będzie formalnie wykonany, ale nie obejmie najważniejszych problemów systemowych.

2. Testy manualne

Załóżmy, że jedna reprezentatywna strona lub jeden złożony widok wymaga od 1,5 do 4 godzin analizy.

Czas zależy od złożoności.

Prosta strona artykułu może być sprawdzona stosunkowo szybko.

Znacznie więcej czasu wymaga:

• wieloetapowy formularz,
• system rezerwacji,
• panel klienta,
• aplikację webową,
• koszyk zakupowy,
• komponent z dynamiczną aktualizacją danych,
• rozbudowaną tabelę,
• kalendarz,
• mapę,
• niestandardową listę rozwijaną (dropdown),
• system filtrowania.

Jeżeli audyt obejmuje 15 reprezentatywnych widoków, możemy mówić przykładowo o:

15 × 2,5 godziny = 37,5 godziny testów

To dopiero testowanie.

3. Dokumentowanie problemów

Dobry audyt nie kończy się stwierdzeniem:

„Przycisk jest niedostępny”.
Zespół wdrożeniowy powinien otrzymać informację:

• gdzie występuje problem,
• jak go odtworzyć,
• jaki jest aktualny rezultat,
• jaki powinien być oczekiwany rezultat,
• którego kryterium sukcesu WCAG dotyczy problem,
• jaka jest jego istotność,
• jaka jest rekomendacja naprawy,
• czy problem ma charakter lokalny, czy systemowy.

Przy problemach technicznych często potrzebny jest również przykład rozwiązania.

Dobrze opisany błąd może wymagać od kilku do kilkunastu minut pracy.

Jeżeli audyt identyfikuje 80 unikalnych problemów, a średni czas przygotowania jednego wpisu wynosi 12 minut, otrzymujemy:

80 × 12 minut = 16 godzin pracy

Samo raportowanie może więc zająć kilkanaście lub kilkadziesiąt godzin.

Przykładowa kalkulacja
Rozważmy średniej wielkości serwis.

Zakres:

• 15 reprezentatywnych widoków,
• kilka formularzy,
• menu mobilne,
• wyszukiwarkę,
• komponenty dynamiczne,
• podstawowe testy czytnikiem ekranu,
• raport techniczny,
• spotkanie z zespołem.

Przykładowy nakład pracy:

Etap

• Analiza zakresu: 4 h
• Testy manualne: 38 h
• Dokumentacja błędów: 16 h
• Kontrola jakości raportu: 4 h
• Przygotowanie podsumowania: 3 h
• Spotkanie z zespołem: 2 h
• Zarządzanie projektem: 3 h

Łącznie: 70 h

Teraz możemy zacząć rozmawiać o cenie.

Jeżeli godzina specjalistycznej pracy kosztuje:

100 zł/h
70 godzin daje: 7 000 zł netto

150 zł/h 70 godzin daje:
10 500 zł netto

200 zł/h
70 godzin daje:

14 000 zł netto

250 zł/h
70 godzin daje:

17 500 zł netto

I tutaj dochodzimy do najważniejszego pytania.

Jaka powinna być stawka osoby, od której oczekujemy eksperckiej znajomości standardów, technologii webowych, technologii asystujących, testowania, UX i prawa?

Jakich kompetencji wymaga profesjonalny audytor?

Dobry audytor dostępności powinien rozumieć co najmniej kilka różnych obszarów.

WCAG i standardy
Sama znajomość treści WCAG nie wystarczy.

Trzeba również umieć:

• interpretować kryteria,
• oceniać konkretne przypadki,
• rozumieć techniki spełnienia wymagań,
• odróżniać błędy WCAG od problemów użyteczności,
• rozumieć ograniczenia poszczególnych technologii.

HTML, CSS i JavaScript. Audytor nie musi być pełnoetatowym programistą.

Powinien jednak rozumieć:

• semantyczny HTML,
• DOM,
• accessibility tree,
• mechanizm fokusu,
• zdarzenia klawiatury,
• komponenty dynamiczne,
• ARIA,
• zachowanie frameworków frontendowych.

Bez tego trudno przygotować rekomendację, która będzie technicznie poprawna.

Technologie asystujące

Testowanie wymaga znajomości między innymi:

• NVDA,
• JAWS,
• VoiceOver,
• TalkBack,
• mechanizmy powiększania,
• obsługę interfejsu klawiaturą.

Co ważne, uruchomienie czytnika ekranu nie oznacza jeszcze umiejętności jego używania.

Tak samo jak uruchomienie DevTools nie czyni z nikogo programisty.

UX i projektowanie interakcji

Niektóre problemy dostępności wynikają nie z pojedynczej linijki kodu, ale ze złego modelu interakcji.

Audytor musi rozumieć między innymi:

• strukturę informacji,
• hierarchię nagłówków,
• zachowanie komponentów,
• komunikaty błędów,
• kolejność wykonywania zadań,
• projektowanie formularzy.

Testowanie

Audyt jest również formą testowania oprogramowania.

Trzeba umieć:

• definiować przypadki testowe,
• odtwarzać problemy,
• eliminować duplikaty,
• rozpoznawać problemy systemowe,
• oceniać ryzyko,
• dokumentować wyniki.

W praktyce dobry audytor łączy więc kompetencje:

testera + analityka + konsultanta dostępności + częściowo front-end developera + specjalisty UX.

Dlaczego audyt za 1 500 zł może być matematycznie niemożliwy?
Załóżmy, że ktoś oferuje kompleksowy audyt rozbudowanego serwisu za:

1 500 zł brutto.

Po odjęciu VAT pozostaje około:

1 220 zł netto.

Jeżeli wykonanie profesjonalnego audytu wymaga 40 godzin pracy, otrzymujemy:

około 30 zł netto za godzinę przychodu firmy.

Nie wynagrodzenia audytora.

Przychodu.

Z tej kwoty trzeba jeszcze pokryć:

• podatki,
• ZUS,
• sprzęt,
• oprogramowanie,
• narzędzia,
• czas administracyjny,
• księgowość,
• sprzedaż,
• urlopy,
• szkolenia,
• kontrolę jakości.

Taki model ekonomiczny jest bardzo trudny do obrony.

Pozostają więc trzy możliwości.

Możliwość pierwsza
Audyt jest wykonywany ze stratą.

Możliwość druga
Na audyt poświęca się znacznie mniej czasu, niż wymagałaby rzetelna analiza.

Możliwość trzecia
Znaczna część raportu powstaje automatycznie.

I właśnie tutaj często pojawia się problem.

Raport może mieć 100 stron i nadal być słabym audytem.

Liczba stron dokumentu nie mówi nic o jakości analizy.

Jeżeli 70 stron raportu stanowią:

• wyniki automatów,
• powtarzalne opisy,
• skopiowane fragmenty standardu,
• duplikaty tego samego problemu.

to objętość dokumentu tworzy jedynie pozór szczegółowości.

Cena za stronę również bywa błędnym modelem
Często spotyka się model:

X zł za jedną podstronę.

Jest on wygodny w wycenie, ale technicznie bardzo niedoskonały.

Jedna podstrona może być prostym artykułem.

Inna może zawierać:

30 pól formularza,

• 5 modali,
• dynamiczną walidację,
• autocomplete,
• tabele,
• filtry,
• zakładki,
• karuzele,
• mapę.

Obie formalnie są „jedną stroną”.

Nakład pracy może różnić się jednak kilkukrotnie.

Dlatego lepszym modelem jest wycena na podstawie:

• liczby unikalnych szablonów,
• liczby komponentów,
• złożoności procesów,
• liczby technologii,
• wymaganych środowisk testowych.

Co z testami automatycznymi? Automatyzacja jest potrzebna.

W dużych serwisach wręcz niezbędna.

Powinna jednak odpowiadać na inne pytanie.

Manualny audyt odpowiada:

„Jakie problemy występują i dlaczego?”
Monitoring automatyczny odpowiada:

„Czy podobne problemy pojawiają się ponownie w dużej skali?”
Automat może przeskanować 100 000 stron.

Człowiek nie powinien manualnie testować 100 000 stron.

Dlatego profesjonalny model często wygląda następująco:

• analizę całego systemu,
• skan automatyczny,
• wybór reprezentatywnej próbki,
• szczegółowe testy manualne,
• identyfikację problemów systemowych,
• wdrożenie poprawek,
• monitoring regresji.

To znacznie bardziej efektywny model niż generowanie setek stron raportów dla każdej podstrony osobno.

Retest powinien być częścią procesu

Audyt bez retestu przypomina testowanie oprogramowania bez sprawdzenia, czy poprawka rzeczywiście działa. Po otrzymaniu raportu zespół zaczyna wdrażać zmiany. Część problemów zostanie poprawiona prawidłowo. Część tylko częściowo. Niektóre poprawki mogą spowodować nowe problemy.

Przykład:

Brak nazwy dostępnej przycisku zostaje „naprawiony” poprzez dodanie aria-label.

Problem znika.

Jednocześnie wartość aria-label nie odpowiada widocznej etykiecie.

Powstaje nowy problem.

Dlatego profesjonalny proces powinien obejmować: audyt, konsultacje, wdrożenie, retest.

Cena samego audytu nie zawsze powinna więc być jedynym kosztem branym pod uwagę.

Ile zatem powinien kosztować audyt?

Nie istnieje jedna prawidłowa cena. Można jednak stworzyć orientacyjne przedziały.

Mały serwis informacyjny
Kilka szablonów, niewiele interakcji.

Orientacyjny nakład:

20–40 godzin

Przy stawce 150–250 zł/h:

3 000–10 000 zł netto

Średniej wielkości serwis
Kilkanaście reprezentatywnych widoków, formularze, komponenty dynamiczne.

Orientacyjny nakład:

50–120 godzin

Koszt:

7 500–30 000 zł netto

Duży serwis lub system
Rozbudowane procesy, konta użytkowników, wiele formularzy, złożone komponenty.

Orientacyjny nakład:

150–400 godzin lub więcej

Koszt:

20 000–100 000 zł netto i więcej

Duża platforma lub ekosystem cyfrowy
W takim przypadku jednorazowy audyt często nie jest najlepszym rozwiązaniem.

Potrzebny jest program obejmujący:

• audyty,
• monitoring,
• konsultacje,
• wsparcie zespołów projektowych,
• testy komponentów,
• szkolenia,
• retesty,
• kontrolę nowych wdrożeń.

Tutaj budżet może być liczony nie w tysiącach, ale w setkach tysięcy złotych rocznie.

Najtańsza oferta nie musi być problemem. Sama niska cena nie oznacza automatycznie niskiej jakości.

Firma może:

• mieć efektywny proces,
• korzystać z własnych narzędzi,
• specjalizować się w określonym typie systemów,
• mieć niższe koszty działalności.

Problem pojawia się wtedy, gdy matematyka przestaje się zgadzać.

Jeżeli zakres wymaga realistycznie 100 godzin pracy, a oferta odpowiada wartości 10 godzin pracy specjalisty, warto zapytać:

Co dokładnie zostanie wykonane? Nie jest to pytanie o to, czy cena jest „za niska”. Jest to pytanie o zakres usługi. Cena jako jedyne kryterium wyboru W wielu zamówieniach kryterium ceny ma bardzo dużą wagę. Ekonomicznie jest to zrozumiałe. Problem polega jednak na tym, że zamawiający musi bardzo precyzyjnie zdefiniować produkt.

Jeżeli wszyscy wykonawcy mają dostarczyć dokładnie to samo, cena może być rozsądnym kryterium.

Jeżeli jednak pod nazwą „audyt” jeden wykonawca oferuje: automatyczny skan, drugi: przegląd manualny kilku stron, a trzeci: pełne testy procesów, technologii asystujących i dokumentację techniczną,

To porównywanie ofert wyłącznie ceną przypomina porównywanie ceny budowy domu bez określenia: powierzchni, materiałów, technologii, standardu wykończenia.

Najtańsza oferta prawdopodobnie wygra. Nie wiadomo tylko, co właściwie zostanie zbudowane. Problem kosztu pozornych oszczędności

Tani audyt może być bardzo drogi.

Jeżeli raport zawiera błędne rekomendacje, zespół programistyczny zaczyna je wdrażać.

Koszt jednej godziny pracy zespołu developerskiego może być znacznie wyższy niż koszt godziny audytora.

Załóżmy, że błędna rekomendacja powoduje: 8 godzin pracy programisty,3 godziny testera, 2 godziny analityka.

Oszczędność kilku tysięcy złotych na audycie może więc wygenerować znacznie większy koszt wdrożenia niepotrzebnych lub nieprawidłowych zmian.

Dlatego w audycie dostępności płaci się nie tylko za wykrycie błędu. Płaci się również za: trafność diagnozy.

Audytor nie sprzedaje godziny klikania

Największym nieporozumieniem w dyskusji o cenach usług eksperckich jest przekonanie, że klient płaci wyłącznie za czas wykonania konkretnej czynności. Audytor może znaleźć problem w pięć minut.

Ale możliwość znalezienia go w pięć minut może wynikać z: wielu lat doświadczenia, setek przeprowadzonych testów, znajomości technologii,
szkoleń, certyfikacji, znajomości typowych błędów wdrożeniowych.

Podobnie działa diagnostyka w innych branżach. Doświadczony specjalista często wykonuje zadanie szybciej, a nie wolniej. Dlatego krótszy czas pracy nie musi oznaczać niższej wartości.

Ile powinien kosztować audyt dostępności?

Moim zdaniem odpowiedź powinna brzmieć: tyle, ile kosztuje rzetelne wykonanie uzgodnionego zakresu przez osoby posiadające odpowiednie kompetencje. To może być 3 000 zł.  Może być 15 000 zł. Może być 100 000 zł. Sama liczba nie mówi nam praktycznie nic.

Znacznie ważniejsze pytania to:

• co dokładnie zostanie przetestowane,
• jak została dobrana próbka,
• jakie metody zostaną wykorzystane,
• jakie technologie asystujące będą używane,
• kto przeprowadzi testy,
• jak będą dokumentowane problemy,
• czy raport będzie zawierał rekomendacje techniczne,
• czy przewidziano konsultacje,
• czy będzie wykonany retest.

Dopiero gdy znamy odpowiedzi na te pytania, możemy uczciwie porównywać ceny.

Bo audyt dostępności za 1 500 zł może być świetną ofertą. Pod warunkiem, że jego zakres rzeczywiście odpowiada 1 500 zł. Problem zaczyna się wtedy, gdy za tę kwotę zamawiamy kilkadziesiąt godzin specjalistycznej pracy i udajemy, że ekonomia przestała obowiązywać. Cena nie jest problemem. Problemem jest sytuacja, w której zamawiający nie wie, co kupuje, wykonawcy oferują zupełnie różne produkty pod tą samą nazwą, a jedynym miernikiem jakości staje się liczba stron w raporcie.

Profesjonalny audyt dostępności powinien być traktowany tak samo jak każda inna specjalistyczna usługa techniczna.

Najpierw definiujemy zakres. Potem określamy potrzebne kompetencje i nakład pracy. A dopiero na końcu porównujemy cenę.