Publicystyka - ngo.pl

Potrzeba tego działania najczęściej wynika z przepisów, które stanowią, że ewaluacja przedsięwzięć musi zostać przeprowadzona. Czasami może zdarzyć się potrzeba, że chcemy zbadać jakieś zjawisko, wyciągnąć poprawne wnioski i następnym razem przeprowadzić działania skuteczniejsze. Sposobów w jaki sposób monitorujemy pewne zdarzenia jest bardzo wiele, jedna sposoby są bardziej skuteczne drugie mniej. Naszym zadaniem jest dobrać możliwie najlepsze rozwiązania przy akceptowalnych kosztach.

Ewaluacja – od czego zacząć?

Procedura ewaluacji za każdym razem powinna przebiegać tak samo. Bez ustalenia celu ewaluacji nie będziemy w stanie pójść dalej. Jak już wiemy jaki jest cel, musimy określić jakie dane są potrzebne do zgromadzenia i jak będziemy je przetwarzać. Etap ten jest szczególnie istotny gdyż od jakości zgromadzonych danych oraz metodologii ich analizy będą zależały nasze wyniki. W zasadzie potem wystarczy „coś” policzyć i już. To „coś” ma ogromne znaczenie i musi być spójne z celem jaki chcemy osiągnąć.

Ewaluacja – kiedy pojawiają się kłopoty?

Na etapie sformułowania celu problemem może się okazać złożoność badanego zjawiska. Łatwo jest nam badać zjawiska jednoczynnikowe czyli takie, w których jedna zmienna doskonale obrazuje to co się dzieje. Aby przybliżyć tę kwestię przedstawię pewien przykład: Chcemy zbadać przyrost wydajności pracy pracownika przed i po szkoleniu. Wiemy, że stan bazowy wynosi X szt./jednostkę czasu. Po szkoleniu okazało się, że pracownik wytwarza 1,15X szt./jednostkę czasu. Mamy informacje, że dzięki szkoleniu pracownik pracuje 15% wydajniej. Jeżeli jedynym celem szkolenia był wzrost wydajności to możemy wnioskować, że szkolenie poszło doskonale. Niestety rzeczywistość jest taka, że rzadko jesteśmy w stanie opisywać zjawiska w tak trywialny sposób. Wystarczy, że chcielibyśmy sprawdzić jakość szkolenia i tu pojawią się kłopoty gdyż na ten obszar ma wpływ bardzo wiele czynników. Wnioskowanie na podstawie jednego czynnika będzie sporym spłyceniem analizy. Na doborze zmiennych kłopoty się nie kończą, należy jeszcze wiedzieć w jaki sposób można dane zebrać i w jaki sposób dojść do odpowiednich wniosków.

Narzędzia badawcze

Najbardziej rozpowszechnionym narzędziem gromadzenia informacji są kwestionariusze ewaluacyjne (ankiety),  stosuje się także metody jakościowe jak wywiady, rozmowy, opinie ale zgromadzone dane w ten sposób mają całkowicie inny charakter. Ankiety powinny być tworzone pod konkretne badania uwzględniając metody jakimi będziemy je analizować. Wielokrotnie się spotkałem z podejściem odwrotnym – mamy ankiety, ale nie wiemy co chcemy policzyć jak i co nam to da. Przy formułowaniu ankiet powinniśmy zwracać uwagę na:

1.       Metody analizy danych jakie mamy na uwadze (na jakiej zasadzie zgromadzone ankiety zostaną przetworzone)

2.       Rzetelność pytań (sytuacje dwuznaczne nie mogą się pojawiać, często w ankietach są do zaznaczenia przedziały w których nie wiemy czy przedziały są domknięte czy otwarte)

3.       Ilość informacji (nie gromadzimy danych, które są nam nie potrzebne i nie zostaną przeanalizowane, ponadto większa liczba pytań zniechęca osoby do wypełniania)

4.       Unikania niejasnych albo dwuznacznych twierdzeń – konstrukcja zapytań powinna być zrozumiała dla każdego

Kolejną kwestią jest problem: pytania otwarte czy zamknięte? Oba rozwiązania mają pewne wady i zalety. Wszystko co zgromadzone zostanie w liczbach łatwo jest analizować, osobie ankietowanej łatwiej zaznaczyć cyfrę ze skali, dane mogą być bardzo szybko przetwarzane. Jakie są zatem zagrożenia metody ilościowej? Niestety mamy tendencje do „mierzenia” zjawisk niemierzalnych a to powoduje wyciąganie błędnych wniosków. Pytanie ankietowanego o stany jego odczuć i określanie je na skali niesie spore ryzyko. Po pierwsze każdy z nas interpretuje sobie skalę na swój sposób, przez co liczby nie odzwierciedlają identycznych stanów. Przykładowo jeden uczestnik zaznaczy 4, a drugi 5. Wniosek jaki możemy wyciągnąć jest taki, że osoba druga jest bardziej zadowolona choć w rzeczywistości poziom ich zadowolenia (jakkolwiek to rozumieć) może być taki sam lub sprzeczny z zaznaczeniem. Ponadto w tym przypadku stosowanie liczb nie niesie wymiernych korzyści. Przy formułowaniu wniosków ciąg cyfr: 4, 4, 5, 4, 4 oraz 4, 5, 5, 4 potraktujemy jako „dobry” rezultat, a nieznaczne różnice i tak pominiemy. Sprawa wyglądałaby inaczej gdyby badane zjawisko miało charakter obiektywny i mierzalny np. zużycie drutu w metrach. Wówczas różnica 1m byłaby na pewno istotna i nie podlegało by wątpliwości, który stan ocenimy lepiej.

Badając zjawiska złożone i nie dające się określić za pomocą jednej zmiennej najlepiej badać metodami jakościowymi. Jakie ta metoda niesie zagrożenia? Formułując cel ewaluacji musimy zwrócić uwagę na akceptowalne nakłady pracy, nakłady finansowe oraz organizacyjne, ponieważ ta metoda choć dużo bardziej skuteczna niesie ryzyko poniesienia wysokich kosztów. Po drugie kolejnym warunkiem brzegowym jest czas, którego na przeprowadzenie oraz ocenę ewaluacji możemy nie mieć. Ocena ilościowa dużo szybsza i prostsza częściej znajduje zastosowanie choć nie zawsze jest to słuszne.

Czy zatem możemy opowiedzieć się za którąś z metod? Oba typy są dobre we właściwych zastosowaniach. Osobiście jestem przeciwnikiem wyrażania na skalach liczbowych wszystkiego co się tylko da. W kolejnym artykule przedstawię pułapki oraz elementy na jakie należy zwrócić stosując metody ilościowe.