Publicystyka - ngo.pl

Na podstawie kilkuletniego doświadczenia zdobytego we współpracy z organizacjami i instytucjami podejmującymi się ewaluacji, opracowaliśmy zestawienie najczęściej popełnianych błędów. Oto one:

• Osoby na “niewłaściwym” miejscu

Tak jak “nieznajomość prawa szkodzi”, tak też ewaluację utrudnia nieznajomość zasad jej przeprowadzenia. Jak twierdzą specjaliści z zakresu badań ewaluacyjnych, zaangażowanie do opracowania i realizacji badania ewaluacyjnego osób nieposiadających odpowiednich kompetencji w zakresie badań społecznych, nie znających specyfiki badanego przedsięwzięcia jest podstawowym błędem. Skutkuje to najczęściej stratą czasu i środków finansowych, zebraniem niekompletnych lub bezużytecznych danych, a tym samym niepowodzeniem ewaluacji.

• Źle określone cele ewaluacji i pytania badawcze

Precyzyjne i adekwatne do właściwych potrzeb organizacji określenie, czemu ma służyć badanie ewaluacyjne, to jeden z trudniejszych kroków w opracowaniu ewaluacji. Nic więc dziwnego, że na tym etapie również popełniane są błędy.  Polegają one na niepoprawnym sformułowaniu, jaka wiedza jest pożądana (cel ewaluacji) oraz jakie konkretne informacje chcemy uzyskać (pytania badawcze). To zaś pociąga za sobą konsekwencję - nieprawidłowości w dalszym procesie badawczym, a w efekcie bezużyteczność ewaluacji.

• Niewłaściwy dobór metod badawczych

W przypadku metod badawczych najczęściej popełniane błędy dotyczą stereotypowego podejścia do ich wyboru: myśląc ewaluacja mówimy ankieta. To zdecydowanie najczęściej wybierana, niejednokrotnie też jako jedyna metoda pozyskiwania danych. W ewaluacji można, a nawet powinno się korzystać z wielu różnorodnych metod badawczych, np: analiza dokumentów, wywiad, czy obserwacja. Pozwoli to na uniknięcie takich błędów jak niedostosowanie metody do specyfiki badanego przedsięwzięcia lub osób badanych a także, pozyskanie subiektywnych i jednostronnych informacji.

• Niepoprawnie skonstruowane narzędzia badawcze

Często popełniany błąd, utrudniający realizację ewaluacji, dotyczy narzędzi badawczych, czyli instrumentów pomiarowych służących bezpośrednio pozyskaniu danych (np. kwestionariusz ankiety, scenariusz wywiadu). Niejednokrotnie są one źle skonstruowane i zawierają błędy metodologiczne. Przykładem mogą być zamknięte kafeterie odpowiedzi w kwestionariuszach ankiety, które nie wyczerpują tematu i nie pozwalają na przekazanie dodatkowych informacji ze strony osoby badanej lub też pytania “z góry” sugerujące odpowiedzi respondentów. W ten sposób pozyskiwane są często błędne lub niekompletne dane. Na bazie takich narzędzi powstają raporty, wraz z wnioskami i rekomendacjami, które są mało użyteczne.

• Wykorzystanie innych ewaluacji

Zdarzają się przypadki, w których organizacje/instytucje podejmujące się przeprowadzenia ewaluacji, korzystają ze schematów innych badań ewaluacyjnych. I tak wykorzystują np. znalezione w Internecie kwestionariusze ankiety, scenariusze wywiadu, które nie przystają do specyfiki ich ewaluacji i powodują bezużyteczność pozyskanych danych. To poważny błąd. Każde badanie ewaluacyjne jest inne ze względu na specyfikę przedsięwzięcia, którego dotyczy i powinno zostać opracowane i przeprowadzone z indywidualnym podejściem.

• Słaba jakość monitoringu         

Trudność w realizacji badania ewaluacyjnego wynika także ze słabej jakości prowadzonego monitoringu. Zbieranie danych/informacji potwierdzających realizację działań jest niejednokrotnie podstawą do przeprowadzenia badania ewaluacyjnego; np. gdy w ramach ewaluacji weryfikujemy stopień osiągnięcia założonych rezultatów, wskaźników w ramach realizowanych projektów. Dobrze przeprowadzony monitoring ułatwi weryfikację danych i nie pozwoli na zniekształcenie wyników podczas ewaluacji.          Wiadome jest jednak, że sprawne wykonanie każdego przedsięwzięcia, także ewaluacji, ułatwia jego dokładne, wcześniejsze zaplanowanie. Dotyczy to także wyeliminowania ewentualnego ryzyka, które może przeszkodzić w jej realizacji. Powyższe przykłady (choć nie stanowią zamkniętego katalogu) nie służą zniechęceniu Państwa do prowadzenia badań ewaluacyjnych – przeciwnie - wskazują na to, jakich elementów można lub należy uniknąć przy ich realizacji, ponieważ każda ewaluacja, dobrze przeprowadzona, służy profesjonalizacji organizacji pozarządowej.

KONKURS! Zachęcamy Państwa do udzielenia odpowiedzi na ostatnie już pytanie w ramach naszego konkursu: Jakie są zalety ewaluacji zewnętrznej? Proszę podać 3 przykłady. Trzy pierwsze osoby, które poprawną odpowiedź przyślą na adres mailowy: monika.przybylak@pisop.org.pl otrzymają nagrodę – materiały promocyjne dotyczące ewaluacji w tym najnowszą publikację z serii 3W – Warto Wiedzieć Więcej pn.: „Jak zaplanować i przeprowadzić ewaluację w organizacji pozarządowej?” Powyższy artykuł jest jednym z cyklu artykułów publikowanych w ramach projektu "Ewaluacja kluczem do profesjonalizacji NGO" realizowanego przez Fundację Niwa Edukacji i Rozwoju. Projekt jest dofinansowany ze środków Programu Operacyjnego Fundusz Inicjatyw Obywatelskich. Więcej informacji: www.fundacjaniwa.pl