Publicystyka - ngo.pl

Ukazujące się do końca tego roku artykuły stanowią zbiór informacji na temat badań ewaluacyjnych: sposobów planowania i prowadzenia ewaluacji czy też możliwości wykorzystania jej wyników do ulepszenia działań i rozwoju Państwa fundacji czy stowarzyszenia.

Cieszy nas także Państwa zainteresowanie konkursem, który każdorazowo, także i dziś, towarzyszy publikowanym tekstom. Już pierwsze nagrody odebrali mieszkańcy m.in. Krakowa, Grudziądza, Białegostoku, Rabki-Zdrój.

METODY EWALUACJI - BADANIA ILOŚCIOWE I JAKOŚCIOWE

Jednym z etapów procesu ewaluacji jest wybór odpowiednich metod zbierania informacji, które pozwolą nam wyciągnąć wnioski na temat realizacji przedsięwzięcia, które ewaluujemy.

Jeśli w naszej organizacji pracują osoby, które mają doświadczenie i realizowały już badania społeczne, to one powinny być odpowiedzialne za dobór odpowiednich metod badawczych oraz za przygotowanie narzędzi badawczych. Metodą badawczą jest dla przykładu ankieta ewaluacyjna, natomiast narzędziem kwestionariusz ankiety, który zawiera pytania zadawane respondentom. Samo zbieranie danych możemy powierzyć praktycznie każdemu członkowi organizacji, pod warunkiem, że wcześniej zostanie do tego przygotowany.

Podczas realizacji badań ewaluacyjnych powinno się stosować wiele metod badawczych. Daje to możliwość na uzupełnianie oraz pogłębianie danych i informacji zdobytych jedną metodą, innymi, a także, co istotne, sprzyja zachowaniu obiektywizmu. Takie postępowanie nazywane jest triangulacją.

Triangulacja może być stosowana nie tylko wobec metod badawczych ale również może dotyczyć źródeł informacji czy osób realizujących badania.

Triangulacja źródeł to porównanie danych pochodzących od różnych osób, czy z innego etapu realizowanego przedsięwzięcia, które ewaluujemy. W przypadku triangulacji badaczy porównuje się ze sobą wnioski do jakich doszli. Jeśli będą podobne, wiarygodność badania wzrasta. W przeciwnym wypadku może istnieć podejrzenie, że któraś z osób realizujących badanie nie jest obiektywna.

Metody pozyskiwania danych dzielą się na ilościowe i jakościowe.

O zastosowaniu konkretnych metod powinien decydować przedmiot, cel badań oraz problemy badawcze, na które chcemy znaleźć remedium. To, czym charakteryzują się badania ilościowe i jakościowe, jakie zastosowanie mają konkretne metody oraz jakie są ich wady i zalety zostało omówione poniżej.

Każda z opisanych metod może być wykorzystana do zbierania danych w ewaluacji zarządzania, ewaluacji projektów czy działań realizowanych przez organizację.

1.       Badania ilościowe i ich zastosowanie

• Pozwalają na sformułowanie odpowiedzi na pytania: „Ile?”, „Jak często?”,
• Obejmują gromadzenie i analizę informacji liczbowych,
• Wykorzystywane są do poznania częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi danymi,
• Umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbie tej populacji. Populacja to cały zbiór osób, poddanych analizie, próba natomiast to podzbiór danych pochodzących z populacji, który daje podstawę do uogólnień na całą populację.

Metodą stosowaną w badaniach ilościowych jest ankieta. Jest to standaryzowana metoda otrzymywania informacji od respondenta (osoby badanej), która nie wymaga obecności ankietera. Badany sam odpowiada na pytania za pomocą kwestionariusza. Ankietę można przykładowo przeprowadzić wśród uczestników szkoleń, żeby sprawdzić, czy są zadowoleni ze sposobu prowadzenia zajęć.

Zastosowanie:

Uzyskanie wiedzy na temat powszechności opinii dotyczących badanych kwestii.

Zalety:

• Badaniem można objąć dużą grupę osób,
• Anonimowość,
• Swoboda wypowiedzi, brak sugestii ze strony innych,
• Niskie koszty realizacji,
• Dotarcie w krótkim czasie do dużej liczby osób,
• Łatwość realizacji i analizy danych.

Wady:

• Nadużywanie tego narzędzia powoduje znudzenie respondentów, niechęć do wypełniania kolejnych ankiet,
• Brak możliwości pogłębienia i doprecyzowania odpowiedzi respondentów,
• Zdawkowe odpowiedzi,
• Brak osobistego kontaktu z badanym uniemożliwia uzyskanie dodatkowych danych,
• Konieczność zadawania prostych, zrozumiałych pytań.

Do najczęściej stosowanych rodzajów ankiet należą:

• Ankieta pocztowa – kwestionariusze wysyłane są do respondentów drogą pocztową wraz z instrukcją obsługi,
• Ankieta internetowa – polega na wysłaniu respondentom kwestionariuszy za pośrednictwem poczty elektronicznej bądź na zamieszczeniu na stronie internetowej,
• Ankieta audytoryjna – wypełniana np. w sali/audytorium w którym zgromadzeni zostali wszyscy uczestniczący w badaniu respondenci

2.       Badania jakościowe i ich zastosowanie

• Pozwalają na sformułowanie odpowiedzi na pytania: „Co?”, „Jak?”, „Dlaczego?”,
• Dotyczą opisu, poznania oraz zrozumienia badanych problemów,
• Dane jakościowe są najczęściej niezbędne do właściwej interpretacji danych liczbowych.

Do najbardziej popularnych narzędzi realizacji należą:

Analiza dokumentów (Desk Research) opiera się na poszukiwaniu danych i informacji w wytworzonych przekazach np. artykułach prasowych, książkach, stronach WWW czy w materiałach powstałych w ramach projektu – listy obecności, sprawozdania.

Zastosowanie: Metoda szeroko dostępna, bada fakty, pozwala na poznanie założeń ewaluowanego przedsięwzięcia.

Zalety:

• Różnorodność dokumentacji,
• Dostępność,
• Oszczędność czasu i pieniędzy, nie wymaga zaangażowania specjalistycznego personelu oraz sprzętu.

Wady:

• Istnieje ryzyko zbyt uproszczonej interpretacji danych,
• Wszystkie materiały poddawane ewaluacji muszą być zapisane, aby była możliwa ich analiza.

Wywiad to metoda pozyskiwania danych na podstawie swobodnej rozmowy z respondentem na określony temat, bądź na podstawie specjalnie przygotowanego scenariusza - kwestionariusza pytań.

Zastosowanie: Metoda ta pozwala badać opinie oraz fakty zarówno z perspektywy uczestników jak i realizatorów ewaluowanego np. projektu.

Zalety:

• Możliwość poruszenia skomplikowanych i szczegółowych kwestii,
• Możliwość doprecyzowania lub wyjaśnienia odpowiedzi respondentów,
• Bezpośredni kontakt ankieter-badany daje możliwość obserwacji zachowania respondenta i jego reakcji na zadawane pytania.

Wady:

• Czasochłonność realizacji i analiz,
• Brak anonimowości może wpływać na udzielanie nieszczerych odpowiedzi,
• Wysokie koszty realizacji badania.

Obserwacja polega na wejściu badacza w określoną grupę i obserwowaniu jej od wewnątrz, jako jeden z członków. Ankieter może czynnie lub biernie uczestniczyć w życiu grupy, informując lub nie, o pełnionej funkcji.

Zastosowanie: Pozwala na poznanie zdarzeń, zachowań, interakcji zachodzących pomiędzy badanymi w ich naturalnym otoczeniu.

Zalety:

• Możliwość poznania zjawisk ukrywanych, niezauważanych,
• Ułatwia interpretację badanych zdarzeń, zachowań,
• Dostarcza informacji o procesie w trakcie jego przebiegu,

Wady:

• Możliwość subiektywnego podejścia badacza do opisywanych wyników, nadmierne zaangażowanie emocjonalne,
• Obawa nienaturalnego zachowania obserwowanych osób, w przypadku, gdy rola badacza jest jawna,
• Czasochłonność realizacji i analizowania badania.

Zogniskowany wywiad grupowy – Focus to metoda zbierania danych polegająca na rozmowie specjalnie dobranej grupy osób, z udziałem doświadczonego moderatora, który ukierunkowuje przebieg dyskusji na zagadnienia, które mają zostać omówione podczas spotkania. Spotkanie prowadzone jest na podstawie scenariusza, rozmowa nagrywana jest za pomocą dyktafonu lub na video.

Zastosowanie: Daje możliwość pogłębienia interpretacji uzyskanych wcześniej informacji i danych.

Zalety:

• Umożliwia zebranie razem różnych typów osób zaangażowanych w badany projekt, wydarzenie, co daje możliwość spojrzenia na tę samą kwestię z perspektywy różnych uczestników,
• Rezultaty badania generowane są wspólnie przez wszystkich uczestników,
• Pozwala zebrać wiele istotnych danych w krótkim czasie.

Wady:

• Konieczna obecność doświadczonego moderatora dyskusji,
• Problemy ze zgromadzeniem wszystkich uczestników w jednym miejscu, w jednym czasie,
• Niechęć respondentów do nagrywania rozmów.

Do pozostałych metod zbierania danych w badaniu jakościowym należą m.in.: dane z systemu monitoringu, opinie ekspertów czy studium przypadku.

To, która z dostępnych metod pozyskiwania danych zostanie przez nas wybrana do prowadzonej ewaluacji powinno zostać dokładnie przemyślane i dobrane w zależności od przedmiotu, celów, zakresu i odbiorców ewaluacji. Nie należy zapominać o innych istotnych kwestiach, takich jak sprawy organizacyjne, posiadane zasoby czasowe i finansowe, które powinniśmy również wziąć pod uwagę.

Trzy pierwsze osoby, które poprawną odpowiedź przyślą na adres mailowy: monika.przybylak@pisop.org.pl otrzymają nagrodę – materiały promocyjne dotyczące ewaluacji.

Projekt jest dofinansowany ze środków Programu Operacyjnego Fundusz Inicjatyw Obywatelskich.