Jakie metody badawcze stosuje się przy ewaluacji projektów? Prezentujemy Państwu kilka praktycznych metod badawczych, stosowanych w ewaluacji, takich jak: ankieta, wywiad, obserwacja, analiza treści. Omówimy ich wady i zalety, wskażemy przykłady zastosowania oraz powiemy, co należy zrobić, aby ewaluacja przyniosła pożądane wyniki.
sformułowanie celów badania
Trafność
Użyteczność
Skuteczność
Wydajność
Trwałość
planowaniem
Urząd Gminy w partnerstwie ze Stowarzyszeniem na rzecz Aktywnej Edukacji realizował projekt pn. Młodzi Aktywni, którego celem był rozwój kluczowych kompetencji z zakresu przedmiotów ścisłych u uczennic i uczniów 4 szkół gimnazjalnych, w okresie 24 miesięcy. Projekt zakładał zajęcia pozalekcyjne i pozaszkolne, w ramach których prowadzono w każdej szkole 6 kół zainteresowań (matematyczne, przedsiębiorczości, informatyczne, przyrodnicze, geograficzne i fizyczne) po 2 godziny lekcyjne w tygodniu przez cały rok szkolny oraz raz w semestrze organizowany był wyjazd do gospodarstwa agroturystycznego w formie zajęć pozaszkolnych tzw. ”zielona szkoła”.
skuteczności
trafności
użyteczności
- Jakie są planowane i nieplanowane rezultaty projektu? (trafność)
- W jakim stopniu realizacja projektu przyczyniła się do zwiększenia kluczowych kompetencji młodzieży? (użyteczność)
- Na ile sposób prowadzenia zajęć jest dostosowany do potrzeb młodzieży? (trafność, użyteczność)
- Na ile zdobyte przez młodzież kompetencje są przez nich wykorzystywane? (użyteczność)
- Na ile partnerska realizacja projektu przyczyniła się do
zwiększenia zakresu działań i osiągnięcia rezultatów?
(skuteczność)
Ankieta
a. definicja
Ankieta to standaryzowana metoda otrzymywania informacji od badanych, która nie wymaga obecności ankietera. Respondent (osoba badana) udziela odpowiedzi za pomocą specjalnie przygotowanego kwestionariusza. Ze względu na sposób zbierania danych wyróżniamy ankiety: pocztową, internetową oraz audytoryjną.
b. zastosowanie
Ankietę stosuje się w celu uzyskania danych w krótkim czasie od dużej liczby osób. Ankietę można przeprowadzić wśród uczestników szkoleń, aby sprawdzić, na ile spełniły ich oczekiwania, czy też zbadać, które elementy szkoleń były ich zdaniem najbardziej przydatne. Ze względu na anonimowość, jest dobrym narzędziem, aby skłonić respondentów do wypowiadania się na tematy drażliwe lub do oceniania zespołu zarządzającego projektem.
c. zalety i ograniczenia
„+”
- niski koszt przeprowadzenia badania;
- wystandaryzowane wyniki - obiektywne informacje;
- większa szansa na szczere odpowiedzi.
„-”
- narzędzie nadużywane – niechęć do wypełniania ankiet;
- konieczność zadawania prostych, zrozumiałych pytań;
- brak możliwości pogłębienia i doprecyzowania odpowiedzi respondentów;
- niekiedy nie możliwe jest kontrolowanie tego, kto wypełnia ankietę.
d. przykład
W ewaluacji projektu Młodzi Aktywni w połowie i na zakończenie realizacji Projektu przeprowadzono ankietę wśród wszystkich uczestników warsztatów oraz ich rodziców. Uzyskane dane pozwoliły na ocenę projektu pod kątem skuteczności oraz użyteczności.
Analiza dokumentacji
a. definicja
Analiza dokumentacji (z ang. desk research) opiera się na poszukiwaniu informacji i danych jakościowych oraz ilościowych w materiałach „wytwarzanych” w ramach projektu (zbieranych w ramach monitoringu) oraz w źródłach zewnętrznych opracowanych i/lub zgromadzonych przez inne podmioty. Analiza ma przyczynić sie do podejmowania jak najlepszych decyzji odnośnie kierunku i siły realizacji działań.
b. zastosowanie
Metoda ta jest zawsze dostępna. Ze względu na swoje zalety stosowana w większości projektów.
c. zalety i ograniczenia
„+”
- szybkość badania;
- niski koszt.
„-”
- dostępne informacje mogą nie odpowiadać w pełni na postawiony problem badawczy (ktoś zbierał je w innym celu);
- dostęp do części danych często jest ograniczony.
d. przykład
Analiza dokumentacji w ramach projektu pn. Młodzi Aktywni prowadzona na bieżąco objęła:
- dzienniki zajęć pozalekcyjnych, w tym obecności, tematykę zajęć;
- materiały pomocnicze do zajęć;
- sprawozdania z zajęć pozalekcyjnych i szkolnych (sprawozdania miesięczne nauczycieli prowadzących zajęcia oraz odpowiedzialnych za “zieloną szkołę”, kronika szkolna, zdjęcia);
- artykuły prasowe oraz informacje na stronach www i portalach;
- statystyki i materiały: dotyczące projektu, Kuratorium Oświaty i Wydziału Oświaty Urzędu Gminy (analiza porównawcza);
- dokumentację finansowo-księgową (faktury, rachunki, umowy o pracę/zlecenie/dzieło, itd.).
Wywiad
a) definicja
Metoda pozyskiwania danych przez ankietera poprzez zadawanie pytań badanemu na podstawie specjalnie przygotowanego scenariusza, z możliwością pogłębiania zakresu zbieranych informacji.
Wyróżniamy m.in. wywiad kwestionariuszowy, w którym ankieter odnotowuje odpowiedzi respondenta na odpowiednim formularzu oraz wywiad grupowy (focus) - prowadzony jednocześnie z kilkoma osobami, przebieg dyskusji jest zwykle nagrywany.
b) zastosowanie
Metoda pozwala uelastycznić badania oraz spojrzeć na projekt z perspektywy zarówno uczestników, jak i realizatorów.
c) zalety i ograniczenia:
„+”
- możliwość dopowiedzenia lub wyjaśnienia niejasnych kwestii;
- bezpośredni kontakt ankieter-badany - możliwość obserwacji zachowania;
„-”
- ankieter może wpływać nieświadomie na odpowiedzi badanych;
- brak anonimowości respondentów.
Przykład:
W projekcie Aktywni Młodzi 4 wywiady grupowe przeprowadzone na zakończenie Projektu w każdej ze szkół, pozwoliły na pogłębienie uzyskanych dzięki ankietom informacji – uczniowie oraz przedstawiciele szkoły wskazali mocne i słabe strony projektu, wypowiedzieli swoje oczekiwania, co do podobnych przedsięwzięć w przyszłości. Zastosowane kryteria: użyteczność.
Obserwacja:
a) definicja
Polega na wejściu badacza w określoną grupę i obserwowaniu jej od wewnątrz - jako jeden z członków. Ankieter może czynnie lub biernie uczestniczyć w zajęciach grupy, informując lub nie, o pełnionej przez niego funkcji.
b) zastosowanie
Prosta metoda zbierania, wiarygodnych danych. Obserwacją nie można określić wszystkich działań, stąd konieczne jest ustalenie przed jej rozpoczęciem tego, czego chcemy się dowiedzieć.
c) zalety i ograniczenia
„+”
- bezpośrednie poznanie ewaluowanych działań;
- możliwość zaobserwowania wydarzenia, nie tylko usłyszenia o nim.
„-”
- możliwy subiektywizm badacza w opisie wyników;
- nienaturalne zachowanie osób obserwowanych.
d) przykład
W projekcie Młodzi Aktywni prowadzona na bieżąco obserwacja zajęć pozaszkolnych, zaangażowania młodzieży i sposobów wykorzystania przez nią zdobytej wiedzy pozwoliła na ewaluację projektu pod kątem użyteczności i skuteczności.
Ewa Gałka we współpracy z Moniką Przybylak
Artykuł ukazał się w gazecie Fundusze Europejskie nr 3
(maj-czerwiec 2008), str. 30.
Źródło: Fundusze Europejskie nr 3 (maj-czerwiec 2008), str. 30.