Każda ewaluacja powinna być „skrojona na miarę” tzn. dostosowana do specyfiki danego projektu. Wiąże się to z określeniem celu, pytań badawczych, metod i sposobów wnioskowania. Poniżej prezentujemy etapy postępowania w badaniu ewaluacyjnym na przykładzie 10-miesięcznego projektu „Bądź kowalem własnego losu” Fundacji Carpe Diem.
|
Cel projektu:
Nabycie umiejętności poruszania się po rynku pracy przez 30 licealistów (III klasa) z Liceum Ogólnokształcącego nr 3 w Koralewie. Działania:
Zaplanowane rezultaty twarde:
Zaplanowane rezultaty miękkie dla 70%
osób:
|
Jako cel ewaluacji określono poprawę efektywności
przedsięwzięcia, ocenę stopnia osiąganych rezultatów.
Pierwszym krokiem, jaki podjęto, było szczegółowe
zaplanowanie badania, czyli przeanalizowanie poszczególnych
elementów projektu pod kątem ewaluacji. Określono pytania
ewaluacyjne (badawcze) i dobrano kryteria badawcze, metody
zbierania danych i zestawiono je z działaniami w projekcie
oraz celem. Za ten etap odpowiedzialny był ewaluator
zewnętrzny.
|
Cel projektu
|
Działania
|
Planowany
rezultat
|
Kryteria ewaluacji zestawione
z pytaniami badawczymi
|
Metoda
pomiaru
|
|
Nabycie umiejętności poruszania się na rynku
pracy przez 30 licealistów (III klasa) z Liceum Ogólnokształcącego
nr 3 w Koralewie w okresie 10 miesięcy.
|
Szkolenia
Doradztwo
Spotkania
|
1. Zwiększenie wiedzy w zakresie aktywnego
poszukiwania pracy
|
Efektywność – na ile poniesione nakłady (środki
finansowe) przekładają się na efekty? (np. czy całkowity koszt
szkolenia nie jest zbyt wysoki w porównaniu do postępów grupy
docelowej)
Skuteczność – na ile metody realizacji działań
zostały dobrane właściwe do potrzeb grupy docelowej? (np. czy
właściwą formą były spotkania otwarte)
Użyteczność – na ile % grupy
docelowej, który zwiększył swoją wiedzę podczas szkoleń,
doradztwa, spotkań przełoży się na faktyczną poprawę
umiejętności poruszania się na rynku pracy?
|
1. Ankiety ewaluacyjne, test wiedzy
|
|
2. Nabycie umiejętności tworzenia dokumentów
aplikacyjnych (pisania cv, listu motywacyjnego)
|
2. Ankiety ewaluacyjne, analiza stworzonych
dokumentów aplikacyjnych
|
|||
|
3. Podniesienie umiejętności z zakresu
autoprezentacji
|
3. Ankiety ewaluacyjne, obserwacja (narzędzie:
nagranie wideo)
|
|||
|
4. Zwiększenie świadomości w zakresie możliwości
stwarzanych przez rynek pracy, planowania ścieżki rozwoju
|
4. Wywiady z grupą docelową
|
|||
|
5. Podniesienie motywacji do aktywnego
poszukiwania pracy
|
5. Obserwacja grupy docelowej
|
|||
|
6. Zwiększenie wiary we własne siły
|
Do poszczególnych metod, pod kątem dobranych kryteriów
ewaluacji (efektywność, skuteczność, użyteczność) opracowane
zostały następujące narzędzia badawcze:
Za opracowanie narzędzi odpowiedzialny był socjolog we
współpracy z ewaluatorem zewnętrznym, analizę zebranych danych
przeprowadzili: trener, doradca zawodowy, socjolog we współpracy
z ewaluatorem.
Na podstawie wyników ewaluacji sformułowane
zostały następujące wnioski dotyczące osiągniętych rezultatów
(przed zakończeniem udziału w projekcie):
Rezultaty twarde:
- zwiększenie wiedzy w zakresie aktywnego poszukiwania pracy – 65% (wyniki testu wiedzy),
- nabycie umiejętności tworzenia dokumentów aplikacyjnych (pisania cv, listu motywacyjnego) – 75% (analiza dokumentów aplikacyjnych),
- podniesienie umiejętności z zakresu autoprezentacji – 65%
(analiza nagrań wideo).
Rezultaty miękkie:
- zwiększenie świadomości w zakresie możliwości stwarzanych przez rynek pracy – 80% (wywiad),
- podniesienie motywacji do aktywnego poszukiwania pracy (70%),
- zwiększenie wiary we własne siły - 72% (karty
obserwacji).
Dla Fundacji Carpe diem zaskoczeniem okazały się m.in. wyniki
dotyczące umiejętności autoprezentacji, pomimo, iż trener z tej
tematyki został najwyżej oceniony, osiągnął najniższe wyniki. Z
analizy wywiadów wynika, że na zajęcia te zostało przeznaczonych
zbyt mało czasu. Dość niski okazał się także rezultat dotyczący
podniesienia wiedzy z zakresu aktywnego poszukiwania pracy.
Analizując zebrane dane i odpowiadając na pytania badawcze pod kątem kryteriów ewaluacji, dokonano następujących podsumowań:
Efektywność – Na ile poniesione nakłady (środki finansowe)
przekładają się na efekty?
- niska ocena prowadzącego spotkania otwarte,
- niska ocena trenera z aktywnego poszukiwania pracy,
- zbyt mało czasu przeznaczono na szkolenia z autoprezentacji,
- niska ocena materiałów szkoleniowych.
Skuteczność – Na ile metody realizacji działań zostały dobrane
właściwe do potrzeb grupy docelowej?
- niska ocena przydatności spotkań otwartych,
- niska ocena wykładowej formy szkolenia z aktywnego poszukiwania pracy
- wysoka ocena szkoleń prowadzonych metodą warsztatową w małych grupach oraz indywidualnego doradztwa
- organizacja szkoleń w godzinach dostosowanych do grupy
docelowej.
Użyteczność - Na ile % grupy docelowej, który zwiększył swoją
wiedzę podczas szkoleń, doradztwa, spotkań przełoży się na
faktyczną poprawę umiejętności poruszania się na rynku pracy?
- niewielki odzew pracodawców do których złożono dokumenty aplikacyjne w trakcie trwania projektu,
- nieudana rozmowa kwalifikacyjna 3 osób (spośród 5), które
zdecydowały się w trakcie projektu poszukać miejsca pracy.
W ramach projektu Fundacji Carpe diem przeprowadzono
dyskusję całego zespołu projektowego podsumowującą projekt, celem
udoskonalenia kolejnych projektów. Rekomendacje dotyczące
realizacji projektu wyglądały następująco:
- należy zwiększyć nacisk na szkolenia warsztatowe oraz indywidualne doradztwo,
- należy wprowadzić więcej zajęć praktycznych,
- należy organizować zajęcia w małych grupach,
- należy zwiększyć nacisk na przygotowanie praktycznych i czytelnych materiałów szkoleniowych,
- warto prowadzić zajęcia bezpośrednio po zajęciach
lekcyjnych.
Ponieważ Fundacja posiadała pewne oszczędności w projekcie.
Zorganizowano więc dodatkowe spotkanie z doradcą zawodowym na
temat poruszania się po rynku pracy i autoprezentacji,
uwzględniając wyniki ewaluacji.
Wyniki ewaluacji opracowane zostały w formie prezentacji
Power Point oraz w formie elektronicznego raportu. Wydrukowany
został egzemplarz dla Instytucji Finansującej.
Ewaluacja nie jest prosta. Jest jednak źródłem wielu
przydatnych informacji w zarządzaniu. Pozwala usprawniać projekt,
zwiększać poziom osiągniętych rezultatów, dostosować działania do
potrzeb grupy docelowej. Warto pomyśleć o ewaluacji projektu. Musi
ona być jednak planowana i realizowana przez kompetentne i
doświadczone w tym zakresie osoby. Tylko wysokiej jakości ewaluacja
da nam wysokiej jakości wskazówki.
Od kwietnia zbieraliśmy od Państwa pytania związane
z ewaluacją projektów. Dziękujmy za zainteresowanie.
Odpowiedzi na niektóre z nich prezentujemy poniżej.
Jakie są korzyści z ewaluacji w projekcie?
Ewaluacja projektów umożliwia ocenę wyników podjętych działań;
sprawdza ich spójność, racjonalność oraz użyteczność dla grupy
docelowej. Pozwala na uzyskanie wiarygodnych i rzetelnych
informacji na temat tego, co jest wynikiem realizacji
projektu. Wiedza i doświadczenie, które zdobywa się dzięki
badaniom ewaluacyjnym umożliwiają w przyszłości sprawniejszą
realizację i dostosowanie działań do potrzeb grupy docelowej.
Ewaluacja pozwala udoskonalić realizowane projekty, przez co stają
się one konkurencyjne, wzmacnia także wizerunek organizacji.
Ewaluacja jest wymogiem stawianym przez Unię Europejską, a jej
koszt w całości jest kosztem projektu.
Co jest najważniejsze w przygotowaniu do ewaluacji wewnętrznej projektu?
Najważniejszy w ewaluacji wewnętrznej projektu jest dobór do
zespołu osób z odpowiednim doświadczeniem zarówno w badaniach
społecznych jak i zarządzaniu projektem. Jest to ważne, ponieważ od
kompetencji ewaluatora zależy skuteczność i jakość przeprowadzanych
badań. Gdy decydujemy się na ewaluację wewnętrzną, musimy wiedzieć,
jak ją przeprowadzić. Schemat postępowania badawczego jest
zazwyczaj podobny, bez względu na to, kto przeprowadza ewaluację.
Ważne jest, aby dokonać jasnego podziału obowiązków i zadań,
ustalić harmonogram działań, a przede wszystkim określić co
będzie przedmiotem ewaluacji i w jaki sposób zostanie
przeprowadzone badanie.
Czy w klauzuli o przetwarzaniu danych osobowych na rzecz projektu musimy zawrzeć informację, że zbierane dane są na potrzeby ewaluacji czy projektu?
Podpisanie klauzuli o przetwarzaniu danych osobowych na rzecz
udziału w projekcie, w którym ewaluacja jest jednym z zaplanowanych
działań jest jednoznaczne z tym, że uczestnicy projektu wyrażają
zgodę na udział w badaniu. Aby jednak uniknąć ewentualnych
niejasności warto wyszczególnić ten zapis, dodając również
informację o wykorzystaniu danych na potrzeby badania. Jeżeli
ewaluacja jest jedynym celem, dla którego zbieramy dane (np. w
projektach badawczych), wówczas taka informacja w klauzuli jest
obowiązkowa.
Ile kosztuje przeprowadzenie ewaluacji projektu?
Koszt przeprowadzenia ewaluacji zależy od wielu czynników. Po
pierwsze od liczby pytań badawczych, na które realizatorzy
ewaluacji mają odpowiedzieć, ale także od planowanej metodologii
badawczej, czasu na badanie oraz konieczności angażowania
ewentualnych ekspertek i ekspertów z różnych dziedzin. Dla
przykładu, jeden dzień pracy ankietera lub ankieterki kosztuje
100 zł, zogniskowany wywiad grupowy 3.500 zł (w tym przygotowanie
scenariusza, przeprowadzenie, spisanie, analiza). Ewaluacje
projektów wahają się od kilku do kilkudziesięciu tysięcy złotych
(nawet do kilkuset). Każdorazowo na koszt wpływa specyfika badania.
Dlatego też warto dokładnie przedyskutować cenę z ewaluatorem, by
poznać uzasadnienie wysokości kosztu ewaluacji.
Źródło: Centrum PISOP
