Publicystyka - ngo.pl

Jednym z etapów procesu ewaluacyjnego, oprócz określenia celu
i pytań badawczych, jest wybór ewaluatorów (ewaluator to osoba lub
zespół osób przeprowadzający całą ewaluację, zbierający i
interpretujący dane, przeprowadzający analizę, przygotowujący
raport z ewaluacji). W zależności od doświadczenia i wiedzy
mamy dwa podstawowe warianty. Pierwszy z nich to samodzielne (przez
zespół projektu) przeprowadzenie ewaluacji (autoewaluacji).
Jeśli mamy doświadczenie badawcze i potrafimy przeprowadzać badania
oraz analizować ich wyniki, a dodatkowo w zespole posiadamy osoby o
odpowiednich kwalifikacjach, takie podejście jest odpowiednie. Ta
opcja nadaje się także dla małych projektów, gdzie zbieranie danych
oraz analiza nie będą zbyt trudne i czasochłonne. Drugie wyjście -
ewaluacja jest zlecana na zewnątrz - podwykonawcy. To właściwy
wybór, jeśli nie mamy doświadczenia ani wiedzy jak stworzyć
narzędzia badawcze i analizować zebrane wyniki, a projekt jest
skomplikowany (i/lub nowatorski) i grupa docelowa liczna.

Poniżej przedstawiamy Państwu schemat ukazujący, jakie są
możliwości przeprowadzenia ewaluacji.

W artykule przedstawimy Państwu ważne zasady prowadzenia
wewnętrznej oraz zewnętrznej ewaluacji projektów.

Gdy zespół projektu prowadzi ewaluację…

Zasada 1. Dobierz osoby z odpowiednim doświadczeniem.
Rolę eksperta może pełnić socjolog z doświadczeniem w badaniach
społecznych. Skład zespołu ewakuacyjnego mogą zasilić pozostali
członkowie zespołu projektowego, w szczególności warto włączyć
osoby zarządzające projektem.

Zasada 2. Podziel zadania związane z ewaluacją. Należy
określić, jaki jest podział obowiązków poszczególnych osób, np. kto
przygotowuje narzędzia badawcze, kto będzie odpowiedzialny za
przeprowadzenie badań, kto opracuje wyniki i dokona analizy.

Zasada 3. Ustal zakres i przedmiot ewaluacji. Zwykle
nie ewaluujemy całego projektu. Należy więc wybrać, czy chcemy
dowiedzieć się czy układ działań jest odpowiednio dostosowany lub
czy np. szkolenia były dobrane odpowiednio do potrzeb grupy
docelowej. W związku z tym trzeba dalej podjąć decyzję,
czy ewaluacją obejmujemy całą grupę docelową, czy tylko jej
część.

Zasada 4. Dobierz metody i narzędzia badawcze. W
poprzednim artykule (Fundusze Europejskie nr 3) wskazywałyśmy
Państwu zalety i wady stosowania poszczególnych narzędzi oraz
przykłady, kiedy mogą być zastosowane. Przypomnijmy tylko, że jeśli
chcemy zbadać, w jaki sposób kształtuje się proces grupowy, możemy
zastosować obserwację, jeśli zaś chcemy zbadać, jaki jest stopień
zadowolenia ze sposobu prowadzenia zajęć, możemy zastosować ankietę
lub wywiad swobodny. Zastosowane metody muszą być dobrze
dostosowane do specyfiki projektu, a narzędzia opracowane przez
osoby z odpowiednimi kompetencjami. Błędnie dobrana metoda i
niedostosowane narzędzie dadzą nam nieprawdziwe, a więc
bezużyteczne wyniki!

Zasada 5. Przeanalizuj dane. Zebrane dane należy poddać
wnikliwej analizie zarówno ilościowej jak i jakościowej. Należy
zwrócić także uwagę, by przedstawione wnioski były jak najbardziej
obiektywne – nie jest to łatwe, gdy ewaluację prowadzimy
samodzielnie.

Zasada 6. Przedyskutuj uzyskane wyniki np. podczas
spotkania zespołu. Tu warto zastanowić się przede wszystkim w jaki
sposób wykorzystamy je w realizowanym projekcie, jakie zmiany
należy wprowadzić w dokumentach wewnętrznych, a jakie w sposobie
pracy. Jest to w zasadzie najważniejszy element ewaluacji. Badanie
prowadzimy przecież z założeniem usprawnienia działań.

Zasada 7. Wykorzystaj wyniki. Wyniki badań są podstawą
do usprawnienia tego i kolejnych projektów, do dokumentowania
rezultatów (w szczególności miękkich) oraz usprawnienia
zarządzania. Dlatego warto ustalić osoby odpowiedzialne za
wdrożenie wypracowanych zmian.

Ewaluacja, choć na pozór wydaje się prostym działaniem może
przysporzyć trudności

w dobrym zaplanowaniu i analizie wyników. Dlatego też jeśli nie
mamy wiedzy i doświadczenia w tym zakresie, rekomendowane jest
zlecenie ewaluacji podwykonawcy. Nawet jeśli ją zlecamy, nasza rola
jest nadal istotna. To od nas zależy wybór konkretnej oferty
wykonawcy ewaluacji.

Gdy ewaluację prowadzi podwykonawca…

Zasada 1. Ustal podstawę wyboru podwykonawcy.
Realizując projekt i dokonując jego ewaluacji mamy do czynienia ze
środkami publicznymi, a więc dokonując ich wydatkowania (w tym
kupując usługę ewaluacji) musimy postępować zgodnie z zasadami
wskazanymi w Ustawie z dnia 29 stycznia 2004 r. Prawo Zamówień
Publicznych (PZP) (Dz. U. Nr 19, poz. 177 z późn. zm.). W
przypadku, gdy jesteśmy zwolnieni ze „stosowania” PZP podmiotowo
(jako dany rodzaj jednostki ustawa nas nie dotyczy) lub
przedmiotowo (wartość zamówienia nie przekracza wskazanych w PZP
progów – w aktualnym stanie prawnym 14.000 Euro) warto również
stosować zasady wskazane w ustawie – tak by zachować najważniejszą
zasadę: racjonalności wydatkowania środków publicznych.

Zasada 2. Określ cele i warunki prowadzenia ewaluacji.
Na początek należy się zastanowić w czym ewaluacja ma nam być
przydatna, jakich informacji potrzebujemy by usprawnić projekt lub
zbadać jego efekty. Czyli określić cele badania i doprecyzować
konkretne pytania badawcze (ewaluacyjne). Należy też opisać
realizowany projekt, planowany czas realizacji badania, teren,
rezultaty, których oczekujemy od podwykonawcy. Warto przeprowadzić
to na zasadzie burzy mózgów zespołu projektowego.

Zasada 3. Wybierz doświadczonego podwykonawcę. Nie
oznacza to weryfikacji tylko i wyłącznie potencjału
instytucjonalnego ale (a może przede wszystkim) zespołu badawczego.
Warto więc przejrzeć wcześniejsze raporty ewaluacyjne, zapoznać się
z cv planowanej kadry.

Zasada 4. Współpracuj z wykonawcą ewaluacji. Po
dokonaniu wybory firmy i podpisaniu umowy konieczne jest
wyznaczenie osoby do kontaktu z zespołem prowadzącym ewaluację w
celu przekazywania niezbędnych dla prawidłowej ewaluacji informacji
i monitorowania postępów badania. Należy także uprzedzić kadrę, że
ewaluatorzy podczas analizy i zbierania informacji, mogą prosić o
dodatkowe materiały lub zadawać pytania. Dzięki temu wyniki będą
bardziej dostosowane do naszych oczekiwań.

Zasada 5. Ustal zasady raportowania wyników ewaluacji.
Przy ustalaniu szczegółów badania należy określić terminy raportów
cząstkowych i sposoby przekazywania informacji na temat osiąganych
rezultatów. Po przeprowadzeniu badań, Wykonawca musi przedstawić
raport. Decyzja zamawiającego w sprawie odbioru raportu winna być
oparta na kryteriach oceny jakości wykonania zadania
ewaluacyjnego.

Zasada 6. Zapoznaj się z wynikami. Przedstawienie
wyników (wniosków i rekomendacji) ewaluacji może być w formie
raportu, prezentacji, broszury, wykresu, a także podczas wspólnego
spotkania. Warto pamiętać, że podwykonawcę można poprosić o pomoc w
opracowaniu nowych narzędzi (należy zapisać to w zapytaniu o
ofertę/SIWZ i umowie).

Zasada 7. Wykorzystaj wyniki.

Ewa Gałka we współpracy z Joanną Ludwiczak

Artykuł ukazał się w dwumiesięczniku Fundusze
Europejskie nr 4 (lipiec-sierpień 2008).