Publicystyka - ngo.pl

Warsztat "Praktyczne aspekty ewaluacji dla członków Komitetów Monitorujących RPO" został przeprowadzony w dniu 19 kwietnia 2012 r. podczas VII Spotkania Regionalnego Krajowej Sieci ds. Partnerstwa w Katowicach. Poruszana tematyka obejmowała następujące zagadnienia:

• Zadania Jednostki Ewaluacyjnej a rola Komitetu Monitorującego w procesie zarządzania ewaluacją
  
  Przywołano między innymi zapisy Wytycznych nr 6 w zakresie ewaluacji programów operacyjnych wydanych przez Ministerstwo Rozwoju Regionalnego, mówiących o tym, iż komitety monitorujące w szczególności powinny zapoznawać się z planami ewaluacji, monitorować proces ewaluacji, rekomendować obszary, które powinny być poddane ocenie oraz zapoznawać się z wynikami badań.

• Źródła użytecznych informacji nt. ewaluacji
  
  Jako główne źródła wskazano strony internetowe poszczególnych programów operacyjnych, gdzie znajdują się zakładki poświecone ewaluacji, a także rządowy serwis www.ewaluacja.gov.pl oraz dodatkowo strony PARP, Polskiego Towarzystwa Ewaluacyjnego i Pozarządowej Agencji Ewaluacji i Rozwoju.

• Co zawiera projekt ewaluacji i jaki może być udział Komitetu Monitorującego w jego tworzeniu (formułowanie celów i pytań ewaluacyjnych)
  
  Przypomniano, jakie elementy należy uwzględnić w projekcie ewaluacji (przedmiot i cele ewaluacji, pytania ewaluacyjne, kryteria oceny, metody badawcze, charakterystyka i opis doboru próby badawczej, sposób prezentacji wyników) oraz na jakich poziomach można prowadzić ewaluację (od oceny nakładów i działań – po ocenę oddziaływania). Zaprezentowano także najczęstsze rodzaje pytań ewaluacyjnych.

• Standardowa struktura raportu ewaluacyjnego
  
  Przedstawiono i pokrótce omówiono główne elementy typowego raportu, jak również przytoczono rekomendowaną przez MRR strukturę raportów dla badań zamawianych przez jednostki ewaluacyjne.

• Jak czytać raport ewaluacyjny
  
  Sformułowano kilka praktycznych wskazówek dotyczących prostego i szybkiego sposobu zaznajomienia się z najważniejszymi treściami raportu – zaczynając od przeglądu spisu treści, następnie zapoznając się ze streszczeniem, potem zaś pogłębiając swoją wiedzę czytając wnioski i rekomendacje oraz ewentualnie pytania ewaluacyjne.

• Na co zwracać uwagę oceniając jakość i poprawność raportu
  
  Zaprezentowano zarówno listę pytań pozwalających dokonać ogólnej oceny jakości raportu, jak i bardziej szczegółowe wskazówki dotyczące najczęstszych błędów pojawiających się w raportach .

Podczas warsztatu wskazano na brak zaangażowania komitetów monitorujących w planowanie ewaluacji i wynikającą z tego potrzebę włączenia się członków komitetów monitorujących w proces projektowania badań (zgłaszanie propozycji badań, tworzenie i ocena pytań ewaluacyjnych). Uczestnicy mieli okazję przećwiczyć formułowanie pytań ewaluacyjnych dla wybranych przez siebie przypadków badań. Zwrócono także uwagę na to, aby formułując warunki zamówienia badania ewaluacyjnego nie zamieszczać w nich pełnego zamkniętego projektu ewaluacji, zostawiając kwestię ostatecznego doboru metod badawczych ewaluatorom. Poruszono również problem oceny wpływu realizowanych przedsięwzięć (impact evaluation), która jest jednym z najtrudniejszych zadań, jakie stają przed ewaluatorami i jednocześnie jest zazwyczaj najbardziej kosztowną częścią badania. W wielu badaniach podejmowane jest to wyzwanie, nie zawsze jednak z powodzeniem.

W części warsztatu dotyczącej wykorzystania wyników ewaluacji podnoszono kwestię nieznajomości wyników badań przez członków komitetów monitorujących, mimo regularnego publikowania raportów w Internecie. Zatwierdzanie wniosków i rekomendacji odbywa się niejednokrotnie przy braku jakiejkolwiek dyskusji na ich temat. Uczestnicy zauważyli, że objętość raportów oraz zamieszczanie w nich niemal wszystkich zgromadzonych informacji powoduje, iż dokumenty te są niechętnie czytane i trudno jest je analizować. W części praktycznej podczas pracy w grupach analizowano wybrane fragmenty przykładowego raportu z badań ewaluacyjnych regionalnego programu operacyjnego.

W dyskusji poruszano także kwestię konieczności zwiększenia partycypacyjności procesu ewaluacji. Mimo braku przeszkód prawnych i proceduralnych współpraca w tym obszarze między komitetami monitorującymi a jednostkami odpowiedzialnymi za ewaluację wydaje się być niewystarczająca. Członkowie komitetów oczekiwaliby proponowania im bardziej angażujących form monitorowania i oceny procesu ewaluacji, zaś instytucje odpowiedzialne za ewaluację tego, iż członkowie komitetów będą zapoznawać się z raportami i proaktywnie proponować ewentualne zmiany w funkcjonującym w danym województwie systemie ewaluacji. Przy okazji zwrócono uwagę, iż warto poszerzyć spektrum podejść do prowadzenia oceny o metody uczestniczące oraz o analizę ekonomiczną, która w przypadku pozainwestycyjnych przedsięwzięć jest w badaniach niemal zupełnie pomijana.

Podczas sesji plenarnej podsumowującej dwa prowadzone równolegle warsztaty uczestnicy sformułowali następujące wnioski i rekomendacje:

• istnieje potrzeba dalszych szkoleń oraz wymiany doświadczeń dla członków komitetów monitorujących, aby byli lepiej przygotowani do aktywnego udziału w procesie ewaluacji;

• należy stworzyć proste i skuteczne procedury zgłaszania przez członków komitetów wniosków dotyczących ewaluacji;

• wskazane byłoby powołanie roboczych grup ds. ewaluacji poszczególnych obszarów, tak aby nad wynikami badań dyskutowali specjaliści z danej dziedziny, dzięki czemu można będzie uniknąć dokonywania oceny wniosków i rekomendacji płynących z badań ewaluacyjnych przez niekompetentne osoby;

• warto poza publikowaniem planów i raportów ewaluacyjnych na stronach internetowych uruchomić inne kanały komunikowania o ewaluacji (aczkolwiek nie zgłoszono konkretnych propozycji, jakie nowe kanały można by wykorzystać);

• w celu zwiększenia efektywności działań komitetów monitorujących warto opracować regulaminy działania komitetów wraz z opisem zakresu odpowiedzialności ich członków;

• odpowiadając na problem niewystarczającego udziału niektórych członków w pracach komitetów, należałoby wrócić do idei monitorowania zaangażowania poszczególnych osób (nie tylko przedstawicieli organizacji pozarządowych) tak, aby reprezentowane środowiska mogły oceniać jakość działań swoich przedstawicieli.

Oprac. Lidia Kuczmierowska