Proces ewaluacji jest dialogiem, podczas którego następuje wspólne dochodzenie do rozwoju. Dlatego właśnie w trakcie konferencji, o której będzie mowa, ewaluacja została porównana do położnictwa czy sztuki rodzenia – ewaluacja 'rękami' ewaluatora pomaga organizacji 'urodzić' własny rozwój.
31 marca 2003 roku w Warszawie miała miejsce ogólnopolska konferencja poświęcona ewaluacji, zorganizowana przez Polskie Towarzystwo Ewaluacyjne i Szkołę Wyższą im. Bogdana Jańskiego. Podczas konferencji członkowie Towarzystwa podzielili się z zebranymi swoją wiedzą, doświadczeniami i ogólnymi refleksjami o ewaluacji.
Zacznijmy od początku - co to jest ewaluacja?
Ewaluacja jest narzędziem zarządzania organizacją i sposobem wspierania rozwoju organizacyjnego. Sama nie jest nauką, chociaż czerpie z różnych nauk, np. socjologii, psychologii, ekonomii, matematyki. Powstała osiemdziesiąt lat temu w USA, jednak w Europie zaczęła być stosowana dopiero w latach sześćdziesiątych.
Etymologia słowa ewaluacja odsyła do pojęcia wartości czy wartościowania. Jednak nie należy kojarzyć ewaluacji z zewnętrzną oceną, a tym bardziej z kontrolą. Proces ewaluacji jest bowiem dialogiem, podczas którego następuje wspólne dochodzenie do rozwoju. W trakcie konferencji ewaluacja została porównana do położnictwa czy sztuki rodzenia – ewaluacja "rękami" ewaluatora pomaga organizacji "urodzić" własny rozwój.
Szkoła rodzenia
Podczas swojego wystąpienia pt. „Kultura organizacji a kultura ewaluacji poza horyzontem teraźniejszości” prof. Korporowicz wskazał na ujęcie kultury, które zakłada jej dynamiczny charakter. Sens tak postrzeganej kultury przybliżają następujące hasła: „kultura jako poszukiwanie sensu i wartości”, „kultura jako przeobrażanie się”, „kultura jako dialog i wymiana”. Jednocześnie taka koncepcja ma swoje konsekwencje dla rozumienia kultury organizacyjnej. Prof. Korporowicz porównał ją do „duszy organizacji”, a więc umiejętności widzenia przyszłości i wyznaczania nowych zadań, umiejętności motywowania i przewodzenia grupie, a także zdolności do przekraczania własnych granic – wychodzeniu ku nowemu. Dlatego też z kulturą organizacyjną związana jest kultura ewaluacyjna – to ewaluator jest partnerem organizacji pomagającym osiągnąć wyżej opisane cele. Jego rola polega na zadawaniu pytań służących sprecyzowaniu zadań, stworzeniu wizji przyszłości i zrozumieniu sensu działań.
Aby mogło jednak dojść do rozwoju organizacji przy wsparciu ewaluacji, musi być spełnionych kilka warunków. Prof. Korporowicz wspomniał o nich jako o kontekście rozwoju badań ewaluacyjnych. Przede wszystkim konieczne jest zapewnienie prawa do informacji – dlatego najlepszym środowiskiem rozwoju ewaluacji jest demokracja, zaś systemy zamknięte i scentralizowane mu nie sprzyjają. Ponadto informacje powinny być wiarygodne, wnikliwe, wieloaspektowe i całościowe. Jednocześnie uwzględnione powinny zostać różnice wynikające z kulturowego sensu informacji.
A jak się do porodu przygotować?
Dwa kolejne wystąpienia, przygotowane przez Jarosława Chojeckiego i Beatę Ciężką, przybliżały etapy planowania i projektowania procesu ewaluacji. Jak wynikało z wystąpień, są to dwa oddzielne, choć następujące po sobie, etapy. Nie będzie jednak dużym przewinieniem, jeśli zostaną omówione łącznie, można się bowiem domyślać, że w praktyce podział ten jest traktowany umownie.
Planowanie polega na negocjacjach i wymianie informacji pomiędzy ewaluatorem a osobami zamawiającymi ewaluację. Podczas tych rozmów następuje dopracowanie kilku kwestii. Przede wszystkim określa się przedmiot ewaluacji. Jak podkreśliła Beata Ciężka, jest niezwykle ważne, żeby ewaluator uzyskał od zamawiających ewaluację informację, co ma być tak naprawdę poddane ewaluacji, czy np. ma to być cała organizacja, czy jeden projekt lub program. Kolejna kwestia, która musi zostać przedyskutowana podczas etapu planowania, to cele ewaluacji. Ściśle związane z wyborem celów jest ustalenie, kim będą odbiorcy ewaluacji. Inne będą oczekiwania sponsorów zamawiających ewaluację finansowanego przez nich projektu, a inne jego realizatorów. Kiedy zostanie już ustalone, kto jest odbiorcą ewaluacji, należy doprecyzować, jakich spodziewa się po niej rezultatów. To, co chce dzięki ewaluacji osiągnąć zamawiający, ma znaczenie przy podejmowaniu decyzji jaki typ ewaluacji wybrać – ex ante (przed ewaluowanym działaniem), formatywną (w trakcie działania) lub ex post (po zakończeniu działania).
Konsekwencją określenia celów, na etapie projektowania ewaluacji, jest sformułowanie pytań kluczowych i kryteriów ewaluacji. Tych dwóch rzeczy nie należy mylić. Pytania kluczowe mają bezpośredni związek z konkretnymi celami, jakie chcemy osiągnąć w procesie ewaluacji. Zaś kryteria związane są z wartościami, które z punktu widzenia zamawiającego ewaluację są istotne. Beata Ciężka podczas swojej prezentacji przytoczyła zestaw kryteriów, który stosowała podczas ostatniej ewaluacji – znalazły się wśród nich: skuteczność, rozumiana jako stopień realizacji założonych celów; stosowność rozumiana jako zgodność z potrzebami danego sektora; użyteczność, rozumiana jako zgodność z potrzebami bezpośredniego odbiorców danego działania; efektywność, rozumiana jako porównanie wielkości poczynionych nakładów do rzeczywistych osiągnięć; trwałość, a więc pomiar trwałości efektu wywołanego przez działania – jak długo po jego zakończeniu efekt ten się utrzyma.
W procesie ewaluacji można korzystać z różnych metod badawczych, np. obserwacji, wywiadu, badania ankietowego czy analizy dokumentów. Wybór zależy od tego, jak zostały sformułowane pytania badawcze. Można korzystać z metod ilościowych - np. wysłać do wszystkich uczestników projektu ankietę, z pytaniem, czy podobało im się szkolenie - jeśli pytania kluczowe koncentrują się przede wszystkim na tym „ile” osób podziela daną opinię. Z drugiej strony jeśli pytania kluczowe są tak sformułowane, żeby dowiedzieć się czegoś o tym, dlaczego ludzie mają takie a nie inne zdanie, lepiej skorzystać z metod jakościowych – np. przeprowadzić kilka wywiadów pogłębionych. Najlepszym jednak wyjściem, jak podkreśliła Beata Ciężka, jest zastosować metodę triangulacji, tzn. połączyć różne typy metod i źródeł informacji. Wtedy obraz uzyskany w badaniu będzie najpełniejszy i najbardziej wyczerpujący.
Kwestią bardziej techniczną niż merytoryczną jest zaplanowanie niezbędnych zasobów. Niezależnie, czy będzie to ewaluacja zamawiana na zewnątrz, czy ewaluacja wewnętrzna, żeby ją zrealizować potrzebne są środki finansowe, wiedza, czasami sprzęt. Warto też od razu pomyśleć o formie raportu, jaki powstanie na podstawie ewaluacji.
Rozwój organizacji, ale i społeczeństwa
Na bardzo istotną kwestię, z punktu widzenia pogłębiania ogólnej wiedzy o kondycji organizacji pozarządowych, wskazał Michał Kowalski. Jego wystąpienie dotyczyło zastosowania wyników ewaluacji i choć niebagatelną sprawą jest sposób, w jaki sama organizacja wykorzysta wyniki ewaluacji, to warto w tym momencie skupić się na tym, czy z jej wyników może też skorzystać szersze grono odbiorców. Na pytanie, czy ewaluacja ma służyć zamawiającemu czy społeczeństwu, Michał Kowalski odpowiedział jednoznacznie – społeczeństwu. Co więcej, ewaluacja powinna przyczyniać się do zwiększania jawności życia publicznego i do jego demokratyzacji. W trakcie dyskusji została poruszona kwestia, czy jednak można wymagać od zamawiającego ewaluację (i płacącego za nią), żeby ujawniał wyniki, które mogą być dla niego niekorzystne. I znowu odpowiedź okazała się prosta – jeśli działania objęte ewaluacją zostały zrealizowane za pieniądze publiczne, to wyniki ewaluacji powinny być ujawnione.
Na koniec warto wspomnieć jeszcze o standardach, które powinni spełniać ewaluatorzy. Ewaluacja powinna być przydatna, wykonalna i przyzwoita (nie łamać prawa ani zasad moralnych). Czy w takim razie jednym ze standardów nie mogłoby być namawianie organizacji do ujawniania raportów ewaluacyjnych?
Źródło: inf. własna
