PIEKUTOWSKI: Ewaluacja jest postrzegana często jako rodzaj kontroli, a czasem – jako formalność, czyli „produkowanie tony papieru pod koniec projektu”. Może być inaczej.
Helen Simons z Uniwersytetu w Southampton, jedna z najważniejszych postaci światowej ewaluacji, określiła kiedyś badania tego typu jako „zaproszenie do rozwoju”. Miała nadzieję, że ewaluacja będzie rzeczywiście służyć instytucjom i organizacjom w doskonaleniu własnych działań.
Ewaluacja jest passé?
Wiele rozmów i lat wspólnej pracy Ośrodka Ewaluacji z przedstawicielami polskich NGO pokazało jednak, że ewaluacja jest postrzegana często jako rodzaj kontroli, a czasem – jako formalność, czyli „produkowanie tony papieru pod koniec projektu”.
Takie spojrzenie w dużej mierze wynika z polskiej praktyki ewaluacji funduszy strukturalnych. Tu badania opierają się często na skomplikowanych modelach, a ich wyniki są trudne do wykorzystania w praktyce. Najczęściej mają też charakter punktowy – ewaluator wykonuje pracę w ciągu kilku-kilkunastu tygodni, pozostawia raport, a cała reszta należy do klienta.
Nie dziwiły więc wyniki badania Stowarzyszenia Klon/Jawor z 2013 r., w którym aż 63% organizacji stwierdziło, że nie analizuje i nie ocenia własnego sposobu działania. Można było mieć wrażenie, że ewaluacja jest passé.
Ewaluacja w złożonym świecie
Metafora Helen Simons staje się jednak ostatnio znowu aktualna. Nowy okres unijnego programowania zakłada dużo mniejsze wsparcie dla NGO, nie wiadomo też, co będzie z kolejnymi edycjami programów norweskich i szwajcarskich. W całym świecie narasta polityczna i społeczna nieprzewidywalność. Niejedna organizacja zastanawia się obecnie, jak rozwijać się w coraz bardziej złożonym świecie, jak zdobyć samodzielność oraz zapewnić trwałość działań.
Jednym ze sposobów uzyskania odpowiedzi na te pytania jest uczenie się na własnych błędach i wykorzystanie własnych sukcesów. To bardzo wpisuje się w nurt ewaluacji rozwojowej (ang. developmental evaluation).
Ciągła ewaluacja
Przedstawmy ten nurt na hipotetycznym przykładzie organizacji, która chce zrealizować działania aktywizujące młodzież z trudnościami w pewnej dzielnicy dużego miasta. Na początku jest pomysł i tytuł: „Akcja Podwórko”. Co robi ewaluator rozwojowy? Podstawowym jego zadaniem jest towarzyszenie. Oznacza to, że ewaluator nie ocenia inicjatywy w danym punkcie (np. ex ante, mid-term, ex post), ale prowadzi ocenę na bieżąco, przekazując bezpośrednią informację zwrotną klientowi. Uczestniczy w całym projekcie, zmieniając narzędzia i metody badawcze w odpowiedzi na jego bieżące potrzeby. Informację zwrotną przekazuje zaś nie w formie 400-stronicowych raportów pełnych wzorów i skomplikowanych obliczeń, lecz wyniki przekazuje na bieżąco – w formie krótkich i przejrzystych prezentacji, zestawień wniosków, infografik lub bezpośrednio w formie rozmowy na spotkaniach.
W przeciwieństwie do tradycyjnych form, ewaluacja rozwojowa zakłada bezpośredni udział badacza jako doradcy, a czasem i współtwórcy danej inicjatywy. W naszym hipotetycznym przykładzie „Akcji Podwórko” ewaluator rozwojowy uczestniczy w spotkaniach zespołu projektowego, a przed rozpoczęciem działań sam wybiera się na podwórka wybranej dzielnicy i prowadzi pierwsze swobodne wywiady z dziećmi, ich rodzicami, nauczycielami, dzielnicowym itp. Rozeznaje potrzeby wszystkich uczestników procesu. Efekty tego etapu opisuje w formie krótkiej prezentacji, a wnioski i rekomendacje przedstawia na kolejnym spotkaniu organizacji. Organizacja dzięki temu może zdążyć jeszcze zmodyfikować zakładane działania.
Utrzymać kontakt z odbiorcami
Po tym pierwszym etapie ewaluator „Akcji Podwórko” tworzy kolejne narzędzia badawcze i prowadzi dalsze badania. Jednocześnie angażuje on wszystkich interesariuszy w proces realizacji projektu oraz jego badania: np. zaprasza dzieci i rodziców na spotkanie zespołu i pozwala im się wypowiedzieć na temat podjętych działań. Pomaga tym samym organizacji utrzymywać realny kontakt z odbiorcami działań.
Jedną z najważniejszych cech ewaluacji rozwojowej jest empatyczne przyjmowanie przez ewaluatora perspektywy samej ewaluowanej organizacji, ale także odbiorców jej działań. W przeciwieństwie do tradycyjnych form, w których perspektywa ta jest określana jednorazowo, w przypadku podejścia rozwojowego jest określana w sposób ciągły. Dlatego równie istotny jak wywiady i ankiety z odbiorcami jest stały kontakt z twórcami inicjatywy (organizacją) i prowadzenie z nimi pracy warsztatowej.
Taniej i efektywniej
Wbrew stereotypowym twierdzeniom, ewaluacja rozwojowa nie musi ograniczać się do miękkich, jakościowych metod. Podejście badawcze może uwzględniać zbierane na bieżąco dane ilościowe, np. dane z ankiet online, dane monitoringowe, krótkie ankiety. Istotny jest tu nie dobór metod, ale ich elastyczność i bieżące modyfikacje w badaniu w zależności od zmian sytuacji w projekcie.
Towarzysząc organizacji, ewaluator pomaga jej na bieżąco uczyć się i rozwijać działania. W ten sposób tworzy poczucie bezpieczeństwa – klient nie czuje się oceniany, ale wspierany. W przeciwieństwie do ewaluacji tradycyjnej, podejście rozwojowe nie odnosi się do jednego, ustalonego na początku celu, ale w uważny sposób odpowiada na pojawiające się nowe cele i potrzeby. W dodatku takie badanie nie wymaga tak dużego nakładu kosztów, jak tradycyjna ewaluacja.
Odpowiadać na potrzeby odbiorców
Nurt ewaluacji rozwojowej w sposób szczególny wspiera samodzielność organizacji, gdyż wpisuje się dobrze w myślenie biznesowe, w którym organizacja w elastyczny sposób tworzy produkt, odpowiadający na potrzeby odbiorców (w przeciwieństwie do podejścia dotacyjnego, w którym wszystkie działania są już z góry ściśle określone w umowie lub wniosku o dofinansowanie).
Widać więc, że ewaluacja rozwojowa może być wsparciem nie tylko dla hipotetycznej „Akcji Podwórko”, ale dla projektów o różnej specyfice i różnej skali. Takie podejście sprawdza się, co potwierdza praktyka wielu organizacji. Może zatem warto rozważyć jej zastosowanie w dzisiejszej, niepewnej pod wieloma względami sytuacji w trzecim sektorze.
Czym żyje III sektor w Polsce? Jakie problemy mają polskie NGO? Jakie wyzwania przed nim stoją. Przeczytaj debaty, komentarze i opinie. Wypowiedz się! Odwiedź serwis opinie.ngo.pl.
Jak rozwijać się w coraz bardziej złożonym świecie? Uczmy się na błędach i wykorzystujmy swoje sukcesy!