Publicystyka - ngo.pl

Zacznijmy od wiedzy przedstawicieli organizacji na temat beneficjentów. Wyniki badania ankietowego pokazują, że niewiele organizacji zna liczbę odbiorców swoich działań, a jeszcze mniej stara się tego typu dane analizować. Co trzecia organizacja (35%) ma szczegółowe informacje na temat liczby osób lub instytucji, które skorzystały z ich działań, jednak niewiele ponad połowa z nich regularnie je analizuje lub porównuje. Co piąta organizacja (20%) deklaruje, że jej wiedza w tym zakresie nie jest dokładna, zaś 30% nie posiada tej wiedzy w ogóle (mimo że działają na rzecz konkretnych odbiorców). 14% organizacji deklaruje, iż w ich przypadku nie istnieje możliwość określenia liczby odbiorców.

Waga przykładana do zbierania i analizy tego typu informacji rośnie wraz z zasięgiem i skalą działania organizacji: wśród tych działających na skalę ogólnopolską lub międzynarodową co czwarta analizuje takie dane (w porównaniu do 10% spośród organizacji działających na skalę najbliższego sąsiedztwa). Kluczowe znaczenie ma budżet: wśród organizacji dysponujących rocznie ponad milionem złotych trzy czwarte posiada dane o liczbie beneficjentów, a 63% regularnie je analizuje (zapewne znaczenie ma tu realizacja wysokobudżetowych projektów, których grantodawcy wymagają szczegółowych analiz tego typu). Nawet jednak w tej grupie część organizacji prowadzi działania i podejmuje decyzje bez pełnej wiedzy (albo wręcz bez żadnej wiedzy) na temat liczby osób, które z tych działań korzystają.

– Działacze społeczni często opierają plany i działania wyłącznie na własnej wiedzy i doświadczeniu uznając że nie ma konieczności weryfikowania czy aktualizowania tej wiedzy. Niestety w wielu sytuacjach konsekwencją takiego podejścia może być niedopasowaniem działań do faktycznych potrzeb odbiorców – mówi Jadwiga Przewłocka ze Stowarzyszenia Klon/Jawor.

Aż dwie trzecie organizacji w żadnej formie nie prowadzi systematycznej oceny własnych działań czy analizy efektów pracy. Te, które takie działania podejmują, najczęściej analizują dostępne dane lub raporty, lub też samodzielnie prowadzą wywiady, spotkania czy zbierają ankiety. Mniej niż jedna dziesiąta organizacji systematycznie analizuje własny sposób działania: organizację pracy, komunikację czy strukturę.

Systematyczna ocena własnych działań jest znacznie częstsza wśród organizacji dysponujących wysokimi budżetami (co zapewne wiąże się też w wymaganiami grantodawców). Jednak nawet wśród organizacji o budżetach powyżej 1 miliona wciąż co piąta nie prowadzi żadnej systematycznej oceny, zaś wśród tych o przychodach między 100 tysięcy a 1 milion złotych nie robi tego niemal połowa (44%).

– To niepokojące dane – komentuje Jadwiga Przewłocka. – Zwłaszcza w przypadku organizacji dysponujących tak dużymi budżetami – nierzadko opartymi też na pieniądzach publicznych – systematyczna ocena wydaje się niezbędna. Wciąż jednak wielu przedstawicieli organizacji nie dostrzega korzyści wynikających z krytycznej oceny własnych działań i podjęcia próby oceny ich efektów – dodaje.

Jak pokazało badanie jakościowe, brak koncentracji na efektywności i skuteczności działań wiąże się z nieobecnością w większości organizacji względnie stałych kryteriów oraz procedur formalnej i systematycznej oceny własnej pracy oraz realizacji poszczególnych projektów. Nie znaczy to jednak, że działania nie są poddawane żadnej ocenie przez zarządy i członków. Odbywa się ona najczęściej w toku nieformalnych dyskusji w grupie, gdzie rozważa się dobre i złe strony realizacji projektu oraz wyciąga wnioski na przyszłość.

Najczęściej w rozmowach takich uczestniczą członkowie zarządu oraz zaangażowani w dany projekt pracownicy i wolontariusze. Należy jednak zaznaczyć, że ci ostatni nie zawsze mają szansę wyrazić swoje zdanie. W jednej z badanych organizacji wolontariuszki, zaangażowane w przygotowanie i obsługę dużej imprezy muzycznej, nie zostały przez nikogo zapytane o wrażenia i oceny. Zarząd omówił to wydarzenie tylko we własnym gronie.

W wypowiedziach większości respondentów przeważało odwołanie się do oceny zewnętrznej, dotyczącej zarówno efektów miękkich, jak i twardych. Najczęściej, zwłaszcza w małych organizacjach, pojawiało się uzależnianie oceny od reakcji beneficjentów – jeśli odbiorcy są zadowoleni, to znaczy, że organizacja działa dobrze. Można się spotkać też ze stwierdzeniem, że skoro udaje się uzyskać środki na realizację działań, a projekty są skutecznie rozliczane, to zarówno grantodawcy, jak i prywatni darczyńcy dobrze oceniają działalność. Jak mówi jeden z respondentów:

„Jest fajnie, niektórzy zazdroszczą może, że coś takiego się dzieje. Ale większość to chwali, że mogła w tym uczestniczyć. Pyta się, co będzie dalej. Ludzie potrafią się odnaleźć w tych imprezach, które robimy. Często jesteśmy w tym lepiej oceniani niż urząd gminy”.

Z drugiej strony, często działania oceniano na podstawie twardych wskaźników zewnętrznych – na przykład wyników osiąganych przez zawodników klubu sportowego lub też dopuszczenia lokalnej inwestycji do użytku przez nadzór budowlany.

Ważne narzędzie oceny podjętych działań stanowi również realizacja wskaźników określonych we wniosku projektowym. Zazwyczaj mają one charakter wymierny i mierzalny (liczba beneficjentów, którzy podjęli zatrudnienie, liczba osób, które ukończyły szkolenia itp.), jednak często nie są związane z jakością pracy przy danym projekcie.

Projekty finansowane ze środków własnych nie były organizacjach biorących udział w badaniu jakościowym poddawane formalnej ocenie, podobnie jak projekty, w których grantodawca nie oczekiwał ewaluacji.

Mimo deklaracji o braku formalnej oceny przeprowadzonych działań, można domniemywać, ze wiele organizacji jednak wyciągało wnioski ze swoich przeszłych dokonań i starało się uczyć na własnych błędach. W takich sytuacjach, nawet jeśli nie podejmowano wysiłku zmierzającego do faktycznej ewaluacji projektów, to jednak poddawano je pewnej refleksji, co prowadziło do zmiany funkcjonowania organizacji lub sposobu pracy przy kolejnym projekcie.

Warto się jednak zastanowić, na ile brak pogłębionej refleksji nad przebiegiem i efektami działań organizacji wynika z niedostrzegania takiej potrzeby, a na ile z niewystarczających kompetencji i braku dostępu do odpowiednich narzędzi ewaluacji. Wielu respondentów, zwłaszcza z niewielkich organizacji działających na poziomie lokalnym, deklarowało dobrą znajomość potrzeb swoich beneficjentów, skąd czerpali przeświadczenie, że realizowane projekty odpowiadają na te potrzeby i nie ma konieczności ich oceniania. Z drugiej strony wydaje się, że, sam termin ewaluacja czy ocena działań kojarzony jest negatywnie z oceną formalną.