Publicystyka - ngo.pl

Jak piszą autorki książki Zmierzyć niemierzalne, czyli o pomiarze oddziaływania społecznego, Beata Juraszek-Kopacz i Joanna Tyrowicz, w polskiej rzeczywistości ewaluacja działań organizacji pozarządowych najczęściej skupia się na dostarczeniu raportów wymaganych przez instytucje finansujące dany projekt i zawiera informacje o krótkookresowych rezultatach działań np.: ile odbyło się szkoleń i dla ilu osób, ile było publikacji i w jakim nakładzie. To wszystko pozwala na stworzenie ładnego raportu, ale nie mówi w zasadzie niczego o rzeczywistych efektach pracy organizacji, czyli realizacji ich misji.

– Rezultaty, do których jesteśmy przywiązani, które musimy osiągnąć w projektach, nie wiele mówią o rzeczywistej efektywności – powiedziała Magdalena Huszcza z Fundacji Inicjatyw Społeczno-Ekonomicznych podczas sesji branżowej dotyczącej zatrudnienia i aktywizacji zawodowej w ramach VI Ogólnopolskiego Forum Inicjatyw Pozarządowych, która odbyła się 16 września ub.r. w Warszawie. Podczas sesji tej dyskutowano o tym, jakie działania należy podjąć, aby wzmocnić pozycję organizacji pozarządowych wobec innych podmiotów działających na rynku pracy. Jednym z postulatów było umiejętne skonstruowanie wskaźników, które będą w stanie oddać rzeczywistą efektywność działań NGO, stać się bardziej przydatne w pracy organizacji, a nie tylko w rozliczeniu projektu.

– Mierzenie efektów naszych działań jest kluczowe dla sprawdzenia, czy przypadkiem nie są one tylko sztuką dla samej sztuki. Chcemy mieć pewność, że to co robimy, trafia w rzeczywiste potrzeby osób, którym chcemy pomagać. Taka podstawową potrzebą jest dla nas doprowadzenie do znalezienia przez nie pracy  – podkreśla Łucja Kornaszewska-Antoniuk z Fundacji Pomocy Matematykom i Informatykom Niesprawnym Ruchowo.

Poznanie skuteczności stosowanych metod to jednak nie jedyny powód. – Dzięki mierzeniu oddziaływania pozyskujemy wiedzę na temat realnych deficytów, potrzeb i oczekiwań beneficjentów. W konsekwencji możemy modyfikować nasze metody przy uwzględnieniu realnych potrzeb oraz odbioru stosowanych metod – dodaje Magdalena Fukomska z Fundacji Centrum Promocji Kobiet.

Przykładowo Fundacja w trakcie prowadzenia szkolenia dla długotrwale bezrobotnych kobiet w wieku 50+ zidentyfikowała w oparciu o ankiety potrzebę ich regularnego i aktywnego wsparcia w procesie szukania ofert oraz kontaktu z ewentualnymi pracodawcami, a także przygotowania się do rozmowy z konkretnym pracodawcą. W efekcie do kolejnej edycji szkolenia została wprowadzona pomoc specjalisty ds. rekrutacji.

Z drugiej strony – jako instytucje rynku pracy – organizacje pozarządowe są naturalnymi partnerami publicznych służb zatrudnienia (przewiduje to ustawa o promocji zatrudnienia i instytucjach rynku pracy). Środki publiczne są też najczęstszym źródłem finansowania organizacji rynku pracy -wynika z najnowszego badania Stowarzyszenia Klon/Jawor Kondycja sektora organizacji pozarządowych w Polsce 2010. Pozyskiwanie takich funduszy deklaruje 50% organizacji działających w obszarze rynku pracy i promocji zatrudnienia – ponad dwa razy więcej niż w całym sektorze.

Pomiar efektów działań jest niezbędny we współpracy z obecnymi i potencjalnymi partnerami oraz inwestorami. Jest on tym bardziej istotny, że poziom działania organizacji pozarządowych jest często oceniany przez instytucje publiczne stosunkowo nisko.

Co więcej obecnie kontraktowanie usług zatrudnienia (choć przewidziane w prawie) jest ograniczone. Jak przewiduje Michał Tyrakowski w tekście Rola organizacji pozarządowych w rozwiązywaniu problemów społecznych współpraca publicznych służb zatrudnienia z sektorem pozarządowym będzie musiała się zwiększać, m. in. z powodu zmian zachodzących na rynku pracy, takich jak np.: „wypadanie” z rynku pracy osób po pięćdziesiątym roku życia, czy problemy z wejściem na ten rynek osób młodych, a także wzrost długotrwałego bezrobocia.

Problemy te – zdaniem autora – mogą być rozwiązane w partnerstwie z sektorem pozarządowym, który dysponuje specjalistyczną wiedzą oraz doświadczeniem. Stosowanie mierników umożliwiających wykazanie swoich przewag będzie więc niezbędne w sytuacji, gdy współpraca z partnerem będzie uzależniona od przedstawienia wyników dotychczasowych działań.

– Bez dobrych, mocnych danych, ktoś łatwo może podważyć znaczenie rezultatów naszych działań – podkreśla Beata Juraszek-Kopacz z Fundacji Rozwoju Społeczeństwa Obywatelskiego.

W Polsce są już organizacje, które z powodzeniem wykorzystują pomiary efektów swoich działań do nawiązania współpracy i uzyskania wsparcia finansowego. Za przykład może posłużyć Stowarzyszenie EKON, które skrupulatnie wylicza swój wpływ np. pokazujący jaki procent recyklingu realizowany jest ich rękami, ile korzystamy na każdej zatrudnionej osobie itp. Na stronie Stowarzyszenia systematycznie aktualizowane są też dane dotyczące liczby zatrudnionych. – Dzięki takiemu naszemu podejściu udało nam się nawiązać współpracę z Funduszem Ochrony Środowiska – przyznaje Elżbieta Gołębiewska, prezes Stowarzyszenia EKON.

Do konieczności pomiaru efektów działań nie trzeba jednak wiele przekonywać, ponieważ większość organizacji pozarządowych jest świadoma tego, jak bardzo jest to istotne. Problemem nie jest więc „czy”, ale „jak” to robić i przy pomocy jakich wskaźników.

Dyskusja o mierzeniu społecznych efektów działań organizacji pozarządowych trwa od kilku lat. Rezultat? – Jeszcze nigdzie na świecie nie powstała jedna zintegrowana, uniwersalna lista wskaźników – mówi Juraszek-Kopacz. – Dlatego tak ważne jest, aby każda organizacja wypracowała swoje własne wskaźniki i swoje własne metody mierzenia tych wskaźników, adekwatne do kontekstu w jakim działa, celów, jakie chce osiągnąć, działań jakie podejmuje  – dodaje.

Istnieje i jest stosowanych wiele różnorodnych sposobów ewaluacji działań organizacji pozarządowych. Autorzy ekspertyzy przygotowanej dla Departamentu Pożytku Publicznego MPiPS wymieniają wśród najczęściej stosowanych podejść m. in.: ocenę stopnia realizacji celów i rezultatów; analizę kosztów; badanie satysfakcji klientów; badanie potrzeb, czy studium wdrażania. Zaś do metod bardziej zaawansowanych m.in.: ewaluację w toku; ewaluację porównawczą; monitoring i ewaluację.

Za jedna z najbardziej interesujących metod oceny jakości organizacji pozarządowych uznają mierzenie oddziaływania społecznego, audytu społecznego, a także społecznej stopy zwrotu z inwestycji (pisaliśmy na ten temat przy okazji opisu narzędzia Proveit.pl).

Sensowny system wskaźników nie tylko powinien jednak dokładnie mierzyć rzeczywiste rezultaty działań organizacji, ale również dawać możliwość rzetelnego porównania się z publicznymi służbami zatrudnienia, które nie zawsze w przejrzysty sposób wykazują swoją efektywność.

Zdaniem resortu pracy taką porównywalność są w stanie zapewnić wskaźniki efektywności zatrudnienia, pokazujące poziom zatrudnienia uczestników po zakończeniu programu. Pracownicy organizacji pozarządowych zwracają jednak uwagę na konieczność uwzględnienia specyfiki grupy, która obejmują swoimi działaniami. Przykładowo działania Fundacji pomocy Matematykom i Informatykom Niepełnosprawnym Ruchowo są, w prostym przeliczeniu na jedną osobę doprowadzoną do zatrudnienia, prawdopodobnie droższe niż publicznych służb zatrudnienia. W ten sposób trudno byłoby więc wykazać przewagę działań Fundacji. Bierze się ona dopiero z faktu, że Fundacja zajmuje się najtrudniejszymi przypadkami, pracuje indywidualnie z niepełnosprawnymi, a to w rezultacie pozwala na trwalsze umieszczenie ich na rynku pracy.

Ponadto wysoki poziom zatrudnienia beneficjentów na zakończenie programu tak naprawdę wcale nie musi oznaczać sukcesu. Po pierwsze – prawdziwym sukcesem będzie dopiero trwałe umieszczenie na rynku pracy. Po drugie – sam fakt, że ktoś znalazł zatrudnienie, wcale nie musi oznaczać, że jest to efektem pracy urzędu czy organizacji pozarządowej.

Jest jeszcze jedno „ale” i jak zwykle dotyczy ono finansów. Wiele organizacji zwyczajnie nie stać na dokonywanie rozbudowanych i systematycznych pomiarów swoich działań ponad te, które wykonują na potrzeby konkretnych projektów. – Wiem, że nasza ewaluacja mogłaby być lepsza i bardziej dogłębna, zwłaszcza jeśli chodzi o ocenę trwałości prowadzonych przez nas działań, ale nie stać nas na to – przyznaje Łucja Kornaszewska-Antoniuk z Fundacji Pomocy Matematykom i Informatykom Niesprawnym Ruchowo. Z trudnościami finansowymi wiążą się też problemy kadrowe w postaci braku możliwości stałego zatrudnienia ekspertów ds. ewaluacji. – Często jest też tak, że organizacje nie są otwarte na inne organizacje, traktują je jako konkurencje, coś zagrażającego niż pomocnego. Tymczasem dane pozyskiwane w sposób bezpośredni [od innych pracowników trzeciego sektora] są najlepszej jakości i nie kosztują nic, dlatego forma bezpośredniego kontaktu byłaby najlepszym sposobem taniego dostępu do danych – zaznacza Anna Jaworska z Fundacji Pomocy Wzajemnej Barka UK.

Pewnym rozwiązaniem może być wprowadzenie monitoringu w trakcie realizacji programów przez niezależnych audytorów lub same służby zatrudnienia oraz stosowanie wskaźników ewaluacji opartych o opinie końcowych beneficjentów. Formuła transzowego rozliczania zadania (część na początku, część po zrealizowaniu celów krótkookresowych, pozostała kwota po zapewnieniu realizacji wyznaczonych uprzednio celów długookresowych) umożliwiłaby z kolei kontrolę wydatków i zwiększenie ich efektywności jeszcze w trakcie realizacji projektów. Jednak rozliczanie za wynik wymaga mądrych i mierzalnych wskaźników i w ten sposób – kółko zamyka się.

W środowisku organizacji pozarządowych pojawiają się również głosy mówiące o konieczności stworzenia organizacji sieciującej, umożliwiającej mierzenie społecznej wartości dodanej i odpowiedzialnej za utrzymanie standardów w sektorze. Taki model pracy sektora sprawdza się z resztą w krajach anglosaskich (szerzej na ten temat w ekspertyzie przygotowanej dla Departamentu Pożytku Publicznego MPiPS). Im szybciej organizacjom poza rządowym działającym w obszarze aktywizacji zawodowej uda się stworzyć sensowny i powszechny system mierzenia oddziaływania, tym lepiej – i dla nich samych i dla odbiorców ich działań. A – jak zauważyła Beata Juraszek-Kopacz – jeśli sami nie będziemy wiarygodnie i przekonująco mierzyć naszego oddziaływania, w końcu przyjdzie ktoś i nas o to zapyta.