Publicystyka - ngo.pl

Magda Dobranowska-Wittels: – Fundacja Stocznia opublikowała niedawno trzecie wydanie poradnika o ewaluacji dla organizacji pozarządowych „Ewaluacja. Jak to się robi?”. Zawiera ona porady, w jaki sposób planować i realizować działania ewaluacyjne i jak wykorzystywać ich efekty. Na początek jednak powiedzcie, jak definiujecie ewaluację? Co to jest i do czego jest potrzebne?

Maciej Onyszkiewicz: – Ewaluację można rozumieć bardzo różnie. Definicja, którą my proponujemy, jest pewnie inna od części z tych, które są znane wielu osobom.

Tu pojawia się pierwsza ważna rzecz, która w tej książce jest odmieniana przez wszystkie przypadki. W literaturze można spotkać hasła „ewaluacja wewnętrzna” i „ewaluacja zewnętrzna”. Ewaluacja wewnętrzna polega na tym, że organizacja sama ewaluuje swoje działania, a do ewaluacji zewnętrznej kogoś się zatrudnia. Choć ten podział jest po części zasadny, to dla nas jest on zdecydowanie zbyt ostry. 

Oczywiście, jeżeli ktoś może sobie na to pozwolić, to można i warto korzystać z pomocy ewaluatora z zewnątrz, czyli kogoś, kto ma doświadczenie w tej dziedzinie i kompetencje badawcze. Ale to nigdy nie jest proces, który zleca się całkowicie na zewnątrz. To nie jest tak, że przyjdzie ewaluator, rozejrzy się, popyta, a potem wyciągnie wnioski i da rekomendacje. Z naszych doświadczeń wynika, że prawdopodobieństwo, że z takiej całkowicie zewnętrznej ewaluacji wyniknie coś dobrego, jest bardzo małe. Dlatego dla nas dobra ewaluacja jest zawsze procesem wewnętrznym. 

Aleksandra Pierścińska: – Ważne jest, aby zespół programu włączał się w tę refleksję na każdym etapie ewaluacji, ale jest kilka kluczowych momentów, w których jest to szczególnie istotne. 

W naszym podręczniku, dla porządku, dzielimy ewaluację na trzy etapy: przygotowania, realizacji i wykorzystania wyników. Na pierwszym i ostatnim z nich udział zespołu programu jest niezbędny. Zanim podejmiemy jakieś działania trzeba przede wszystkim zastanowić się i zdecydować, czemu i komu ewaluacja ma służyć. Bez udziału zespołu nie ma szansy, aby ten namysł był owocny i pasował do rzeczywistości. 

Drugi ważny moment to wyciąganie wniosków, tworzenie rekomendacji i praktyczne wykorzystanie wyników. To jest właściwie clue ewaluacji.

A jeżeli zespół nie był włączany na wcześniejszych etapach i nie ma poczucia własności tego procesu i badania, to trudno sobie wyobrazić, żeby wdrożył rekomendacje, które z nich pochodzą. Propozycje zmian i dalszych kroków powinny powstawać we współpracy zewnętrznego badacza (o ile ktoś taki uczestniczy w ewaluacji - a zatem nie jest to ewaluacja wewnętrzna) z zespołem programu.

Czasami ewaluację robi się dlatego, że taki jest wymóg konkursu. I traktuje się ją według zasady znanej ze szkoły: 3xZ – zlecić, zrobić, zapomnieć. Podchodzicie do tego inaczej, mówicie o refleksji, a w podręczniku można nawet przeczytać o twórczej refleksji. Co to znaczy, że ta refleksja jest twórcza?

Aleksandra Pierścińska: – To znaczy, że ewaluacja nie służy temu, żeby sprawdzić stan faktyczny, a potem schować raport do szuflady. Chodzi o to, aby wykorzystać ewaluację do pracy kreatywnej nad przyszłością programu: do planowania nowych działań lub wprowadzania zmian w tych działaniach, które realizowaliśmy do tej pory. Na przykład wnioski z ewaluacji mogą pomóc w podjęciu decyzji, żeby kierować program do innej grupy odbiorców albo zmienić sposób działania. Czasami wnioski z ewaluacji mogą prowadzić do podjęcia nowych działań wokół samego programu - komunikacyjnych, rzeczniczych lub innych, które mogą rozbudowywać portfolio organizacji. W ten sposób ewaluacja może pomagać w rozwoju instytucjonalnym.

Maciej Onyszkiewicz: – Nawiązując do tego co mówisz, że ewaluacja to czasem wymóg grantodawcy, to przyznam, że z perspektywy organizacji, która w takich przypadkach często jest proszona o jej przeprowadzenie, jest to sytuacja bardzo niewdzięczna. Staramy się wówczas przekonać naszych klientów, żeby potraktowali to, jako szansę: ktoś chce zapłacić za wasz wewnętrzny namysł, który pozwoli wam czegoś się nauczyć, więc wykorzystajcie to do maksimum.

W podręczniku, który napisaliście, przedstawiacie różne kroki, które w czasie takiego procesu trzeba wykonać. Kładziecie jednak nacisk na to, że ewaluację trzeba zaplanować równolegle z myśleniem o samym projekcie. Odwołam się zatem do Waszego doświadczenia organizacji realizującej ewaluacje na zamówienie: jak często się zdarza, że zleceniodawca ma to przemyślane? I co się dzieje, jeżeli to nie jest zaplanowane na tak wczesnym etapie? Czy wtedy da się zrobić dobrą ewaluację?

Aleksandra Pierścińska: – Z mojego doświadczenia wynika, że stosunkowo rzadko zdarza się, aby ewaluacja była zaplanowana już na etapie wymyślania programu. Wyjątkiem w pewnej mierze jest środowisko organizacji realizujących programy Polsko-Amerykańskiej Fundacji Wolności, ponieważ ten grantodawca dba o to, żeby plany ewaluacji powstawały z wyprzedzeniem. Te plany są wieloletnie, zakładają, że działania ewaluacyjne są rozłożone na lata przy kolejnych edycjach programów. W większości organizacji, które pracują z Polsko-Amerykańską Fundacją Wolności to się więc w mniejszym lub większym stopniu dzieje.

Natomiast faktycznie często jest tak, że o ewaluacji zaczyna się myśleć, kiedy zbliża się koniec programu i okazuje się, że jest ona do czegoś potrzebna. Najczęściej chodzi o rozliczenie wydanych środków albo zebranie dowodów dla grantodawcy, poświadczających, że projekt się wydarzył i zakończył mniejszym lub większym sukcesem. Tylko, że

W takiej sytuacji także można zrobić dobrą ewaluację, ale nie tak dobrą, jak wtedy, gdy jest ona planowana od samego początku. Na pewno nie da się jej zrobić tak tanio i wygodnie. Gdy ewaluacja jest wymyślona na początku, to wiele danych można pozyskać przy okazji: na przykład podczas zjazdu szkoleniowego, na którym można przeprowadzić badanie lub z formularzy rekrutacyjnych. Zatem z planowania ewaluacji przy wymyślaniu programu mogą płynąć duże korzyści – także jeśli chodzi o oszczędność zasobów. 

Także wachlarz możliwości tego, co można zbadać zmniejsza się z czasem, chociażby dlatego, że części danych nie da się w żaden sposób zdobyć pod koniec programu. Na przykład trudno poznać charakterystykę osób, które w trakcie zrezygnowały z udziału albo zgłosiły się do programu i nie zostały do niego przyjęte. Nie dowiemy się też, jaka była specyfika postaw czy poziom kompetencji uczestników przed rozpoczęciem programu. A jeżeli naszym celem jest wpływanie na postawy czy podnoszenie wiedzy, to możemy chcieć porównać dotyczące ich wskaźniki przed i po. Nie jest to możliwe, kiedy wchodzimy z ewaluacją w momencie, w którym działania już się właściwie skończyły – wtedy często musimy się zadowolić samooceną zmiany i często mglistymi już wspomnieniami uczestników.

Maciej Onyszkiewicz: – Mamy też coś takiego, jak ewaluacja ex-ante, która zaczyna się zanim zacznie się projekt. To jest namysł, który czasami odbywa się w momencie projektowania całego przedsięwzięcia. Wtedy można sobie zadawać teoretyczne pytania, czy to, co zapisaliśmy na papierze ma w ogóle sens, a zatem czy rzeczywiście to, co planujemy zrobić, ma szansę przełożyć się na to, co chcemy osiągnąć. Jeżeli podejmiesz tę refleksję po czasie, to może ci być tylko smutno, że nie zorientowałeś się wcześniej. Jeżeli zrobisz to zawczasu, to możesz wprowadzać zmiany jeszcze zanim wydasz pieniądze no coś, co od początku były źle pomyślane. 

Na waszej stronie jest film opowiadający o tym, co można znaleźć w podręczniku i jakie są ważne etapy procesu ewaluacyjnego. Jednym z takich elementów jest odtworzenie „teorii programu”. Brzmi bardzo poważnie i może odstraszać. Czy moglibyście to trochę „rozbroić”?

Maciej Onyszkiewicz: – Z teorią programu jest tak, jak z mówieniem prozą. Każdy mówi prozą, chociaż o tym nie wie.

Jeżeli dążymy do zmiany, to mamy – nawet niekoniecznie uświadomiony i rozrysowany – pomysł, w jaki sposób do niej doprowadzić. Jeżeli robimy szkolenia, to po to, żeby kogoś czegoś nauczyć i żeby on coś z tymi nowymi umiejętnościami zrobił. W dużym skrócie teoria programu to jest właśnie to, co chcemy osiągnąć (do jakiej zmiany w krótkim i długim terminie dążymy) i w jaki sposób planujemy to zrobić (za pomocą jakich działań i mechanizmów). Teoria programu brzmi pewnie strasznie, ale nie ma się czego bać. 

Dla nas teoria programu jest bardzo ważna przy ewaluacji ex-ante. Namysł nad nią, to moment, kiedy można zobaczyć, że teoria nie jest wystarczająco dobra i że czegoś jej brakuje. I wtedy, nawet bez żadnego badania ewaluacyjnego, można wprowadzić potrzebne zmiany. A z perspektywy badań, to dobry punkt wyjścia do zadawania trafnych pytań ewaluacyjnych o skuteczność, efektywność i osiągniętą zmianę i do identyfikowania przydatnych wskaźników sukcesu.

Bardzo ciekawie o tym opowiadacie i wydaje się to łatwe i oczywiste, ale… Wy macie doświadczenia jako ewaluatorzy. Mówicie też, że wiele rzeczy organizacja może sama zrobić. Wydaje mi się jednak, że w wielu organizacjach nie ma wiedzy potrzebnej do przeprowadzenia ewaluacji własnym sumptem. Kto, albo co w organizacji powinno być, żeby to własnymi siłami dało się zrobić?

Aleksandra Pierścińska: – Wszystko zależy od potrzeb i możliwości. Ten poradnik powstawał głównie z myślą o organizacjach PAFW-owskich, które są zazwyczaj duże, prowadzą wieloletnie programy i stać je na zewnętrznych ewaluatorów. Ale są też mniejsze organizacje czy grupy nieformalne, które prowadzą jakieś działania i nie mają zasobów, czasu czy pieniędzy na to, żeby znaleźć kogoś z zewnątrz. Tam nadal jest sens prowadzenia ewaluacji. Kiedy w organizacji jest gotowość na zmiany i na przyjęcie wniosków z ewaluacji, to również przeprowadzony własnymi siłami proces może być bardzo wartościowy. Myśląc dalej o dopasowaniu ewaluacji do potrzeb i możliwości - źródłem wiedzy w ewaluacji nie muszą być zlecane badania społeczne. Twórczy namysł można przeprowadzić na podstawie autorefleksji i notatek z własnych obserwacji czy ze spotkań, które towarzyszą działaniom. Oczywiście zachęcamy do podążania za dobrymi praktykami - ale tylko, jeśli to nie powoduje, że ktoś rezygnuje z prowadzenia ewaluacji w poczuciu, że go to przerasta. Dobra ewaluacja, to przede wszystkim taka, która się odbyła. 

Maciej Onyszkiewicz: – Choć zapewne taka samodzielna ewaluacja będzie nieco inna niż ta, którą opisaliśmy w poradniku. My opisujemy ewaluację “na wypasie”, która rzeczywiście bez profesjonalistów raczej nie ma szansy się udać. Zdarzają się organizacje, które mają profesjonalistę na pokładzie i wtedy mogą to zrobić. Ale jednak musi być ktoś, kto ma doświadczenie w ewaluacji i w badaniach.

Aleksandra Pierścińska: – Obecność ewaluatora z zewnątrz w ogóle sprzyja jakości całego procesu. Robienie ewaluacji wyłącznie przez osoby bezpośrednio zajmujące się programem niesie ze sobą ryzyka. Z bliska „widać gorzej”, z dystansu niektóre rzeczy widać lepiej, łatwiej też o krytyczne uwagi, czy przemyślenia. Wszyscy mamy ograniczenia poznawcze, które sprawiają, że łatwiej nam jest dochodzić do wniosków, które potwierdzają to, co już robimy i jak myślimy. Kiedy ewaluacją zajmuje się osoba z wewnątrz programu, to jest większe ryzyko, że dojdzie do wniosków potwierdzających, że wszystko jest super.

Jest jakieś minimum, które Waszym zdaniem warto zlecić na zewnątrz, aby ewaluacja była wartościowa? 

Aleksandra Pierścińska: – To zależy od tego, jakie są zasoby na pokładzie w danej organizacji. Pieniędzy, kompetencji, czasu. Bo warto pamiętać, że to nie są tylko pieniądze i kompetencje badawcze, ale to jest też czas. Ile czasu w ciągu dnia, miesiąca organizacja może poświęcić na ewaluację? Czy jest ktoś, kto umie zaprojektować badanie społecznie i je przeprowadzić? Czy jest czas i przestrzeń w organizacji, żeby prowadzić obserwacje na swoich działaniach projektowych? 

Maciej Onyszkiewicz: – Takiej konkretnej listy rzeczy, które zawsze trzeba zlecić albo zawsze robić samemu, nie da się przedstawić. Z praktyki wiemy, że ludzie, którzy nie mają doświadczenia w robieniu badań, słabo robią badania - tzn. nie potrafią postawić istotnych pytań badawczych ani przygotować narzędzi. Jeżeli więc organizacja może sobie pozwolić na zatrudnienie kogoś do zrobienia badania, to warto to zrobić. 

Z doświadczenia wiemy także, że układanie teorii programu w spójną całość wymaga pewnej wprawy. Jeżeli ktoś może sobie pozwolić na pomoc w tym zakresie, to warto z tego skorzystać. Jeżeli ewaluator z zewnątrz pozadaje ci pytania, odsłucha odpowiedzi, a potem zaproponuje jak to ułożyć i „zderzy” to z tobą, to na pewno ostateczny efekt będzie lepszy, niż gdybyś spróbowała ułożyć to sama. Ale bardzo bym nie chciał, żeby to zabrzmiało, jakbym uważał, że jeśli kogoś nie stać na zatrudnienie ewaluatora, to niech nie dotyka ewaluacji. To nie jest nauka o rakietach.

Aleksandra Pierścińska: – Jeszcze jedną rzeczą sprawiającą problemy organizacjom, które własnymi siłami robią ewaluację, jest analiza danych. Jedna rzecz to jest ich dobre zebranie, a inna – wyciągnięcie wniosków, zestawienie ich ze sobą we właściwy sposób, uporządkowanie. Ale to się mocno wiąże z procesem badawczym: przeprowadzenie badania i analiza danych to jest pewna całość.

Zwracacie też uwagę, że ważne jest, aby trafnie zadawać pytania ewaluacyjne. Jakie to jest trafnie zadane pytanie?

Aleksandra Pierścińska: – Takie, które przyniesie nam odpowiedzi na kluczowe pytania, które sobie postawiliśmy. To są naczynia połączone. Od jasnego powiedzenia sobie, czemu ta ewaluacja ma służyć, co nasz program ma osiągać, do stawiania sobie pytań ewaluacyjnych i uzyskiwania odpowiedzi, które pozwolą nam zmienić, ulepszyć program czy go wypromować.

Maciej Onyszkiewicz: – Chodzi nam o adekwatność pytań ewaluacyjnych do potrzeb, jakie stoją za ewaluacją. Jeżeli wiemy, że ewaluacja ma pomóc nam podjąć decyzję, czy kontynuować program pilotażowy, czy nie, to musimy postawić takie pytania, które nam to ułatwią. Jeżeli wiemy, że chcemy robić ewaluację po to, żeby pójść w świat z komunikatem: „Patrzcie, ile dobra się dzieje dzięki naszym działaniom, zasponsorujcie je”, to wtedy adekwatne pytania będą dotyczyły wpływu naszego projektu na te obszary, które są atrakcyjne komunikacyjnie. Pierwszym krokiem jest powiedzenie sobie: „po co mi ewaluacja?”. Pytania ewaluacyjne powinny z tego wynikać. 

Aleksandra Pierścińska: – Dobre pytania łatwiej jest zadać także wtedy, kiedy doprecyzujemy sobie, na czym chcemy skoncentrować się w ewaluacji. To jest oczywiście powiązane z jej celami, ale programom można się przyglądać w całości lub skupiać się na ich poszczególnych częściach. Niektóre programy są bardzo duże, składają się z wielu elementów i ich ewaluacja niekoniecznie musi się przyglądać całości. Dobre pytania i precyzyjne odpowiedzi czasami łatwiej jest uzyskać, kiedy w ewaluacji skupimy się na fragmencie, a nie na całości.

W jaki sposób powstawał ten poradnik? We wstępie jest napisane, że był to proces partycypacyjny. Kto w nim brał udział? I dlaczego właśnie w taki sposób chcieliście go tworzyć? 

Maciej Onyszkiewicz: – Pierwsza edycja tego poradnika powstała w Fundacji Stocznia dziesięć lat temu z myślą o środowisku organizacji współpracujących z Polsko-Amerykańską Fundacją Wolności. To profesjonalne organizacje z dużym doświadczeniem. Wiedzieliśmy, że takim organizacjom nie można po prostu narzucić jakiegoś standardu ewaluacji – że jeśli ma się przyjąć, to musi być przez nie współtworzony i zyskać ich akceptację. Poza tym grzechem byłoby nie skorzystać z ich doświadczenia. Chcieliśmy, żeby ten standard postępowania opierał się na rzeczywistych dobrych praktykach i był dopasowany do realiów. Zorganizowaliśmy wtedy seminarium o ewaluacji programów PAFW, wzięło w nim udział kilkadziesiąt osób, był czas na rozmowę o wyzwaniach, dobrych praktykach i postulatach. Potem było jeszcze kilka warsztatów tematycznych, na których wymienialiśmy się doświadczeniami. No i sam poradnik powstawał pierwotnie jako strona wiki - zaproszone organizacje recenzowały, komentowały i zgłaszały poprawki do jego pierwszej wersji. To było dla nas bardzo cenne - bez tych spotkań i dyskusji to na pewno byłby inny poradnik.

Powiedzieliście, że to jest trzecia edycja tego poradnika, a pierwsza powstała dziesięć lat temu. Czy w przeciągu tego czasu tak się zmieniło podejście do ewaluacji, że trzeba ten podręcznik odświeżać? Z czego wynika to, że jest taka potrzeba?

Aleksandra Pierścińska: – Potrzeba wydania trzeciej edycji wynikała z tego, że

Prace nad tym nowym wydaniem trwały w czasie pandemii COVID i zazębiły się z eskalacją wojny w Ukrainie. To były wydarzenia, które sprawiły, że wiele programów gwałtownie się zmieniało. Zmieniały się ich cele, działania, które w ich ramach były prowadzone. To nie oznacza, że nie warto mieć planu ewaluacji, w którym mamy rozpisane, jakie badanie odpowie na jakie pytanie czy jakie wskaźniki chcemy monitorować, ale należy myśleć również o tym, jakie mogą być alternatywne scenariusze. Na przykład w sytuacji, gdy działania organizacji są skierowane do społeczności, w której mogą zachodzić nagłe znaczące zmiany. Na przykład do osób uchodźczych z Ukrainy, które nie wiadomo, jak długo zostaną, kiedy wrócą, czego będą potrzebować, czy nie przyjadą do nich ich rodziny. Warto myśleć o ewaluacjach wariantowo i wracać do pytań badawczych, które sobie zadajemy, a nawet do teorii programu i patrzeć, czy nie zaszły w nich zmiany. To się właśnie zdarza w czasie wojny i zdarzało w COVID-zie. Warto robić sobie takie stopklatki, w czasie których zastanawiamy się nad tym, czy to, co zaplanowaliśmy, jest adekwatne i czy faktycznie warto to realizować dokładnie w takiej formie, czy może coś zmienić, inaczej zbadać, zapytać o coś innego, bo zmieniły się nasze działania, rzeczywistość, która nas otacza. Dodaliśmy więc trochę wątków o elastyczności, wariantowym planowaniu, ale też o badaniach prowadzonych online, które się bardzo znormalizowały przez czas lockdownów i pandemii. 

Maciej Onyszkiewicz: – To prawda, że w zmieniającej się rzeczywistości potrzebne jest inne podejście do ewaluacji. Są takie działania, przy których nie ma czasu, żeby całym zespołem wypracować teorię programu, postawić pytania, poczekać, sprawdzić i wprowadzać zmiany w kolejnych edycjach. 

Ale nie jest prawdą, że ewaluacja w “starym stylu” już nie istnieje. Nadal istnieją wieloletnie programy, które nie zmieniają się aż tak i dla których tradycyjne podejście do ewaluacji będzie użyteczne. Choć prawdą jest też, że realizowane są również inne działania (a w niespokojnych czasach jest ich szczególnie dużo), które są bardzo elastyczne, zmieniają się znacznie częściej i potrzebują wielu odpowiedzi “tu i teraz”. One potrzebują innego, bardziej zwinnego podejścia do ewaluacji. I ten temat co najwyżej liznęliśmy w tym poradniku. Myślę, że będziemy do tego wracać, gdy sami sobie to poukładamy w głowach. Nie mamy jeszcze gotowych odpowiedzi, jak podchodzić do ewaluacji takich dynamicznych przedsięwzięć. Więc to nadal jest poradnik o dość konserwatywnej ewaluacji starego typu. 

Natomiast jest jeszcze jeden powód, dla którego chcieliśmy odświeżyć tę książkę. My, jako Stocznia, przez te dziesięć lat trochę się nauczyliśmy. Nawet nie chodzi o to, że ewaluacja się zmieniła, ale my się zmieniliśmy. Pojawiły się nowe osoby z nowym podejściem, zrealizowaliśmy kolejne ewaluacje. Jako organizacja jesteśmy w innym miejscu niż dziesięć lat temu. 

Przez te dziesięć lat po pierwsze odkryliśmy rzeczy, na które wcześniej nie zwracaliśmy uwagi, i które dopisaliśmy w tym nowym wydaniu poradnika. A po drugie, zorientowaliśmy się, że świat nie jest tak różowy, jak o tym wówczas myśleliśmy. Poprzednie wersje tego poradnika były marzycielskie. Pisaliśmy je z wiarą, że proces ewaluacji ma być właściwie w całości przeprowadzony przez realizatora programu. W tym ujęciu ewaluator tylko czasami pojawia się w procesie ewaluacji, aby w czymś trochę pomóc. Ale w praktyce to tak nie działa – gdy już płacisz komuś za ewaluację, to raczej chcesz ograniczać własne zaangażowanie, a ciężar prowadzenia całego procesu kładziesz po stronie ewaluatora.

Nawet w tych przyzwyczajonych do ewaluacji organizacjach PAFW-owskich nie można wymagać, aby tak duże, ambitne ewaluacje były realizowane własnym sumptem. Dlatego teraz zmieniliśmy trochę tę książkę, żeby uspokoić realizatorów programów: nie musicie wszystkiego robić sami. Chodzi o to, żebyście nie tracili kontaktu z tym, co dzieje się w ewaluacji. To wy wiecie na czym polega wasz program, jakie są jego cele, do czego potrzebujecie ewaluacji, na jakie pytania chcecie poznać odpowiedzi. Dlatego wasza rola w tym procesie jest niezastąpiona. Jednak poza tym, możecie poprosić ewaluatora o bardzo wiele rzeczy i on je dla was grzecznie zrobi.

Powiedziałeś, że poradnik od początku służył wypracowaniu kultury ewaluacji, aby organizacje wiedziały, że to dobre narzędzie do oceny swoich działań. Dziesięć lat to już kawał czasu, macie obecnie do czynienia z organizacjami, które te ewaluacje zamawiają. Czy Waszym zdaniem tę kulturę udało się zbudować? Coś zakiełkowało?

Maciej Onyszkiewicz: – Myślę, że tak. Na pewno nie jest tak, jak byśmy chcieli i jakby nam się marzyło, ale gdy popatrzymy na tych głównych i bezpośrednich odbiorców tego poradnika, czyli organizacje realizujące programy PAFW, to tam już stosunkowo mało osób robi wielkie oczy, gdy słyszy hasło „teoria programu”. Te organizacje regularnie zgłaszają się po ewaluację kolejnych edycji swoich programów. Niektóre z nich podręcznikowo planują ewaluację już na etapie wymyślania samego programu. Także w tym środowisku na pewno progres jest widoczny.

A poza tym środowiskiem? 

Aleksandra Pierścińska: – Tu też są postępy. Jedną z idée fixe Kuby Wygnańskiego na początku działania Stoczni było właśnie to, aby w środowisku NGO-sów krzewić wizje ewaluacji jako twórczej refleksji, która wówczas nie była bardzo powszechna.

Wiele razy podkreślaliście, że poradnik jest skierowany do organizacji związanych z Polsko-Amerykańską Fundacją Wolności. Na ile organizacje spoza tego kręgu mogą skorzystać z tej publikacji?

Maciej Onyszkiewicz: – Dobrze, że o to pytasz, bo kolejny powód, dla którego powstawała ta nowa edycja, jest taki, że odkryliśmy, że ten poradnik w praktyce jest skierowany do znacznie szerszego grona. 

Aleksandra Pierścińska: – Nawet dopisaliśmy w podtytule: poradnik dla programów Polsko-Amerykańskiej Fundacji Wolności i innych programów społecznych. Tego dopisku w poprzednich edycjach nie było. 

Maciej Onyszkiewicz: – Każde z nas, gdy przychodziło do Stoczni jako badacz, badaczka, zaczynało swoją pracę od lektury tej książeczki. Potem, gdy zabieraliśmy się za ewaluację jakiegokolwiek programu zupełnie niezwiązanego z PAFW, to robiliśmy to dokładnie tak samo, jak przedstawiamy to w poradniku.

Ważne jednak jest to, że w praktyce to jest poradnik skierowany do realizatorów stosunkowo dużych programów, które są wieloletnie i powtarzalne, ale to nie muszą być programy Polsko-Amerykańskiej Fundacji Wolności. To mogą być wszelkie programy społeczne. Myślę, że ten poradnik jest w tym sensie bardzo inkluzywny.

Aleksandra Pierścińska – specjalistka ds. badań. Antropolożka kultury, w Fundacji Stocznia od 5 lat. Zajmuje się projektami ewaluacyjnymi oraz badawczymi dotyczącymi m. in. wpływu społecznego polskich przedsiębiorstw (m.in. Orange, Facebook Polska) oraz badaniami dla organizacji pozarządowych. Współautorka raportów m.in. o wpływie programów społecznych, wykluczeniu cyfrowym i sytuacji młodzieży.

Maciej Onyszkiewicz – specjalista ds. badań. Studiował socjologię w Instytucie Socjologii UW oraz resocjalizację na APS-ie. Naukowo interesuję się zbiorowymi stosunkami pracy, w szczególności zinstytucjonalizowaną partycypacją pracowniczą. Jest członkiem zespołu redakcyjnego magazynu Kontakt. W Stoczni zajmuje się badaniami i ewaluacją projektów społecznych.