Система мониторинга и оценки и доказательный подход переживают те же вызовы времени, что и другие сферы деятельности в некоммерческом секторе. Искусственный интеллект, новые этические и системные вопросы задают вектор в развитии оценки. Этим темам и поиску решений была посвящена тренд-сессия «Вместе с детьми: фронтиры оценки», которую провели благотворительный фонд «Абсолют—Помощь» и некоммерческая организация «Эволюция и Филантропия». Более ста представителей некоммерческих организаций и экспертов обсудили актуальные тенденции, опыт и перспективы развития оценки социальных программ в сфере поддержки детства. В роли спикеров выступили представители фондов-доноров, некоммерческих организаций, эксперты фонда «Абсолют—Помощь», — все, кто на практике внедряет, развивает и использует системы мониторинга и оценки.
«Журнал о благотворительности» рассказывает, как меняется система мониторинга и оценки в теории и на практике некоммерческих организаций.
Не требуется доказать
Тема мониторинга и оценки, доказательного подхода в социальной сфере становится все актуальнее в последние годы. Как говорят эксперты, НКО уже не надо доказывать запрос на оценку и доказательность. Некоммерческие организации, фонды-доноры активно внедряют доказательные подход и инструменты, даже государственные органы, вузы начинают развиваться в этой сфере.
«Мониторинг и оценка часто воспринимаются как необходимость — чтобы отчитаться перед донорами. Однако мы отмечаем тренд, что многие НКО уже перешли на следующий уровень и оценочное мышление становится частью работы, — сказала Эльвира Гарифулина, исполнительный директор фонда “Абсолют—Помощь”. — Главная цель тренд-сессии — пробудить интерес НКО к теме оценки, обеспечить их глубокое погружение в нее и вдохновить на начало или продолжение этого важного пути».
Системный подход
Эксперты отмечают три ключевых тренда, формирующих современные подходы к оценке программ. Первый и главный — это системный подход. Оценка программ становится инструментом для решения сложных, масштабных социальных и экологических проблем, требующих системного мышления, гибких и комплексных методов, а также вовлечения различных стейкхолдеров.
Так, благотворительный фонд «Вклад в будущее» применил системный подход при анализе инклюзивной среды. «Мы стали анализировать ситуацию в динамике глазами разных заинтересованных сторон: семей с детьми с инвалидностью, педагогов, работодателей, государственных структур. Нас интересовало, что влияет на модели поведения каждой из этих групп, как и почему они меняются с течением жизненного цикла. Такая многоуровневая система с множеством участников и сложными взаимосвязями потребовала инструментов причинно-следственного анализа», — рассказывает руководитель направления «Инклюзивная среда» фонда «Вклад в будущее» Инна Ширшова.
Результатом работы станет визуализация, которая даст более объемное представление о том, что может мешать созданию инклюзивной среды, а что, наоборот, способствует положительным изменениям.
Александр Маньшин, старший специалист по мониторингу и оценке благотворительного фонда «Всё получится!», также отметил, что системное мышление дает преимущества в оценке и социальной деятельности. «Но есть важное ограничение: не всем людям оно свойственно. Это может затруднять коммуникацию между представителями разных сфер, что важно учитывать при их сотрудничестве», — добавил Александр.
ИИ, развитие технологий и этика их использования
Еще один важный тренд, который невозможно не заметить, — бурное развитие технологий. Появляются все новые возможности сбора, анализа и визуализации данных, в систему мониторинга и оценки активно внедряют искусственный интеллект и другие цифровые инструменты. При этом в международном сообществе оценщиков идут бурные дискуссии про этику применения искусственного интеллекта, его преимущества и ограничения, включая вопросы приватности и инклюзивности.
Первые кейсы использования цифровых инструментов появились и в России. Так, команда фонда «Волонтеры в помощь детям-сиротам» внедрила единую автоматизированную систему, которая охватывает около 70% проектов. Эта система позволяет специалистам быстро получать аналитику, отслеживать динамику и принимать решения на основе конкретных цифр. Например, теперь можно увидеть полную историю взаимодействия с благополучателем с момента основания фонда — а раньше такие данные хранились в разных форматах и нередко терялись.
Инклюзивная оценка
Акцент на продвижении справедливости, равенства и культурной чувствительности, отказ от нейтральности, активное вовлечение маргинализированных групп, развитие культурно-адаптированных и инклюзивных методов оценки — еще один важный тренд. Современная оценка опирается на принципы равенства и активного вовлечения благополучателей, особенно уязвимых групп. Это требует развития адаптированных и инклюзивных, то есть вовлекающих все целевые группы методов. При этом речь идет не просто о единичных случаях вовлечения людей с инвалидностью в оценку программ и обычные опросы, а их включенности на всех этапах — от разработки программ до анализа их эффективности.
«Для реализации такого подхода необходимы четкие стандарты и рекомендации. Есть международные документы, например, разработанные ООН — в них описаны принципы и методы вовлечения уязвимых групп в процессы оценки. Эти материалы могут служить хорошей основой для выстраивания работы», — рассказывает исполнительный директор некоммерческой организации «Эволюция и Филантропия» Ольга Евдокимова.
Фонд «Волонтеры в помощь детям-сиротам» вовлекают в оценку своих благополучателей — для этого используются такие инструменты, как интервью, сторителлинг, анкета самооценки. И если раньше в оценку вовлекали в основном взрослых, то теперь учитывают мнение подростков с опытом сиротства, а также молодых людей с ментальными особенностями — например, участников проекта сопровождаемого проживания «Ясная квартира». Команда фонда уверена: обращение к разным стейкхолдерам повышает достоверность данных.
Организаторы инклюзивного кинофестиваля «Волшебный фонарь» привлекли к участию в оценке своих главных благополучателей — детей. «Мы брали у ребят интервью, и так они могли поделиться своим личным опытом. Мы также соотносили данные из разных источников, чтобы увидеть результаты с точки зрения организации и разных клиентов, оценить, несколько они различаются — а затем проанализировать, как мы можем больше „развернуть“ свои программы к благополучателям», — рассказывает социолог Санкт-Петербургской общественной благотворительной организации «Общество Свт. Иоасафа» Галина Курганова.
Отдельного внимания в инклюзивном подходе заслуживает травмоинформированный подход к оценке. Он позволяет учитывать психологические особенности людей, переживших травмирующий опыт, что особенно важно при работе с детьми, оставшихся без попечения родителей, и людьми с инвалидностью. Такой подход дает дополнительную глубину понимания и помогает совершенствовать программы, делая их более эффективными и безопасными для всех участников.
Елена Андреева, координатор проекта «Теплый дом» фонда «Волонтеры в помощь детям-сиротам»: «Кризисные центры сейчас активно обсуждают травмоинформированный подход в оценке и работе с клиентами. Думаю, что именно эту тему нужно продолжать развивать».
Как будет меняться оценка программ
Современные тренды влияют на профессиональную практику оценщиков и стимулируют глубокие преобразования в оценке. Основных изменений — несколько.
Идет переосмысление многих принятых технологий и инструментов, даже традиционный вопрос «Какие изменения принесла наша программа?» все чаще заменяется на более более объективный: «Что действительно приводит к изменениям?».
«Такой сдвиг позволяет перейти от оценки как инструмента отчетности к управлению знанием, системному оценочному мышлению, включающему рефлексию, критический анализ предубеждений и готовность учиться на ошибках», — объясняет Ольга Евдокимова.
Переход к оценочному мышлению
Некоммерческие организации переходят от внешних драйверов к внутренним, проводя оценку прежде всего в своих интересах, а не по требованию грантодателей. Например, в последние два года оценка стала осознанным инструментом развития благотворительного фонда «Волонтеры в помощь детям-сиротам». Команда понимает, как важно собирать данные и подходит к мониторингу и оценке системно. Теперь развитие оценки — часть стратегии фонда до 2030 года, рассказывает методист фонда Антонина Попова.
Проводя оценку из внутренней мотивации, НКО анализируют полученные данные и совершенствуют свои программы. Например, организация «Дорогою добра» регулярно собирает данные от родителей детей с особенностями развития и работающих с ними специалистов. Благодаря анализу полученных данных, специалисты учатся точнее ставить индивидуальные цели своим благополучателям.
Елена Лянгузова, руководитель программ поддержки детей и взрослых с особенностями развития и их семей общественной организации «Дорогою добра»: «Мы решили оценить, не сколько у нас детей с улучшением, а какой у каждого ребенка процент задач, который привел к сформированному навыку к концу года. Оказалось, что задач поставлено много, а только половина — с улучшением и лишь треть — привела к нужному результату. На основе этих данных мы изменили свой подход. Теперь мы ставим задачи исходя из общей диагностики, более прицельно, ориентированно на ребенка и с учетом того, чтобы задача могла решиться в течение учебного года».
Не только внутренние цели НКО, но и общественное благо
Традиционный подход к оценке часто ограничивается внутренним интересом организации, когда оценка касается только ее деятельности. Современная оценка помогает решать системные задачи и этим полезна всему обществу. Для проведения такой оценки важна кооперация НКО. Сравнивая результаты различных оценок и работая в партнерстве, организации могут приходить к глубоким, практически применимым выводам, работающим на общее благо.
«НКО постепенно переходят от традиционных систем мониторинга и оценки к комплексной модели мониторинга, оценки, обучения и исследований (MERL), — объясняет Ольга Евдокимова. — Исследовательский компонент позволяет глубже понимать контекст, лучше адаптировать свои программы и генерировать новое знание, делая вклад в развитие сферы детства».
Так, в 2018 году команда «Волонтеры в помощь детям-сиротам» провела исследование совместно с Институтом развития семейного устройства и фондом «Найди Семью» для оценки эффективности Школ приемных родителей в онлайн- и офлайн-форматах.
«Оценка — это не просто отчетность, а возможность делать помощь адресной, прозрачной и по-настоящему меняющей жизни детей и семей. И такой подход важен не только для одного фонда — он помогает развивать всю сферу», — уверена Антонина Попова.
А фонд «Все Получится!» по социальной франшизе помогает региональным НКО внедрять технологию сопровождаемого трудоустройства людей с инвалидностью и опытом сиротства. Команда фонда описывает франшизу в доказательном подходе и регулярно проводит оценку. При этом региональные НКО-провайдеры также активно вовлекаются в сбор и анализ данных через CRM-систему. «Все Получится!» помогает партнерам оценивать свою работу, результаты благополучателей и влияние фонда на региональные НКО.
По словам специалистов, исследования помогают лучше понять контекст и сферу деятельности, ориентированы на получение новых знаний и социального эффекта.
Еще одним шагом, который поможет организациям развивать такой прогрессивный подход, стал первый конкурс научно-практических исследований благотворительного фонда «Абсолют—Помощь». Цель конкурса — поддержать научно-практические исследования социального развития и ориентированный на устойчивость и долгосрочный эффект работы. По словам экспертов фонда «Абсолют—Помощь», оцениваемые исследования должны быть заточены на решение социальных проблем и улучшение благополучия детей и молодых взрослых, а их результаты — внедряться в практику НКО и быть полезными широкому кругу лиц.
«Идею провести такой конкурс нам подали грантополучатели: они нередко говорили, что проведение исследований можно прописывать в заявке на наши конкурсы, но нет возможности получить финансирование на них отдельно. Мы открыты к обратной связи и поэтому проводим конкурс исследований, который дает такую возможность, — рассказывает Эльвира Гарифулина. — Наша задача — поддержать перспективные, направленные в будущее, исследования, распространить результаты и сделать доступной методологию, показать, как опора на результаты исследований позволяет достигать позитивных изменений. Надеемся, такие примеры вдохновят коллег и станут ориентиром для них».
Оценка будущего, а не прошлого
Традиционная оценка часто заключается в ретроспективном анализе: что произошло, какие эффекты и почему достигнуты. Но в сегодняшнем турбулентном мире критически важно понимать, что будет работать завтра, и уметь прогнозировать будущее. В таких условиях НКО переходят от вопроса «что работает?» к вопросу «что будет работать?».
«Анализа прошлого недостаточно для долгосрочной устойчивости и системных изменений, к которым стремятся современные НКО, — считает Ольга Евдокимова. — Важно рассматривать оценку как полноценный обучающий элемент, который помогает организациям расти в будущем. В недавно опубликованном дайджесте Фонда Потанина есть полезный раздел: в нем обозначено, как и с помощью каких инструментов можно обучаться через оценку — например, инструменты для работы с разубеждающими доказательствами или инструменты работы с неудачами».
За прогнозами НКО могут обратиться к Методике оценки решений с учетом их социальной значимости (МОРСЗ) — это адаптивный инструмент для получения информации о потенциальной социальной значимости решений. Достаточно ознакомиться с краткой инструкцией онлайн, самостоятельно заполнить предложенную анкету и форму самооценки — и НКО получит резюме оценки своего проекта, сертификат о прохождении оценки и практические рекомендации по развитию и улучшению проекта.
«Непосредственный результат соцпроекта нам нужен, чтобы отчитаться по бюджету. Но плохо, если мы не смотрим дальше и не оцениваем, какой может быть отложенный социальный эффект у проекта, — объясняет директор проектов благотворительного фонда „Вклад в будущее“ Екатерина Ядова. — Можно „прогнать“ свой проект через нашу методику, получить конкретные цифры и задать вопросы, которые не стал бы сам себе задавать. Таким образом команда НКО узнает про себя что-то приятное или неприятное — то, что в любом случае поможет ей понять, как развиваться дальше».
Доказательный подход как устоявшийся тренд и новые горизонты
Современным НКО важно использовать доказательный подход, объясняет исполнительный директор фонда «Абсолют—Помощь» Эльвира Гарифулина. Три кита этого подхода — данные мониторинга и опыт специалистов, интересы и потребности тех, кому организация помогает (дети и их родители), научные исследования и концепции. Важны в доказательном подходе также рефлексия — сбор и анализ обратной связи, вовлечение в эти процессы детей и молодых взрослых, в том числе тех, у кого нет возможности вербально давать обратную связь и необходимы альтернативные каналы коммуникации, (людей с особенностями развития).
«Доказательный подход помогает улучшать качество поддержки и минимизировать ситуации уязвимости, — отмечает Эльвира Гарифулина. — Это хорошая возможность для НКО транслировать свой опыт другим специалистам, тиражировать его, укреплять потенциал и экспертность организации, улучшать ее репутацию и тем самым завоевывать доверие со стороны тех, с кем НКО взаимодействует, и повышать ее фандрайзинговый потенциал».
При этом доказательный подход сегодня требует переосмысления. Максимальный эффект достигается, когда практики рассматриваются не изолированно, а системно — с учетом взаимодействия программ, влияния среды и роли семьи. Такой подход работает не только на конкретную организацию, но и на развитие всей сферы защиты детства.
Доказательными практиками много лет занимается Центр социального доказательного проектирования МГППУ. А в 2023 году на его базе создана профильная инфраструктура для экспертной поддержки и научной верификации практик в социальной сфере. Для того, чтобы пройти независимую верификацию, достаточно оставить заявку, рассказывает руководитель Центра доказательного социального проектирования МГППУ Татьяна Подушкина.
Команда Центра доказательной практики «Точка кипения» также продолжает развивать Реестр социальных доказательных практик в сфере детства на цифровой платформе МГППУ. НКО могут размещать там практики, прошедшие верификацию по стандарту доказательности в течение последних нескольких лет. Содержательный владелец этой платформы — профессиональное сообщество, подчеркивает Татьяна Подушкина, поэтому Точка кипения приглашает коллег вкладываться в развитие ресурса и делиться своими практиками.
«Сейчас мы активно занимаемся переосмыслением и реорганизацией того, что делаем. Мы планируем развивать Точку кипения как профессиональный хаб в области доказательного подхода, который возьмет на себя и работу инкубатора, и проведение научных семинаров и конференций», — рассказывает Татьяна Подушкина.
Фонд «Абсолют-Помощь» планирует регулярно проводить мероприятия и дискуссии на тему оценки и мониторинга. «Мы будем объединять организации, работающие с определенной целевой аудиторией или над схожими проблемами, а также обсуждать ключевые вопросы оценки, актуальные для всего сектора, — говорит Эльвира Гарифулина, — На этих встречах мы рассмотрим лучшие практики (как международные, так и российские), изучим применимые теории и успешные кейсы их реализации».
Эксперты сходятся во мнении, что только через кооперацию между НКО и другими стейкхолдерами возможно создавать устойчивые и масштабируемые решения, которые отвечают потребностям детей, семей и общества.
