прАКтики
Как понять, на что вы влияете
Юлия Ходорова, директор фонда «Культура благотворительности», — об оценке социального воздействия
Когда создается благотворительная программа, есть ожидаемый положительный результат. Ведь множество людей работает над тем, чтобы что-то хорошее произошло. Однако люди, которым помогают, могут видеть результат иначе, и иначе оценивать, что для них было значимо, а что — не очень. Это одна из причин, по которой НКО или иные донорские организации должны встраивать оценку в свою работу.
О том, как измерить социальное воздействие, рассказывает Юлия Ходорова, директор фонда «Культура благотворительности».
О том, как измерить социальное воздействие, рассказывает Юлия Ходорова, директор фонда «Культура благотворительности».
Цели нашей работы
Наша цель — развивать культуру благотворительности в стране. Мы хотим, чтобы как можно больше людей вовлекалось в благотворительность, как можно больше сильных организаций работало в некоммерческом секторе.
В фонде несколько долгосрочных программ, часть из которых направлена непосредственно на развитие культуры благотворительности.
Во-первых, это платформа «Благо.ру», с помощью которой мы развиваем массовый фандрайзинг: стимулируем частные пожертвования, вовлекаем людей в благотворительность и в поддержку НКО. «Благо.ру» — первая и старейшая платформа в стране. Сегодня таких платформ более десяти. Два года назад мы придумали «День благотворительной подписки», чтобы стимулировать людей к регулярным пожертвованиям (20 июня — дата, когда платформы и НКО рассказывают о регулярных пожертвованиях и о том, как они важны для системной помощи нуждающимся. — Прим. ред.)
Вторая программа — «Щедрый вторник», ежегодный День благотворительности: в этом году он приходится на 3 декабря. Его суть в том, что НКО, коммерческие компании и другие организации объединяются ради участия в одной большой благотворительной акции. Дате предшествует информационная кампания, которая направлена на то, чтобы популяризовать благотворительность, вдохновлять людей делать добрые дела. Мы рассказываем, как и зачем участвовать в «Щедром вторнике» и создаем инфраструктуру: удобную платформу для промоутирования событий, информационные материалы.
Третья программа — это наш «Журнал о благотворительности»: в нем публикуются материалы о жизни НКО, интервью с экспертами из некоммерческого сектора и; мы отражаем в нем собственные наработки, исследования. Это голос сектора, мы считаем: важно, чтобы он был.
Основной вид деятельности для фонда — создание благотворительных программ, грантовых конкурсов и управление ими. Это услуга для отдельных донорских и некоммерческих организаций: компаний и частных фондов. Мы берем на себя роли и создателя программы, и исполнителя — того, кто программу реализует, контролирует и оценивает ее воздействие.
Кроме того, мы консультируем благотворительные организации по вопросам стратегического развития, компании — по реализации благотворительных программ, по оценке эффективности и оценке социального воздействия.
Наша цель — развивать культуру благотворительности в стране. Мы хотим, чтобы как можно больше людей вовлекалось в благотворительность, как можно больше сильных организаций работало в некоммерческом секторе.
В фонде несколько долгосрочных программ, часть из которых направлена непосредственно на развитие культуры благотворительности.
Во-первых, это платформа «Благо.ру», с помощью которой мы развиваем массовый фандрайзинг: стимулируем частные пожертвования, вовлекаем людей в благотворительность и в поддержку НКО. «Благо.ру» — первая и старейшая платформа в стране. Сегодня таких платформ более десяти. Два года назад мы придумали «День благотворительной подписки», чтобы стимулировать людей к регулярным пожертвованиям (20 июня — дата, когда платформы и НКО рассказывают о регулярных пожертвованиях и о том, как они важны для системной помощи нуждающимся. — Прим. ред.)
Вторая программа — «Щедрый вторник», ежегодный День благотворительности: в этом году он приходится на 3 декабря. Его суть в том, что НКО, коммерческие компании и другие организации объединяются ради участия в одной большой благотворительной акции. Дате предшествует информационная кампания, которая направлена на то, чтобы популяризовать благотворительность, вдохновлять людей делать добрые дела. Мы рассказываем, как и зачем участвовать в «Щедром вторнике» и создаем инфраструктуру: удобную платформу для промоутирования событий, информационные материалы.
Третья программа — это наш «Журнал о благотворительности»: в нем публикуются материалы о жизни НКО, интервью с экспертами из некоммерческого сектора и; мы отражаем в нем собственные наработки, исследования. Это голос сектора, мы считаем: важно, чтобы он был.
Основной вид деятельности для фонда — создание благотворительных программ, грантовых конкурсов и управление ими. Это услуга для отдельных донорских и некоммерческих организаций: компаний и частных фондов. Мы берем на себя роли и создателя программы, и исполнителя — того, кто программу реализует, контролирует и оценивает ее воздействие.
Кроме того, мы консультируем благотворительные организации по вопросам стратегического развития, компании — по реализации благотворительных программ, по оценке эффективности и оценке социального воздействия.
Важно общаться именно с конечными благополучателями, даже если они из «сложных» категорий: например, с людьми с ментальными нарушениями или детьми-сиротами, которых может быть сложно найти после выпуска из детского учреждения
Благотворительные программы и результаты: положительные, неочевидные, отрицательные
Как работать со стейкхолдерами
Мы смотрим на изменения в широком контексте: оценка того, что было сделано или вложено в благотворительной программе — не главный результат.
Наш фокус оценки — на благополучателях — людях или организациях. Мы хотим оценить изменения в их жизни, которые могут быть не столь очевидны и не всегда зависят от наших действий.
Важно общаться именно с конечными благополучателями, даже если они из «сложных» категорий: например, с людьми с ментальными нарушениями или детьми-сиротами, которых может быть сложно найти после выпуска из детского учреждения.
Наша цель — понять и проанализировать, что происходит благодаря нашим усилиям или программе, а что — из-за других факторов. Этот подход основан на нескольких принципах.
Первый — вовлечение стейкхолдеров, то есть всех заинтересованных лиц. Обычно в проекте от трех до семи разных типов стейкхолдеров.
Приведу пример: если речь идет о детской образовательной программе, мы, в том числе, разговариваем с родителями. Занятия с детьми так или иначе влияют на то, как они себя ведут дома; как выстраиваются отношения в семье, в школе.
Если речь о детях, которые живут в учреждении, мы можем поговорить с представителем учреждения или, когда ребенок уже выпустился, с преподавателем в месте его учебы. Можем пообщаться с опекуном, если он есть, или волонтерами.
Если программы реализует бизнес, его интересует в том числе мнение администрации города. Это тоже стейкхолдер. Соответственно, мы идем к администрации и проводим интервью о том, как она видит программу, какие наблюдает изменения.
Принцип вовлечения стейкхолдеров основной: он дает более широкий угол зрения.
Второй принцип — учет всех изменений, в том числе негативных и незапланированных. Когда мы выстраиваем логику благотворительной программы, у нас есть ожидаемые результаты. Мы ждем положительных изменений, поскольку делаем что-то для того, чтобы что-то хорошее случилось.
Но когда мы занимаемся оценкой, то задаем вопрос: случилось ли что-то незапланированное или, может быть, даже отрицательное?
Неожиданных результатов обычно много. Целевая группа может по-своему формулировать результат, может по-другому оценивать, что было более, а что менее важно в программе.
Негативных результатов обычно мало, хотя они тоже встречаются. Например, мы оценивали программу для школьников о ЗОЖ, в которую из-за школьного расписания были вовлечены не все классы. Выяснилось, что те, кто не участвовал в программе, испытывали к ней негатив. Таким образом программу мы скорректировали, а на новом этапе включили в нее большее количество детей.
НКО и социальные предприниматели
Недавно мы проводили оценку программы для акселератора «Начни иначе»: в нем обучаются НКО и социальные предприниматели, которые работают в сфере инклюзии. Это акселератор. Программа — об организационном развитии, управлении, финансовом учете, маркетинге, продвижении, создании продуктов: то есть обо всем, что нужно для старта проекта.
Оказалось, НКО понимают, что оказывают социальное воздействие: они изначально создаются, чтобы людям помогать; а социальные предприниматели этот момент хуже анализируют. Как правило, в акселератор приходит малый бизнес: ИП, в котором заняты один-два человека. Для многих из них открытие, что можно проанализировать этот компонент и оценить свою социальную значимость как предприятия.
Что важно для благополучателей
Еще один пример программы, в которой был неожиданный для нас эффект — программа фонда «ОМК-Участие» в Выксе под названием «Работа есть». Фонд реализует программу по трудоустройству людей с инвалидностью, в том числе с ментальными нарушениями. Задача состоит в том, чтобы найти работу хотя бы с минимальной зарплатой. Понятно, что это непросто получается, но результаты есть.
Поговорив непосредственно с людьми с ментальными нарушениями и с их родственниками, нам стало понятно: чтобы быть более удовлетворенным в жизни, ощущать самореализацию, востребованность, необязательно трудоустраиваться на работу за деньги.
Человек может пойти на стажировку, которая дает регулярную занятость. Главное, чтобы он посещал не центр, в котором ограниченный круг людей, а любую другую организацию, пусть даже работодатель не готов эту стажировку оплачивать. Минимальная зарплата, как правило, не слишком влияет на важные жизненные вопросы: люди с ментальными нарушениями находятся на пенсии или на обеспечении семьи.
Как работать со стейкхолдерами
Мы смотрим на изменения в широком контексте: оценка того, что было сделано или вложено в благотворительной программе — не главный результат.
Наш фокус оценки — на благополучателях — людях или организациях. Мы хотим оценить изменения в их жизни, которые могут быть не столь очевидны и не всегда зависят от наших действий.
Важно общаться именно с конечными благополучателями, даже если они из «сложных» категорий: например, с людьми с ментальными нарушениями или детьми-сиротами, которых может быть сложно найти после выпуска из детского учреждения.
Наша цель — понять и проанализировать, что происходит благодаря нашим усилиям или программе, а что — из-за других факторов. Этот подход основан на нескольких принципах.
Первый — вовлечение стейкхолдеров, то есть всех заинтересованных лиц. Обычно в проекте от трех до семи разных типов стейкхолдеров.
Приведу пример: если речь идет о детской образовательной программе, мы, в том числе, разговариваем с родителями. Занятия с детьми так или иначе влияют на то, как они себя ведут дома; как выстраиваются отношения в семье, в школе.
Если речь о детях, которые живут в учреждении, мы можем поговорить с представителем учреждения или, когда ребенок уже выпустился, с преподавателем в месте его учебы. Можем пообщаться с опекуном, если он есть, или волонтерами.
Если программы реализует бизнес, его интересует в том числе мнение администрации города. Это тоже стейкхолдер. Соответственно, мы идем к администрации и проводим интервью о том, как она видит программу, какие наблюдает изменения.
Принцип вовлечения стейкхолдеров основной: он дает более широкий угол зрения.
Второй принцип — учет всех изменений, в том числе негативных и незапланированных. Когда мы выстраиваем логику благотворительной программы, у нас есть ожидаемые результаты. Мы ждем положительных изменений, поскольку делаем что-то для того, чтобы что-то хорошее случилось.
Но когда мы занимаемся оценкой, то задаем вопрос: случилось ли что-то незапланированное или, может быть, даже отрицательное?
Неожиданных результатов обычно много. Целевая группа может по-своему формулировать результат, может по-другому оценивать, что было более, а что менее важно в программе.
Негативных результатов обычно мало, хотя они тоже встречаются. Например, мы оценивали программу для школьников о ЗОЖ, в которую из-за школьного расписания были вовлечены не все классы. Выяснилось, что те, кто не участвовал в программе, испытывали к ней негатив. Таким образом программу мы скорректировали, а на новом этапе включили в нее большее количество детей.
НКО и социальные предприниматели
Недавно мы проводили оценку программы для акселератора «Начни иначе»: в нем обучаются НКО и социальные предприниматели, которые работают в сфере инклюзии. Это акселератор. Программа — об организационном развитии, управлении, финансовом учете, маркетинге, продвижении, создании продуктов: то есть обо всем, что нужно для старта проекта.
Оказалось, НКО понимают, что оказывают социальное воздействие: они изначально создаются, чтобы людям помогать; а социальные предприниматели этот момент хуже анализируют. Как правило, в акселератор приходит малый бизнес: ИП, в котором заняты один-два человека. Для многих из них открытие, что можно проанализировать этот компонент и оценить свою социальную значимость как предприятия.
Что важно для благополучателей
Еще один пример программы, в которой был неожиданный для нас эффект — программа фонда «ОМК-Участие» в Выксе под названием «Работа есть». Фонд реализует программу по трудоустройству людей с инвалидностью, в том числе с ментальными нарушениями. Задача состоит в том, чтобы найти работу хотя бы с минимальной зарплатой. Понятно, что это непросто получается, но результаты есть.
Поговорив непосредственно с людьми с ментальными нарушениями и с их родственниками, нам стало понятно: чтобы быть более удовлетворенным в жизни, ощущать самореализацию, востребованность, необязательно трудоустраиваться на работу за деньги.
Человек может пойти на стажировку, которая дает регулярную занятость. Главное, чтобы он посещал не центр, в котором ограниченный круг людей, а любую другую организацию, пусть даже работодатель не готов эту стажировку оплачивать. Минимальная зарплата, как правило, не слишком влияет на важные жизненные вопросы: люди с ментальными нарушениями находятся на пенсии или на обеспечении семьи.
С социальной сферой сложно работать, потому что это про людей. Люди неодинаково живут, на них влияют разные вещи в разных пропорциях
Оценить воздействие, но не переоценить свой вклад
Социальное воздействие можно оценивать с двух сторон. С одной стороны, нам интересно, как именно мы повлияли своей работой за год, за три, за пять лет на определенную проблему или на социальную группу. А с другой, можно изучать то, что изменилось в долгосрочной перспективе, уже после нашей работы.
Это сложно, особенно когда воздействие касается детей или программ, которые эпизодически работают с целевой группой.
Конечно, компании и НКО хотят понимать уровень своего влияния, но мы не можем оценить его с точностью до процента. Важно не переоценивать свой вклад: далеко не все, что мы делаем, оказывает значимое влияние.
Например, говоря о программах для детей, мы должны учитывать, что они живут в широком контексте: взрослеют сами по себе, без нас, и у них все меняется ежегодно. Через полгода-год это может быть немножко другой человек. Конечно, доноры, с которыми мы работаем, хотят понять, как программы повлияли на мотивацию, на успеваемость. Но мы стараемся быть реалистами и говорим, что программа полезная, просто потому что расширяет возможности для детей. Но сказать, что мы повлияли на мотивацию школьников к учебе, или у детей повысился средний балл очень сложно, на мой взгляд.
Второй аспект воздействия — отложенный эффект. Его еще сложнее оценить, поскольку в этот период мы уже не имеем доступа к целевой группе. Люди поучаствовали в программе и пошли своим путем; они могут быть очень благодарны за сделанное, но чаще всего не помнят: изменилось ли у них что-то в тот момент или позже.
Обычно мы делаем ретроспективные исследования: работаем три года и запускаем оценку. Пример — лонгитюдное исследование изменений у детей-сирот в результате программы. Задача щепетильная — проследить, как изменится их жизнь, и насколько она будет отличаться от тех, кто в программе не участвовал.
С социальной сферой сложно работать, потому что это про людей. Люди неодинаково живут, на них влияют разные вещи в разных пропорциях.
Социальное воздействие можно оценивать с двух сторон. С одной стороны, нам интересно, как именно мы повлияли своей работой за год, за три, за пять лет на определенную проблему или на социальную группу. А с другой, можно изучать то, что изменилось в долгосрочной перспективе, уже после нашей работы.
Это сложно, особенно когда воздействие касается детей или программ, которые эпизодически работают с целевой группой.
Конечно, компании и НКО хотят понимать уровень своего влияния, но мы не можем оценить его с точностью до процента. Важно не переоценивать свой вклад: далеко не все, что мы делаем, оказывает значимое влияние.
Например, говоря о программах для детей, мы должны учитывать, что они живут в широком контексте: взрослеют сами по себе, без нас, и у них все меняется ежегодно. Через полгода-год это может быть немножко другой человек. Конечно, доноры, с которыми мы работаем, хотят понять, как программы повлияли на мотивацию, на успеваемость. Но мы стараемся быть реалистами и говорим, что программа полезная, просто потому что расширяет возможности для детей. Но сказать, что мы повлияли на мотивацию школьников к учебе, или у детей повысился средний балл очень сложно, на мой взгляд.
Второй аспект воздействия — отложенный эффект. Его еще сложнее оценить, поскольку в этот период мы уже не имеем доступа к целевой группе. Люди поучаствовали в программе и пошли своим путем; они могут быть очень благодарны за сделанное, но чаще всего не помнят: изменилось ли у них что-то в тот момент или позже.
Обычно мы делаем ретроспективные исследования: работаем три года и запускаем оценку. Пример — лонгитюдное исследование изменений у детей-сирот в результате программы. Задача щепетильная — проследить, как изменится их жизнь, и насколько она будет отличаться от тех, кто в программе не участвовал.
С социальной сферой сложно работать, потому что это про людей. Люди неодинаково живут, на них влияют разные вещи в разных пропорциях.
Отдача на каждый вложенный рубль
Социальный возврат на инвестиции (social return on investment, SROI) — метод, когда мы оцениваем социальные, экономические и экологические ценности, которые производим, по отношению к затраченным ресурсам.
Мы с коллегами провели около 20 проектов по оценке SROI: это востребовано: всем нравится видеть цифры. Результат выглядит как дробь: допустим, три к одному, четыре к одному. То есть отдача от проекта на каждый вложенный рубль составляет три рубля, четыре рубля. Для нас, конечно, эта красивая цифра — «вишенка» большого исследования. Сначала мы глубоко копаем: какие изменения происходят. Дальше мы понимаем, какие из них ценнее, существеннее и имеют отношение к программе. Потом переводим их в денежный эквивалент. Это довольно сложные вычисления: например, уравновешивается длительность изменений; воздействие на них извне — всего около пяти показателей.
В целом модель рабочая: мы делаем эти вычисления, если донору нужны цифры. Но, когда просто требуется понять, как улучшить программу, какие изменения достигаются эффективнее, этого делать не стоит. В этом случае мы проводим глубокую оценку воздействия.
Социальный возврат на инвестиции (social return on investment, SROI) — метод, когда мы оцениваем социальные, экономические и экологические ценности, которые производим, по отношению к затраченным ресурсам.
Мы с коллегами провели около 20 проектов по оценке SROI: это востребовано: всем нравится видеть цифры. Результат выглядит как дробь: допустим, три к одному, четыре к одному. То есть отдача от проекта на каждый вложенный рубль составляет три рубля, четыре рубля. Для нас, конечно, эта красивая цифра — «вишенка» большого исследования. Сначала мы глубоко копаем: какие изменения происходят. Дальше мы понимаем, какие из них ценнее, существеннее и имеют отношение к программе. Потом переводим их в денежный эквивалент. Это довольно сложные вычисления: например, уравновешивается длительность изменений; воздействие на них извне — всего около пяти показателей.
В целом модель рабочая: мы делаем эти вычисления, если донору нужны цифры. Но, когда просто требуется понять, как улучшить программу, какие изменения достигаются эффективнее, этого делать не стоит. В этом случае мы проводим глубокую оценку воздействия.
Как встроить оценку в работу НКО
Пока у некоммерческих организаций не так много ресурсов, чтобы глубоко внедрять у себя оценку. Тем не менее НКО должны понимать, что это такое: доноры хотят видеть и результаты, и индикаторы. У крупных фондов, например, Фонда Тимченко, Фонда Потанина, Фонда «Абсолют-Помощь» свои системы оценки, и им нужно, чтобы результаты грантополучателей — чаще всего это НКО — соответствовали определенным индикаторам, показателям.
Однако довольно много специалистов НКО учатся тому, как проводить оценку. Например, существует Школа оценки, клуб «ProОценку» приглашает к себе НКО, которые интересуются этой темой. В целом компетенции НКО растут: они понимают, зачем это надо, и пытаются выстраивать процесс у себя.
Сегодня у нас идет проект по сбору обратной связи от благополучателей из сложных целевых групп. Мы получили грант от Фонда Потанина на эту работу. К нам пришло огромное количество заявок: мы ориентировались на 30, а их оказалось 80. Это не совсем про оценку, но это показатель, что интерес к такого рода инструментам растет.
Мы рекомендуем встраивать систему оценки в основную работу НКО. На это не нужно выделять много времени и сотрудников. Нужно один раз создать систему индикаторов, систему данных: как и когда они собираются, от кого, в какой момент, как часто, каким способом, и как их дальше внедрить в программную работу.
Например, у менеджера проекта проходит мероприятие с детьми. Он собирает данные, допустим, через неделю, затем через полгода. Дальше данные анализируется. Это тоже будет оценка. Если идти таким путем, скорее всего, оценка — не очень затратное мероприятие. Но, если говорить о том, что нужно заказать внешнюю оценку, желательно ее закладывать в какие-то гранты. Например, Фонд президентских грантов сейчас дает такую возможность — заложить сумму на внешнюю оценку и привлечь оценщика.
Так или иначе мир многообразен. Интересы, которые возникают у людей, когда они хотят заняться благотворительностью, могут быть очень разные. Не всегда они про суперэффективность. Иногда это может быть частной инициативой человека, который хочет сделать то, что он считает нужным, и все. Не факт, что это приведет к каким-то системным изменениям, но это тоже имеет право на жизнь.
Я не сторонник того, чтобы внедрять оценку везде, но профессионалам НКО нужно использовать оценку, на основании которой можно принимать решения о повышении эффективности своих услуг и результатов для людей.
Текст: Анна Черноголовина
Пока у некоммерческих организаций не так много ресурсов, чтобы глубоко внедрять у себя оценку. Тем не менее НКО должны понимать, что это такое: доноры хотят видеть и результаты, и индикаторы. У крупных фондов, например, Фонда Тимченко, Фонда Потанина, Фонда «Абсолют-Помощь» свои системы оценки, и им нужно, чтобы результаты грантополучателей — чаще всего это НКО — соответствовали определенным индикаторам, показателям.
Однако довольно много специалистов НКО учатся тому, как проводить оценку. Например, существует Школа оценки, клуб «ProОценку» приглашает к себе НКО, которые интересуются этой темой. В целом компетенции НКО растут: они понимают, зачем это надо, и пытаются выстраивать процесс у себя.
Сегодня у нас идет проект по сбору обратной связи от благополучателей из сложных целевых групп. Мы получили грант от Фонда Потанина на эту работу. К нам пришло огромное количество заявок: мы ориентировались на 30, а их оказалось 80. Это не совсем про оценку, но это показатель, что интерес к такого рода инструментам растет.
Мы рекомендуем встраивать систему оценки в основную работу НКО. На это не нужно выделять много времени и сотрудников. Нужно один раз создать систему индикаторов, систему данных: как и когда они собираются, от кого, в какой момент, как часто, каким способом, и как их дальше внедрить в программную работу.
Например, у менеджера проекта проходит мероприятие с детьми. Он собирает данные, допустим, через неделю, затем через полгода. Дальше данные анализируется. Это тоже будет оценка. Если идти таким путем, скорее всего, оценка — не очень затратное мероприятие. Но, если говорить о том, что нужно заказать внешнюю оценку, желательно ее закладывать в какие-то гранты. Например, Фонд президентских грантов сейчас дает такую возможность — заложить сумму на внешнюю оценку и привлечь оценщика.
Так или иначе мир многообразен. Интересы, которые возникают у людей, когда они хотят заняться благотворительностью, могут быть очень разные. Не всегда они про суперэффективность. Иногда это может быть частной инициативой человека, который хочет сделать то, что он считает нужным, и все. Не факт, что это приведет к каким-то системным изменениям, но это тоже имеет право на жизнь.
Я не сторонник того, чтобы внедрять оценку везде, но профессионалам НКО нужно использовать оценку, на основании которой можно принимать решения о повышении эффективности своих услуг и результатов для людей.
Текст: Анна Черноголовина
ЧИТАТЬ ДАЛЬШЕ
ЧИТАТЬ ДАЛЬШЕ