Vol. 7 (2024), pp. 11-32 • ISSN: 2659-5311
http://dx.doi.org/10.33776/riesise.v7.8290
SOCIAL IMPACT ASSESSMENT IN GENDER EQUALITY PROJECTS: CHALLENGES AND LIMITATIONS OF THE SROI ANALYSIS
Nerea Abad-Itoiz
Marta Solórzano-García
msolorzano@cee.uned.es
Universidad Nacional de Educación a Distancia (UNED)
RESUMEN
La medición del impacto social constituye un proceso clave para las empresas sociales. Sin embargo, estas organizaciones siguen enfrentándose en la actualidad a numerosas dificultades para evaluar sus impactos. En efecto, medir el impacto social generado supone una tarea compleja, que todavía plantea múltiples retos. Conocer las limitaciones asociadas a los modelos de medición existentes puede ayudar a mejorar y simplificar estos procesos. Así pues, el objetivo de esta investigación es evidenciar, a través del análisis de once proyectos reales que promueven la igualdad de género en distintos ámbitos, las limitaciones de la metodología SROI (Retorno Social de la Inversión). Este estudio refuerza, desde un enfoque práctico, la corriente de la comunidad científica que señala las dificultades en la atribución de valor monetario al impacto social mediante el SROI. Los resultados revelan la ausencia de criterios uniformes, la subjetividad del método y una ruptura de causalidad en el proceso. Además, muestran la complejidad de la aplicación de este análisis. Se discuten todas las deficiencias halladas y se proponen mejoras para que el SROI pueda ser utilizado globalmente como una herramienta óptima de medición del impacto social.
ABSTRACT
Social impact measurement is a key process for social enterprises. However, these organisations are still facing many difficulties when assessing their real impacts. Indeed, measuring the social impact generated is a complex task, which encompasses several challenges. Understanding the limitations of the existing methodologies might help to improve and simplify these processes. Therefore, the aim of this research is to demonstrate the current disadvantages of the SROI (Social Return on Investment) methodology, by analysing eleven real projects that promote gender equality in different fields. This study supports, from a practical approach, the scientific community's understanding of the difficulties in attributing monetary value to social impact using SROI. The results reveal the absence of standard criteria, the subjectivity of the analysis and a causality breakdown in the process. Furthermore, findings show the complexity involved in the implementation of this method. Identified shortcomings are discussed and improvements are suggested to make SROI an optimal tool for measuring social impact globally.
PALABRAS CLAVE
Retorno Social de la Inversión (SROI); Empresa Social; Medición del Impacto Social; Igualdad de Género.
KEYWORDS
Social Return on Investment (SROI); Social Enterprise; Social Impact Measurement; Gender Equality.
Fecha de recepción: 15/05/2024
Fecha de aceptación: 19/09/2024
Fecha de publicación: 27/11/2024
CÓDIGOS JEL: L20, O17, R11
La interconectividad entre las acciones de las empresas y la sociedad, en un contexto globalizado y en entornos cada vez más dinámicos y competitivos, ha propiciado que las organizaciones traten de alinear su estrategia principal con el triple objetivo de mejorar su desempeño en las dimensiones social, ambiental y económica. Como resultado, en las últimas décadas, se ha evidenciado un interés creciente en medir el impacto social de proyectos, iniciativas y programas diversos desarrollados por empresas, organizaciones e instituciones en pro de la sostenibilidad, tanto en el ámbito público como en el privado.
Esta tendencia se alinea con la evolución progresiva de los conceptos de sostenibilidad y responsabilidad social corporativa en el ámbito empresarial. Aunque desde hace tiempo se reconoce que las acciones y decisiones de cada organización afectan a sus empleados, clientes, socios, proveedores y, en definitiva, a la sociedad y al planeta como grupos de interés clave, es a finales del siglo XX cuando se consolida la convicción de que efectivamente las empresas tienen una capacidad de impacto significativa en sus dimensiones económica, ambiental y social.
En este sentido, se ha ido adquiriendo una mayor concienciación sobre la importancia de la sostenibilidad. Así, en los últimos años, tanto empresas como organizaciones civiles e instituciones públicas han suscrito diferentes compromisos, desarrollado declaraciones e iniciativas, implementado nuevas herramientas y actuaciones, e incluso redactado normativas para disponer de una hoja de ruta y una guía práctica que permita orientar sus actividades hacia un desarrollo más justo y sostenible para todos.
De forma paralela a este proceso, y bajo el denominador común de la sostenibilidad, se ha evidenciado un creciente interés en nuestra sociedad por las llamadas empresas sociales. En Europa, el concepto de empresa social aparece por primera vez a principios de la década de 1990, en el corazón del tercer sector (Defourny y Nyssens, 2012). No obstante, este término surgió simultáneamente en otras partes del mundo, dando lugar posteriormente a grandes escuelas de pensamiento que han aportado distintas definiciones y enfoques en torno a la empresa social. Así pues, destacan en la literatura dos grandes escuelas: la europea y la anglosajona (Solórzano-García et al., 2018). No obstante, en España, las empresas sociales se han desarrollado de forma similar al resto de países de la Unión Europea, siguiendo un modelo vinculado a la Economía Social (Díaz-Foncea et al., 2012).
Pese a las dificultades para establecer una definición única de empresa social, un factor común a todas las conceptualizaciones existentes es que estas organizaciones engloban iniciativas que emplean mecanismos de mercado para alcanzar una misión social (Doherty et al., 2014; Kerlin, 2009; Santos et al., 2015; Solórzano-García et al., 2018). De hecho, la iniciativa de emprendimiento social de la Comisión Europea (2015) recoge que el objetivo principal de las empresas sociales debe ser la generación de un impacto significativo sobre la sociedad, el medio ambiente y la comunidad local, en contraste con la tradicional misión empresarial de obtener beneficios para propietarios y accionistas.
En consecuencia, surge una necesidad inherente a la actividad de las empresas sociales: determinar si efectivamente están generando un impacto social, y medir o cuantificar dicho impacto. Si bien existen numerosas metodologías que facilitan la obtención de los datos requeridos y su posterior análisis, se produce una creciente aceptación de que necesitamos mejores formas para cuantificar el valor social, económico y medioambiental que resulta de nuestras actividades (Nicholls et al., 2012). En efecto, todavía no existe consenso sobre qué método o marco es el más adecuado para medir el impacto social, ya que cada uno de los modelos disponibles tiene sus propias debilidades (Feor et al., 2023; Kah y Akenroye, 2020).
Esta investigación profundiza en la compleja tarea de medir el impacto social generado por las empresas sociales. Para ello, se realiza un análisis de la metodología SROI (Retorno Social de la Inversión), abordándola tanto desde una perspectiva teórica como práctica, ya que constituye uno de los marcos de referencia más empleados para la cuantificación del impacto social y ha recibido considerable atención por parte de académicos y profesionales (Corvo et al., 2022; Feor et al., 2023).
El artículo se estructura de la siguiente forma: la sección 2 incluye el marco teórico de referencia, la sección 3 detalla la metodología empleada, la sección 4 presenta los resultados del análisis empírico efectuado para evidenciar los problemas y carencias de la aplicación práctica de la metodología en cuestión. El artículo finaliza con una propuesta de mejoras y con las conclusiones que derivan de la investigación realizada.
La medición de impactos constituye un tipo particular de evaluación que se trata de responder a una pregunta específica de causa y efecto: ¿Cuál es el impacto o efecto de un programa en un resultado de interés? (Gertler et al., 2017). Esta cuestión básica puede ser aplicada en numerosos contextos y sobre distintos objetivos.
Debido a su naturaleza, las empresas sociales tienen como misión principal generar cambios positivos, ya sean a nivel social, medioambiental y/o económico. Según Clifford (2015), el impacto de estas organizaciones puede apreciarse de forma directa o indirecta en la vida de las personas o comunidades atendidas, así como en los efectos que ejercen sobre otras organizaciones y personas de su ecosistema, ya que mediante su existencia y, especialmente, a través de la ejecución de sus actividades, las empresas sociales pueden lograr grandes cambios.
En consecuencia, la medición del impacto en este tipo de organizaciones debe centrarse en analizar el grado en que responden a las necesidades sociales y crean cambios en las vidas de aquellos a los que afectan, es decir, en su impacto social.
Son múltiples las definiciones existentes en la literatura sobre el impacto social. Aunque es un concepto ampliamente utilizado hoy en día, sigue siendo poco preciso. No obstante, Monzón et al. (2013) señalan que existe cierto consenso en que el impacto social implica una mejora sustancial y, en algunos casos, perdurable en el tiempo, en las condiciones o características de la población objetivo, y que éstas se plantean como fundamentales en la definición del problema que dio origen a un programa. Narrillos (2012), por su parte, equipara el concepto de impacto social al de valor social y señala su origen en la combinación de recursos, insumos, procesos o políticas, capaces de generar mejoras en la vida de los individuos o de la sociedad.
En síntesis, el concepto de valor o impacto social se refiere al conjunto de efectos a largo plazo y de alcance sobre la realidad social atribuibles a las actividades desarrolladas por las organizaciones o empresas sociales (AEF y EVPA, 2015).
En contraste con el ámbito económico o ambiental, mucho más consolidados a nivel empresarial, todavía no existe en la actualidad un estándar de medición de impacto social que sea referencia en el mercado (Forética, 2018). Sin embargo, en los últimos 40 años sí se han desarrollado nuevas métricas, que han resultado en más de un centenar de métodos distintos (Mulgan, 2010, citado en Robin, 2012). Entre ellos, Impact Reporting & Investment Standards (IRIS), Social Return on Investment (SROI), Socio-Economic Assessment Toolbox (SEAT) o Social Accounting and Audit (SAA). Pese a sus diferencias, existen considerables coincidencias entre los distintos enfoques y métodos. Así, es posible establecer una serie de conceptos clave (Herrero, 2015), fundamentales para la medición del impacto social.
El análisis del Retorno Social de la Inversión (SROI) es una de las principales metodologías empleadas para la medición y gestión del impacto social (Corvo et al., 2022; Feor et al., 2023). En líneas generales, el SROI es el cociente entre el impacto que genera una iniciativa o acción y la inversión requerida para generar dicho valor, expresado en términos monetarios (Amaro, 2014; Forética 2018). La base de esta metodología es la teoría del cambio y el tradicional análisis coste-beneficio. De hecho, el SROI tiene su raíz en la lógica del retorno de la inversión, que compara el beneficio o la utilidad obtenida con relación a la inversión realizada. Pero, a diferencia de éste, el análisis SROI supone un triple proceso de comprensión, medición y comunicación de valores sociales, medioambientales y económicos originados por la entidad (Narrillos, 2012).
Tabla 1. Terminología básica para la medición del impacto social.
TÉRMINO |
DEFINICIÓN |
INPUTS (insumos) |
Recursos humanos y de capital invertidos en las actividades de la organización. |
ACTIVIDADES |
Actuaciones concretas, tareas y trabajo llevado a cabo por la organización para generar productos y resultados y alcanzar sus objetivos. |
OUTPUTS (Productos/servicios) |
Bienes y servicios que surgen como resultado de las actividades desarrolladas. |
OUTCOMES (Resultados) |
Transformaciones, beneficios, aprendizajes y otros efectos (tanto a corto como a largo plazo) que derivan de las actividades de la organización. |
IMPACTO SOCIAL |
Efectos a largo plazo y de mayor alcance sobre la realidad social atribuibles a las actividades desarrolladas por las organizaciones o empresas sociales. |
Fuente. Elaboración propia a partir de AEF y EVPA (2015).
El propósito del SROI es demostrar que las empresas sociales están generando un valor social superior a la inversión que han requerido para obtenerlo (Robin, 2012). Tanto es así que, el modelo trata de examinar cualitativa y cuantitativamente el proceso de generación de valor social de un proyecto (Hernández-Marín y Solórzano-García, 2021; Solórzano-García et al., 2015). Además, dicho análisis puede efectuarse con un enfoque evaluativo –en cuyo caso el valor social es calculado en base a resultados reales obtenidos– o bien prospectivo –suponiendo en realidad una previsión del valor social que producirán ciertas acciones o iniciativas desarrolladas por las empresas sociales (Corvo et al., 2022; Nicholls et al., 2012).
Figura 1. Fases de la metodología SROI.
Fuente. Elaboración propia a partir de Nicholls et al. (2012) y Forética (2018).
En la Guía Práctica para la Medición y la Gestión del Impacto se establece como principal ventaja del SROI frente a otras herramientas alternativas el hecho de que, siendo un método de valoración económica, considere también otros costes y beneficios no económicos, e incluso intangibles (AEF y EVPA, 2015). De igual forma, el análisis SROI puede satisfacer una serie de propósitos muy relevantes para las organizaciones (Moody et al., 2015).
Tabla 2. Principales ventajas del modelo SROI.
1 |
Favorece el diálogo con los stakeholders, involucrándolos significativamente en todo el proceso. |
2 |
Apoya a una organización en la identificación de sus objetivos, así como de los stakeholders. |
3 |
Se centra en los aspectos importantes para los grupos de interés relevantes (materialidad). |
4 |
Facilita discusiones estratégicas, ayudando a entender y maximizar el valor social generado. |
5 |
Ayuda a enfocar recursos apropiados y manejar outcomes inesperados (positivos o negativos). |
6 |
Proporciona instrumentos útiles para el seguimiento de iniciativas, proyectos, organizaciones. |
7 |
Permite tomar decisiones más efectivas e informadas (sobre inversión, gestión o selección). |
8 |
Traduce el valor social en datos cuantitativos; fácilmente entendibles por todos los usuarios. |
9 |
Puede ser un instrumento básico para la gestión del cambio en las organizaciones del sector. |
10 |
Eleva el perfil de la organización, mejora sus proyectos y hace sus ofertas más persuasivas. |
11 |
Refuerza el enfoque triple bottom-line (ámbitos económico, medioambiental y social). |
12 |
Permite la comparación entre aportaciones realizadas por distintas organizaciones o proyectos. |
13 |
Demuestra la importancia de trabajar con organizaciones y personas que crean cambios. |
Fuente. Elaboración propia a partir de Nicholls et al. (2012) y Arguedas et al. (2019).
Si bien esta metodología presenta múltiples ventajas, también es posible identificar una serie de limitaciones o debilidades que actualmente dificultan su aplicación efectiva por parte de las empresas sociales (Corvo et al., 2021; Feor et al., 2023). En este sentido, en los últimos años se han publicado diversos estudios con análisis críticos sobre las deficiencias y desventajas de la metodología SROI (entre los más recientes, Bellucci et al., 2019; Corvo et al., 2022; Glowacki, 2021; Morón y Klimowicz, 2021; Nielsen et al., 2021).
Tabla 3. Principales inconvenientes del modelo SROI.
1 |
Carece de un enfoque normativo claro. |
2 |
Aborda los principios de igualdad y equidad indebidamente, otorgando mayor importancia a colectivos o grupos que en verdad no son los más necesitados. |
3 |
El enfoque de este modelo en las partes interesadas puede resultar limitado. |
4 |
El cálculo de la ratio SROI es susceptible de sufrir sesgos, sobre todo ante resultados negativos. |
5 |
Los métodos estadísticos empleados en SROI no permiten plantear pruebas de inferencia, por lo que la aplicación de métodos estadísticos para inferir causalidad puede ser limitada. |
6 |
La teoría y metodología de valoración en que se basa SROI están obsoletas e incompletas. |
7 |
El significado de la ratio SROI es un concepto vago, que no se ha clarificado suficientemente. |
Fuente. Elaboración propia a partir de Fujiwara (2015).
A las limitaciones anteriores resulta necesario añadir la subjetividad de la metodología, que se aprecia en los supuestos de partida, así como en la dificultad para la obtención de información y datos sobre los resultados de la organización, proyecto o iniciativa. Esta situación se complica a la hora de describir los cambios atribuidos y en el momento de estimar los impactos sociales intangibles (Forética, 2018; Nielsen et al., 2021). De forma similar, se evidencia una elevada dificultad en la medición del impacto y en la monetización. De hecho, no existen guías sobre cómo medir los factores correctores de la ratio, y ello genera cierta problemática en la aplicación de métodos estadísticos de inferencia para el cálculo del SROI (Ebrahim y Rangan, 2014; Molecke y Pinkse, 2017; Solórzano-García et al., 2019).
También se intuyen ciertas rupturas o fallas entre las fases del método que vinculan outcomes con indicadores y proxies financieros. Por último, se manifiesta una escasez de criterios de valoración homogéneos, hecho que dificulta la comparabilidad, que actualmente sólo es real entre proyectos, organizaciones o políticas que sean muy similares y que pertenezcan al mismo sector (Arguedas et al., 2019).
En definitiva, son múltiples los retos existentes para la utilización y reconocimiento de la metodología SROI como herramienta universal para la valoración y comparación de proyectos. Se requieren, por tanto, mejoras que guíen al SROI hacia su estandarización; lo que indudablemente conferiría una mayor solidez, consistencia y fiabilidad a este modelo.
La metodología empleada ha consistido en el análisis en profundidad de once casos de estudio. Se trata de memorias SROI de distintos proyectos destinados a abordar una serie de problemas concretos, pero todos ellos centrados en la mejora de la situación y papel de la mujer en el conjunto de la sociedad. Los proyectos y sus mediciones de impacto fueron desarrollados por diferentes entidades, en distintos enclaves y momentos temporales. La particularidad del estudio es que se analiza un conjunto de memorias SROI de proyectos con una temática común de igualdad de género, pero que presentan grandes diferencias, tanto espaciales como temporales. La selección de las memorias se ha basado, fundamentalmente, en su heterogeneidad, y en la disponibilidad para su consulta.
Estas memorias se analizaron para extraer los outcomes, indicadores y proxies de cada uno de los stakeholders de los proyectos y para cada uno de sus resultados cuantitativos, los cuales se recopilaron en una hoja de cálculo. No obstante, durante el proceso de lectura y análisis de las memorias seleccionadas, se detectaron dificultades para la sistematización de los procesos, asociadas a la metodología SROI, que requerían una mayor consideración y profundización desde el punto de vista de la investigación.
Por lo tanto, el estudio se centró en identificar las dificultades al analizar las memorias y cuestionar la influencia de estos problemas en la utilización y reconocimiento del SROI como método válido para medir y comparar el impacto de los proyectos. El objetivo último del estudio consiste en evidenciar, a través de ejemplos reales, las limitaciones de la metodología SROI, considerando aportaciones previas sobre el tema e indagando en la existencia de otras deficiencias no contempladas hasta la fecha.
En síntesis, se cuestionaron los datos presentes en las once memorias a la luz de las teorías anteriormente reflejadas, y se consignaron las impresiones, observaciones, faltas de información, errores y diferencias existentes entre unas y otras. Esto facilita una mejor comprensión de las dificultades asociadas a la aplicación práctica de la metodología SROI.
Tabla 4. Relación de memorias de medición de impacto social analizadas.
Nombre del proyecto |
Entidad vinculada |
Página web para su consulta |
Nombre y año del documento |
Ardoyne Women’s Group (AWG) |
Women’s Support Network (WSN) |
https://socialvalueuk.org/report/womens-support-network-wsn-sroi-pilot-reports/ |
Women’s Support Network (WSN): SROI Pilot Reports (2014) |
Women’s Information Northern Ireland (WINI) |
|||
Girls Soccer |
Actifit |
Girls are on the Soccer Field (2016) |
|
Ashiana Network |
Women’s Resource Centre (WRC) |
Hidden Value: Demonstrating the extraordinary impact of women’s voluntary & community organisations (2011) |
|
Heba Women’s Project |
|||
Rape Crisis South London (RASASC) |
|||
South Sudan Women’s Skills Development (SSWSD) |
|||
Women and girls Network (WGN) |
|||
Irish Traveller Movement |
Irish Traveller Movement in Britain (ITMB) |
Traveller Women’s Community Development Programme: A Social Return on Investment (SROI) Evaluation (2011) |
|
Justice42 |
Justice42 |
https://socialvalueuk.org/report/justice42-social-return-on-investment-forecast/ |
Justice42 Social Return On Investment Forecast (2019) |
WezeshaDada |
Community Media Trust (CoMeT) |
WezeshaDada: A Media and ICT Training Project in Kisumu and Nairobi, Kenya (2019) |
Fuente. Elaboración propia.
Tabla 5. Aproximación a los proyectos analizados.
Proyecto |
Objetivo prioritario |
Principal sector beneficiario |
Ardoyne Women’s Group (AWG) |
El programa Young Women, desarrollado por AWG en Belfast, tiene como objetivo derribar barreras relacionadas con ciclos de pobreza, desempleo y falta de educación de las mujeres. |
Mujeres jóvenes (entre 11 y 17 años) que residen en Belfast |
Women’s Information Northern Ireland (WINI) |
El programa Champions surge con el objetivo de mejorar la salud y reducir las desigualdades existentes en áreas vulnerables de Belfast. |
Mujeres ancianas que residen en Belfast |
Girls Soccer |
Girls are on the soccer field es un programa cuyo principal objetivo es fomentar un espíritu de equipo entre las participantes y promulgar valores como: transparencia, justicia o sensibilidad. |
Niñas entre 10 y 12 años que estudian en la escuela primaria Tepebaşı, en Turquía |
Ashiana Network |
El principal objetivo de Ashiana Network es lograr la confianza y reconstruir la autoestima de mujeres de diversas comunidades que han sido víctimas de violencia doméstica o sexual. |
Mujeres jóvenes, entre 16 y 30 años, residentes en Reino Unido, que han sido víctimas de violencia doméstica o sexual |
Heba Women’s Project |
Heba Women’s Project tiene como objetivo principal mejorar el desarrollo de habilidades de las participantes y su inclusión en la sociedad |
Mujeres aisladas |
Rape Crisis South London (RASASC) |
RASASC es un proyecto especializado en la defensa, asesoramiento y apoyo a mujeres supervivientes de cualquier forma de violencia sexual. Su objetivo es proporcionarles habilidades prácticas y pomover una mejor salud mental y emocional. |
Mujeres (a partir de los 14 años) que hayan sufrido alguna forma de violencia sexual |
South Sudan Women’s Skills Development (SSWSD) |
SSWSD es una organización especializada en ayudar a mujeres y niños sudaneses en el exilio. Su objetivo es aliviar la pobreza, preservar la cultura y mejorar las oportunidades y las perspectivas de futuro de las mujeres y niños sudaneses. |
Mujeres y niños sudaneses en el exilio |
Women and girls Network (WGN) |
WGN tiene como objetivo apoyar a mujeres afectadas por violencia de género que están experimentando dificultades de salud mental. |
Mujeres que han sufrido violencia de género |
Irish Traveller Movement |
El objetivo de este proyecto es preparar y formar a las participantes para que puedan acceder a un empleo remunerado o a una educación superior en el futuro. |
Mujeres nómadas y de etnia gitana |
Justice42 |
Justice42 es una empresa social que busca diseñar sistemas alternativos para mejorar la calidad de los procedimientos y resultados de los divorcios. |
Parejas que se divorcian en los Países Bajos |
WezeshaDada |
WezeshaDada es un proyecto cuyo objetivo es que las mujeres participantes adquieran habilidades que les permitirán acceder a mejores oportunidades laborales y mayores ingresos. |
Adolescentes y mujeres jóvenes de entre 16 y 24 años en Kenia |
Fuente. Elaboración propia a partir de las memorias analizadas.
La lectura en profundidad de las once memorias ha revelado que, aunque todas están basadas en los planteamientos de la Guía SROI, cada una estructura y presenta la información de forma diferente. En algunas memorias, se hace referencia a las seis etapas del análisis SROI, mientras que en otras esta estructura no es tan evidente. Por ejemplo, el documento Hidden Value (Women’s Resource Centre) incluye un apartado de metodología, previo al análisis de los cinco proyectos que en éste se tratan, en el que se explican las diferentes fases llevadas a cabo. Lo mismo ocurre en el informe sobre WezeshaDada, y en la memoria del proyecto Irish Traveller Movement, que cuenta con un apartado de revisión del proceso de análisis SROI, donde se nombran y explican las etapas. En cambio, estas fases no se mencionan explícitamente en las memorias restantes, aunque sí pueden intuirse en sus índices (Girls Soccer, Justice42) o en un apartado de introducción a la metodología SROI (Ardoyne Women’s Group y Women’s Information Northern Ireland).
En línea con esta primera consideración, se han detectado otras diferencias destacables entre los documentos, especialmente en lo relativo a su formato. Algunas de las memorias incluyen mapas de impacto y gráficos visuales (como Hidden Value) o tablas–resumen de los aspectos clave para el cálculo del SROI (como en Ardoyne Women’s Group, Women’s Information Northern Ireland, Irish Traveller Movement o Girls Soccer); lo que facilita la comprensión del proceso. No obstante, en otras memorias se percibe una sobreutilización de la literatura y una mayor desorganización en los contenidos, lo cual dificulta su lectura y la interpretación de sus datos, como es el caso de las memorias de Justice42 y WezeshaDada.
En definitiva, se ha observado que no existen criterios uniformes a la hora de redactar una memoria de medición de impacto social basada en la metodología SROI, lo que dificulta considerablemente la comparabilidad de memorias. Esta limitación también es señalada por Arguedas et al. (2019), quienes indican que actualmente sólo es posible comparar proyectos, organizaciones o políticas que sean muy similares y pertenezcan al mismo sector. No obstante, los documentos analizados demuestran que este proceso no resulta sencillo ni siquiera entre proyectos de temática análoga.
Aunque esta es una limitación importante del SROI, no es la única. Dado que el resto de las deficiencias detectadas tienen mayor relación con los contenidos de las memorias, a continuación, se presentan los resultados obtenidos en el análisis efectuado sobre cada memoria. Este estudio se ha centrado en evaluar exclusivamente las tres fases previas al cálculo de la ratio SROI, ya que son clave para lograr una correcta medición del impacto social generado, y es precisamente en ellas donde se han evidenciado los problemas fundamentales de este modelo.
Figura 2. Primera fase del análisis SROI.
Fuente. Elaboración propia a partir de la Guía SROI.
En las once memorias analizadas se establece de forma adecuada el alcance de los proyectos sobre los cuales se realiza el análisis SROI. Adicionalmente, todos estos documentos incluyen una descripción de los antecedentes de las asociaciones que desarrollan los proyectos, y reflejan los objetivos que persigue cada iniciativa.
Asimismo, todas las memorias llevan a cabo una identificación de sus principales stakeholders. Algunas incluso presentan un análisis de materialidad, en base al cual han decidido qué stakeholders incluir y cuáles excluir de sus estudios SROI. Un ejemplo de ello es la memoria que contempla los proyectos Ardoyne Women’s Group y Women’s Information Northern Ireland, que incluye dos apartados dedicados a stakeholders y materialidad, en los que se exponen los grupos de interés y su relevancia.
Aunque en ambos proyectos se identifica un conjunto amplio de stakeholders, la cifra final considerada en el análisis disminuye al excluir algunos de los señalados inicialmente. Esta exclusión se debe principalmente a la dificultad para encontrar información sobre ellos y a la complejidad de medir el cambio y los resultados obtenidos.
En línea con este razonamiento, se han detectado ciertas incongruencias en algunos de los stakeholders que sí se han incluido en el análisis. En el caso de Ardoyne Women’s Group se ha considerado a varios financiadores como stakeholders, pero la memoria no justifica correctamente los outcomes de algunos de ellos, por lo que quizá hubiera sido preferible no incluirlos o haber definido sus resultados con mayor claridad. En cuanto a Women’s Information Northen Ireland, se ha considerado a la Lotería Nacional como stakeholder y se establece que sus outcomes serían los mismos que los dispuestos para el resto de stakeholders, hecho que resulta bastante peculiar y confuso.
Tal y como se mencionó anteriormente, todas las memorias abordan la identificación de los stakeholders, aunque no de la misma manera. De hecho, en la memoria del proyecto Irish Traveller Movement se identifican los stakeholders, se proporciona información sobre cada uno de ellos y se indican sus respectivos objetivos. Paralelamente, en la memoria de Justice42 se incluye una descripción completa de los stakeholders, aunque se excluyen seis grupos de interés.
Girls Soccer, por su parte, presenta un importante matiz diferenciador, y es que no sólo identifica a sus principales grupos de interés, sino que, además, detalla las herramientas empleadas para fomentar su la participación de éstos y favorecer una comunicación abierta con cada uno de ellos. Similar es el caso de WezeshaDada que, a mayores, alude a las limitaciones del análisis de stakeholders. Involucrar a los grupos de interés es precisamente una de las dificultades manifestadas en dicha memoria.
Por último, cabe destacar la particularidad del documento Hidden Value, en el cual se indican los canales de comunicación empleados, pero no llega a identificarse de forma clara a los stakeholders, quienes únicamente figuran en mapas de impacto y gráficos.
Sin lugar a duda, en esta primera fase, se han evidenciado notables diferencias entre memorias. Las carencias e incoherencias en la identificación y en la comunicación con ciertos stakeholders son la prueba de que el enfoque de este modelo respecto a los stakeholders o partes interesadas puede resultar en cierto modo limitado, tal y como apunta Fujiwara (2015).
Figura 3. Segunda fase del análisis SROI.
Fuente. Elaboración propia a partir de la Guía SROI.
Esta segunda etapa es crucial en el análisis SROI. La acción principal que requiere es preparar un mapa de cambios en el que se detallen los recursos (inputs) utilizados para llevar a cabo las distintas actividades (outputs), las cuales posteriormente generan unos resultados concretos (outcomes) para los stakeholders.
En este sentido, las once memorias analizadas proporcionan, generalmente a través de tablas, información sobre los inputs, outputs y outcomes asociados a cada uno de los stakeholders identificados e implicados en sus respectivos estudios SROI.
Aunque algunos inputs tienden a repetirse en las distintas memorias (principalmente tiempo y financiación), los outputs y outcomes son más variados, ya que dependen en mayor medida del tipo de proyecto y de las perspectivas de los stakeholders involucrados. A pesar de que la temática de fondo de estos once proyectos es similar, las memorias presentan outputs y outcomes significativamente diferenciados. Este aspecto es positivo y enriquece las memorias, ya que demuestra un esfuerzo por reflejar resultados reales en función de las acciones que han involucrado a cada grupo de interés.
Muchos de estos outcomes están asociados a una elevada dificultad de identificación, principalmente debido a su carácter intangible. Por ejemplo, el aumento de la confianza en el caso de Ardoyne Women’s Group, el empoderamiento en Girls Soccer o la mejora de la autoestima en Ashiana Network. Este tipo de resultados requieren mayores esfuerzos para una correcta medición y cuantificación, problemática que se aborda en la siguiente etapa.
No obstante, la determinación de ciertos outcomes no es la única acción compleja en esta segunda fase. La valoración de los inputs también puede catalogarse como un proceso particular. En una de las memorias analizadas, la correspondiente a Irish Traveller Movement, no se llega a incluir dicha cuantificación de forma explícita. En el resto de memorias las valoraciones de inputs se presentan en términos financieros, aunque la mayoría son estimaciones.
En síntesis, las principales acciones a desarrollar a lo largo de esta etapa (identificación y descripción de inputs, outputs y outcomes, valoración de inputs) ponen de manifiesto la subjetividad de la metodología. Esta limitación no solo es evidente en los supuestos de partida, tal y como se ha demostrado, sino que también se complica a la hora de obtener información sobre los resultados de cada proyecto; actividad que es el enfoque de la siguiente etapa.
Figura 4. Tercera fase del análisis SROI.
Fuente. Elaboración propia a partir de la Guía SROI.
Entre las principales ventajas del SROI frente a otras herramientas de medición de impacto social, destaca la conversión de los impactos generados en datos cuantitativos. Esta transformación requiere una correcta valoración de los outcomes definidos en cada caso. La teoría indica que en este punto deben considerarse indicadores para los outcomes, los cuales servirán para recoger evidencia sobre cada uno de ellos y permitirán, en última instancia, evaluar su importancia relativa y asignarles un valor final (proxies).
No obstante, el análisis de las once memorias ha revelado que, en la práctica, este proceso entraña numerosas dificultades. De hecho, en esta etapa se ha identificado una de las limitaciones más relevantes del SROI: la existencia de rupturas o fallas entre las cadenas causales que vinculan outcomes con indicadores y proxies financieros (Ebrahim y Rangan, 2014; Liket et al., 2014; Solórzano-García et al. 2019).
Prueba de ello es el grupo de memorias “Hidden Value”, en el cual se utiliza erróneamente el término “indicador”; confundiéndolo con outcomes. Aunque en los distintos mapas de impacto y en las explicaciones del documento se menciona el término “indicador”, no se trata realmente de referencias que evidencien si se ha producido un cambio o en qué medida; en realidad, no se están considerando indicadores ni proxies que moneticen dichos indicadores.
Otro ejemplo a destacar es la memoria de los proyectos Ardoyne Women’s Group y Women’s Information Northern Ireland, en la que sí se recogen indicadores adecuados, pero de los cuales no se indica la fuente. Esto podría deberse al carácter intangible o a la subjetividad de algunos outcomes. La falta de información de este tipo ha llevado a autores como Mulgan (2010) a pensar que las mediciones del análisis SROI suelen estimar los resultados de forma arbitraria. Esta consideración supone una limitación del método porque puede afectar drásticamente al valor final calculado y reducir, por tanto, su fiabilidad. Una fiabilidad que también debe cuestionarse ante la ausencia, en ciertas memorias, de proxies financieros que expliquen verdaderamente la medición y la monetización de los distintos indicadores. Es el caso de Justice42 o de WezeshaDada.
Independientemente del dato o información omitida en las memorias (bien sea el indicador del outcome, el proxy o la fuente de alguno de estos), la realidad evidenciada a través de los once ejemplos analizados es que, en la mayoría de los casos, se produce un salto de causalidad desde los outcomes hasta el valor final presentado. Así pues, se desconoce la manera en que se ha efectuado la cuantificación económica; principal acción de esta etapa. La falta de datos concretos impide evaluar los pasos que generan el valor y que finalmente se manifiestan en forma de ratio SROI.
Según Fujiwara (2015), el significado de la ratio SROI es un concepto vago, que no se ha clarificado lo suficiente. Sin embargo, a la luz de los resultados recién expuestos, sería conveniente esclarecer previamente ciertos términos que condicionan dicho resultado, facilitando así la comprensión del proceso y la interpretación final de la ratio. Dado que las principales deficiencias detectadas están asociadas precisamente a la definición de indicadores y a la determinación de proxies financieros que los moneticen, una posible solución sería el establecimiento de una serie de indicadores de referencia para proyectos de temática similar. Ello simplificaría la aplicación de la metodología y favorecería la evaluación de la cadena de pasos seguida para monetizar el impacto social generado.
La proliferación de las empresas sociales, que desarrollan su actividad económica considerando las implicaciones que sus acciones pueden tener en sus grupos de interés y en la sociedad en general, es una realidad bien conocida en la actualidad. De hecho, estas organizaciones se han configurado en los últimos años como actores clave para la consecución de un desarrollo más justo y sostenible.
Ante un desafío de tal envergadura, es necesario que este tipo de entidades analicen el impacto que generan mediante sus proyectos e iniciativas. Si bien existen múltiples metodologías para la medición del impacto social (Corvo et al., 2021), solamente una permite atribuir valor monetario a ese impacto: el análisis SROI (Hernández-Marín y Solórzano-García, 2021).
En esta investigación se han identificado notables diferencias existentes entre las memorias SROI de once proyectos reales que promueven la igualdad de género, y se ha detectado una falta de información en la mayoría de éstas, lo cual revela importantes deficiencias de este método. Las principales limitaciones detectadas incluyen la ausencia de un criterio uniforme para la redacción de las memorias, la dificultad de comparabilidad entre éstas, un enfoque limitado en las partes interesadas, la subjetividad del método y, especialmente, la ruptura de causalidad que se produce en este proceso. Estas limitaciones concuerdan con las teorías propuestas hasta la fecha por diversos autores (Bellucci et al., 2019; Corvo et al., 2022; Glowacki, 2021; Morón y Klimowicz, 2021; Nielsen et al., 2021). Esto pone de manifiesto la complejidad de la aplicación del SROI en la práctica, lo que impide su utilización a nivel global como herramienta óptima de medición de impacto social.
De acuerdo con Molecke y Pinkse (2017), la medición de impacto social ya no constituye, en la práctica, una tarea única o exclusiva de las empresas sociales, puesto que cada vez es mayor el número de empresas con ánimo de lucro que buscan mejorar su desempeño en las tres vertientes, social, medioambiental y financiera, evaluando su impacto social. En este contexto, surge la necesidad de mejorar las metodologías de evaluación del impacto social existentes, con el fin de que proporcionen medidas homogéneas y valores comparables.
A la luz de los resultados expuestos y analizados, se observa que el SROI no cumple, por el momento, estos nuevos requerimientos. No se trata de una metodología estandarizada, sino de un concepto abierto con importantes problemas diagnosticados. Sin embargo, las bonanzas del SROI y las bases sobre las que se asienta lo convierten en un método interesante y con gran proyección (Moody et al., 2015). Por tanto, se sugiere llevar a cabo un proceso de homogeneización de esta metodología, encaminado a reforzar su cadena causal o marco lógico, para clarificar las fases a realizar y facilitar la aplicación del método a quienes deseen conocer el impacto social generado.
Dado que se han evidenciado saltos informativos (outcomes–indicadores–proxies) en las memorias, una propuesta lógica consiste en realizar un debate o puesta en común entre las organizaciones que abordan esta problemática y, a partir de ahí, tratar de alcanzar un consenso sobre los indicadores más adecuados para efectuar este tipo de análisis.
De igual forma, el desarrollo de estudios futuros en los que se considere un corpus más amplio de memorias de medición de impacto social podría contribuir a completar la presente investigación y facilitar la detección de otras deficiencias del modelo. En línea con este razonamiento, sería enriquecedor ampliar el campo de análisis y realizar un nuevo estudio sobre un conjunto de memorias que aborden otra temática diferente, para comparar los resultados obtenidos y extraer conclusiones que permitan mejorar la metodología utilizada.
Sin lugar a duda, queda un largo camino por recorrer para aplicar el SROI de manera estandarizada. No obstante, en un contexto en el que el impacto social está ganando relevancia más allá del sector social, es conveniente trabajar en esta dirección para que la atribución de un valor monetario al impacto social pase de ser un reto a una realidad.
Amaro Mejías, L. (2014). Metodología SROI: aplicación de las primeras fases al proyecto de fortalecimiento de la Cooperativa de catadores de COOCAMARJI (Brasil). [Master Thesis, Universidad Nacional de Educación a Distancia (España); Telefónica]. E-spacio UNED.
Arguedas Sanz, R., Martín García, R., González Arias, J., & Segovia San Juan, A.I. (2019). Monitorización y evaluación de la innovación social: Análisis de la realidad en el Tercer Sector de Acción Social y propuesta de una metodología. Parte II: Medición del Impacto Social. Universidad Nacional de Educación a Distancia (UNED).
Asociación Española de Fundaciones (AEF) & European Venture Philanthropy Association (EVPA). (2015). Guía práctica para la medición y la gestión del impacto. Biblioteca Fundación Once. Referencia: 0063/2017. https://biblioteca.fundaciononce.es/publicaciones/otras-editoriales/guia-practica-para-la-medicion-y-la-gestion-del-impacto.
Bellucci, M., Nitti, C., Franchi, S., Tesi, E., & Bagnoli, L. (2019). Accounting for social return on investment (SROI): The costs and benefits of family-centred care by the Ronald McDonald House Charities. Social Enterprise Journal, 15(1), 46-75. https://doi.org/10.1108/SEJ-05-2018-0044.
Clifford, J. (2015). Métodos propuestos para la medición del impacto social en la legislación de la Comisión Europea y en la práctica relativa a FESE y EaSI. Subgrupo de GECES sobre medición del impacto 2014. Comisión Europea. https://doi.org/10.2767/28877.
Comisión Europea. (2015). La iniciativa de emprendimiento social de la Comisión Europea [Folleto]. Comisión Europea Ref. Ares 5946494 – 18/12/2015 https://ec.europa.eu/docsroom/documents/14583/attachments/3/translations/es/renditions/pdf.
Corvo, L., Pastore, L., Manti, A., & Iannaci, D. (2021). Mapping Social Impact Assessment Models: A Literature Overview for a Future Research Agenda. Sustainability, 13(9), 4750. https://doi.org/10.3390/su13094750.
Corvo, L., Pastore, L., Mastrodascio, M., & Cepiku, D. (2022). The social return on investment model: a systematic literature review. Meditari Accountancy Research, 30(7), 49-86. https://doi.org/10.1108/MEDAR-05-2021-1307.
Defourny, J., & Nyssens, M. (2012). El enfoque EMES de empresa social desde una perspectiva comparada. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 75, 7-34. http://ciriec-revistaeconomia.es/wp-content/uploads/CIRIEC_7501_Defourny_y_Nyssens.pdf.
Díaz-Foncea, M., Marcuello, C., & Marcuello, Ch. (2012). Empresas sociales y evaluación del impacto social. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 75, 179-198.
Doherty, B., Haugh, H., & Lyon, F. (2014). Social enterprises as hybrid organizations: A review and research agenda. International Journal of Management Reviews, 16(4), 417-436.
Ebrahim, A., & Rangan, V.K. (2014). What impact? A framework for measuring the scale and scope of social performance. California Management Review, 56, 118–141.
Feor, L., Clarke, A., & Dougherty, I. (2023). Social Impact Measurement: A Systematic Literature Review and Future Research Directions. World, 4(4), 816-837. https://doi.org/10.3390/world4040051.
Forética. (2018). Midiendo el valor del Impacto Social Empresarial. Guía de herramientas de medición y valoración del Impacto Social Empresarial. https://www.foretica.org/midiendo_el_valor_del_impacto_social_empresarial.pdf.
Fujiwara, D. (2015). The seven principle problems of SROI. Social Value UK. https://socialvalueuk.org/resource/the-seven-principle-problems-with-sroi/.
Gertler, P.J., Martínez, S., Premand, P., Rawlings, L.B., & Vermeersch, C.M.J. (2017). La evaluación de impacto en la práctica. Segunda edición. Banco Interamericano de Desarrollo y Banco Mundial. https://doi.org/10.1596/978-1-4648-0888-3.
Glowacki, J. (2021). Social Return on Investment – does the Tool Work in Practice. Social Entrepreneurship Review, 2, 34-40. https://doi.org/10.15678/SER.2021.2.03.
Hernández-Marín, D., & Solórzano-García, M. (2021). SIAMES: Social Impact Advisor and Measurement System. IEEE Technology and Society Magazine, 40(1), 87-95.
Herrero Montagud, M. (2015). Las empresas sociales: un grupo en expansión en el ámbito de la Economía Social. Identificación y análisis de las características identitarias de la empresa social europea y su aplicación a la realidad de los Centros Especiales de Empleo de la economía española. [Tesis doctoral, Universitat de València]. RODERIC (Repositorio de Objetos Digitales para la Enseñanza, la Investigación y la Cultura de la Universitat de València). https://roderic.uv.es/handle/10550/52971.
Kah, S., & Akenroye, T. (2020). Evaluation of Social Impact Measurement Tools and Techniques: A Systematic Review of the Literature. Social Enterprise Journal, 16(4), 381-402. https://doi.org/10.1108/SEJ-05-2020-0027.
Kerlin, J.A. (Ed.). (2009). Social enterprise: A global comparison. Hanover, NH; Tufts University Press.
Liket, K.C., Rey-Garcia, M., & Maas, K.E.H. (2014). Why aren’t evaluations working and what to do about it: A framework for negotiating meaningful evaluation in nonprofits. American Journal of Evaluation, 35, 171-188. https://doi.org/10.1177/1098214013517736.
Molecke, G., & Pinkse, J. (2017). Accountability for social impact: A bricolage perspective on impact measurement in social enterprises. Journal of Business Venturing, 32, 550–568. https://doi.org/10.1016/j.jbusvent.2017.05.003.
Moody, M., Littlepage, L., & Paydar, N. (2015). Measuring Social Return on Investment: Lessons from Organizational Implementation of SROI in the Netherlands and the United States. Nonprofit Management and Leadership, 26(1), 19-38. https://doi.org/10.1002/nml.21145.
Monzón, J.L., Marcuello, C., & Nachar Calderón, P. (22 de febrero de 2013). Empresas sociales y economía social: Propuestas metodológicas para la medición de su impacto socio-económico. [Presentación CIRIEC-España]. Social Economy Category Meeting, Bruselas. Comité Económico y Social Europeo. https://www.eesc.europa.eu/resources/docs/presentation-by-cieiec.pdf.
Morón, D., & Klimowicz, M. (2021). Using the social return on investment (SROI) as a measure of the effectiveness of social innovation projects implemented under public policies. Social Enterprise Journal, 17(2), 302-327. https://doi.org/10.1108/SEJ-12-2019-0098.
Mulgan, G. (2010). Measuring Social Value. Stanford Social Innovation Review, 38-43. https://ssir.org/articles/entry/measuring_social_value.
Narrillos Roux, H. (2012). Economía Social. Valoración y medición de la inversión social (método SROI). Ecobook - Editorial del Economista.
Nicholls, J., Lawlor, E., Neitzert, E., & Goodspeed, T. (2012). A guide to Social Return on Investment. Social Value UK. http://www.socialvaluelab.org.uk/wp-content/uploads/2016/09/SROI-a-guide-to-social-return-on-investment.pdf.
Nielsen, J.G., Lueg, R., & Van Liempd, D. (2021). Challenges and boundaries in implementing social return on investment: An inquiry into its situational appropriateness. Nonprofit Management and Leadership, 31(3), 413435. https://doi.org/10.1002/nml.21439.
Robin, S. (2012). Herramientas de medición del impacto social. Universitat Oberta de Catalunya. PID_00188417. URI: http://hdl.handle.net/10609/56948.
Santos, F., Pache, A.C., & Birkholz, C. (2015). Making hybrids work: Aligning business models and organizational design for social enterprises. California Management Review, 57(3), 36-58.
Solórzano-García, M., González García, N., Contreras Comeche, R., & Navío Marco, J. (2015). Del valor social al impacto social. Aplicación de coeficientes de depuración en el método SROI. Colección: INNAP INVESTIGA. Serie: INNOVACIÓN SOCIAL.
Solórzano-García, M., Guzmán Alfonso, C., Savall Morera, T., & Villajos-Girona, E. (2018). La identidad de la empresa social en España: análisis desde cuatro realidades socioeconómicas. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 92, 155-182. https://doi.org/10.7203/CIRIEC-E.92.9236.
Solórzano-García, M., Navío Marco, J., & Ruiz Gómez, L.M. (2019). Ambiguity in the attribution of social impact: A study of the difficulties of calculating filter coefficients in the SROI method. Sustainability, 11(2), 386.
Las dos autoras han participado de igual manera en la elaboración del artículo.
Esta investigación no ha contado con financiación.