e-Motion. Revista de Educación, Motricidad e Investigación
2018, nº 11, pp. 16-34. ISSNe: 2341-1473
© Copyright: 2018 Grupo de investigación (HUM-643)
Edición Web (www.uhu.es/publicaciones/ojs/index.php/e-moti-on/index)
Influencia de una app en la adherencia a la
práctica deportiva: protocolo de estudio
Manuel Valcarce1, Carlota Díez-Valgo2
1Universitat de Lleida
Email: 1manelv@valgo.es, 2Investmentcarlotadiezrico@gmail.com
RESUMEN: El uso de tecnología en el deporte está proliferando gracias a los
avances para facilitar su práctica y mejorar la adherencia. Más allá de la
adherencia, es importante que la tecnología sea entendida como un medio
facilitador. Habría que preguntarse cuáles son los factores que influyen en la
adhesión al ejercicio físico y explorar las posibilidades de la tecnología. Este
artículo muestra el protocolo de un estudio cuyos objetivos principales son
conocer la influencia de una app vil sobre la adherencia a la práctica
deportiva de usuarios de centros deportivos, así como al propio centro. Se trata
de un estudio experimental, controlado y aleatorizado, caracterizado por
tratarse de un ensayo de campo, con una previsión muestral de 128 sujetos, que
realizarán auto seguimiento de su actividad deportiva durante 8 semanas, en el
grupo experimental a través de una aplicación móvil, en el grupo control de
forma tradicional con rutinas en papel. El reclutamiento de voluntarios comenzó
en enero de 2018, y el primer participante se incluyó en marzo de 2018. En junio
de 2018 se prevé la inclusión del total de los 128 participantes. Se espera que los
resultados estén disponibles en diciembre de 2018. Los resultados ofrecerán
conclusión en relación sobre si los usuarios de centros fitness con menos de 3
meses desde su inscripción que emplean una aplicación móvil para realizar auto
seguimiento de su práctica deportiva se adhieren más a la práctica deportiva
y al centro deportivo que aquellos que realizan su auto seguimiento por medios
tradicionales.
PALABRAS CLAVE: aplicaciones móviles, adherencia, actividad física, fidelidad.
Influence of an app on adherence to sports practice: study protocol
ABSTRACT: The use of technology in sport is proliferating due to advances
to facilitate its practice and improve adherence. Beyond adherence, it is
important to understand that technology as a facilitating medium. We should
ask ourselves what are the factors that influence the adherence to physical
exercise and explore the possibilities of technology. This article shows the
protocol of a study whose main objectives are to know the influence of a mobile
app on the adherence to sport practice of users of sports centers, as well as the
center itself. It is an experimental, controlled and randomized study,
characterized as it is a field trial. This is an experimental, controlled and
randomized study, with a sample forecast of 128 subjects, who will self-monitor
their sports activity for 8 weeks, in the experimental group through a mobile
application, in the control group in a traditional way, routines on paper. The
recruitment of volunteers began in January 2018, and the first participant was
included in March 2018. By June 2018, the inclusion of the total of 128 participants
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 17
is expected. The results are expected to be available in December 2018. The
results will offer a conclusion about the relationship with the users of the fitness
centers with less than 3 months since a mobile application was made to carry
out the self-monitoring of their sports practice, they adhere more to the sports
practice and to the sports center than to the do self-monitoring by traditional
means.
KEY WORDS: mobile applications, adherence, physical activity, loyalty.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 18
1. INTRODUCCIÓN
El uso de tecnología en el deporte está proliferando gracias a los avances para
facilitar su práctica y mejorar la adherencia. Hay que preguntarse qué factores
influencian el uso de los productos tecnológicos: técnicos, sociales, personales, etc. En
este sentido, hay evidencia temprana de que las aplicaciones para mejorar hábitos de
vida saludable son bien recibidas por los usuarios (Payne, Lister, West y Bernhardt,
2015). Por esto, podría ser adecuado aprovechar “la incorporación de técnicas de
autorregulación adicionales, como el establecimiento de objetivos y la formación de
intenciones en la aplicación, para aumentar la participación del usuario y promover el
uso sostenido” (Helander, Kaipainen, Korhonen y Wansink, 2014).
En un estudio realizado en Alemania con metodología cualitativa se analizaron
los factores que llevaban a los usuarios de wearables fitness a comenzar a usarlos, así
como a continuar haciéndolo (retención). A través de “focus group” pudieron concluir
que los factores son diferentes (Canhoto y Arp, 2017). Algunas de las cuestiones
indicadas para adherirse a su uso fueron que los datos fuesen útiles, precisos y
coherentes, que ahorre tiempo, que las rutinas fuesen placenteras, que sea divertido
utilizarlo, etc.
Más allá de la adherencia al dispositivo tecnológico, es importante que ésta sea
enfocada hacia la propia práctica de ejercicio físico, e incluso hacia la fidelización de la
instalación o entidad que preste los servicios de ejercicio físico. Es decir, la tecnología
entendida como un medio facilitador. De hecho, la tecnología podría ser parte del valor
percibido por el cliente, relacionado directamente con la calidad percibida y, por tanto,
también con la satisfacción (García-Fernández, Gálvez-Ruiz, Velez-Colón y Bernal-
García, 2017).
Habría que preguntarse cuáles son los factores que influyen directamente en la
adherencia al ejercicio físico y, desde esas evidencias, comenzar a explorar las
posibilidades que podría ofrecer la tecnología. Una revisión sistemática de 2012, que
exploraba la adherencia en personas mayores, encontró correlación entre la tasa de
adherencia y la frecuencia del entrenamiento, la duración del programa y el número de
participantes (Kohler, Kressig, Schindler, y Granacher, 2012). Otra revisión más
reciente, de 2016, identificó como factores extrínsecos para la mejora de la adherencia
el soporte y la supervisión, el entorno (adecuación a los esquemas personales), la
accesibilidad (distancia, costes, etc.), los horarios de los programas y el contenido de
las sesiones (suficientemente motivadoras) (Morgan et al., 2016).
Ya son varios los autores que han querido conocer si la tecnología, entendida
como un facilitador de la práctica, tenía una influencia significativa sobre la adherencia.
En un estudio experimental de 8 semanas de duración para evaluar la adherencia en
los hábitos de vida saludable emplearon la aplicación Fittle. La retención y la adherencia
fueron mayores en los participantes de la app, así como en los que participaron en
equipos (Du, Venkatakrishnan, Youngblood, Ram, y Pirolli, 2016). Otro estudio
experimental, con la misma duración, en el que combinaron una app con SMS, dado
que evaluaban la eficacia de una aplicación con el uso de mensajes de refuerzo,
comprobaron que aquellos del grupo experimental aumentaron la frecuencia de ejercicio
físico (Voth, Oelke, y Jung, 2016).
Realmente cabe preguntarse si las aplicaciones móviles mejoran la adherencia
a la práctica, también puedan fidelizar al propio centro deportivo, aspecto este último
que todavía está por explorar.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 19
1.1. Objetivos del estudio e hipótesis
El objetivo principal de este estudio es conocer la influencia de la tecnología
sobre la adherencia a la práctica deportiva de usuarios de centros deportivos, así como
al propio centro deportivo.
Los estudios de Du, Venkatakrishnan, Youngblood, Ram y Pirolli (2016) y Voth,
Oelke y Jung (2016), mencionados anteriormente, en los que los hallazgos indicaban
una mayor adherencia a la práctica de ejercicio físico en aquellos sujetos que utilizaban
aplicaciones móviles, hacen pensar en la siguientes hipótesis: a) los usuarios de centros
fitness con menos de 3 meses desde su inscripción que emplean una aplicación móvil
para realizar auto seguimiento de su práctica deportiva se adhieren más a la práctica
deportiva que aquellos que realizan su auto seguimiento por medios tradicionales; b)
esos mismos usuarios se fidelizan más al centro deportivo que aquellos que auto
reportan su actividad por medios tradicionales.
2. MÉTODO
2.1. Diseño del estudio
Se llevará a cabo un estudio experimental donde la muestra se integrará en dos
grupos: control (GC) y experimental (GE). Atendiendo a las características de esta
investigación, en la que las variables de estudio se relacionan de forma inevitable con
cuestiones epidemiológicas (frecuencia de ejercicio físico con la inactividad física y sus
consecuencias patológicas), la metodología que se ha desarrollado está basada en la
teorización de la investigación en epidemiología, como se puede comprobar en la
descripción que se detalla a continuación.
Se ha elegido este tipo de diseño experimental por las ventajas que ofrece en
relación con la fuerza de la inferencia de causalidad, dando respuestas a las causas
sobre fenómenos concretos (Westreich, et al., 2015.).
Para que realmente este estudio se considerase experimental, se han tenido en
cuenta los criterios de Bradford Hill, aún vigentes desde 1965 (Hill, 1965): exponiendo
una metodología claramente definida, identificando los sesgos para eliminar todos
aquellos que fuesen posible, estableciendo unos criterios de diseño y análisis estadístico
que tuvieran en cuenta los factores asociados (especificidad, temporalidad, gradiente)
e interpretando los datos en base al estado del arte.
Concretando sobre el diseño de esta investigación, se trata de un ensayo de
campo, que también se han llamado preventivos. Esta clasificación atiende a la
característica principal de que la experimentación se realiza en condiciones naturales.
Incluso, podríamos clasificarlo como pragmático, similar a los “Point-Of-Care” (Shih,
Turakhia y Lai, 2015), dados los siguientes ítems:
Los participantes se identifican a través de los registros de los centros
deportivos.
Los participantes reciben la atención habitual si la intervención estuviese ya
integrada como servicio del centro.
No se emplean recursos en la fase de reclutamiento, dado que los participantes
se eligen del registro de las bases de datos de los centros deportivos.
No tiene enmascaramiento, para imitar lo máximo posible la práctica profesional.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 20
A ambos grupos se les realizará un cuestionario inicial y otro final, la diferencia
reside en el tipo de intervención que recibirán: apoyo con aplicación móvil (GE) o
tradicional (GC).
El muestro se realiza de forma secuencial. Esto es porque una de las
limitaciones encontradas ha sido conseguir al mismo tiempo todos los participantes para
completar el tamaño muestral previsto y realizar la intervención de forma paralela. Uno
de los criterios de inclusión ha sido el tiempo en el centro deportivo (menos de tres
meses como cliente), por lo que no era viable la espera para el inicio de intervención
hasta que se reclutasen todos los participantes necesarios para completar el tamaño
muestral.
Aun así, para mantener el carácter experimental, que en este caso depende de
que la secuenciación no provocase un diseño con muestro no probabilístico, se realizará
aleatorización previa por bloques de cuatro participantes. Esto genera que la espera
para iniciar la intervención dependa de la configuración de grupos de cuatro.
Todas las variables utilizadas, al igual que las técnicas de estandarización que
las miden, están bien definidas en la comunidad científica, y han sido recogidas por
personal bien entrenado en las mismas. Ello ha minimizado los sesgos de validez
interna.
2.2. Población de estudio
Población diana
La población diana se define en hombres y mujeres de 25 a 54 años nuevos
clientes de centros deportivos fitness (menos de tres meses) con smartphones. Ahora
bien, este estudio se circunscribe a la ciudad de Madrid y según el Padrón Municipal en
abril de 2018, de los 3.246.215 de habitantes, 1.450.938 tenían edades comprendidas
entre los 25 y 54 años (Ayuntamiento de Madrid, 2018). En España, según las
Encuestas de Hábitos Deportivos, en 2010 el 10% del total de los encuestados eran
socios o abonados de algún gimnasio, mientras que en 2015 lo eran un 17,6% del total
(García Ferrando y Llopis Goig, 2010). Tal y como se refleja en el Informe del Mercado
Europeo de Salud y Fitness 2018, realizado por Europe Active y Deloitte (European
Health & Fitness Market Report 2018), en términos de penetración en el mercado el
7,6% de la población europea en 2017 eran miembros de un club de fitness o salud
(9,1% del total de la población mayor de 15 años).
Según la Encuesta de Hábitos Deportivos 2015 (Ministerio de Educación, Cultura
y Deporte, 2015) un 16% de los hombres encuestados estaban abonados o eran socios
de algún gimnasio, mientras que el porcentaje de mujeres ascendía al 19,2%. Dadas las
opiniones de diversos investigadores en gestión deportiva sobre los datos que muestra
la encuesta de 2015, entonces podríamos tomar los valores de la Encuesta de Hábitos
Deportivos 2010 (García Ferrando y Llopis Goig, 2010) en la que el 11% y el 9% de
hombres y mujeres, respectivamente, declaraba pertenecer a un gimnasio o similar.
Esto significaría que la muestra se tendría que componer de, aproximadamente, un
42,64% de hombres, y un 57,37% de mujeres si se toma como referencia la encuesta
2015, y un 55% de hombres y un 45% de mujeres si se toma como referencia la
encuesta de 2010.
Por otra parte, y también tomando como referencia la Encuesta de Hábitos
Deportivos en España 2015 (Ministerio de Educación, Cultura y Deporte, 2015), puesto
que en la de 2005 no se especifican, la pertenencia como miembros o abonados a
gimnasios por franjas de edad es la que se muestra en la tabla 1.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 21
Tabla 1
Distribución por edad de los socios/abonados de gimnasios en la Encuesta de Hábitos Deportivos
2015.
Edad
Total
Gimnasios públicos
De 15 a 24 años
29.5%
20.1%
De 25 a 34 años
26.6%
19.5%
De 35 a 44 años
20.6%
14.0%
De 45 a 54 años
16.5%
10.4%
De 55 años y más
9.0%
4.8%
Los resultados de la encuesta de Life Fitness del año 2017 arrojan otra
distribución en cuanto a franjas de edad (tabla 2), con una muestra de 3.286 sujetos, lo
suficientemente grande como para considerar sus resultados. La mayor parte de los
abonados/miembros de gimnasios parecen encontrarse en la franja de edad desde los
25 hasta los 54 años.
Tabla 2
Distribución por edad de los abonados a centros fitness en la encuesta de Life Fitness de 2017.
Edad
Porcentaje
< 25 años
6.9%
25-34 años
23.4%
35-44 años
37.2%
45-54 años
21.7%
54-65 años
8.7%
Mayor de 65 años
2.1%
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 22
La mayor parte de los miembros y abonados de los gimnasios parecen estar en
las franjas de edad desde los 25 a los 54 años.
La rotación de los centros deportivos fitness es otro de los factores que afecta a
la población diana del estudio, dado que se trata de nuevos clientes de estos gimnasios,
con menos de tres meses. Según un estudio de Rodríguez-Cañamero, García-Unanue,
Peñas, y Gallardo-Guerrero (2015), los clientes que con una antigüedad menor a un
mes eran el 7,2% y el 4,3%, hombres y mujeres respectivamente, y entre 1 y 6 meses
el 35% y el 37,7%, hombres y mujeres respectivamente.
Otras cuestiones que hay que tener en cuenta sobre la población diana, es que
este estudio se realiza en personas con smartphones. Según el Informe Ditrendia 2017:
Mobile en España y en el Mundo, el 88% de la población española son usuarios móviles.
Por otra parte, el uso de apps representa actualmente “el 60% del tiempo total pasado
por los usuarios en el mundo digital”.
Participantes diana
El estudio se realiza en un centro fitness de la ciudad de Madrid, por lo que todas
aquellas personas con una antigüedad de menos de 3 meses como clientes de la
instalación, así como todos aquellos que se inscriben al centro, con edades
comprendidas entre los 25 y 54 años eran susceptibles de ser participantes.
Participantes elegibles
Los participantes elegibles son aquellos que, mostrándose voluntarios, cumplen
los criterios de inclusión y exclusión.
Criterios de inclusión
Edad comprendida entre los 25 y 64 años.
Menos de tres meses de antigüedad como cliente del centro deportivo.
Personas con smartphones.
Criterios de exclusión
Géneros distintos a masculino o femenino.
Personas con alteraciones de salud que puedan causar baja o alterar los
resultados de adherencia por las situaciones de salud que les puedan generar:
o Presencia de daño macrovascular: cardiopatía isquémica (angor o infarto
agudo de miocardio previo), ictus previo de cualquier tipo, insuficiencia
cardiaca congestiva, insuficiencia respiratoria crónica, insuficiencia renal
crónica, insuficiencia hepática crónica.
o Presencia de enfermedades carenciales (desnutrición proteicocalórica,
anemia ferropénica o por déficit de vitamina B12 y/o ácido fólico, …).
o Presencia de enfermedad terminal oncológica o con enfermedad
avanzada de órgano.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 23
o Personas con comorbilidad importante medida por índice de Charlson
mayor de 2.
o Demencia, depresión activa, trastorno de ansiedad, psicosis aguda o
crónica y/o cualquier otra enfermedad psiquiátrica diagnosticada.
o Algún tipo de adicción a tóxico (alcohol, u otras drogas).
o Deprivación sensorial (visual y/o auditiva) que impida la interacción con
la app por el diseño de la misma.
Personas con experiencia previa con apps de ejercicio vinculadas al centro
deportivo.
No haber sido cliente del centro deportivo anteriormente.
Muestra
El cálculo del tamaño muestral se ha realizado en función de la hipótesis, es
decir, a través de contraste de hipótesis. Asumiendo las varianzas iguales, un tamaño
del efecto de 0.50, y una desviación estándar previsible para la variable de la frecuencia
de uso inferior a 1, se estima una muestra de 128 sujetos. Los voluntarios serán
aleatorizados, el 50% al grupo experimental, y el 50% al grupo control.
Desviación estándar (DT)
Tomando como referencia la frecuencia de uso, y en relación con el estudio de
Voth, Oelke y Jung (2016) donde evalúan la eficacia de una aplicación con el uso de
mensajes de refuerzo, el dato de desviación estándar a emplear en el cálculo es el que
muestran post intervención en el grupo experimental sobre la frecuencia de monitoreo
del ejercicio: 0,93.
A mayor DT, mayor debe ser la muestra. Por lo que en función de este dato
quizás se deba variar el tamaño del efecto para justificar la muestra conseguida.
Pérdidas
De cualquier forma, los resultados de estos cálculos deben ajustarse a una
previsión máxima de pérdidas del 15%, para lo que ha empleado la calculadora Fisterra.
La muestra será el total de participantes en el estudio, menos las pérdidas
producidas durante el mismo.
2.3. Selección de la muestra: reclutamiento
Fase 1: selección del centro deportivo.
En un principio el objetivo era realizarlo en una instalación municipal fitness con
gran trayectoria, pero nos encontramos dos limitaciones:
Debíamos reclutarlos personalmente en la instalación.
La retención del centro era alta, y gran parte de las personas a las que se instó
a participar llevaban varios años como usuarios.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 24
Finalmente, el estudio se realizará en un gimnasio mid-market cerca del barrio
de El Retiro de Madrid, donde cabe la posibilidad de reclutar directamente desde la
propia base de datos del centro.
Fase 2: reclutamiento de voluntarios.
Se contactará a telefónica con los participantes diana de los que se dispone
información tras un filtrado en la base de datos del centro deportivo. Dado que la muestra
se obtiene de forma secuencial, cada semana se contacta con aquellas personas que
se inscriben al centro y son susceptibles de participar en el estudio.
En la llamada se les explica el proyecto y la posibilidad de colaboración como
voluntarios. Si están dispuestos a ser sujetos de estudio, se les envía el cuestionario
inicial vía email.
Fase 3: selección de participantes y asignación de grupos.
Cuando cuatro participantes diana resultan seleccionados, tras el análisis de los
resultados del cuestionario inicial en relación con los criterios de inclusión y exclusión,
se aleatorizan en grupo control y grupo experimental.
A todos los participantes diana que se ofrezcan voluntarios se les envía un correo
electrónico indicándoles si han sido seleccionados o no. Aquellos que han sido
seleccionados reciben, además, una llamada para explicarles con más detalle el
proceso, especialmente a los que han sido aleatorizados en el grupo experimental,
información que también tienen disponible en el correo electrónico.
2.4. Variables
Se realizarán dos cuestionarios, uno previo a la intervención y otro al finalizar las
8 semanas. En el primero, además de incluir las variables que sirvan para el estudio de
las hipótesis planteadas, se han incorporado aquellas que pudieran ser factores
asociados y confundir los resultados, y también aquellas con el fin de excluir a aquellos
sujetos que no cumpliesen los criterios predefinidos. En el segundo, solo se incorporan
los datos identificativos del participante y las variables principales de estudio para los
objetivos propuestos.
Identidad de género
Las diferencias en los bitos deportivos de hombres y mujeres son un reflejo de
la expresión social de género. La investigación ha querido explorar este fenómeno,
especialmente en cuanto a las razones que llevan a unos y otros a practicar ejercicio.
Existen diferencias en cuanto a los motivos por los que practican ejercicio, por lo que,
como dicen Craft, Carroll y Lustyk (2014), “dadas estas diferencias de género en las
razones para la práctica físico-deportiva, es plausible que los hombres y las mujeres
puedan experimentar diferentes beneficios del ejercicio resultante de sus atribuciones
hacia éste”.
En el cuestionario aparecen como género hombre / mujer / otros, ya que, si no
se considera ni hombre, ni mujer, habría que descartarlo, por el posible sesgo que
pudiera mostrar, aunque supusiese un porcentaje muy pequeño.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 25
Edad
De la misma forma que para el género, la edad es estudiada como un factor en
relación con los motivos de práctica de ejercicio físico. Es por esto por lo que de igual
manera estas diferencias “podrían tener implicaciones para el diseño educaciones y
motivacional de los programas de ejercicio físico” (Trujillo, Brougham y Walsh, 2004).
La edad se toma desde la fecha de nacimiento, ya que luego para el análisis esto
permite una mayor capacidad de análisis, empleando la categorización en los supuestos
que era más adecuado.
Datos de salud
Comorbilidad. Índice de Charlson
El índice de Charlson es un instrumento para medir la comorbilidad, que es la
presencia de una o más enfermedades y el efecto adicional que pudieran tener. Así
pues, es un medidor de la esperanza de vida en función de los ítems que propone,
evaluados con 1, 2, 3 o 6 puntos. En total son 19 posibles patologías que predicen la
mortalidad: en periodos de menos de 3 años se estima un 12% de mortalidad en
personas con una puntuación de 0, un 26% para aquellas que obtuvieron un índice de
1-2, un 52% para los que puntuaron 3-4, y un 85% para los que obtuvieron 5 o más
puntos. En periodos de seguimiento prolongados, más de 5 años, se corregirá el índice
con el factor de edad, a partir de 50 se suma 1 punto por cada década (Charlson,
Pompei, Ales y MacKenzie, 1987).
Emplear este indicador es una forma sencilla de descartar a todos aquellos cuyo
estado de salud inicial pudiera suponer pérdidas a lo largo del estudio, ya que no solo
es un predictor del riesgo de mortalidad, sino también puede ser un indicador de estados
crónicos de enfermedad que no permitan regularidad en la práctica físico-deportiva.
Nivel de estudios
El nivel de estudios es una variable habitual de que se tiene en cuenta a la hora
de abordar la práctica deportiva de la población, como se puede extraer, por ejemplo,
de los Anuarios de Estadísticas Deportivas editados por el Gobierno de España. En el
2017, por ejemplo, más del doble era el porcentaje de personas que practicaba ejercicio
con estudios universitarios, frente a aquellas que solo contaban con estudios de la
primera etapa de educación secundaria o inferior (Ministerio de Educación, Cultura y
Deporte, 2017).
La categorización de esta variable se realiza de la siguiente manera: inferior a
graduado escolar / graduado escolar / ciclo formativo de grado medio / ciclo formativo
de grado superior / grado, diplomatura o licenciatura universitario / máster universitario
/ doctorado.
Nivel económico
La práctica deportiva puede estar relacionada con el nivel económico.
Recientemente, en 2016, investigadores de la Universidad de Barcelona realizaron una
aproximación ecológica de esta hipótesis con los datos proporcionados por el
Eurobarómetro, y plantearon que “la actividad física está asociada con el porcentaje de
personas que piensan que la situación financiera de su hogar es buena” (Ríos, Monleón-
Getino, Cubedo y Ríos, 2016).
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 26
Son varios los estudios que han explorado la relación del nivel socioeconómico
con el nivel de actividad física, especialmente cuando estos estudios con base
poblacional se han interesado por la prevalencia de enfermedades en los que unos de
los factores pudieran ser la inactividad física y el sedentarismo.
Ingresos anuales
Categorización: menos de 10.000€ / entre 10.000€ y 20.000€ / entre 20.0001€ y
30.000€ / entre 30.001€ y 40.000€ / entre 40.001€ y 50.000€ / más de 50.001€.
Ingresos anuales del hogar
Categorización: menos de 10.000€ / entre 10.000€ y 20.000€ / entre 20.0001€ y
30.000€ / entre 30.001€ y 40.000€ / entre 40.001€ y 50.000€ / más de 50.001€.
Otros aspectos sociales
La estructura familiar se podría hipotetizar que es un factor susceptible de afectar
al empleo del tiempo libre y, por tanto, también a la práctica físico-deportiva.
Número de personas que viven en el hogar.
Categorización: vivo solo / somos 2 /somos 3 / somos 4 / somos 5 o más
personas.
Estructura del hogar.
Categorización: solo / en pareja / en casa de mis padres / comparto piso / con
mis hijos / con mis hijos y mi pareja.
Datos historia deportiva
Se ha teorizado y explorado bastante sobre la adquisición de hábitos saludables
y su consolidación en las diversas etapas de la vida. Hahn decía que “como ocurre a
todos los niveles de la vida humana, se desarrollan durante la infancia las primeras
tendencias a determinados comportamientos, concentrándose luego en intereses que
durante la adolescencia se pueden convertir en categorías de valor decisivas para la
vida futura” (Hahn, 1988). En este caso, es fuera de los objetivos de esta tesis el
análisis de la historia deportiva en función de las etapas de la vida y su relación con la
adherencia actual, pero se realiza una aproximación recogiendo datos sobre la
práctica físico-deportiva previa a la inscripción en el centro.
Práctica de algún deporte federado
Categorías: sí/no.
Primera experiencia en un centro fitness
Categorías: menos de un año / entre 1 y 3 años / entre 4 y 10 años / más de 10
años.
Inscripción en el centro deportivo
Esta variable, además determinará la inclusión del participante al estudio.
Categorías: menos de un mes / entre 1 y 3 meses / más de 3 meses.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 27
Primera vez inscrito al centro deportivo
Esta variable hay que tenerla en cuenta en el análisis de forma primordial, porque
puede que lleve poco tiempo inscrito, pero no sea la primera vez, lo cual condicionará
la experiencia.
Categorías: sí/no
Frecuencia de ejercicio
Esta es la variable principal del estudio, ya que será la que condicione la
evaluación de la adherencia, y a través de la cual se pueden comparar los resultados
de la investigación con otras intervenciones similares.
Categorías: menos de una / entre 1 y 2 / entre 3 y 4 / 5 o más.
Permanencia en el centro por sesión
Categorías: menos de 1 hora / entre 1 hora y 1,5 horas / entre 1,5 y 2 horas /
más de 2 horas.
Experiencia fitness
Categorías: nivel bajo / nivel medio / nivel alto.
Actividades habituales
Categorías: todas las que correspondan a las actividades del centro.
Datos apps y deporte
La relación previa de los participantes puede condicionar la experiencia en la
intervención. Por eso, es necesario recoger estos datos para conocer si
estadísticamente pudieran haber sido factores asociados a la intervención, y por tanto
considerarse variables de confusión.
Experiencia previa con apps
Categorías: sí/no.
Objetivos de las apps utilizadas (en el caso de haberlas utilizado)
Categorías: seguimiento y registro de la actividad deportiva / programas de
ejercicio físico / medición de la condición física / motivación para la práctica de ejercicio
físico.
Uso de aplicaciones del centro deportivo
Categorías: sí/no.
Uso de aplicaciones del centro deportivo para el seguimiento de la actividad
Categorías: sí/no.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 28
Datos de la calidad percibida y la satisfacción con respecto al centro deportivo
Cuestionario CALIDFIT
A pesar de que hay varios cuestionarios de calidad percibida que se han usado
de forma habitual en la literatura, la adaptación cultural de los mismos a la par que la
especificidad del entorno al que se dirigen hacen que lo más adecuado sea elegir una
herramienta que se haya planificado para las entidades donde se desarrolla nuestra
intervención: centros fitness privados de España.
El cuestionario elegido ha sido CALIDFIT, ya que además de haber sido
diseñado específicamente para servicios deportivos fitness en centros privados, se
validó en España, por lo que no es necesaria una adaptación cultural validada adicional
(García Fernández, Cepeda Carrión y Martín Ruíz, 2012).
Motivación hacia la práctica deportiva
Basándonos en Smith y Biddle (1999), la motivación hacia la práctica deportiva
puede ser un condicionante de la adherencia. Es por esto que se ha previsto un
cuestionario que incluye tres ítems relacionados con tres factores: el centro deportivo,
la práctica deportiva y los beneficios de la práctica en relación con el propio centro
deportivo.
¿Qué ganas tiene de acudir al centro deportivo cada día?
¿Cómo de motivado se siente para practicar ejercicio?
¿Cómo de beneficioso considera que es para usted acudir al centro
deportivo?
Este cuestionario, con tres ítems, se ha previsto con escala tipo Likert de 0 a 5.
Puesto que no se pretendía analizar el cuestionario como una sola unidad, sino
comparar los resultados de cada uno de los ítems como entidades independientes, no
ha sido necesaria una validación.
Intenciones de cambiar de centro
La fidelidad al centro deportivo es una de las cuestiones que más preocupan a
los gestores, pero ésta depende de lealtad, que si es “entendida desde una perspectiva
comportamental puede ser medida simplemente con técnicas de observación, mientras
que desde el enfoque actitudinal puede medirse a través de cuestionarios” (Nuviala et
al., 2014).
Se ha realizado un cuestionario con siete ítems sobre cuáles serían las
intenciones de cambiar de centro deportivo, con escala tipo Likert de 0 a 5. Puesto que
no se pretendía analizar el cuestionario como una sola unidad, sino comparar los
resultados de cada uno de los ítems como entidades independientes, no ha sido
necesaria una validación. A la pregunta ¿Qué le motivaría a cambiar de centro
deportivo?”, caben los siguientes ítems de respuesta: - mejor precio, más cercanía al
lugar de trabajo, más cercanía al domicilio, mejores equipamientos, mejores
instalaciones, mejor equipo técnico, mejor equipamiento tecnológico.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 29
2.5. Intervención
La intervención consiste en 8 semanas, tanto para el grupo experimental como
para el grupo control, donde los primeros registran sus entrenamientos y actividades
a través de la aplicación móvil, mientras que los segundos realizan su seguimiento de
las actividades físico-deportivas y los entrenamientos de forma tradicional.
Los registros de datos intra-intervención del grupo experimental los realiza de
forma autónoma el participante e incluyen las respuestas a las preguntas, los retos, la
frecuencia de ejercicio, las actividades, y otros datos de salud y antropométricos que
permite la aplicación (peso).
Grupo experimental
Los participantes del grupo experimental serán formados previamente sobre el
uso de la aplicación, se introducirán sus datos en la misma, y comenzarán a
experimentar y usarla. El alta en la aplicación a continuación es seguida por la
asignación de un plan de entrenamiento por parte del técnico formación.
Para una correcta adaptación a la aplicación, a los tres días del comienzo de uso
se les realiza la siguiente pregunta a través de la misma:
“¿Tienes alguna duda sobre el uso de la app?”
En el caso de que los participantes tengan dudas sobre el uso de la aplicación,
los técnicos contactarán con ellos, vía telefónica, para su resolución.
Durante la primera semana, a los cinco as de iniciar el uso de la app, se le
realizará la siguiente pregunta:
“¿Has hecho algún entrenamiento más además del asignado?”
En caso afirmativo, se les informará de que lo pueden registrar. Esta pregunta
se consideraba necesaria para fomentar el registro de todas las actividades físico-
deportivas.
Para conseguir mayor adherencia, la aplicación permite emplear herramientas
interactivas que fomenten el uso de la app, y además estén dirigidas al objetivo final,
que es el aumento de la práctica de ejercicio físico en el centro deportivo.
Por eso, a partir de la segunda semana se combinarán una serie de preguntas
con retos de gamificación que puedan ser accesibles por cualquiera de los participantes
(dada la heterogeneidad de la muestra), y además comunes a objetivos habituales de
la práctica físico-deportiva en centros fitness.
Semana 2: “¿Cuántos logros personales has conseguido desbloquear?”
Semana 3: “¿Has actualizado tu peso?
Semana 4: “Reto de calorías”. Gamificación inducida.
Semana 5: “¿Cómo te está ayudando el uso de la app en tu entrenamiento?”
Semana 6: “Reto de distancia”. Gamificación inducida.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 30
Semana 7: “¿Estás cumpliendo tu plan de asistencia al centro?”
Semana 8: “Reto de tiempo”. Gamificación inducida.
La pregunta realizada en la semana 5, tras haber superado la primera mitad del
tiempo de intervención, será la única que se ha programado con la posibilidad de realizar
una respuesta abierta. Los datos obtenidos en ella servirán para realizar una
aproximación cualitativa, de tipo exploratorio, del problema de investigación planteado,
con el fin de poder introducir los resultados en la discusión, en relación con el análisis
cuantitativo, y así poder precisar hipótesis para futuras investigaciones, ya que “las
respuestas libres a preguntas abiertas en encuestas proporcionan información muy
valiosa, la cual debe ser tenida en cuenta para enriquecer los análisis cuantitativos”
(Rincón Gómez, 2014).
Grupo control
El grupo control durante las 8 semanas seguirá la rutina habitual que se
desarrolla en el centro deportivo, que en este caso consiste en la asignación de
programas básicos de acondicionamiento físico por parte de los monitores deportivos a
todos aquellos participantes que lo solicitan, dado que es un servicio del propio centro.
No se implementa ningún tipo de autorregistro de la actividad y los
entrenamientos, y tampoco se realizarán retos adicionales con estos participantes, más
allá de las actividades excepcionales del propio centro a las que también tienen acceso
los del grupo experimental.
2.6. Recogida de datos, análisis, resultados y publicación
Previo a la intervención, se realizó el cálculo del tamaño muestral, con el software
Epidat, y se tuvo en cuenta un nivel de confianza (1α) al 95%, la desviación estándar al
0,93 (según referencias de un estudio similar Voth, Oelke y Jung, 2014) y la precisión
al 10%. Se ajustó la muestra a las pérdidas de un 15%.
Para el análisis estadístico se empleará el software SPSS Statistics (IBM,
EE.UU.) en su versión 22.0 para Windows.
Una vez recogidas todas las variables e insertadas en el programa, se realizará
un control de calidad para depurar la base de datos, analizando los valores máximos y
mínimos de todas y así descartar errores en la introducción.
El segundo paso será el análisis descriptivo en el que para las variables
cuantitativas se empleará la media y desviación estándar (se comprobará la normalidad
de las variables a través de la prueba de Kolgomorov Smirnov) y para las cualitativas la
distribución de frecuencias.
En el siguiente paso se compararán los resultados de los pretest y postest. En
este análisis se obtendrán las medidas de efecto, la precisión (IC al 95%), el porcentaje
de mejora y las medidas de asociación.
La diferencia entre el estado basal y final (tras la intervención) se considerará
como la variable eficacia de la intervención. Con ésta se analizarán los factores
asociados a dicha eficacia, con lo que se escogerán variables que pudieran tener un
efecto sobre otros parámetros: sexo (hombre o mujer), rango de edad, historial
deportivo.
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 31
Por último, debemos reflejar cómo se calculará el porcentaje de mejora entre los
resultados previos y post intervención:
Paso 1: restar el resultado previo (R1) al final (R2).
Paso 2: dividir el resultado de la resta entre R1.
Porcentaje de mejora = (R2-R1)/R1
También se empleará metodología cualitativa para el análisis de las respuestas
a la pregunta de la quinta semana de intervención (“¿Cómo te está ayudando el uso de
la app en tu entrenamiento?”) se utilizará la técnica de análisis de contenidos,
codificando las respuestas, otorgando categorías y clasificándolo de manera pragmática
por las atribuciones y aseveraciones que se realicen.
3. RESULTADOS
El reclutamiento de voluntarios comenzó en enero de 2018, y el primer
participante se incluyó en marzo de 2018. En junio de 2018 se prevé la inclusión del
total de los 128 participantes. Se espera que los resultados estén disponibles en
diciembre de 2019.
4. DISCUSIÓN
La transformación digital que se está produciendo a nivel social incluye también
al deporte. Ya son varios los estudios sobre adherencia y tecnología en los que se
evalúa cómo afecta una aplicación móvil a la práctica de ejercicio. Según el
conocimiento de los autores, este sería el primer estudio que además analizase la
relación del participante con el centro, es decir, la fidelización, la calidad percibida, la
satisfacción del cliente.
El diseño ha sido el primero de los hándicaps para conservar en la medida de lo
posible la validez externa e interna. Criterios de inclusión menos estrictos, como es el
caso de este estudio, aumentan la validez externa. Además, esta se ve influenciada de
forma positiva cuanto más se acerca a la realidad el lugar en el que se desarrolla la
intervención, que en nuestra investigación ha sido en el propio gimnasio, bajo la propia
realidad de éste.
La validez interna se ha controlado, en primer lugar, a través del tamaño muestral
y la aleatorización. La capacidad de asignar aleatoriamente a los participantes a
diferentes grupos de estudio es crucial para la validez interna de una investigación, ya
que conduce a un equilibrio de los factores de confusión observados y no observados.
Los sesgos que pudieran haberse deslizado en el estudio, y que afectan a la validez
interna, son los siguientes:
Sesgos de selección: la muestra tiene gran heterogeneidad, como la
población diana, dado que los criterios de inclusión son amplios.
Sesgo del observado: es posible que los sujetos, al intuir la implicación de
mejora entre las pruebas iniciales y finales, hayan forzado los resultados por
efecto de una mayor motivación.
Sesgo de co-intervención: la información recibida por alguno de los agentes
de la investigación podría desencadenar en la realización de intervenciones
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 32
paralelas. Por ejemplo, en el caso de un participante que conoce su situación
de aleatorización al grupo control, y sabe cuál es el protocolo del grupo
experimental, podría buscar alternativas externas para recibir también la
intervención, que en este caso pudiera haber sido el uso de otras
aplicaciones móviles sin el conocimiento del equipo investigador.
Sesgo por pérdidas: la adherencia al ejercicio es uno de los grandes
hándicaps en este tipo de intervenciones, en los que cabe la posibilidad que
la falta de interés a lo largo de las semanas por parte de los participantes
ocasione bajas a lo largo del experimento. De cualquier forma, las pérdidas
que se han producido son asumibles según el cálculo inicial del tamaño
muestral (15%).
Las limitaciones encontradas se relacionan con la capacidad de reclutamiento,
puesto que gran parte de los participantes diana no deseaban mostrarse voluntarios
para el estudio. Es por esto por lo que finalmente se decidió realizar un muestreo
secuencial, que permitiese así aumentar el tamaño de la muestra y, por tanto, la
potencia del estudio.
5. CONCLUSIONES
En conclusión, este ensayo evaluará la repercusión en la adherencia a la práctica
deportiva de los usuarios de centros deportivos que emplean una aplicación móvil para
el auto reporte de su actividad.
6. REFERENCIAS
Ayuntamiento de Madrid. (2018). Banco de datos. Recuperado de http://www-
2.munimadrid.es/CSE6/control/menuCSE?filtro=NS&tablaSerie=SERIES
Canhoto, A. I. y Arp, S. (2017). Exploring the factors that support adoption and sustained
use of health and fitness wearables. Journal of Marketing Management, 33(1-2),
32-60. doi: 10.1080/0267257X.2016.1234505
Charlson, M. E., Pompei, P., Ales, K. L. y MacKenzie, C. R. (1987). A new method of
classifying prognostic comorbidity in longitudinal studies: development and
validation. Journal of Chronic Diseases, 40(5), 373-383. Recuperado de
https://www.ncbi.nlm.nih.gov/pubmed/3558716
Craft, B. B., Carroll, H. A. y Lustyk, M. K. B. (2014). Diferencias de género en hábitos de
ejercicio e informes de calidad de vida: evaluación de los efectos moderadores
de las razones para el ejercicio. Revista Internacional de Artes Liberales y
Ciencias Sociales, 2 (5), 65-76.
Ditrendia. (2017). Informe Ditrendia 2017: Mobile en España y en el Mundo. Recuperado
de https://www.amic.media/media/files/file_352_1289.pdf
Du, H., Venkatakrishnan, A., Youngblood, G. M., Ram, A. y Pirolli, P. (2016). A Group-
Based Mobile Application to Increase Adherence in Exercise and Nutrition
Programs: A Factorial Design Feasibility Study. JMIR mHealth and uHealth, 4(1).
doi: 10.2196/mhealth.4900
EuropeActive y Deloitte (2018). European Health & Fitness Market Report 2018.
Recuperado de
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 33
https://europeactive.blackboxpublishers.com/en/publications/european-health-
fitness-market-report-ehfmr-2018/
García Fernández, J. (2011). La fidelidad de clientes en centros de fitness privados
españoles: La cadena de creación y percepción (Tesis Doctoral). Universidad de
Sevilla, Sevilla, España.
García Fernández, J., Cepeda Carrión, G., Martín Ruíz, D. (2012). La satisfacción de
clientes y su relación con la percepción de calidad en Centros de Fitness:
utilización de la escala CALIDFIT. Revista de Psicología del Deporte, 21(2), 309-
319. Recuperado de http://www.rpd-online.com/article/view/969
García-Fernández, J., Gálvez-Ruiz, P., Vélez-Colón, L. y Bernal-García, A. (2017).
Antecedents of customer loyalty: A case of low-cost fitness centers. En J. J.
Zhang & B. G. Pitts (Eds.), Contemporary Sport Marketing: Global perspectives
(1.a ed., pp. 139-155). Routledge Taylor & Francis Group.
García Ferrando, M. y Llopis Goig, R. Encuesta sobre los Hábitos Deportivos 2010.
Madrid, España: Consejo Superior de Deportes.
Hahn, E. (1988). El entrenamiento con niños. Barcelona, España: Martínez Roca.
Helander, E., Kaipainen, K., Korhonen, I., & Wansink, B. (2014). Factors Related to
Sustained Use of a Free Mobile App for Dietary Self-Monitoring With Photography
and Peer Feedback: Retrospective Cohort Study. Journal of Medical Internet
Research, 16(4), e109. http://doi.org/10.2196/jmir.3084
Hill, A. B. (1965). The Environment and Disease: Association or Causation? Proceedings
of the Royal Society of Medicine, 58(5), 295-300. Recuperado de
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1898525/
Kohler, A., Kressig, R. W., Schindler, C. y Granacher, U. (2012). Adherence rate in
intervention programs for the promotion of physical activity in older adults: a
systematic literature review. Praxis, 101(24), 1535-1547. doi: 10.1024/1661-
8157/a001129
Life Fitness (2017). Zoom Mercado 2017. El mercado del fitness en España.
Recuperado de
https://lifefitness.es/sites/g/files/dtv376/f/Zoom%20Mercado%202017_LifeFitnes
s.pdf
Ministerio de Educación, Cultura y Deporte (2015). Encuesta de Hábitos Deportivos en
España 2015. Madrid, España: Secretaría General Técnica.
Ministerio de Educación, Cultura y Deporte (2017). Anuario de estadísticas deportivas
2017. Madrid, España: Secretaría General Técnica.
Morgan, F., Battersby, A., Weightman, A. L., Searchfield, L., Turley, R., Morgan, H.,
Jagroo, J. y Ellis, S. (2016). Adherence to exercise referral schemes by
participants what do providers and commissioners need to know? A systematic
review of barriers and facilitators. BMC Public Health, 16, 227. doi:
10.1186/s12889-016-2882-7
Nuviala, A., Grao-Cruces, A., Teva-Villén, M. R., Pérez-Ordás, R., García Fernández, J.,
y Bernal-García, A. (2014). Adaptación y validación de la Escala de Intenciones
Influencia de una app en la adherencia a la práctica deportiva: protocolo de estudio
Valcarce
Número 11, 2018 e-Motion. Revista de Educación, Motricidad e Investigación 34
Futuras de Comportamiento en usuarios de servicios deportivos. Universitas
Psychologica, 13(3). doi: 10.11144/Javeriana.UPSY13-3.avei
Payne, H. E., Lister, C., West, J. H., & Bernhardt, J. M. (2015). Behavioral Functionality
of Mobile Apps in Health Interventions: A Systematic Review of the Literature.
JMIR mHealth and uHealth, 3(1), e20. http://doi.org/10.2196/mhealth.3335
Rincón Gómez, W. A. (2014). Preguntas abiertas en encuestas ¿cómo realizar su
análisis? Comunicaciones en Estadística, 7(2), 139156. Recuperado de
http://revistas.usta.edu.co/index.php/estadistica/article/view/1480
Ríos, D., Monleón-Getino, T., Cubedo, M. y Ríos, M. (2016). A Graphical Classification
of European Countries According to Physical Activity Level of Its Citizens. Open
Access Library Journal, 3, 1-11. doi: 10.4236/oalib.1103195
Rodríguez-Cañamero, S., García-Unanue, J., Peñas, L. y Gallardo-Guerrero, L. (2015).
Hábitos futuros de los exclientes en centros deportivos. Journal of Sports
Economics & Management, 5(1), 54-64. Recuperado de
http://sportsem.uv.es/j_sports_and_em/index.php/JSEM/article/view/39
Shih, M. C., Turakhia, M. y Lai, T. L. (2015). Innovative Designs of Point-of-Care
Comparative Effectiveness Trials. Contemporary Clinical Trials, 45(0 0), 61-68.
doi: 10.1016/j.cct.2015.06.014
Smith, R. A. y Biddle, S. J. H. (1999). Attitudes and exercise adherence: Test of the
Theories of Reasoned Action and Planned Behaviour. Journal of Sports
Sciences, 17(4), 269-281. doi: 10.1080/026404199365993
Trujillo, K. M., Brougham, R. R. y Walsh, D. A. (2004). Age differences in reasons for
exercising. Current Psychology, 22, 348. doi: 10.1007/s12144-004-1040-z
Voth, E. C., Oelke, N. D. y Jung, M. E. (2016). A Theory-Based Exercise App to Enhance
Exercise Adherence: A Pilot Study. JMIR mHealth and uHealth, 4(2). doi:
10.2196/mhealth.4997
Westreich, D., Edwards, J. K., Cole, S. R., Platt, R. W., Mumford, S. L. y Schisterman,
E. F. (2015). Imputation approaches for potential outcomes in causal inference.
International Journal of Epidemiology, 44(5), 1731-1737. doi: 10.1093/ije/dyv135