Muñoz,
J.; Gamonales, J.M.; León, K. e Ibáñez, S.J. (2018) Formación de codificadores y fiabilidad de los registros. Una aplicación al goalball / Training of Coders and Reliability. An
Application to the Goalball. Revista Internacional de Medicina y Ciencias
de la Actividad Física y el Deporte vol. 18 (72) pp. 669-691 Http://cdeporte.rediris.es/revista/revista72/artformacion976.htm
DOI: http://doi.org/10.15366/rimcafd2018.72.005
ORIGINAL
FORMACIÓN DE CODIFICADORES Y FIABILIDAD DE
LOS REGISTROS. UNA APLICACIÓN AL GOALBALL
TRAINING OF CODERS AND RELIABILITY. AN APPLICATION TO THE
GOALBALL
Muñoz, J.1,2; Gamonales, J.M.1; León,
K.1,2 e Ibáñez, S.J.1
1 Facultad de Ciencias de la
Actividad Física y el Deporte. Universidad de Extremadura (España) suliwan@unex.es, martingamonales@unex.es, fleon@unex.es, sibanez@unex.es
jesus.munoz@uautonoma.cl, francisco.leon@uautonoma.cl
2 Universidad Autónoma de
Chile (Chile) jesus.munoz@uautonoma.cl,
francisco.leon@uautonoma.cl
AGRADECIMIENTOS Y/O
FINANCIACIÓN
Trabajo desarrollado dentro del
Grupo de Optimización del Entrenamiento y Rendimiento Deportivo (G.O.E.R.D.) de
la Facultad de Ciencias del Deporte de la Universidad de Extremadura.
Este trabajo ha sido parcialmente
subvencionado por la Ayuda a los Grupos de Investigación (GR15122) de la Junta
de Extremadura (Consejería de Empleo e Infraestructuras); con la aportación de
la Unión Europea a través de los Fondos Europeos de Desarrollo Regional
(FEDER).
Código UNESCO / UNESCO code: 5899
Educación Física y Deportiva / Physical Education and Sports
Clasificación Consejo de Europa /
Council of Europe classification: 5. Didáctica y metodología / Didactics
and methodology 17. Otras: Procesos de percepción / Others: Perception
processes
Recibido 13 de
enero de 2017 Received January 13, 2017
Aceptado 11 de
septiembre de 2017 Accepted September 11, 2017
RESUMEN
El propósito de este
artículo es describir el proceso de formación y evaluación de la fiabilidad inter-observador
de los cinco codificadores participantes en un estudio sobre el análisis del
rendimiento competitivo en goalball de alta competición. Los codificadores
participaron en un proceso de formación consistente en seis sesiones
presenciales en grupo y cuatro ejercicios prácticos individuales y no
presenciales, distribuidos en tres fases; Teórica, Práctica y de Entrenamiento.
Tras las dos primeras se procedió al cálculo de la fiabilidad durante el
desarrollo de la fase de entrenamiento a través de la prueba Multirather
Kappa Free, obteniendo finalmente un nivel de fiabilidad inter-observador casi perfecto (>0,86) en todas
las variables definidas para el estudio, lo que permitió la codificación de las acciones de los partidos registrados de
Goalball que conformaron la muestra del mismo.
PALABAS
CLAVES: goalball, metodología observacional, fiabilidad,
formación de observadores, deportes de equipo.
ABSTRACT
The purpose of this
paper is to describe the training process and inter-rather reliability evaluation
of five coders involved in a research about performance analysis of sport in
goalball. The coders participated in a training process, consisted of six
face-to-face sessions and four individual exercises, distributed in three
phases; Theoretical, Practical and training. After the first two phases,
reliability was measured during the development of training period using
Multirather Kappa Free. Finally, an almost perfect level of inter-rather
reliability (>.86) was obtaining in all variables defined for the research,
allowing codificate all goalball match actions that formed the sample.
KEY
WORDS: goalball; observational methodology; reliability;
training of coders; team sports.
INTRODUCCIÓN
El análisis del Rendimiento Deportivo tiene por objetivo
avanzar en el conocimiento del contexto de juego con vistas a mejorar los
resultados futuros (McGarry, 2009) durante el entrenamiento o la competición.
Dentro del Análisis del Rendimiento Deportivo se incluyen todas las
investigaciones que analizan el rendimiento deportivo (Hughes & Bartlett,
2002). Cada vez son más, los investigadores que utilizan este análisis ya que
facilita la toma de decisiones directivas por parte de los entrenadores,
ofreciendo una realidad objetiva del juego, en competición infantil (Ureña,
Morales-Rojas, León & González, 2014),
amateur (García, Ibáñez, Parejo, Feu & Cañada, 2011; Ortega,
Fernández, Ubal, Lorenzo & Sampaio, 2010) o profesional (Blanco, Ibáñez, Antúnez & Hernández-Mendo, 2014;
Ohnjec, Vuleta, Milanović, & Gruić, 2008;
Volossovitch, Dumangane, & Rosati, 2012). Este tipo de estudios permite observar las conductas que influyen en el
rendimiento deportivo en condiciones de calidad, fiabilidad, validez y
precisión (Salas & Hernández-Mendo, 2016), o realizar análisis sincrónico o
concurrente a una fase concreta de estudio (Hileno & Buscá, 2012). Por
tanto, coincide con uno de los aspectos más relevantes en el análisis del rendimiento deportivo,
que no es otro que mostrar la capacidad del estudio para obtener resultados
significativos referentes al contexto de la investigación, a través del
registro riguroso de las variables definidas previamente.
En este proceso intervienen los
observadores-codificadores, que son los responsables de identificar todas las
acciones que se desarrollan en cada contexto analizado. Este procedimiento es
aplicado en diferentes campos de investigación y no solamente en el ámbito del
deporte. González-Díaz & Iglesias-García (2015) plantean el proceso de
trabajo y entrenamiento de los codificadores aplicado a un proyecto de
investigación sobre la publicidad de alimentos. En el ámbito de la atención
temprana, Trenado, Pons-Salvador & Cerezo (2014) estudian la fiabilidad de
la medida que genera el sistema CITMI-R (Sistema de Codificación de la Interacción
Temprana materno-infantil) en su versión inglesa, incluyendo el procedimiento
de entrenamiento de los observadores.
La base del Análisis Notacional aplicado al
estudio de los indicadores del rendimiento deportivo es la observación.
En investigaciones que utilizan metodología observacional al tratarse de
observaciones realizadas por personas y, por tanto dependientes de
interpretaciones subjetivas, es fundamental asegurar que los registros tenga el
mayor nivel de validez y fiabilidad
posible, con el objetivo de garantizar la
objetividad de los datos recogidos. De esta forma la investigación cumple con
sus fines y propósitos con eficacia y rigor, como se muestra en numerosos
trabajos para el análisis de la acción del juego en el deporte, que tienen una
validez científica constatada y verificada (Anguera, 1991) así como por el
relevante crecimiento constante y sostenido de la utilización de la metodología
observacional en la última década en el ámbito deportivo (Anguera &
Hernández-Mendo, 2013, 2014). Por tanto, esta metodología se adapta
correctamente para resolver los problemas de estudios que surgen en la
educación física y el deporte (Blanco et al., 2014). En este contexto surge la
figura del observador como elemento imprescindible y fundamental (Arias, Argudo
& Alonso, 2009a, 2009b).
El observador, no se puede considerar
una herramienta como tal, pero sí se concibe como un individuo formado para la
evaluación de la realidad de conductas perceptibles, y tiene una participación
activa en el proceso de observación (Arias et al., 2009a; Anoz, García &
García, 2004; Piñar, 2005). Anguera, Blanco-Villaseñor, Losada &
Hernández-Mendo (2000) ponen de manifiesto la necesidad de realizar un
adiestramiento de los observadores, para el cual existen distintas propuestas
(Medina & Delgado, 1999; Losada & Manolov, 2014). La formación del
observador se debe concebir como un proceso a través del cual, las personas
encargadas de observar adquieren una madurez conceptual, empírica y tecnológica
que le permite llevar a cabo la observación (Anguera, 2003). Tras el
entrenamiento teórico, los observadores son sometidos a una evaluación práctica
utilizando coeficientes de concordancia o asociación. Según O´Donoghue (2007)
un importante número de métodos de análisis del rendimiento emplean técnicas no
automatizas para la recogida de datos, que pueden propiciar la aparición de
errores que limiten la fiabilidad de los resultados obtenidos.
Desarrollar un programa de entrenamiento
de codificadores riguroso con la finalidad de determinar la fiabilidad y la
objetividad del proceso es importante (Brewer & Jones, 2002). Esta validez
y fiabilidad deben garantizar adecuadamente que los datos recogidos son un
reflejo real del rendimiento del contexto analizado. Para ello, se hace imprescindible
seleccionar herramientas estadísticas necesarias que puedan ser usadas para el
análisis, con el fin de llevar a cabo el estudio de fiabilidad coherente
(Hughes, Cooper & Nevil, 2002). Además, la fiabilidad debe reflejar el
camino por el cual los datos notacionales son analizados, de forma que las
medidas puedan ser hechas en relación a la variables y así presentar los
resultados codificados de forma precisa (James, Taylor & Stanley, 2007). En
este sentido, diferentes trabajos han adaptado la propuesta de formación de
codificadores de Medina & Delgado (1999) para contextos específicos
deportivos como el waterpolo (García, Argudo & Alonso, 2007), el baloncesto
(Arias et al., 2009a), el voleibol (Moreno, & et al., 2002) para ámbitos docentes (Viciana, 1999) o que plantean
la fiabilidad de los observadores en función de su experiencia y formación
(Denis, Lortie & Bruxelles, 2002). Igualmente, hay trabajos que
mencionan el proceso de formación de los codificadores pero no desarrollan el
procedimiento seguido (Chillón & Delgado, 2012; Ortega et al., 2010; Salas
& Hernández-Mendo, 2016; Ureña et al., 2014).
El Análisis Notacional dentro de la Ciencias del Deporte está
demostrando ser una herramienta útil para la mejora del rendimiento
competitivo, siempre que se desarrolle de forma adecuada, pues es un método que
permite registrar y analizar situaciones dinámicas complejas (Hughes &
Franks, 2005). Permite, entre otras aplicaciones, estudiar movimientos
generales o patrones de movimiento en deportes de equipo, relacionados
principalmente con la táctica y la estrategia (Bartlett, 2001). Esta cuestión
de vital importancia hace que sea necesario que las investigaciones pasen por
una serie de fases, que comienza por la correcta definición de las variables
del contexto deportivo a observar. Posteriormente, y según Anguera (2003) el
proceso debe seguir dos etapas: la primera es la de entrenamiento de los
codificadores, que permita aumentar el conocimiento de los aspectos básicos y
del funcionamiento del proceso. Durante la segunda etapa, de adiestramiento, la
formación específica se enfoca en mejorar el conocimiento de los aspectos
básicos del proceso de observación. Después, de forma consecutiva a las dos
etapas propuestas, es necesario medir de forma objetiva que se ha obtenido
un acuerdo elevado entre los codificadores. Para esto se debe utilizar pruebas
estadísticas que calculen la validez y
fiabilidad intra o inter-observador
en relación a las conductas a observar, definidas por las variables y sus
respectivas categorías.
La metodología
observacional se está empleando para mejorar el conocimiento de ámbitos
concretos del deporte, como es el caso del Goalball, deporte de equipo
específico creado para personas con discapacidad visual que se basa en la
audición y en el tacto (Gulick & Malone,
2011). Tras una rigurosa revisión de la literatura científica
en torno al uso de la metodología
observacional en el tópico del análisis del rendimiento deportivo en
goalball, se aprecia que en comparación con otras modalidades los
estudios desarrollados son pocos pero recientes, lo que implica que es un campo
de conocimiento incipiente que está comenzando a generar el interés científico
actual. Abdolmaleki, Mirzazadeh, Allahyari & Ramezani (2015) emplea un cuestionario
propio con el fin de describir los factores que influyen en el rendimiento
relacionados con la técnica, el equipo, la experiencia de los jugadores y de
los entrenadores. Otros estudios se centran en el análisis de los sistemas
defensivos y ofensivos en Goalball, como es el caso de Amorím, Botelho,
Sampaio, Molina & Corredeira (2010), Tosim, Junior, Leitão & Simões (2008a), Tosim,
Massolli & Beltrao (2008b). Por otro lado, Owen (2014) identifica los indicadores
de rendimiento utilizando un análisis de regresión basado en O'Donoghue & Cullinane (2011) de manera específica
para el Goalball. En este sentido destaca el estudio de Molik et al., (2015) que describe el
rendimiento del juego en Goalball en relación con las características
antropométricas de jugadores de élite mediante el uso de una hoja de Eficiencia
de Juego o el de Morato, Da Cunha, Gamero, Magalhães & Almeida (2016) desarrollan y evalúan un sistema de observación
para el análisis de Goalball utilizando la MO sistemática a través de
observadores expertos. Weber & Link (2016)
desarrollan un software para el análisis de las jugadas de Goalball (GoalScout,
GoalView y GoalTracK).
Sin embargo, en la mayoría de estos trabajos no se detalla el
proceso de formación de los codificadores y fiabilidad de los registros. Por
ello, el objetivo de esta investigación es mostrar y describir el proceso de
formación de los observadores participantes en un estudio sobre los Indicadores
de Rendimiento en Goalball mejorando los procedimientos descritos en la
literatura. Este objetivo general, se concreta en dos objetivos específicos: i)
diseñar un proceso de formación de codificadores; ii) analizar la fiabilidad de
los observadores.
MÉTODO
Diseño
Se trata de un
diseño de investigación perteneciente a los estudios
instrumentales (Montero & León, 2007), donde se desarrolla un proceso
de formación de codificadores involucrados en la definición de las variables y
categorías a observar. Es por tanto un trabajo que incluye tanto el diseño como
el estudio de las propiedades de los datos analizados (Servera & Cardo,
2006). Busca una metodología de entrenamiento de observadores que asegure la
fiabilidad en la recogida de datos y, por lo tanto, puede resultar un proceso
útil para ser utilizado en diferentes contextos y líneas de investigación
relacionadas con las Ciencias de la Actividad Física y el Deporte, y en
concreto con la modalidad deportiva del Goalball.
Participantes
Para el presente
estudio se seleccionaron cinco observadores de forma deliberada e intencional
(Anguera, 2003; Rodríguez, Gil & García, 1996). Se trataba de sujetos
expertos capaces de transmitir conocimientos e informaciones acerca del objeto
de estudio, así como realizar valoraciones al respecto que pueden provocar
reflexiones y servir de ayuda al investigador (Escobar & Cuervo, 2008), y
además accesibles (Valles, 2003). Los sujetos seleccionados para formar parte
de la muestra de observadores debían cumplir los cincos criterios de inclusión
establecidos:
Primer criterio. Mostrar interés en el
estudio.
Segundo criterio. Poseer una
titulación universitaria relacionada con la Actividad Física y el Deporte
(Licenciatura / Graduado en Ciencias de la Actividad Física y del Deporte).
Tercer
criterio. Tener formación
específica por haber superado las asignaturas específicas relacionadas con la
actividad física para personas con discapacidad del título universitario.
Cuarto
criterio. Haber practicado de forma inclusiva o
divulgativa la modalidad deportiva, Goalball.
Quinto
criterio. Comprometerse a realizar la observación,
registro y codificación de los partidos asignados.
Estos criterios, buscan que los codificadores tengan un conocimiento
previo con la actividad física y el deporte adaptado, así como la modalidad
deportiva del Goalball y, por tanto, un conocimiento de sus características y
funcionamiento. Los cinco sujetos seleccionados cumplían con los criterios
establecidos.
Variables
Las
variables a observar por los codificadores, así como sus categorías, también
denominados Núcleos Categoriales, con
sus respectivos Rangos de Apertura
(Anguera, 1991), han seguido el procedimiento propuesto por Anguera &
Hernández-Mendo (2013). Es decir, han sido planteadas tras un estudio previo,
en consenso con un comité de expertos (entrenadores de nivel nacional e
internacional y docentes de universidad, expertos en deporte y discapacidad),
tratando de definir de forma precisa cuáles eran las acciones motrices
determinantes susceptibles de ser observadas.
Las variables
observadas por los codificadores se agruparon en bloques. El primero para las
de carácter ofensivo, formado por seis variables relacionadas con las acciones
técnico-tácticas ofensivas, concretamente el jugador implicado en el lanzamiento,
la zona de comienzo, la de finalización, la técnica de lanzamiento, el tipo de
lanzamiento y el resultado del lanzamiento. El segundo bloque agrupa las
variables de carácter defensivo, en concreto seis relacionadas con acciones
técnico-tácticas defensivas como el sistema defensivo, el jugador implicado en
defensa, el tipo de posición defensiva, el tipo de defensa, la zona donde se
produce la acción y el resultado de la acción defensiva. Las variables serán
usadas para el análisis de los indicadores de rendimiento (O´Donoghue, 2010).
Todas se categorizan de forma numérica, con la finalidad de facilitar su
registro y posterior análisis estadístico. Además, de esta forma, se facilita
que sean fácilmente observadas y registradas por los codificadores durante el
proceso de formación.
Materiales
Para el proceso de
formación de codificadores y observación de partidos, así como para su
registro, codificación y tratamiento de los datos, se utilizó: una Plataforma
virtual en entorno Moodle; un manual de presentación (donde se describen las infracciones del
juego así como las variables a observar en el estudio), vídeos
de los partidos de Goalball; software de
análisis de la fiabilidad (Randolph, 2005); y servicio de alojamiento de archivos en la nube.
Procedimiento
Para diseñar y
elaborar un proceso de formación de codificadores para la valoración de las
acciones técnico-tácticas ofensivas y defensivas en el Goalball es
necesario seguir
un procedimiento metódico, en el cual, hay que tener en cuenta muchos factores
tales como la revisión bibliográfica, diseño y elaboración del procedimiento,
selección de la muestra, envió de la documentación, recogida y análisis de los
datos, y elaboración definitiva del instrumento
(Gamonales, León, Muñoz,
González-Espinosa & Ibáñez, 2017).
Por tanto, teniendo en cuenta lo citado anteriormente, y
el planteamiento de Medina & Delgado (1999) se involucró a los
codificadores durante su proceso de formación para la recodificación de las
categorías a observar, con el fin de mejorar de forma constructiva algunas de
las propuestas de formación de codificadores existente en la literatura
científica (Arias et al., 2009a; Moreno et al., 2002). Igualmente, para diseñar el
proceso de formación de los codificadores, se tuvo en cuenta las fases de
entrenamiento y adiestramiento sugeridas por Anguera (2003). Este proceso se dividió en dos momentos: la Selección de los codificadores y el Proceso de formación de los mismos y la evaluación
de la fiabilidad inter-codificador. En la figura 1 se muestran las fases que debieron seguir los investigadores y los
codificadores durante el proceso de formación.
|
|
|
Figura
1. Esquema de las fases de la investigación. |
Los codificadores disponían de las variables y las categorías
definidas previamente y revisadas por el grupo de expertos, lo que permite
simplificar el proceso, obviando la división en las dos fases que estos autores
plantean (preparatoria -con dos subfases- y entrenamiento). Por tanto, en el
proceso de formación y entrenamiento de los observadores del presente estudio,
se plantean finalmente tres fases, desarrolladas en el entorno de la plataforma
virtual Moodle:
1) Fase de Formación teórica, para adquirir conocimientos en torno al contexto deportivo en general y
las variables del estudio en particular. Para esta fase se diseñan
específicamente instrumentos que aproximen de forma efectiva a los
codificadores a la realidad del contexto a observar. Se desarrollan diferentes
tipos de documentos tanto en formato de vídeo, screencast y fragmentos
de partidos, como presentaciones. En la
tabla 1 se muestran los instrumentos
desarrollados y empleados durante la fase de Formación Teórica.
|
Tabla 1. Instrumentos desarrollados y
empleados durante la fase de Formación Teórica. |
|
|
Instrumento |
Descripción |
|
Presentaciones |
Documento
que ofrece de forma breve, esquemática y visual toda la información referente
al contexto deportivo analizado, en este caso el Goalball. |
|
Vídeotutorial
- Screencast |
Es
un archivo de video que contiene la grabación de la imagen y el sonido de lo
que hace y dice el usuario sobre el ordenador. En este caso se utiliza para explicar
las características fundamentales del Goalball al mismo tiempo que se
visualiza un fragmento de un partido. |
|
Fragmentos de vídeo |
Son
fragmentos de partidos de Goalball del campeonato objeto de estudio,
seleccionados aleatoriamente, que se utilizan para el proceso de formación y
las pruebas de fiabilidad. |
|
PRES01
- 1er Vídeotutorial |
Explicación
general del juego: Vídeotutorial - screencast desarrollado para explicar las
características generales del Goalball. |
|
PRES02
- Infracciones |
Presentación
en formato “.pdf” de las principales infracciones que recoge el reglamento de
juego con gráficos e imágenes que faciliten la comprensión de cada una de
ellas. |
|
PRE03 - El estudio |
Presentación
en formato “.pdf” que describe las características generales del estudio con
la finalidad de hacer partícipe a los codificadores, de los objetivos y
características del estudio |
|
PRE04 - Variables Contextuales |
Presentación
en formato “.pdf” en la que se definen las variables contextuales del
estudio. |
|
PRE05 - Variables Ofensivas |
Presentación
en formato “.pdf” referida a las variables Ofensivas definidas. |
|
PRE06 - Variables Defensivas |
Presentación
en formato “.pdf” referida a las variables defensivas definidas. |
|
PRE07 - Resultado |
Presentación
en formato “.pdf” referida al resultado final de las acciones. |
Esta fase se desarrolla en su totalidad de forma presencial, en
jornadas formativas divididas en seis sesiones, de 40 o 60 minutos según el
contenido. En la Tabla 2 se muestra la distribución de contenidos y materiales
de las sesiones formativas
presenciales.
|
Tabla 2.
Distribución temporal de las sesiones prácticas presenciales. |
||||
|
Sesión |
Denominación |
Duración |
Actividades |
Observaciones
/ material |
|
1 |
Requisitos previos |
10´ |
0.1- Instalación del SPSS |
Cada codificador con su PC |
|
0.2- Instalación y uso del DROPBOX |
||||
|
Definición de las características y el
desarrollo del deporte |
30´ |
1.1- Video Tutorial |
PRE01 |
|
|
1.2- Presentación Infracciones |
PRE02 |
|||
|
2 |
Presentación
del estudio, variables y el instrumento de recogida de datos |
40´ |
2.1-
Presentación del estudio |
PRE03 |
|
2.2-
SPSS: Archivo para la recogida de datos |
goalball_def.sav |
|||
|
3 |
Variables contextuales |
40´ |
3.1-
Presentación de las variables
contextuales |
PRE04 |
|
3.2-
Completar las variables contextuales: -
Datos del indexador -
Denominación del archivo -
Horario y numeración de los partidos -
Como completar las VC |
goalball_def.sav |
|||
|
4 |
Variables Ofensivas |
60´ |
4.1-
Presentación de las variables ofensivas |
PRE05 |
|
4.2-
Ejercicio práctico: 10 acciones de cada variables en torno a acciones
ofensivas |
Esquema
simplificado “.pdf” Papel
y bolígrafo |
|||
|
4.3-
20´ de comentarios y observaciones al ejercicio |
|
|||
|
5 |
Variables Defensivas |
60´ |
5.1-
Presentación de las variables
defensivas. |
PRE06 |
|
5.2-
Ejercicio práctico: 10 acciones de cada variables en torno a acciones
defensivas |
Esquema
simplificado “.pdf” Hoja
de cálculo |
|||
|
5.3-
15´ de comentarios y observaciones al ejercicio |
|
|||
|
6 |
Variable Resultado |
60´ |
6.1-
Presentación de la variable resultado. |
PRE06 |
|
6.2-
Ejercicio práctico: 20 acciones de cada variable en torno a acciones
resultado |
Esquema
simplificado “.pdf” |
|||
|
6.3-
20´ de comentarios y observaciones al ejercicio |
|
|||
Para el desarrollo de la jornada de formación se utiliza un
ordenador con pantalla de gran formato, y se distribuye a los codificadores en
torno a la misma. Cada una de las sesiones se desarrolla con la siguiente
estructura: el investigador principal muestra el
contenido apoyándose de las presentaciones previamente preparadas así como de
imágenes del campeonato. Durante la explicación los codificadores realizan
preguntas para aclarar conceptos. Luego se hacen ejercicios prácticos de
codificación de situaciones reales en torno a los cuatro bloques de variables
concretas que conforman el estudio; variables contextuales, ofensivas,
defensivas y de resultado, que se van presentando en cada sesión.
Estos ejercicios consisten en visualizar y codificar bloques de diez acciones
de forma individual, que va proyectando el investigador principal. Por último,
cada sesión finaliza con la corrección y los comentarios en grupo de cada uno
de los ejercicios planteados, incidiendo sobre aquellas acciones que suscitan
dudas.
2) Fase de Formación práctica. Tiene la finalidad de analizar las imágenes y conseguir un alto índice de
fiabilidad inter - codificador en las observaciones registradas. A partir de
esta etapa, la estructura de cada uno de los ejercicios, tanto de la fase de
práctica, como de la fase de Entrenamiento es similar, incluyendo todas las
fases los mismos recursos. En la Tabla 3
se muestran los espacios permanentes de la Plataforma virtual en
entorno Moodle para intercambiar información y registrar de los datos.
|
Tabla 3. Recursos permanentes de la
Plataforma virtual en entorno Moodle |
|
|
Recurso |
Descripción |
|
Foro virtual |
Para solucionar y poner en común las diferentes dudas o
consultas en torno a cada uno de los ejercicios. |
|
Espacio virtual de entrega |
Para subir el ejercicio una vez finalizado. |
|
Informe con los resultados y las recomendaciones de cada una de las variables |
Para
darle continuidad al proceso de formación tras ser pasadas las pruebas de
fiabilidad de los ejercicios de los codificadores |
3) Fase de entrenamiento
individual en la que, de forma
progresiva, se evalúa la fiabilidad y se realizan las correcciones y ajustes
necesarios, con tres finalidades: facilitar
el acceso inmediato a los materiales necesarios para la formación; poner en común
a través de foros virtuales, las dudas que pudieran surgir; realizar y
almacenar los ejercicios que cada codificador completa durante las dos fases.
Por último, exponer de manera general que las sesiones de formación que se
desarrollan son de dos tipos: presenciales en grupo y no presenciales
individuales (Tabla 4).
|
Tabla 4.
Tipos de sesiones de formación |
|
|
Tipo |
Descripción |
|
Sesiones presenciales en grupo |
Estas sesiones están
dirigidas por el investigador principal del estudio y orientadas
fundamentalmente a la formación teórica. |
|
Sesiones no presenciales individuales |
Se trata de sesiones personales de
trabajo de cada uno de los codificadores orientadas a la práctica y el
entrenamiento en la observación, desarrolladas individualmente. Este tipo de
sesiones supone una gran ventaja ya que permite que el entrenamiento se
adapte a las necesidades personales de cada codificador. |
Análisis
estadístico
La
evaluación de la fiabilidad de los datos recogidos por los codificadores se
desarrolló mediante estadístico Multirather Kappa free (en adelante MKF), variante del coeficiente Kappa (Cohen, 1960), y que es una
herramienta específicamente diseñada para valorar la fiabilidad (Randolph,
2005) cuando hay más de dos codificadores que tienen que observar variables que
cuentan con más de dos categorías y donde los observadores no están obligados a
asignar un número de casos a cada categoría (Brennan & Prediger,1981). Los valores
de Kappa pueden variar desde -1,00
hasta 1,00, siendo el valor aceptable del acuerdo entre codificadores del
coeficiente Kappa variable
dependiendo de los autores (James &
et al., 2007). Landis & Koch (1977) establecen una nomenclatura cuando se
describe el nivel relativo de acuerdo asociado con el estadístico Kappa (Tabla 5).
|
Tabla 5. Etiquetas del
estadístico de Kappa asociados al nivel de acuerdo entre los observadores (Landis & Koch,1977) |
||
|
Estadístico Kappa |
Etiqueta de Acuerdo |
Clave |
|
<0,00 |
Pobre |
P |
|
0,00 – 0,20 |
Leve |
L |
|
0,21 – 0,40 |
Justo |
J |
|
0,41 – 0,60 |
Moderado |
M |
|
0,61 – 0,80 |
Sustancial |
S |
|
0,81 – 1,00 |
Casi perfecto |
CP |
La etiquetas propuestas por Landis & Koch (1977) se emplearon
para describir el grado de consenso entre los observadores durante el periodo
de formación. Por otro lado, Randolph (2005) señala que un valor del
estadístico MKF de 0,70 o superior indica un alto grado de acuerdo entre
codificadores. Este es el valor que se estableció como necesario en la
fiabilidad inter-codificador del presente estudio. Por último, se calculó el
promedio de la fiabilidad de los datos recogidos por los codificadores en las
variables defensivas y ofensivas, así como de manera global. Esto sirve para
comprobar si el proceso de formación de los codificadores que se está evaluando
es adecuado.
RESULTADOS
En la Tabla 6 se muestra la evolución del grado de acuerdo obtenido
en los ejercicios de la fase de entrenamiento para las variables de las acciones
técnico - tácticas ofensivas y defensivas. Esta fase se desarrolló con un
aumento progresivo en el número de acciones a analizar hasta llegar a un
partido completo que es similar a las unidades de observación.
|
Tabla 6. Evolución del nivel de
acuerdo de los ejercicios prácticos y de entrenamiento. |
||||||||
|
Variable |
Vid04 20 Lanz. |
E.A |
Vid05 30 Lanz. |
E.A |
Vid06 40 Lanz. |
E.A |
Vid07 Medio partido |
E.A |
|
V1O. Jugador implicado ataque. |
0,97 |
CP |
0,90 |
CP |
0,94 |
CP |
0,92 |
CP |
|
V2O. Zona donde comienza la acción. |
0,84 |
CP |
0,83 |
CP |
0,87 |
CP |
0,87 |
CP |
|
V3O. Zona donde finaliza la acción. |
0,68 |
S |
0,72 |
S |
0,73 |
S |
0,85 |
CP |
|
V4O. Técnica de Lanzamiento. |
0,93 |
CP |
0,96 |
CP |
0,92 |
CP |
0,96 |
CP |
|
V5O. Tipo de Lanzamiento. |
0,73 |
S |
0,87 |
CP |
0,73 |
S |
0,76 |
S |
|
V6O. Resultado del lanzamiento. |
0,92 |
CP |
1,00 |
CP |
0,92 |
CP |
1,00 |
CP |
|
V1D. Sistema defensivo. |
0,53 |
M |
0,85 |
CP |
0,85 |
CP |
0,92 |
CP |
|
V2D. Jugador implicado defensa. |
0,85 |
CP |
0,92 |
CP |
0,93 |
CP |
0,93 |
CP |
|
V3D. Tipo de posición defensiva. |
0,72 |
S |
0,61 |
S |
0,65 |
S |
0,61 |
S |
|
V3D*. Tipo de posición defensiva
recodificado. |
0,91 |
CP |
0,90 |
CP |
0,90 |
CP |
0,90 |
CP |
|
V4D. Tipo de defensa. |
0,74 |
S |
0,74 |
S |
0,83 |
CP |
0,74 |
S |
|
V5D. Zona donde se produce la acción. |
0,74 |
S |
0,85 |
CP |
0,82 |
CP |
0,85 |
CP |
|
V6D. Resultado |
0,83 |
CP |
0,88 |
CP |
0,90 |
CP |
0,90 |
CP |
|
E. A
Etiquetas de Acuerdo según Landis & Koch (1977) |
||||||||
|
Lanz.
Lanzamientos |
||||||||
En la mayoría de las variables el nivel de acuerdo es
alto desde el inicio. En otras, a través de la fase de entrenamiento, se logra
mejorar notablemente sus resultados hasta superar ampliamente el valor de 0,70 establecido
por Randolph (2005) como significativo. Tan solo en la variable Técnica
defensiva, después de todo el proceso no se llega a obtener más de 0,70, lo
que indica un nivel de acuerdo inter-observador bajo para el valor de
referencia establecido en este estudio, a pesar de ser “sustancial” según la
nomenclatura de Landis & Koch (1977). Con el objetivo de alcanzar un mayor
nivel de concordancia, y teniendo en cuenta el origen de los errores entre
observadores planteado por James et al., (2007) y Anguera (1988) se desarrolló
un proceso de recodificación y/o nueva definición de las variables afectadas,
como se puede observar en la Figura 2.
|
|
|
Figura 2. Esquema de recodificación
de variable |
En la tabla 7 se
muestran la evolución de la
fiabilidad de los datos recogidos por los codificadores durante los
ejercicios prácticos y de entrenamiento.
|
Tabla 7. Promedio de los datos
recogidos por los codificadores. |
||||||||
|
|
Vid04 20 Lanz. |
E.A |
Vid05 30 Lanz. |
E.A |
Vid06 40 Lanz. |
E.A |
Vid07 Medio partido |
E.A |
|
Variables
Ofensivas |
0,84 |
CP |
0,88 |
CP |
0,85 |
CP |
0,89 |
CP |
|
Variables
Defensivas |
0,76 |
S |
0,82 |
CP |
0,84 |
CP |
0,83 |
CP |
|
Total |
0,79 |
S |
0,84 |
CP |
0,84 |
CP |
0,85 |
CP |
|
E. A Etiquetas de acuerdo según Landis & Koch
(1977) |
||||||||
|
Lanz. Lanzamientos |
||||||||
Durante el proceso de
formación se aprecia una mejora parcial y total de la concordancia entre los
codificadores.
DISCUSIÓN
Existe diferentes trabajos
que adaptan la propuesta de formación de codificadores de Medina & Delgado
(1999), detallando las
diferentes fases seguidas en el proceso (Arias et al., 2009a; García et al.,
2007; Viciana, 1999; Denis et al., 2002; Moreno et
al., 2002). Sin embargo, otros mencionan el proceso de formación de los
codificadores pero no detallan con claridad y precisión el procedimiento
seguido para definir las sesiones, el número de codificadores, o los errores
frecuentes (Chillón & Delgado, 2012; Ortega et al., 2010; Salas &
Hernández-Mendo, 2016; Ureña et al., 2014). Por otro lado, en relación a la
modalidad objeto de este estudio, el Goalball, los trabajos que existen en la
literatura no aportan información detallada sobre el proceso de
formación (Amorím et al., 2010; Morato et al., 2016) ni de evaluación de la fiabilidad
inter-observador (Abdolmaleki et al.,
2015; Molik et al., 2015; Oliveira & De Martino, 2012; Owen, 2014;
Tosim et al., 2008a; Weber & Link, 2016). Algunos autores
justifican esta falta de concreción por la complejidad del proceso,
argumentando la imposibilidad de explicar no solo la formación sino también las
pruebas de fiabilidad desarrolladas (O´Donoghue, 2010). Esto supone una
carencia de información relevante
con respecto al proceso formación de los codificadores (Arias et al., 2009a),
lo que para Anguera (1988) puede ser una fuente
de error en el empleo de la Metodología Observacional.
La finalidad de
este trabajo es analizar los índices de fiabilidad obtenida entre los
diferentes sujetos sometidos a un proceso de formación de codificadores. La
formación de observadores desarrollada en el presente estudio cumple con las
premisas de Medina & Delgado
(1999) y Anguera (2003), considerando las siguientes fases: Formación Teórica,
Formación Práctica y Entrenamiento Individual.
1) Fase de Formación Teórica
En esta primera fase se hace referencia a
la formación de codificadores, asumiendo su participación puntual en la
redefinición de las variables y categorías a observar, donde tiene especial
importancia la concreción del número de sesiones planteadas para el proceso.
Algunos autores del ámbito de la Actividad Física y el Deporte plantean un
proceso de formación presencial de codificadores limitado a tres sesiones de
unos noventa minutos aproximadamente (Moreno et al., 2002), siete sesiones con variabilidad
de duración por sesión, mínimo una hora y máximo tres (Arias et al., 2009a), doce según Blanco et al. (2014) o quince
sesiones sin especificar la duración de cada sesión (Medina, 1996). Sin
embargo, Viciana (1999) expone que el número de sesiones será variable en
función de los contenidos a programar. En su estudio realizó concretamente doce
sesiones, cuatro para cada fase. Por último, Usuabiaga, Castellano,
Blanco-Villaseñor & Casamichana (2013) realizan un plan de entrenamiento de
cuatro semanas (treinta horas) o al igual que todos los autores a partir de un
protocolo de observación diseñado. En otros campos de estudio, la propuesta de
formación consta de cinco sesiones de cuatro horas de duración (Trenado et al.,
2014). Esto pone de manifiesto la importante variabilidad en la definición del
número y la duración de las sesiones.
Sin embargo, en el presente trabajo, se opta por un
número de sesiones condicionado por los contenidos del estudio, de manera que
se estructuró en seis sesiones. Este supone un número suficiente para
desarrollar el objetivo propuesto por Medina & Delgado
(1999) en la fase de formación de los codificadores, permite familiarizar al observador con la conducta o
comportamiento a observar, hacerle partícipe del proceso de elaboración de las
categorías que conformarán el esquema de observación y darle a conocer el tipo
de registro que va a tener que realizar durante el proceso de observación. Además, las sesiones se orientaron para que
fueran lo más productivas, participativas y clarificadoras posible con una
duración máxima de sesenta minutos para evitar fatiga que provocase pérdidas de
atención y concentración de los codificadores.
Por otro lado, el número de codificadores que intervienen
durante el proceso de formación varían según los autores. La selección del
grupo de codificadores es clave para que el procedimiento de recogida sea un
éxito, así como que sean los más adecuados para el estudio. Medina
(1996) propone que ocho sujetos a entrenar es un número adecuado para formar y
conseguir la suficiente fiabilidad inter-codificador. Viciana (1999) emplea a
quince observadores (divididos en tres grupos de cinco), todos estudiantes de
la licenciatura de Educación Física. Moreno et al. (2002) seleccionan diez codificadores sin especificar los requisitos
de participación en el estudio, Arias et al. (2009a) cuatro sujetos noveles de
diferentes ámbitos académicos además de un experto y Hernández-Mendo, Montoro,
Reina & Fernández (2012) seleccionan seis personas, divididas en dos grupos
de para realizar observaciones no planificadas y sistemáticas. En el estudio de
Usuabiaga et al. (2013) participaron ocho parejas de observadores, de los
cuales dos fueron excluidos por no completar el plan de entrenamiento. Por
último, el estudio de Casal, Losada & Ardá (2015) incluyó a cuatro
codificadores.
Otros trabajos no citan el número de
codificadores, a pesar de especificar que los codificadores siguieron un
entrenamiento (Jiménez & Hernández-Mendo 2016; Morillo &
Hernández-Mendo, 2015).
En el presente estudio se estableció como criterio de
participación la presencia de cinco codificadores, pues era un número
suficiente para asegurar la correcta recogida de los datos, además de poder
afrontar alguna posible baja circunstancial durante el proceso, asegurando la
correcta recopilación de todos los datos de la muestra. Todos los sujetos eran
capaces de transmitir conocimientos e informaciones acerca del objeto de
estudio. Los criterios de selección del estudio muestran
similitudes con respecto a los de otros trabajos como el de Medina (1996), es
decir, se seleccionaron profesionales de la Actividad Física y el Deporte, con
formación inicial y conocimientos suficientes sobre el tema de estudio. El
nivel académico de los observadores que participaron en este trabajo es mayor
que el de los participantes del estudio de Viciana (1999), puesto que contaban
con una acreditación académica que aseguraba un nivel competencial específico.
Por otro lado, al igual que se plantea a los codificadores del estudio de Arias et al. (2009a),
se les demandó interés y compromiso para realizar la observación, el registro y
la codificación de los partidos asignados.
Por tanto, esta fase tiene el objetivo de que los
codificadores conozcan desde el primer momento el plan de observación,
minimizando dudas o imprecisiones sobre el proceso. Por este motivo es
importante seleccionar codificadores responsables y comprometidos con el
estudio. De esta manera, se evita fallos en el procedimiento (Anguera et al.,
2000) y abandono de los codificadores. Es importante que al finalizar una
sesión, se facilite a todos los observadores las imágenes de vídeo y archivos
necesarios para poder afrontar el resto de sesiones de la primera fase.
De esta manera, la observación contará con un sistema de retroalimentación
continua y, por tanto, constituirá un método destinado a representar lo más
fielmente posible lo que ocurre en el contexto observado (Pieron, 1986).
2) Fase de Formación Práctica
Esta etapa “ha de
estar constituida por actividades prácticas que ayudarán a los observadores a
conocer cómo deben realizar los registros durante el proceso de observación”
(Medina & Delgado, 1999). La fase práctica del proceso de formación de los
codificadores se planteó siguiendo un criterio básico de simplicidad, basado en
ejercicios individuales en los que analiza y codifica un número predeterminado
de lanzamientos del mismo campeonato objeto de estudio. No se incluyen en el
análisis las variables contextuales. Estas sesiones de
entrenamiento se programan de manera progresiva, incrementando paulatinamente
su número, tal como plantea Medina (1996).
Con este ejercicio,
se inicia la evaluación del nivel
de acuerdo inter-codificador, que posteriormente se desarrollará para estudiar
la fiabilidad y la validez. En el primer ejercicio de la fase
práctica (Vid04), que contaba con veinte lanzamientos. Se aprecia que la
mayoría de las variables tienen un alto grado de acuerdo (>0,70), siguiendo
a Randolph (2005), a excepción de las variables V30 y V1D. Esto significa
la existencia de dudas y/o errores por parte de los codificadores. Según
Anguera (1988) las fuentes de error a
las que se ven sometidos los observadores pueden resolverse mediante una buena
planificación y adecuado adiestramiento de los mismos. Por tanto, tras la
conclusión del ejercicio se facilitó un informe de resultados y
recomendaciones.
Este proceso se
planteó también en la fase de entrenamiento individual. Estos informes tienen
como finalidad identificar y resolver los errores de las variables sin falta de
acuerdo, así como mejorar la comprensión de las categorías, centrándose en
reconducir la situación y evitar errores futuros. Cada fase debe evolucionar
según la estrategia de formación que se emplee Viciana (1999), por lo que se optó por
recordar a los codificadores los principales aspectos a tener en cuenta antes
de comenzar cada ejercicio. De esta manera, se evitan posibles errores en las
codificaciones. Además, es importante considerar que los medios técnicos
utilizados en el proceso de formación de codificadores y fiabilidad de los
registros deben favorecer el trabajo de los observadores (Anguera, 1988), razón
por la cual para esta fase se empleó la plataforma Moodle que permitía aportar
toda la información y los recursos necesarios necesaria para el correcto
desarrollo del proceso, así como recopilar su trabajo. Todo planteado sobre la
base de que un adecuado entrenamiento de codificadores otorga a la
investigación un mayor grado de objetividad y credibilidad (Medina, 1996)
3) Fase de
Entrenamiento
Individual
En esta fase los
ejercicios de observación se vuelven a realizar de forma individual, evaluando
la fiabilidad de cada uno, al tiempo que se realizan las correcciones y los
ajustes oportunos mediante el informe de resultados y recomendaciones. Se
aumentó de manera progresiva el número de acciones ofensivas y defensivas a
observar, concretamente 30 en el “Vid05”, 40 en el “Vid 06” y todas las
acciones de la mitad de un partido en el “Vid07”. Al igual que en las fases
anteriores, los codificadores subían un archivo con los resultados de las
observaciones de cada ejercicio al un lugar específico dentro de la plataforma Moodle, donde también podían platear
dudas en los distintos foros habilitados para ello. Este tipo de soporte es muy
útil para organizar y gestionar la información aportada a los codificadores, y
supone una actualización de las herramientas empleadas en el proceso de
formación de codificadores eficiente y accesible.
Respecto a los ejercicios de la fase de entrenamiento, la
mayoría de las variables muestran un nivel de acuerdo alto desde el inicio. En
otras, a través de la fase de entrenamiento, se logra mejorar notablemente sus
resultados hasta superar ampliamente el valor de 0,70 establecido (Randolph,
2005). Tan solo en la variable Técnica defensiva, después de todo el
proceso no llega a superar el 0,70, lo que indica un nivel de acuerdo inter-observador
insuficiente para el valor de referencia establecido en este estudio. En este
caso se hace necesario encontrar el origen del desacuerdo. James et al. (2007)
sugieren tres fuentes de error que provocan la falta de acuerdo entre los
observadores y por tanto una baja fiabilidad inter-observador; el Error Operacional, El Error Observacional y por último el Error
de Definición. En el caso de la variable Técnica defensiva, tras
analizar las anotaciones de todos los observadores, el error que se detectó
eran del tercer tipo, un Error de Definición. Dos de las categorías de
esta variable eran muy similares y por tanto difíciles de diferenciar en las
imágenes por el ángulo de grabación de la cámara. En este caso se optó por el
procedimiento de recodificación de variables. Este proceso consiste en fusionar
varias categorías en una sola. Tras
las pruebas realizadas con diferentes combinaciones se detectan las dos
categorías que causan el error, y se unen en una sola categoría. Se vuelve a
someter las observaciones a un nuevo análisis de la fiabilidad y el resultado
es el mostrado en la Tabla 6. Como se puede comprobar el aumento de la
fiabilidad es evidente, con valores de acuerdo muy elevados. De esta forma la variable Técnica defensiva
se recodifica de seis categorías a cinco, uniendo las categorías uno y dos,
además de dar una nueva numeración que ordena las mismas de forma más lógica. Una vez alcanzado el nivel suficiente de fiabilidad inter-observador
en todas las variables se puede comenzar con la recogida de la muestra.
El proceso descrito en este documento tiene la finalidad de
garantizar que la muestra del estudio tiene un alto grado de objetividad y, por tanto, el rigor necesario para la
investigación. Se describe tanto la formación de
codificadores, así como la evaluación de fiabilidad de los mismos, que es
imprescindible en las investigaciones que utilicen Metodología Observacional
(Anguera, 1988, 1991). Como se puede apreciar, la evolución parcial y total del grado de acuerdo
entre codificadores del presente trabajo es coherente con el nivel de
fiabilidad establecido en el estudio. El procedimiento de formación de
codificadores en goalball muestra un valor de 0,86 superior al de otros
trabajos de investigación (Den Hollander, Brown, Lambert, Treu &
Hendricks, 2016; Cañadas, Ibáñez & Leite, 2015; Ibáñez, Santos & García, 2015) y ligeramente inferior al
valor del trabajo de García, Ibáñez, Gómez & Sampaio (2009),
0,88. Por consiguiente, a la vista de estos resultados, se puede afirmar que la
fiabilidad del procedimiento es “casi perfecto” (Landis & Koch, 1977), y
sus datos son similares a otras investigaciones previas.
CONCLUSIÓN
La finalidad del
proceso de formación de los codificadores es conseguir un alto acuerdo entre
los observadores en todas las variables a analizar. Este proceso de formación
se divide en tres fases: fase de formación teórica, fase de formación práctica
y fase de entrenamiento individual.
El diseño y
procedimiento de las sesiones es clave para tener éxito y debe cumplir con las expectativas y los
objetivos iniciales. Por tanto, la fase de entrenamiento de los
codificadores ha de durar hasta que el nivel de fiabilidad inter-observador sea
el adecuado para asegurar la objetividad de los registros, buscando las causas de los errores, proceder a
su análisis y dar feedback a los codificadores para mejorar la fiabilidad
inter-observador.
El procedimiento de formación de codificadores presentado
en este trabajo puede ser usado en el ámbito de las Ciencias de la Actividad
Física y el Deporte, concretamente en el contexto del Goalball.
Una limitación del presente artículo, se concreta en la
escasez de trabajos que describan de forma precisa y detallada el proceso de
formación de los codificadores, por lo que sería necesario realizar en un
futuro revisiones bibliográficas específicas sobre el proceso de formación de
codificadores.
REFERENCIA
BIBLIOGRÁFICAS
Abdolmaleki, H., Mirzazadeh, Z., Allahyari, M., & Ramezani,
M. (2015). Identify and
analysis of performance evaluation indicators of Iranian Goalball coaches. Annals of Applied Sport Science, 3(3),
43-56.
Altman, D. G. (1991). Practical Satistics for Medical Research. London: Chapman y Hall.
Amorím, M. T., Botelho, M., Sampaio, E., Molina, J., &
Corredeira, R. (2010). Caracterización de los patrones comportamentales de los
atletas con discapacidad visual practicantes de Goalball. Revista Electrónica Interuniversitaria de Formación del Profesorado, 13(3),
47-57.
Anguera, M. T. (1988). Observación
en la escuela. Barcelona: Graó.
Anguera, M. T. (1991). Metodología observacional en la
investigación psicológica. Barcelona: PPU.
Anguera, M. T. (2003). La observación. En C. Moreno
Rosset (ed.), Evaluación psicológica.
Concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia
(pp. 271-308). Madrid: Sanz y Torres.
Anguera, M. T., &
Hernández-Mendo, A. (2013). Metodología observacional en el ámbito del deporte.
E-balonmano.com: Revista de Ciencias del
Deporte, 9(3), 135-160.
Anguera, M. T., &
Hernández-Mendo, A. (2014). Metodología observacional y psicología del deporte:
Estado de la cuestión. Revista de
Psicología del Deporte, 23(1), 103-109.
Anguera, M. T., Blanco-Villaseñor, A., Losada, J.
L., & Hernández-Mendo, A. (2000). La metodología observacional en el
deporte: Conceptos básicos. Lecturas:
E.F. y Deportes, Revista Digital, 24.
Anoz, I., García, T., & García, J. A. (2004)
Análisis de la estructura del ataque en equipos de alto nivel de balonmano. Apunts, Educación Física y Deportes
(76), 53-58.
Arias, J.
L., Argudo, F. M., & Alonso, J. I.
(2009a). El proceso de formación de
observadores y la obtención de la fiabilidad en metodología observacional para
analizar la dinámica de juego en minibásquet. Apunts, Educació Física i Esports, 4(98), 40-45.
Arias, J.L., Argudo, F.M., & Alonso, J. I. (2009b). Método
objetivo para analizar dos modelos de la línea de tres puntos en minibasket. Revista Internacional de Medicina y Ciencias
de la Actividad Física y el Deporte, 9(36):
349-365.
Barlett, R. M. (2001). Performance
analysis: Can bringing together Biomechanics and notational analysis benefit
coaches? International Journal of
Performance Analysis in Sport, 1(1), 122-126.
Blanco, A., Ibáñez, S. J., Antúnez, A., &
Hernández-Mendo, A. (2014). Estudio de
fiabilidad de los indicadores de rendimiento en liga asobal. Cuadernos de Psicología del Deporte, 15(1),
255-264.
Brennan, R. L., & Prediger, D. J. (1981). Coefficient kappa – some uses, misuses, and
alternatives. Educational and
Psychological Measurement, 41(3), 687-699.
Brewer, C. J., & Jones, R. L.
(2002). A five-stage process for establishing contextually valid systematic
observation instruments: The case en rugby unión. The Sports Phychologist, 16, 138-156.
Cañadas, M., Ibáñez, S. J., & Leite, N. (2015). A
novice coach´s planning of the technical and tactical content of youth
basketball training: a case study. International
Journal of Performance Analysis in Sport, 15, 572-587.
Casal, C., Losada, J. & Ardá, T. (2015). Análisis de los factores de rendimiento de las transiciones
ofensivas en el fútbol de alto nivel. Revista de
Psicología del Deporte, 24(1), 103-110
Cohen, J. (1960). A coefficient
of agreement for nominal scales. Educational and Psychological Measurement,
20(1), 37-46.
Chillón, P., & Delgado, M. A. (2012). Observación del profesor
de educación física: una investigación de salud en el aula. Revista Internacional de Medicina y Ciencias
de la Actividad Física y el Deporte, 12(47):
493-521.
Den Hollander,
S., Brown, J., Lambert, M., Treu, P., & Hendricks, S. (2016). Skills
Associated with Line Breaks in Elite Rugby Union. Journal of Sport Science & Medicine, 15(3), 501-508.
Denis, D., Lortie, M., & Bruxelles, M. (2002).
Impact of observers´experience and training on reliability of observations for
a manual handling task. Ergonomics, 45(6), 441-454.
Escobar,
J., & Cuervo, A. (2008). Validez de contenido y juicio de expertos: una
aproximación a su utilización. Avances en Medición, 6, 27-36.
Gamonales, J. M., León, K., Muñoz, J., González-Espinosa, S., &
Ibáñez, S. J. (2018). Validación del IOLF5C para la eficacia del lanzamiento en
fútbol para ciegos. Revista Internacional de Medicina y Ciencias del
Deporte, 18(70), 361-381. http://dx.doi.org/10.15366/rimcafd2018.70.010
García, J., Ibáñez, S. J., Gómez, M, A., & Sampaio, J. (2009). Basketball game-related statistics
discriminating ACB league teams according to game location, game outcome and
final score diferences. International
Journa of Performance Analysis in Sport, 14, 443-452.
García, J., Ibáñez, S. J., Parejo, I., Feu, S., &
Cañada, M. (2011). Diferencias
entre nivel de juego y categoría de los jugadores en etapas de formación. Revista Española de Educación Física y
Deportes, 395(21), 13-28.
García, P., Argudo, F., & Alonso, J. I. (2007). Validación de un
entrenamiento de observadores para el análisis de una microsituación de juego
en waterpolo. Lecturas: Educación Física
y Deportes, 12(109), 1-18.
González-Díaz, C., & Iglesias-García, M. (2015). Coder Training
aplicado a la investigación sobre la publicidad de alimentos. Opción, 31(4), 545-563.
Gulick, D. T, & Malone, L. A. (2011). Field test for measuring
aerobic capacity in Paralympic goalball athletes. International Journal of Athletic Therapy and Training, 16(5),
22-25.
Hernández-Mendo, A., Montoro, J., Reina, Á., & Fernández,
J. (2012). Desarrollo y optimización de una herramienta
observacional para el bloqueo en voleibol. Revista
Iberoamericana de Psicología del Ejercicio y el Deporte, 7(1), 15-31.
Hileno, R., & Buscá, B. (2012). Herramienta observacional para
analizar la cobertura del ataque en voleibol. Revista Internacional de Medicina y Ciencias de la Actividad Física y
el Deporte, 12(47), 557-570.
Hughes, M. D., & Bartlett, R. M. (2002).
The use of performance indicators in performance analysis. Journal of Sports Sciences, 20(10), 739-754.
Hughes, M. D., & Franks, I.
(2005). Analysis of passing sequences, shots and goals in soccer. Journal of Sports Sciences, 23(5),
509-514.
Hughes, M. D., Cooper, S. M., &
Nevil, A. (2002). Analysis procedures for
non-parametric data from performance in sport (2ª ed.). Nueva York: Routledge.
Ibáñez, S. J., Santos, J. A., & García, J. (2015). Multifactorial analysis or free throw
shooting in eliminatory basketball games. International
Journal of Performance Analysis in Sport, 15, 897-912.
James, N., Taylor, J. B., &
Stanley, S. (2007). Reliability procedures for categorical data in performance
analysis. International Journal of
Performance Analysis in Sport, 7, 1-11.
Jiménez, J., & Hernández-Mendo, A. (2016). Análisis de la calidad del dato y generalizabilidad de un sistema de
observación del contraataque en el balonmano de élite. E-balonmano.com: Revista de Ciencias del Deporte, 12(1), 31-34.
Landís, J. R. & Koch, G. G. (1977). Aplication of hierarchical kappa-type statistics
in assessment of majority agreement among multiple observers. Biometrics, 33(2), 363-374.
Losada, J. L., & Manolov, R.
(2014). The process of basic training, applied training maintaining the
performance of an observer. Quality & Quantity, 48(2). DOI 10.1007/s11135-014-9989-7
McGarry, T. (2009). Applied and theoretical
perspectives of performance analysis in sport: Scientific issues and
challenges. International Journal of Performance Analysis in Sport, 9(1), 128-140.
Medina, J. (1996). Proceso de entrenamiento de codificadores para el
estudio de los diarios del profesorado de educación física. Revista Motricidad, 2, 113-127.
Medina, J., & Delgado, M.A. (1999). Metodología
de entrenamiento de observadores para investigaciones sobre E.F. y Deporte en
la que se utilice como método la observación. Revista Motricidad, 5, 69-86.
Molik, B.; Morgulec-Adamowicz, N.; Kosmol, A.;
Perkowski, K.; Bednarczuk, G.; Skowroński, W.; Gómez, M.; Koc, K.;
Rutkowska, I.; & Szyman, R. J. (2015). Game Performance Evaluation in
Male Goalball Players. Journal of Human Kinetics, 48(1),
43-51.
Montero,
I., G., & León O. (2007). A guide for naming
research studies in Phychology. International Journal of Clinical and Health
Psychology, 7(3), 847-862.
Morato, M., Da Cunha, O., Gamero, D.,
Magalhães,
T., & Almeida, J. (2016). Development and evaluation of an observational
system for goalball match analysis. Revista Brasileira de
Ciências do Esporte, xx(xx), xx-xx. Pendiente de
publicación / In press. http://dx.doi.org/10.1016/j.rbce.08.002
Moreno, M. P., Santos, J. A., Ramos, L. A., Sanz, D.,
Fuentes, J. P., & Del Villar, F. (2002). Aplicación de un sistema de
codificación para el análisis de contenido de la conducta verbal del entrenador
de voleibol. Revista Motricidad, 9,
119-140.
Morillo, J., & Hernández-Mendo, A. (2015). Análisis de la
calidad del dato de un instrumento para la observación del ataque en balonmano
playa. Revista Iberoamericana de
Psicología del Ejercicio y el Deporte, 10(1), 15-22.
O'Donoghue, P. (2007). Reliability issues in performance analysis. International Journal of
Performance Analysis in Sport, 7(1), 35-48.
O'Donoghue,
P. (2010). Research methods for sports performance analysis. London: Routledge.
O'Donoghue, P., & Cullinane, A.
(2011). A regression-based approach to interpreting Sports performance. Internacional Journal of Performance
Analysis in Sport, 11, 295-307.
Ohnjec, K., Vuleta, D.,
Milanović, D., & Gruić, I. (2008). Performance indicators of
teams at the 2003 World Handball Championship for women in Croatia. Kinesiology, 40(1), 69-79.
Oliveira, E. P. L.; & De Martino, J. M. (2012).
Sistema de análise tática para a modalidade paraolímpica Goalball explorando
processamento paraleo. En Quinto Encontro
dos Alunos e Docentes do Departamento de Engenharia de Computacao e Automacao Industrial. Universidad
Estatal de Campinas, Brasil.
Ortega, E., Fernández, R.,
Ubal, M., Lorenzo, A., & Sampaio, J. (2010). Indicadores de rendimiento defensivo en baloncesto en los
ganadores y perdedores. International Journanl of Sport Sciences, 6(19), 1-12.
Owen, G. (2014). Exploratory
analysis of goalball: A regression based aproach. Tesis Doctoral. Universidad de Chester.
Pieron, M. (1986). Enseñanza
de las actividades física y deportivas. Observación e investigación.
Málaga: Editorial Unisport.
Piñar, M. I. (2005). Incidencia del cambio de un conjunto de reglas de juego sobre algunas
de las variables que determinan el proceso de formación de los jugadores de minibásquet
(9-11 años). Granada: Universidad de Granada.
Randolph, J. J. (2005). Free-Marginal Multirater Kappa (multirater
Kfree): An Alternative to Fleiss´ Fixed-Marginal Multirater Kappa. Joensuu Learning and Instruction Symposium
2005, University of the Joensuu, Finland. In
http://www.eric.ed.gov/PDFS/ED490661.pdf
Rodríguez,
G., Gil, J., & García, E. (1996). Métodos de investigación cualitativa.
Málaga: Aljibe.
Salas, J., & Hernández-Mendo, A. (2016). Análisis de la calidad del
dato y generalizabilidad de un sistema de observación del contraataque en el
balonmano de élite. E-balonmano.com:
Revista de Ciencias del Deporte, 12(1), 31-44.
Servera, M., &
Cardo, E. (2006). Children Sustained Attention Task
(CSAT): Normative, reliabillity, and validity data. International Journal of Clinical and Health Psychology, 6,
697-707.
Tosim, A., Junior, A. P., Leitão, M. T., & Simões, R. (2008a). Sistemas técnicos e táticos no Goalball. Revista
Mackenzie de Educacao Física e Esporte, 7(2), 141-148 .
Tosim, A., Massolli , G., & Beltrao, M. A.
(2008b). Seleção da
percepção auditiva e tátil em atletas de Goalball em situação defensiva de
jogo. Revista Mackenzie de Educacao Física e Esporte, 7(3), 181-187.
Trenado, M. T., Pons-Salvador, G., & Cerezo, M. A.
(2014). Interacción Temprana: Evaluación de la
Fiabilidad del Sistame Observacional CITMI-R, Versión Inglesa. Revista Electrónica de Metodología Aplicada,
19(1), 29-42.
Ureña, A., Morales-Rojas, J.S., León, J. & González, M. (2014). El
voleibol español infantil. Estudio del nivel de participación en el juego. Revista Internacional de Medicina y Ciencias
de la Actividad Física y el Deporte, 14(56):
771-786.
Usuabiaga, O., Castellano, J., Blanco-Villaseñor, A. &
Casamichana, D. (2013). La Teoría de la Generalizabilidad en las primeras fases
del método observacional aplicado en el ámbito de la iniciación deportiva:
calidad del dato y estimación de la muestra. Revista de Psicología del Deporte, 22(1), 103-109.
Valles, M. (2003). Técnicas cualitativas de investigación
social: Reflexión metodológica y práctica profesional. Madrid: Editorial
Síntesis.
Viciana, J. (1999). Proceso de entrenamiento de grupos de
codificadores específicos antes un sistema múltiple de categorías de análisis
del discurso en un grupo de trabajo de docentes en educación física. Revista Motricidad, 5(1), 53-67.
Volossovitch,
A., Dumangane, M., & Rosati, N. (2012). Factores que influenciam a dinâmica do rendimento colectivo no andebol. Revista Española de
Educación Física y Deportes, 396(22), 13-33.
Weber, C., & Link, D. (2016). Performance Analysis in
Goalball. In Proceedings of the 10th International Symposium on Computer
Science in Sports (ISCSS) (pp. 157-160). Springer International
Publishing.
Referencias totales / Total references:
69 (100%)
Referencias propias
de la revista / Journal's own references: 5 (7,2%)
Rev.int.med.cienc.act.fís.deporte - vol. 18 - número 72 -
ISSN: 1577-0354