Rev.int.med.cienc.act.fís.deporte - vol. 9 -  número 34 - junio 2009 - ISSN: 1577-0354

 

Martínez, J.A. y Martínez, L. (2009). Percepción del empleado y del cliente en servicios públicos deportivos. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte vol. 9 (34) pp. 158-178 Http://cdeporte.rediris.es/revista/revista34/artpercepcion113.htm

 

 

PERCEPCIÓN DEL EMPLEADO Y DEL CLIENTE EN SERVICIOS PÚBLICOS DEPORTIVOS

 

EMPLOYEE AND CUSTOMER PERCEPTION IN PUBLIC SPORTS SERVICES

 

 

Martínez, J.A.1 y Martínez, L.2;

 

1 josean.martinez@upct.es, http://www.upct.es/~beside/jose , Profesor Ayudante. Departamento de Economía de la Empresa. Universidad Politécnica de Cartagena. España

2 laura.martinez@upct.es, http://www.upct.es/~beside/laura , Profesor Contratado Doctor. Departamento de Economía de la Empresa. Universidad Politécnica de Cartagena. España

 

CLASIFICACIÓN UNESCO: 5311 “Marketing”

 

Recibido 8 diciembre 2008

Aceptado 27 de mayo de 2009

 

RESUMEN

 

Proponemos un modelo para medir las actitudes de los trabajadores de servicios deportivos públicos, con el fin de relacionar sus percepciones sobre su situación laboral y condiciones de trabajo con las actitudes de los consumidores. El modelo está concebido para ser utilizado con los trabajadores que interactúan con el cliente, ya que de su desempeño dependen buena parte de las evaluaciones que los consumidores realizan sobre el servicio. En el desarrollo de nuestra propuesta utilizamos un enfoque novedoso, basado en la modelización formativa y en el análisis de distribuciones de probabilidad. Así, ofrecemos una metodología de análisis que puede servir como guía para la dirección de recursos humanos, un área muy poco tratada en la investigación académica sobre servicios deportivos.

 

PALABRAS CLAVES: Dirección de recursos humanos, marketing, servicios deportivos públicos, percepciones de los empleados.

 

ABSTRACT

 

We propose a model for measuring the employee attitudes of public sports services, with the aim to establish a relationship between their perceptions of job conditions and the consumer attitudes toward the service provider. The model must be applied to customer-contact employees, because the performance of this type of employees is directly linked with the customer evaluations of the service. In the development of our proposal, we use a formative approach to measurement. In addition, the method for mapping both employee and customer perceptions is based on their probability distributions. Therefore, we offer a methodology of analysis that can serve as a guide to human resource management.  The contribution of our study is valuable, because this field of research has been an under-researched area in the academic sports service literature.

 

KEYWORDS: Human resource management, marketing, public sports services, employee perceptions

 

 

1. INTRODUCCIÓN

 

El sector público en Europa está tratando de obtener una administración más eficiente y más orientada al ciudadano. Es lo que comúnmente se refiere como New Public Management (NPM),  concepto similar en su implementación al de Total Quality Management (TQM), poniendo especial énfasis en la evaluación del desempeño del servicio y en las medidas de cambio (Scharitzer y Korunka, 2000).

 

Los gobiernos deben de ajustar sus políticas basándose en la eficacia y la eficiencia (Andreassen, 1994), y la meta para todos los servicios públicos debe ser maximizar la utilidad de los ciudadanos (Andreassen, 1995). Esta perspectiva ha impulsado los procesos de mejora de la calidad y modernización que está desarrollando la administración pública en España en los últimos años, con el fin de optimizar los servicios ofrecidos y dar satisfacción a los ciudadanos.

 

Los entes locales evidencian una aproximación cada vez mayor a conceptos de “excelencia en la gestión” y por medio de programas más o menos estructurados están impulsando planes de mejora continua y aseguramiento de los procesos (FEMP, 2002). Los sistemas de calidad en la gestión deben traducirse en una mejora de la percepción por parte del ciudadano de la calidad del servicio, preocupándose la administración de investigar sobre su desempeño, midiendo esa percepción del servicio ofertado. De hecho, la calidad total se apoya en la percepción del cliente sobre la calidad  (Font, 2000).

 

De los diferentes factores o dimensiones que determinan la calidad percibida, diversas investigaciones muestran que la percepción global del consumidor sobre la calidad del servicio está positivamente asociada con la calidad del servicio del empleado (Govender, 1998). El  consumidor no sólo está interesado en lo que recibe como resultado del proceso de producción, sino en el proceso en sí mismo.

 

Dado que las percepciones del consumidor sobre el servicio, sus actitudes, dependen en gran medida de la interacción con los empleados del servicio, la dirección de recursos humanos se convierte en un elemento fundamental que debe integrarse dentro del sistema de gestión de calidad del servicio. De hecho, tanto en el modelo EFQM como en la norma ISO 9000:2000, los recursos humanos juegan un papel preponderante. Y es que existe una asociación positiva entre las prácticas de recursos humanos y el desempeño empresarial (Bowen y Ostroff, 2004).

 

En la literatura especializada hay relativamente pocos estudios desde la perspectiva del proveedor de servicios (Santos y Mathews, 2002). Sin embargo hay investigaciones que muestran la brecha entre la percepción de calidad del empleado y la percepción de calidad del usuario (López y Serrano, 2003) y como hay factores antecedentes (desde la gestión de recursos humanos) que influyen positivamente en la percepción de ambos colectivos (Llorens, Fuentes y Molina, 2003).

 

En el ámbito de la gestión deportiva, autores como Chelladurai (1999) o Taylor y McGraw (2006), enfatizan la importancia que la dirección de recursos humanos tiene para la dirección de los servicios deportivos. Sin embargo, tal y como indican Taylor y McGraw (2006), pese a la relevancia de este tema, muchas organizaciones no cuentan con guías claras para desarrollar sus actividades de recursos humanos, y menos aún sobre cómo evaluar esas actividades desde el punto de vista del empleado.

 

El objetivo de este trabajo es proponer una forma de integrar las perspectivas del empleado y del cliente sobre sus actitudes hacia los servicios públicos deportivos, ofreciendo una metodología de análisis que sirva como guía para la dirección de recursos humanos. Para ello, utilizamos un enfoque novedoso, basado en la modelización formativa y en el análisis de distribuciones de probabilidad.

 

La contribución de esta investigación a la gestión deportiva, y en concreto a la gestión de servicios deportivos públicos, es doble: (1) ofrecer un modelo de medición de las actitudes de los empleados sobre su situación laboral; (2) proponer una forma metodológica de analizar los datos provenientes de las percepciones de los empleados y de los consumidores. Hasta donde hemos podido comprobar, ninguna de estas aportaciones ha sido anteriormente tratada en la investigación sobre gestión deportiva.

 

 

2. MARCO CONCEPTUAL

 

Cada día son más las corporaciones locales que están abordando aspectos concretos de la reforma de su funcionamiento interno para mejorar la calidad del servicio que suministran a sus vecinos e incentivar a los profesionales que en ellas prestan su servicio. La adopción del concepto de calidad, y la implantación de estos principios a la gestión pública, conlleva un nuevo estilo de funcionamiento en aras de mejorar los niveles de eficiencia en la prestación de los servicios públicos, y la consecución de un proceso imparable hacia la modernización y mayor profesionalización de las administraciones locales. Trabajar por la mejora continua de las organizaciones, el logro eficiente de las metas, la satisfacción de las personas y organismos participantes con ellos, y la mayor optimización de los recursos disponibles resultan hoy objetivos ineludibles. Es por ello que a través de la comisión de modernización y calidad, se han venido impulsando programas y experiencias de modernización y calidad en las corporaciones locales españolas con el doble objetivo de favorecer la modernización de las entidades, así como la mejora de la calidad de los servicios públicos que estas prestan a sus ciudadanos (FEMP, 2002)

 

Como indica Cervera (1999), las políticas de modernización de las administraciones públicas emprendidas por diversos países europeos se producen en un contexto marcado por una profunda evolución social de la función pública y por la transformación de sus condiciones de trabajo, que se plasma en aspectos como una mayor flexibilidad en el reclutamiento y las condiciones de empleo, una mayor importancia conferida a la evaluación de su desempeño con sistemas de recompensa sensibles al mismo, y el fomento de la participación.  Todo ello se debe traducir en un esfuerzo inversor para la formación y el desarrollo profesional de los funcionarios.

 

Los sistemas de aseguramiento de la calidad, como la norma ISO 9000, o los modelos de autoevaluación, son una muestra de la preocupación de las administraciones por la mejora de los procesos y la calidad en la gestión. Pese a la controversia sobre la identificación de las normas y los modelos de autoevaluación como sinónimos de calidad total, es innegable que estos sistemas se utilizan para mejora la rentabilidad, la eficacia y la eficiencia de las organizaciones.

 

            La revisión de la norma ISO 9000 del 2000 pone mayor énfasis en la mejora continua, en la participación del personal y en la satisfacción del consumidor ; y los modelos de autoevaluación (EFQM, CAF, MC-OCSP) tienen que enfocar parte de su análisis en la gestión de los recursos humanos y en la evaluación de los resultados sobre los empleados.

 

Según la FEMP (2002), dentro de las grandes líneas de intervención en los procesos de mejora de la calidad y modernización de las administraciones públicas, los recursos humanos obtienen un porcentaje menor en la experiencias recogidas, lo cual es indicativo de que también en este ámbito es donde se hace recomendable que las corporaciones locales centren actuaciones tendentes a crear una cultura de calidad administrativa. Ello debe desembocar en un proceso de modernización y mejora de los servicios públicos locales, con el objetivo de mejorar la sintonía entre la calidad del servicio público local que percibe el ciudadano y la percepción de calidad de servicio que creen proveer las organizaciones; por tanto, es recomendable reforzar o iniciar actuaciones innovadoras en recursos humanos tendentes a apoyar las otras líneas de intervención y a consolidar una cultura de servicio excelente al ciudadano.

 

 

2. 1. LA ESPECIFICIDAD DE LOS SERVICIOS PÚBLICOS DEPORTIVOS

 

Como indican Sureshghandar, Chandrasekharan y Anantharaman (2002), las diferencias en las condiciones que rodean la gestión pública y privada son pronunciadas. Así, existen diferencias entre ambos sectores en cuanto a la estructura interna y los procesos, las perspectivas temporales, las medidas de desempeño, las relaciones con los medios de comunicación, las consideraciones legales y formales, etc.

 

Cualquier tentativa para implementar este tipo de sistemas de gestión en el contexto de un servicio público, debería reconocer las diferencias que existen con respecto a los servicios privados. Mackay y Crompton (1988) enuncian una serie de factores que justifican la especificidad de los sectores públicos: (1) la ausencia de la búsqueda de beneficio, donde los objetivos financieros no son un fin en sí mismo; (2) el sector público no puede ignorar segmentos de mercado que no serían rentables o atractivos desde la óptica privada; (3) el sector público tiene que satisfacer a los múltiples colectivos que interactúan con él, no sólo a los consumidores del servicio; (4) en el sector público la idea de calidad del servicio frecuentemente incluye nociones de accesibilidad, equidad y respecto al individuo.

 

Como recuerdan Taylor y McGraw (2006), los servicios deportivos de las entidades públicas tienen características muy especiales, como la de la presencia de voluntarios, los cuales suelen ser reclutados y formados sin las exigencias que deberían determinar ese proceso. Además, la idiosincrasia de la gestión de servicios deportivos municipales en España es muy particular. Por ejemplo, ciertos ayuntamientos disponen de organismos autónomos para la gestión (patronatos, instituciones municipales de deportes) que en algunos casos gestionan otras competencias, como juventud o cultura. En este primer caso no siempre todo el personal que trabaja en deportes está adscrito al organismo autónomo, por lo que coexisten en algunos casos ambas situaciones, personal propio del organismo con personal propio del ayuntamiento. Por el contrario, otros ayuntamientos no disponen de organismo autónomo, y el servicio municipal de deportes se gestiona directamente, en la mayoría de los casos, con personal funcionario adscrito. Finalmente, sobre todo en ayuntamientos de municipios pequeños, la gestión la realiza principalmente el concejal, quien puede contar con ayuda de personal eventual, que en muchos casos además de no estar contratado realizan colaboraciones puntuales. Además, en algunos ayuntamientos la gestión es completamente pública, mientras que en otros muchos servicios se subcontratan empresas privadas.

 

En este contexto tan diverso, la aplicación de prácticas de dirección de recursos humanos es más difícil que en empresas privadas con una plantilla bien delimitada. No obstante, como hemos comentado con anterioridad, la necesidad de los servicios públicos de acometer acciones de mejora continua para satisfacer las demandas de los ciudadanos hace que deban superarse esas dificultades y que se apueste por sistematizar los procesos de gestión.

 

Creemos que uno de los impedimentos con los que se encuentran los gestores deportivos para realizar tal fin es la carencia de guías específicas de actuación. Concretamente, en el ámbito de la evaluación de las actitudes de los empleados y en su relación con la de los consumidores, no existen modelos ni propuestas de medición que integren ambas perspectivas. Es más, tampoco la investigación académica ha mostrado interés en este asunto. De hecho, no existe ninguna referencia en relación a este tema en las revistas más importantes editadas en España, como la Revista de Medicina y Ciencias de la Actividad Física y del Deporte, Revista de Psicología del Deporte, y Revista Internacional de Ciencias del Deporte.

 

Es por ello que la propuesta de nuestra investigación puede cubrir un hueco importante en la investigación sobre gestión deportiva.

 

 

2.2. EL ENCUENTRO DEL SERVICIO

 

Los encuentros del servicio, a veces llamados como “el momento de la verdad” (Carlzon, 1987), han sido definidos como el momento en el que el consumidor y el proveedor del servicio interactúan directamente en persona, a través del teléfono o de otros canales de comunicación (De Ryter y Wetzels, 1996).

 

Cada encuentro da una oportunidad al proveedor del servicio para reforzar la percepción general de la calidad del servicio por el consumidor, generar una buena opinión y provocar la repetición de la compra (Bitner, 1990; Bitner y Hubert, 1994).

 

Muchas organizaciones han reconocido la importancia de flexibilizar los requerimientos de los encuentros con el consumidor y están enfocadas en gestionar de la mejor forma posible ese contacto personal (Bowen y Lawler, 1995)

 

Diversos autores sostienen que las evaluaciones sobre la calidad del servicio están basadas casi enteramente sobre los comportamientos de los empleados en el encuentro del servicio (Bitner, Bernard y Tetreault, 1990; Parasuraman, Zeithaml y Berry, 1985; 1988), por tanto la organización debe de preocuparse por este hecho para mejorar la calidad del servicio. De esta forma, los empleados tendrán un papel fundamental en cada encuentro del servicio (Bitner, Bernard y Tetreault, 1990; Johnston, 1995; Lytle Hom y Mokwa, 1998).

 

Govender (1998), muestra como la percepción del consumidor sobre la calidad del servicio del empleado es el más importante determinante de la calidad del servicio global. Otros investigadores, como Zeithaml y Bitner (1996), exponen que el esfuerzo de los empleados es visto como positivo por los consumidores en su evaluación del servicio,  Grönroos (1990) lo relaciona con su calidad funcional (cómo se da el servicio), mientras que Cronin y Taylor (1994) lo identifican como un importante componente de la calidad del servicio

 

Como la entrega del servicio ocurre durante la interacción entre los empleados que se relacionan directamente con el consumidor y los consumidores (el encuentro del servicio), las actitudes y comportamientos de esos empleados que se relacionan directamente con el cliente pueden influir en la percepción de calidad del servicio (Bowen y Schneider, 1985).

 

La percepción de calidad del consumidor es un resultado del desempeño de la organización, y ese desempeño, por las propias características de los servicios, tiene estrecha relación con el resultado del trabajo de los empleados que interactúan con el cliente. Por tanto, es tarea de la dirección del servicio evaluar cuáles son esas actitudes de los empleados.

 

 

3. MODELO PARA INTEGRAR LAS PERCEPCIONES DEL EMPLEADO Y DEL CLIENTE

 

Aunque hemos encontrado en la literatura diversos estudios en el sector público sobre diferentes variables que afectan al desempeño del trabajador (Ewing y Caruana, 1999; Scharitzer y Korunka, 2000; Schneider y Vaught, 1993; Taylor y Vest, 1992; Young, Worche y Woehr, 1998) incidiendo, sobre todo, en los factores que afectan a la satisfacción del empleado, podemos afirmar que existen carencias en cuanto a la comprensión de esos factores y las relaciones con otras variables relevantes en la dirección de recursos humanos.

 

De igual modo, el modelo EFQM establece una serie de guías para la evaluación, a través de diferentes subcriterios que deben ser valorados. Sin embargo, no se especifica ningún modelo de medición que instrumente esa recogida de información, así como tampoco la relación entre las diferentes variables de ese modelo (nos referimos a la relación entre variables referidas a recursos humanos y no a la relación entre los 9 criterios que componen el modelo general EFQM).

 

Es por ello que, dadas estas carencias, proponemos un modelo de medición de las percepciones de los empleados, estableciendo qué facetas medir, cómo se relacionan las variables del modelo entre sí, y cómo se integran las percepciones de los consumidores del servicio deportivo.

 

Vamos a tomar como base el modelo propuesto por Hartline y Ferrell (1996), quienes estudian como las respuestas actitudinales y de comportamiento de los empleados afectan a la percepción de calidad de los consumidores (interfaz consumidor-empleado), discuten las relaciones entre esas respuestas de los trabajadores (interfaz empleado-rol) y examinan los mecanismos de control de management que dirigen las respuestas de los empleados (interfaz director-empleado.

 

 (1) La interfaz director-empleado

 

La interfaz director-empleado es planteada por Hartline y Ferrell (1996), siguiendo a Jaworski (1988), sobre los mecanismos de management que influencian la probabilidad de que los empleados se comporten de manera que apoyen los objetivos de marketing determinados. Jaworski (1988) diferencia tres tipos de control formal: (1) controles de entrada (acciones anteriores a la implementación de la actividades marketing), (2) controles de proceso (intenta influenciar los comportamientos y las actividades durante la implementación), (3) controles de salida (supervisión y evaluación de resultados). Hartline y Ferrell (1996) se centran en los mecanismos de control de proceso formales.

 

Sin embargo, nuestro modelo se va a enfocar sobre la perspectiva del trabajador que interactúa con el cliente, no en la visión de los directivos sobre sus sistemas de reclutamiento, entrenamiento, empowerment o marketing interno. Es por ello, que no consideramos estas variables como susceptibles de ser valoradas por el trabajador, aunque sí hay que tenerlas en cuenta en el modelo, ya que son las que la dirección de recursos humanos debe manipular.

 

(2) La interfaz empleado-rol

 

La interfaz empleado-rol hace referencia a la percepción que tiene el trabajador sobre el papel que juega en la organización en relación a las características del trabajo que desempeña, y lo podemos dividir en dos variables: conflicto de rol y ambigüedad de rol.

 

El conflicto de rol ocurre cuando se le demanda al trabajador ejecutar tareas que son incompatibles con las expectativas de su superior, compañeros o consumidores, y esas tareas no pueden ser satisfechas simultáneamente (Llorens, Fuentes y Molina, 2003). Esta variable se muestra como una influencia negativa en la satisfacción del empleado (Brown y Peterson, 1993), y tiene un efecto en la calidad percibida a través de las respuestas de los empleados (Parasuraman, Zeithaml y Berry, 1990).

 

La ambigüedad de rol, por su parte, ocurre cuando el empleado carece de cierta información que necesitaría para ejecutar su rol (Singh, 1993). Hartline y Ferrell (1996) demuestran en su estudio que la ambigüedad de rol ejerce una influencia negativa sobre la satisfacción del trabajador.

(3) La interfaz empleado-consumidor

La interfaz empleado-consumidor identifica las variables referidas a la evaluación del empleado sobre su motivación, su satisfacción con el trabajo y la organización, y el grado de vinculación o compromiso con ésta. Así, una mayor puntuación en estas variables se verá reflejado en una mejora de las actitudes de los consumidores, ya que como la literatura sobre calidad percibida indica, los consumidores tienen muy en cuenta las actitudes y comportamientos de los empleados (Brady y Cronin, 2001).

 

La motivación en el trabajo es lo que provee, sirve de guía, mantiene y sustenta las acciones y los comportamientos de los empleados (Steers y Porter, 1987). Cervera (1999) señala la necesidad de motivar a los empleados en pos de conseguir una mejora de la calidad percibida y de la satisfacción del cliente. Por su parte, Doyle (2002), propone un círculo virtuoso en el que lo empleados altamente motivados se esfuerzan más, realizan un mejor desempeño, revirtiendo en más altas recompensas y satisfacción en el trabajo, lo que a su vez influye de nuevo en la motivación.

 

Llorens, Fuentes y Molina (2003) definen el compromiso organizacional como la tendencia del empleado a permanecer dentro de una organización, y muestran en su estudio la influencia positiva de esta variable en la percepción de calidad del servicio del consumidor. El compromiso organizacional está relacionado con el desempeño del trabajador y tiene un impacto en el comportamiento de los empleados (Young, Worche y Woehr, 1998). Aunque la literatura sobre gestión de recursos humanos no muestra un excesivo “interés” por este factor como antecedente al desempeño del trabajador, desde la perspectiva del comportamiento del consumidor la literatura estudia la lealtad y el compromiso como variables clave, y de gran relevancia en los objetivos de marketing. Desde la óptica del consumidor, la lealtad la podemos definir como una propensión a seguir consumiendo el mismo producto/servicio, un comportamiento con respecto a unas alternativas de compra y que es función de un proceso psicológico, habiendo llegado algunos autores a la conclusión de que esta variable implica, además de un comportamiento de compra repetitivo, un compromiso hacia la marca. La palabra “compromiso” es también una variable fundamental que ha de darse para que exista lealtad (Bloemer, de Ruyter y Peeters, 1998). Si desde los objetivos de mercadotecnia pretendemos establecer no sólo un vínculo de comportamiento, sino también emocional con el consumidor para que repita la compra y sirva como prescriptor del servicio en su grupo de influencia (García, 2000), creemos coherente incentivar desde la óptica de management el compromiso del trabajador como una forma de lealtad a la organización, estableciendo una relación más estrecha con éste, a nivel emocional, con un comportamiento integrador con respecto a sus compañeros.

 

Como las personas están afectada por varios y numerosos motivadores, la satisfacción con el trabajo significa cosas distintas para personas diferentes, resultando una multitud de definiciones (Schneider y Vaught, 1993).  No existe, por tanto, una definición consensuada del concepto de satisfacción en el trabajo (Mumford, 1991). García, Gargallo, Marzo y Rivera (2003), proponen una serie de definiciones tras una completa revisión bibliográfica, de la que nos quedamos con la  formulada por Davis y Newstrom (1999); así, la satisfacción es entendida como una concepto multidimensional que agrupa diversos factores, destacando aquellos que están directamente relacionados con la naturaleza de la tarea desempeñada y aquellos relativos al contexto laboral. Operativamente, la satisfacción con el puesto consiste en varias facetas, incluyendo satisfacción con el supervisor, trabajo, pago, oportunidades de promoción, compañeros y consumidores (Brown y Paterson, 1993). Hay numerosos estudios que demuestran una relación positiva entre la satisfacción del empleado y el desempeño de éste. Entre ellos podemos destacar los de Hartline y Ferrel (1996), Llorens, Fuentes y Molina (2003),  Petty, McGee, y Cavender (1984), Scheneider (1980). También encontramos evidencias empíricas en otras investigaciones (ver García, Gargallo, Marzo y Rivera 2003) que señalan como los trabajadores insatisfechos faltan al trabajo con más frecuencia, incurren en retrasos, suelen abandonar más a menudo la empresa para la que traban y el índice de accidentes de trabajo se incrementa. Los comportamientos de los empleados en el servicio están influenciados por la satisfacción en el trabajo (Betterncourt y Brown, 1997) y la percepción de la calidad del servicio del consumidor está ligada a las actitudes y comportamientos de los empleados durante la entrega del servicio.

 

(4) Las actitudes del cliente

 

La importancia que tiene para la gestión de empresas la investigación sobre las actitudes del consumidor es evidente. La percepción de la calidad es una actitud, una evaluación subjetiva del consumidor hacia el servicio/marca/empresa. Pero también lo son otras variables clave en marketing, como la satisfacción y la imagen corporativa, las cuales a su vez, están estrechamente relacionadas con la percepción de calidad.

 

Podemos afirmar que esas tres variables son probablemente las actitudes de los consumidores más profusamente analizadas. Es por ello que en la literatura se pueden encontrar una gran cantidad de modelos que relacionan esas variables con la lealtad del consumidor. Martínez y Martínez (2008) razonan cómo deben de estar relacionadas las variables actitudinales en modelos causales, no debiendo establecerse vínculos unidireccionales entre ellas, y no debiendo estar modeladas como variables exógenas.

 

De este modo, la dirección de servicios deportivos puede estar interesada en conocer una o varias actitudes del consumidor, y establecer qué relación existe con las percepciones de los trabajadores.

 

 

3.1. LA RELACIÓN ENTRE LAS VARIABLES DEL MODELO

 

Una vez identificadas las variables de interés hay que establecer qué relación existe entre ellas. Para ello, no hay que olvidar las diferencias existentes entre los conceptos “asociación” y “causalidad”, siendo este último sinónimo de vínculos unidireccionales (también llamados asimétricos). Hemos seguido la filosofía de modelado propuesta por Martínez y Martínez (2008) sobre las actitudes de los consumidores, extrapolando ese razonamiento a las actitudes de los trabajadores. El modelo se muestra en la Figura 1.

 

Hartline y Ferrel (1996) explicitan claramente que el conflicto y la ambigüedad de rol son antecedentes de la satisfacción del empleado, a través de una relación negativa, es decir, a mayor nivel de conflicto y ambigüedad de rol, menor satisfacción. Nuestra postura es diferente. De hecho, creemos también que la satisfacción podría ser un antecedente de las evaluaciones sobre el rol del empleado, ya que podría producirse un efecto halo (Podsakoff, MacKenzie, Lee, y Podsakoff, 2003). Es decir, si un trabajador está muy poco satisfecho, ese sentimiento podría enturbiar las evaluaciones de otras variables medidas como percepciones del propio empleado. Como indican Martínez y Martínez (2008), la teoría causal de razonar contra los hechos (Pearl, 2000) ayuda a justificar este razonamiento sobre la no adecuación de establecer relaciones unidireccionales

 

Figura 1.Modelo propuesto

 

 

Figura 1

 

 

Un caso similar ocurre entre la satisfacción y la motivación del trabajador, que como indica Doyle (2002), se relacionan de forma circular.

 

Establecemos entonces que todas las variables que se refieren a las actitudes del empleado en un momento del tiempo determinado están al mismo nivel, y dependen de las acciones de recursos humanos que la dirección implemente. Al mismo tiempo, esas variables anteceden a las intenciones de los trabajadores, es decir, a la valoración de éstos sobre su comportamiento futuro, de forma similar a como Martínez y Martínez (2008) proponen.

 

Estas cinco variables componen un índice: la evaluación del empleado. A mayor puntuación en esas variables, mejor evaluación del empleado. Lógicamente, la medición de las variables conflicto y ambigüedad de rol tiene que ser cambiada de sentido, utilizando una simple transformación a posteriori de la escala sobre la que se recogen los datos.

 

La evaluación del empleado es una variable formativa, formada a partir de esas cinco variables; es una construcción algebraica derivada de la suma sin ponderar de esas variables. La distinción entre variables formativas y reflectivas ha sido ampliamente discutida en la literatura (ej. Diamantopoulos y Winklhofer, 2001; Jarvis, Mackenzie y Podsakoff, 2003). De este modo, esas cinco variables pueden considerarse como dimensiones de un constructo formativo multidimensional: la evaluación del empleado. Al mismo tiempo, esas dimensiones pueden ser medidas de forma reflectiva o formativa, en función de la definición de éstas. Vamos a explicitar, a continuación, esas medidas.

 

Conflicto de rol

 

Siguiendo a Hartline y Ferrel (1996) proponemos los siguientes ítems:

 

-       (x1): La cantidad y tipo de trabajo realizado se corresponde con las expectativas de mi puesto de trabajo

-       (x2):  Sé cómo desarrollar mi trabajo y las tareas que debo realizar

-       (x3): Sé qué decisiones debo tomar yo y cuáles deben tomar mis supervisores u otros compañeros.

 

Ambigüedad  de rol

 

De nuevo basándonos en Hartline y Ferrel (1996) proponemos los siguientes ítems:

 

-       (x4): Sé cómo organizar el tiempo que debo pasar realizando las diferentes tareas que componen mi trabajo

-       (x5): Conozco cómo mi supervisor o jefe evalúa mi trabajo

-       (x6): Conozco el grado de satisfacción de mi supervisor o jefe acerca de mi trabajo.

 

Motivación

 

Siguiendo a Doyle (2002) proponemos los siguientes ítems:

 

-       (x7): Me siento comprendido y valorado por mis superiores

-       (x8): La organización me da incentivos que premian mi esfuerzo en el trabajo

-       (x9): Me encuentro ilusionado y con ganas para realizar mi trabajo

 

Satisfacción

 

Se han desarrollado varias escalas para medir la satisfacción laboral, como por ejemplo el Job Descriptive Index (Smith, Kendal y Hulin, 1985) o el Minnesota Satisfaction Questionnaire (Weiss, Dawis, England y Lofquist, 1967). Todos estos cuestionarios se componen de un gran número de ítems que miden diferentes facetas que componen la satisfacción del trabajador. Se trata de cuestionarios muy extensos, que proveen mucha información, pero que a su vez están mucho más expuestos a los efectos negativos de diferentes sesgos asociados a encuestas extensas (Podsakoff, MacKenzie, Lee, y Podsakoff, 2003).

 

Dado que el objetivo de nuestra propuesta es elaborar una herramienta de medición sistemática y de fácil aplicación, no creemos preceptivo recomendar ese tipo de cuestionarios comentados. Simplemente podemos preguntar acerca de la satisfacción global, de la siguiente forma:

 

-       (x10): Estoy satisfecho con las tareas que desempeño en mi trabajo

-       (x11): Estoy contento por trabajar en el servicio de deportes municipal

 

Este tipo de preguntas globales han sido utilizadas por otros autores, como Hartline y Ferrell (1996) o Schneider y Vaught (1993).

 

Compromiso

 

Hemos definido el compromiso como una forma de lealtad hacia la organización. Trabajadores más comprometidos realizarán mejor sus tareas.

 

Tradicionalmente el compromiso se mide utilizando indicadores referidos a la probabilidad de que el individuo permanezca en la organización o a la intención de seguir trabajando en ella si las condiciones cambian.

 

Dado que muchos de los trabajadores de los servicios deportivos públicos son funcionarios, las cuestiones anteriores pueden carecer de sentido. Sí que es cierto que buena parte de ellos pueden tener la posibilidad de rotar en el estamento público de un servicio a otro (de deportes a otra concejalía), si es que no están contentos con su actual trabajo, pero creemos que en general estas cuestiones podrían llevar a equívocos. Además, existen trabajadores con una situación laboral más inestable y personal voluntario. Esa heterogeneidad hace menos indicado este tipo de preguntas.

 

Creemos entonces que el compromiso debe simplemente medirse en relación a las intenciones de los trabajadores de recomendar el trabajo que están realizando, de hablar bien de él y de la organización, análogamente a cómo la comunicación boca-oído refleja las intenciones de los consumidores sobre la recomendación de los servicios que utilizan. De este modo, proponemos los siguientes ítems:

 

-       (x12): Recomendaré a otras personas que trabajen para el servicio de deportes municipal

-       (x13): Diré cosas positivas a otras personas sobre mi trabajo en el servicio de deportes municipal

 

Estos 13 ítems tienen una relación formativa con su constructo asociado. De esta forma, se obtiene un índice para cada una de esas 5 variables, es decir, 5 puntuaciones (una para cada dimensión) que son agregadas para formar la evaluación del empleado. Ese índice global puede ser normalizado a una escala [0,1] (Cohen, Cohen, Aiken y West, 1999). Para ello, es recomendable utilizar la misma escala de medida para todos los ítems, y obtener el valor normalizado siguiendo las recomendaciones de esos autores.

 

Las acciones de recursos humanos realizadas por la dirección actuarán como variables exógenas, ya que son las variables que pueden ser manipuladas por los gestores del servicio deportivo municipal.  De este modo, se puede realizar un seguimiento periódico (semestral, anual, etc.) de cómo varía la evaluación de los empleados en función de las acciones que realice la dirección. Entre ellas, están las comentadas en la interfaz director-empleado, es decir, las relacionadas con el proceso de selección y formación del empleado, el empowerment y las acciones de marketing interno.

 

Finalmente el valor de la evaluación del empleado debe relacionarse con las evaluaciones de los consumidores sobre el servicio, es decir, sobre la actitud de éstos. Para ello, se deben obtener datos periódicos a través de cuestionarios. Éstos han de ser muy sencillos y cortos, y refiriéndose a variables como la disconfirmación de expectativas, calidad percibida, satisfacción o imagen corporativa. Describimos a continuación una forma heurística de realizar esa comparación.

 

 

3.2. EL MAPEADO DE LAS DISTRIBUCIONES DE DATOS

 

Proponemos realizar la comparación entre las perspectivas del empleado y del cliente a través del análisis de las distribuciones de probabilidad de los datos generados.

 

Para ello, partiremos del análisis de los datos relativos a las actitudes del consumidor, ya que el número de respuestas será mayor que el de las contestaciones de los empleados, por lo que se puede describir de forma más sencilla su distribución. De este modo, hay que crear una única variable referida a esa actitud. Si sólo se mide la calidad percibida no haría falta esa agregación, pero si además medimos variables como la satisfacción o la disconfirmación de expectativas, podríamos crear un único índice formativo normalizado, del mismo modo que hemos explicado anteriormente.

 

Llamaremos a esa variable Y, y al índice de evaluación del empleado X. Repetimos que el número de respuestas para ambas puede ser muy dispar.

 

Nuestra propuesta es realizar una división de la distribución de Y en 3 cuartiles: el primero de ellos comprendería el primer 25% de la distribución, el segundo entre el 25 y el 75%, y el tercero del 75 al 100%. De este modo, si la distribución es simétrica, como el caso de la Normal, Logística, Laplace, etc. o existen pequeñas asimetrías, habrá una separación relativamente importante entre los centros de gravedad de cada uno de esos cuartiles. Por el contrario, si la distribución no es simétrica, caso de la Weibull, Half-logística, etc., entonces puede que esas diferencias no sean tan claras en algunos casos. No obstante, este procedimiento admite manejar cualquier tipo de distribución de datos, y permite un sencillísimo cálculo que refleja un segmento de consumidores con valoración más baja, otro segmento con valoración media, y un último segmento con valoración alta.

 

Vamos a ilustrar gráficamente el proceso de mapeado entre los datos provenientes de los empleados y la distribución de datos de las percepciones de los clientes.

 

La Figura 2 muestra un ejemplo de una función de distribución dividida en los tres cuartiles comentados. El centro de gravedad de cada cuartil lo marcan las 3 líneas horizontales grises. Ese valor es simplemente el promedio de los datos del cuartil. Los puntos azules representan las respuestas de los empleados. En este caso, se puede establecer otra distribución de frecuencias que debe mapearse con la de los datos sobre clientes. El criterio es el que muestra la ecuación (1).

 

(1)

 

Es decir, siendo i el número de respuestas distintas en X, a cada frecuencia de X () le corresponde un determinado cuartil (), en función de la mínima distancia entre  e , siendo j el número de cuartiles de Y, en este caso 3.

 

Figura 2. Ejemplo ilustrativo

 

 

Figura 2

 

De este modo, para el ejemplo de la Figura 2, las cinco respuestas superiores de X se mapearían con el tercer cuartil, las dos intermedios con el segundo, y el punto inferior con el primero. Asimismo, se puede calcular un índice de tamaño de efecto entre los dos centros de gravedad, utilizando la d de Cohen (1988), ya que se conocen los valores medios y las desviaciones típicas de ambas variables (en este ejemplo simulado se han supuesto las varianzas de Y igual a 0.1). Los resultados de esa relación se muestran en la Tabla 1.

 

Tabla 1. Resultados del proceso de mapeo

Distribución de datos de clientes (Y)

Porcentaje (Y)

Centro de gravedad (Y)

Porcentaje de la distribución de datos de empleados (X)

Centro de gravedad (X)

Tamaño de efecto

Primer cuartil

25%

0.1

12.5%

0.2

Segundo cuartil

50%

0.4

25%

0.4

Tercer cuartil

25%

0.7

62.5%

0.84

 

Para interpretar los resultados es necesario obtener varias replicaciones en periodos de tiempo sucesivos, es decir, utilizar esta herramienta de forma sistemática. Así, por ejemplo, se puede analizar si un incremento en el porcentaje de la distribución de datos de empleados en el tercer cuartil se corresponde con una reducción del tamaño de efecto , es decir,  si el centro de gravedad de Y para el tercer cuartil se acerca al de X. Ello podría ser indicativo de que una mejora en las percepciones de los empleados origina un incremento en la percepción de calidad de los consumidores, o en cualquier otra variable actitudinal que se tome como referencia.

 

Otra interesante combinación resultaría del incremento del centro de gravedad de Y (mejores percepciones de los clientes), pero una disminución del porcentaje de X para el tercer cuartil (suponemos que no varían las evaluaciones de los empleados).  Ello sería un reflejo de que las mejoras de las percepciones de los clientes no han tenido relación con las mejoras de las actitudes de los trabajadores, ya que éstas no han variado en ese periodo.

 

En realidad, hay que valorar la relación entre el centro de gravedad de Y y el porcentaje de la distribución de empleados, ya que el centro de gravedad de X, depende de la relación entre las dos variables anteriores. Este procedimiento da información mucho más rica que la simple comparación de medias entre las evaluaciones de X e Y, ya que la media puede no ser un  buen descriptor de las distribuciones cuando son asimétricas. Además, permite tener en cuenta las evaluaciones de carácter más negativo (o menos positivo), es decir, las del primer cuartil, con la importancia que ello tiene para enjuiciar los posibles efectos nocivos de esas evaluaciones (Kahneman y Tversky, 1979)

 

En resumen, se trata de ver la evolución de las actitudes de los clientes en el tiempo, y su relación con la de los empleados, pudiendo la dirección de los servicios deportivos implementar acciones (interfaz director-empleado) que produzcan variación en las evaluaciones de esos empleados. Ese cambio puede trasladarse o no a las percepciones de los clientes, con lo que se puede discernir con un criterio cuantitativo el éxito de la dirección de recursos humanos, al menos en cuanto a lo que se refiere a los efectos sobre los consumidores

 

 

4. CONCLUSIONES

 

En esta investigación hemos propuesto un modelo para medir las actitudes de los trabajadores de servicios públicos deportivos, con el fin de relacionar sus percepciones sobre su situación laboral y condiciones de trabajo con las actitudes de los consumidores. El modelo está pensado para ser utilizado con los trabajadores que interactúan con el cliente, ya que de su desempeño dependen buena parte de las evaluaciones que los consumidores realicen sobre el servicio.

 

La especial idiosincrasia de los servicios deportivos públicos, donde existe gran heterogeneidad entre la situación laboral de los trabajadores es una dificultad para la dirección de recursos humanos. No obstante, el hecho de ofrecer una propuesta clara de medición, como hemos realizado, facilitará la implementación de estas acciones de evaluación, tan necesarias en un contexto de mejora de la calidad, que representa la dirección hacia la que se encaminan este tipo de servicios.

 

Conserjes, personal de administración en contacto con el público, monitores y profesores deben ser objeto de esta evaluación periódica. Los voluntarios deportivos que trabajen esporádicamente en la organización de ciertos eventos también pueden ser susceptibles de ser evaluados, modificando la redacción de ciertos ítems para que cobren sentido en esta situación específica.

 

Las encuestas deben ser periódicas, y el anonimato tiene que estar garantizado. No obstante, es muy posible que la dirección se encuentre con problemas o reticencias de los empleados ante esas encuestas. Por ello, la brevedad de nuestra propuesta es un punto a favor, así como la no consideración de elementos más polémicos, como los relativos a las cuestiones específicas referidas a satisfacción laboral (sueldo, incentivos financieros, vacaciones, etc.). Bajo nuestro punto de vista, estas últimas cuestiones deben ser tenidas en cuenta en negociaciones con los sindicatos, y dependen de la sensibilidad de la dirección ante las demandas latentes de sus empleados. A nivel práctico, desde luego, pensamos que esta opción “cualitativa” que acabamos de comentar es la más adecuada para analizar pormenorizadamente los determinantes de la satisfacción laboral.

 

No obstante, la aproximación “cuantitativa”, es decir, el tipo de mediciones sistemáticas que proponemos, puede ofrecer una visión interesante sobre el estado de las actitudes de los trabajadores, y una manera de evaluar las acciones de recursos humanos que la dirección emprenda.

 

 

REFERENCIAS

 

Andreassen, T. W. (1994). Satisfaction, loyalty and reputation as indicators of customer orientation in the public sector.      International Journal of Public Sector Management, 7 (2), 16-34.

Andreassen, T. W. (1995). (Dis)satisfaction with public services: the case of public transportation. Journal of Services Marketing, 9 (5), 30-41.

Bettencourt, L. A. y Brown, S. W. (1996). Customization of the service experience: The role of the frontline employee". International Journal of Service Industry Management, 7 (2), 3-20

Bitner, M. J. (1990). Evaluating service encounters: The effects of physical surrounding and employees responses. Journal of Marketing. 54 (2), 69-81.

Bitner, M. J., Bernard, H., B. y Tetreault, M. S. (1990). The service encounter: diagnosing favorable and unfavorable incidents. Journal of Marketing, 54 (Enero), 71-84

Bitner, M. y Hubbert, A.  (1994). Encounter satisfaction versus overall satisfaction versus quality. En Service Quality: New Directions in Theory and Practice, eds. R. Rust & R. Oliver.

Bloemer, J., de Ruyter, K., y Peeters, P. (1998). Investigating drivers of bank loyalty: the complex relationship between image, service quality and satisfaction. International Journal of Bank Marketing, 16 (7), 276-286

Bowen D. E, y Ostroff C. (2004). Understanding HRM-firm performance linkages: The role of the “strength” of the HRM system. Academy of Management Review, 29, 203-221.

Brady M. K. y Cronin J. J. (2001). Some new thoughts on conceptualizing perceived service quality: A hierarchical approach. Journal of Marketing, 5, 34-49

Brown, S. P., y Peterson, R. A.  (1993). Antecedents and consequences of salesperson job satisfaction: Meta-analysis and assessment of causal effects. Journal of Marketing Research, 30 (Febrero), 63-77

Carlzon, J. M. (1987). Moments of truth. New York, Harper & Row

Cervera, A. (1999). Marketing y orientación al mercado de la administración pública local. Institució Alfons el Magnànim, Diputació de València

Chelladurai, P. (1999). Human resource management in sport and recreation. Champaign, IL: Human Kinetics.

Cohen, J. (1988). Statistical power analysis for the behavioural sciences. Second Edition. Hillsdale, NJ: Erlbaum.

Cohen, P., Cohen, J., Aiken, L. S., y West, S. G. (1999). The problem of units and the circumstance for POMP. Multivariate Behavioral Research, 34, 315-346

Croning, J.J. y Taylor, S.A. (1994). SERVPERF versus SERVQUAL: reconciling, performance-based and perceptions minus expectations measurement of service quality. Journal of Marketing, 58, 55-68.

Davis, J. W. y Newstrom. (1999). Comportamiento humano en el trabajo. 10ª Edición. Mexico, McGraw-Hill.

De Ruyter, K., y Wetzels, M. (1996). Two sides of the same story: measuring different quality perceptions of the dyadic service encounter with the SERVCON instrument.  Total Quality Management, 7 (6), 595-603. 

Diamantopoulos, A. y Winklhofer, H. (2001). Index construction with formative indicators: An alternative to scale development. Journal of Marketing Research, 38 (2), 269-277.

Doyle, P. (2002). Marketing management and strategy (3rd Edition). Prentice Hall.

Ewing, M. y Caruana, A. (1999). An internal marketing approach to public sector management. The marketing and human resources interface. The International Journal of Public Sector Management, 12 (1), 17-26

Federación Española de Municipios y Provincias (2002). Conclusiones de las Jornadas de Análisis y perspectivas de modernización y calidad en la administración local. FEMP

Font, B. (2000). El marketing de la calidad en el sector turístico. Esic Market, 106, 59-93. 

García, G. (2000). Comercio especializado: variables estratégicas y posicionamiento. Distribución y Consumo, 54, 35-51

García, J., Gargallo, A., Marzo, M. y Rivera, P. (2003). Determinantes de la satisfacción laboral: Una evidencia empírica para el caso español.  Actas del XIII Congreso Nacional ACEDE, Salamanca

Govender, K.            (1998). Managing service quality by managing the service encounter. Tesis doctoral sin publicar. University of Cape Town, Cape Town.

Grönroos, C. (1990). Service management and marketing. Managing the moments of truth in service competition.  Lexington Books. Lexington, Massachussets

Hartline, M. D. y Ferrell, O. C. (1996). The management of customer-contact employees: An empirical investigation. Journal of Marketing, 60 (Octubre),  52-70

Jarvis, C. B., MacKenzie, S. B. y Podsakoff, P. M. (2003). A critical review of construct indicators and measurement model misspecification in marketing and consumer research. Journal of Consumer Research, 30, 199-218

Jaworski, B. J. (1988). Toward a theory of marketing contol: environmental context, control types and consequences. Journal of Marketing, 52 (Julio), 23-39

Johnston, R. (1995). The determinants of service quality: satisfiers and dissatisfiers. International Journal of Service Industry Management, 6 (5), 53-71

Kahneman, D., y Tversky, A. (1979). Prospect theory: an analysis of decision under risk. Econometrica, 47 (2), 263- 291.

Llorens, F. J., Fuentes, M. M. y Molina, L. M. (2003). Quality management in banking services: an approach to employee and customer perceptions. Total Quality Management, 14 (3),  305-323

López, M. C. y Serrano, A. M. (2001). Dimensiones y medición de la calidad del servicio en empresas hoteleras.  Revista Colombiana de Marketing, 2 (3), 1-13.

Lytle, R. S., Hom, P. W., y Mokwa, M. P. (1998). SERV*, O.R.: a managerial measure of organizational service-orientation. Journal of Retailing, 74 (4). 455-89

Mackay, K. J. y Crompton, J. L. (1988). A conceptual model of consumer evaluation of recreation service quality. Leisure Studies, 7(1), 41-49.

Martínez, J. A. y Martínez, L. (2008). Building better causal models to measure the relationship between attitudes and customer loyalty. International Journal of Market Research, 50 (4), 437-447

Mumford, E. (1991). Job satisfaction: A method of analysis. Personnel Review, 20, (3), 11-19.

Parasuraman, A., Zeithaml V. y Berry L. (1985). A conceptual model of service quality and its implications for future research. Journal of Marketing, 49, 35-48

Parasuraman, A., Zeithaml V. y Berry L. (1988). Communication and control processes in the delivery of Service Quality.  Journal of Marketing, 52 (Abril), 35-48.

Parasuraman, A., Zeithaml V. y Berry L. (1990). Five imperatives for improving service quality. Sloan Management Review, 31 (4), 29-38.

Pearl, J. (2000). Causality: Models, Reasoning and Inference. Cambridge, UK: Cambridge University Press.

Petty, M. M., McGee, W. M. y Cavender, J. W. (1984). A meta-analysis of the relationships between individual performance. Academy of Management Review, 16 (1), 121-144

Podsakoff, P. M., MacKenzie, S. B. Lee, J-Y. y Podsakoff, N. P. (2003). Common method variance in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88,   879-903.

Santos, J. y Mathews, B. (2002). Core and peripheral dimensions in service quality: The service providers perspective. Proceeding of the 31st EMAC Conference, Braga.

Scharitzer, D. y Korunka, C. (2000). New public management: evaluating the success of total quality management and change management interventions in public services from de employees' and customers' perspectives. Total Quality Management, 11 (7), 941-953

Schneider, D. y Vaught, B. (1993). A comparison of job satisfaction between public and private sector managers.          PAQ, 17, 68-84

Singh, J. (1993). Boundary role ambiguity: facets, determinants and impacts. Journal of Marketing, 57 (Abril), 11-31     

Smith, P.C., Kendall, L.M., y Hulin, C.L. (1985). The revised Job Descriptive Index, Rand McNally, Chicago, IL,

Steers, R. M.  y Porter, L. W. (1987). Motivation and work behaviour. New York, McGraw-Hill

Sureshghandar, G. S., Chandrasekharan, R. y Anantharaman, R. N. (2002). The relationship between management's perception of total quality service and customer perceptions of service quality.  Total Quality Management, 13 (1),  69-88

Taylor, T. y McGraw, P. (2006). Exploring human resource management practices in non-profit sport organisations. Sport Management Review, 9, 229–251

Weiss, D. J., Dawis, R. V., England, G. W., y Lofquist, L. H. (1967). Manual for the Minnesota Satisfaction Questionnaire. Industrial Relations Center, University of Minnesota.

Young, B., Worche,l S. y Woehr, D. (1998). Organizational commitment among public service employees. Public Personnel Management, 27 (3), 339-360.

Zeithaml, V. A. y Bitner, M. J. (1996). Service marketing. New York, McGraw-Hill.

 

 

Rev.int.med.cienc.act.fís.deporte - vol. 9 -  número 34 - junio 2009 - ISSN: 1577-0354