Marina Pereira Gonçalves 1*
Evandro Morais Peixoto 2
Leonardo Pestillo de Oliveira 3
Rebeca Cruz Porto 4
João Ricardo Nickenig Vissoci 5
1 0000-0002-6344-7059 Universidade Federal do Vale do São Francisco, Petrolina/PE, Brasil.
2 0000-0003-1007-3433 Universidade São Francisco, Campinas/SP, Brasil.
3 0000-0001-5278-0676 Centro Universitário de Maringá, Maringá/PR, Brasil.
4 0000-0002-2064-217X Universidade Federal do Vale do São Francisco, Petrolina/PE, Brasil.
5 0000-0001-7276-0402 Duke University, Duke/Carolina do Norte, Estados Unidos.
* Endereço para a correspondência: Universidade Federal do Vale do São Francisco. Colegiado de Psicologia. Av. José de Sá Maniçoba, S/N, Centro. Petrolina, Pernambuco. Brasil. CEP: 56.304-917. E-mail: marinapgoncalves@gmail.com
Recibido, febrero 13/2020
Concepto de evaluación, abril 27/2020
Aceptado, junio 08/2020
Como citar este artigo: Pereira Gonçalves, M., Morais Peixoto, E., Pestillo de Oliveira, L., Cruz Porto, R., & Nickenig Vissoci, J. R. (2021). Parâmetros psicométricos da Prosocial and Antisocial Behavior Sport Scale (PABSS) para o contexto brasileiro. Acta Colombiana de Psicología, 24(1), 130-140. https://doi.org/10.14718/ACP2021.24.1.12
Resumo
Contar com uma medida psicometricamente adequada para a avaliação dos comportamentos moralmente relevantes de atletas é importante para fomentar pesquisas e viabilizar estratégias de intervenção eficazes. O objetivo da presente pesquisa foi estimar propriedades psicométricas da Prosocial and Antisocial Behavior Sport Scale (PABSS) para o contexto brasileiro. A amostra foi composta por 360 atletas de ambos os sexos (idade média 16.1 ± 3.61; 64.7 % homens). A análise fatorial exploratória indicou a pertinência da estrutura composta por quatro fatores: (1) comportamento pró-social direcionado aos companheiros de equipe (CPC); (2) comportamento pró-social direcionado aos adversários (CPA); (3) comportamento antissocial direcionado aos companheiros de equipe (CAC); (4) comportamento antissocial direcionado aos adversários (CAA), explicando conjuntamente 66.1 % da variância total, o que corrobora a hipótese teórica. Adicionalmente, a análise fatorial semiconfirmatória apresentou comprovação do modelo composto por quatro fatores: [(OJO2 = 126.685, gl = 116. p = .234; OJO2/gl = 1.09; CFI = 0.998 (IC 95 % = 0.997-0.999); GFI = 0.991 (IC 95 % = 0.997- 0.999); RMSEA = 0.018 (IC 95 % = 0.016-0.020)]. Todos os fatores apresentaram índices desejáveis de consistência interna, alfa de Cronbach superiores a .78 e ômega de Mcdonald superiores a .88. Também foram observadas as associações entre comportamento moral e valores no esporte. Conclui-se que a versão brasileira da PABSS reúne evidências psicométricas adequadas, podendo ser utilizada em estudos futuros.
Palavras-chave: comportamentos pró-sociais; comportamentos antissociais; atletas; esporte.
Resumen
Contar con una medida psicométrica apropiada para evaluar los comportamientos moralmente relevantes de los atletas es importante para fomentar la investigación y permitir estrategias de intervención efectivas. El objetivo de esta investigación fue estimar las propiedades psicométricas de la Prosocial and Antisocial Behavior Sport Scale (PABSS) para el contexto brasileño. La muestra consistió en 360 atletas de ambos sexos (promedio de edad 16.1 ± 3.61; 64.7 % hombres). El análisis factorial exploratorio indicó la relevancia de la estructura que consta de cuatro factores: (1) Comportamiento prosocial dirigido a compañeros de equipo (CPC); (2) Comportamiento prosocial dirigido a oponentes (CPA); (3) Comportamiento antisocial dirigido a compañeros de equipo (CAC); (4) Comportamiento antisocial dirigido a oponentes (CAA), explicando conjuntamente el 66.1 % de la varianza total, lo que corrobora la hipótesis teórica. Además, el análisis factorial semiconfirmatorio mostró pruebas del modelo compuesto por cuatro factores: [(OJO2 = 126.685, gl = 116, p = .234; OJO2/gl = 1.09; CFI = 0.99 (IC 95% = 0.997-0.999); GFI = 0.99 (IC 95 % = 0.997-0.999); RMSEA = 0.018 (IC 95 % = 0.016-0.020)]. Todos los factores tenían índices de consistencia interna alfa de Cronbach deseables mayores a 0.78 y omega de McDonald mayores a 0.88. También se observaron asociaciones entre el comportamiento moral y los valores en el deporte. En conclusión, la versión brasileña del PABSS reúne evidencia psicométrica adecuada y puede ser utilizada en futuros estudios.
Palabras clave: comportamientos prosociales, comportamientos antisociales, atletas, deporte.
Abstract
Having an appropriate psychometric measure for assessing the morally relevant behaviors of athletes is important to encourage research and enable effective intervention strategies. The aim of this research was to verify the psychometric properties of the Prosocial and Antisocial Behaviors Sport Scale (PABSS) for the Brazilian context. The sample consisted of 360 athletes of both sexes (average age 16.1±3.61; 64.7% men). The exploratory factorial analysis indicated the adequacy of the structure comprising four factors: 1) Prosocial behavior directed to teammates (CPC) 2) Prosocial behavior directed to opponents (CPA); (3) Anti-social behavior directed to teammates (CAC); (4) Anti-social behavior directed to opponents (CAA), which jointly explains 66.1% of the total variance, thus corroborating the theoretical hypothesis. In addition, Semi-confirmatory Factor Analysis showed evidence of the four-factor model: [(OJO2= 126.685, gl= 116, p = .234; OJO2/gl= 1.09; CFI= 0.99 (IC 95%= 0.997-0.999); GFI= 0.99 (IC 95% = 0.997- 0.999); RMSEA= 0.018 (IC 95%= 0.016-0.020)]. All factors had desirable internal consistency indexes of Cronbach's alpha greater than 0.78 and McDonald's Omega greater than 0.80. Associations between moral behavior and values in sports were also observed. In conclusion, the Brazilian version of the PABSS presented adequate psychometric evidence and can be used in future studies.
Keywords: prosocial behaviors, antisocial behaviors, athletes, sport.
Os comportamentos pró-sociais (PRO) e antissociais (ANT) são comportamentos com potencial de afetar os outros (Kavussanu & Boardley, 2009), podendo colaborar ou prejudicar os envolvidos (Oliveira, 2015). Os comportamentos ANT são ações que propositalmente prejudicam ou deixam em desvantagem outro indivíduo. Por sua vez, os comportamentos PRO seriam ações com intenções de ajudar outra pessoa, sem obter um benefício próprio (Eisenberg & Fabes, 1998; Kavussanu & Boardley, 2009; Oliveira, 2015).
Em competições esportivas, exemplos de comportamentos ANT seriam: fingir uma lesão para ter alguma vantagem,agredir física ou verbalmente; exemplos de comportamentos PRO seriam: parar para ajudar o oponente que se machucou, assumir a responsabilidade sobre uma ação negativa que o juiz atribuiu a outro competidor, evitando que o outro se prejudique por um ato seu. Uma revisão sistemática de literatura realizada por Graupensperger, Jesen e Evans (2018) revelou que tanto os comportamentos PRO quanto os ANT são mais intensos entre a própria equipe e menos intensos ante adversários, resultados semelhantes aos de Oliveira (2015), no Brasil.
Com o acentuado crescimento do interesse por práticas esportivas, inclusive pela sua profissionalização e comercialização, tem aumentado também a discussão sobre quais tipos de comportamento são aceitáveis ou não dentro desse contexto e como encorajar e desenvolver comportamentos PRO no contexto esportivo (Cockman & Lee, 2013; Martín-Vilar et al, 2019). Infelizmente, alguns autores como Kavussanu e Boardley (2009) apontam que os comportamentos ANT têm sido mais prevalentes do que os comportamentos PRO entre os atletas que participam de competições esportivas. Nessa mesma direção, van de Pol, Kavussanu e Claessens (2020) observaram mais prevalência de comportamento ANT durante as competições do que nos treinamentos, além de terem observado que o clima de desempenho e o comportamento ANT foram mediados pelo desengajamento moral em ambos os contextos (treinamento e competições). Desse modo, faz-se necessário entender esse fenômeno para criar mecanismos que possam reduzir comportamentos ANT no contexto esportivo (Kaye & Hoar, 2015).
Como forma de promover comportamentos PRO (por exemplo, respeito a oponentes, técnicos, juízes) e inibir comportamentos ANT (por exemplo, trapaça, uso de vantagens ilícitas, como o doping e a violência), o conselho da Europa criou, em 1996, o código de ética desportivista, o fair play (Oliveira, 2015), expressão que se refere justamente a comportamentos PRO no esporte caracterizados por justiça, equidade, benevolência e boas maneiras (Cockman & Lee, 2013). A literatura na área dos esportes aponta que alguns elementos podem favorecer os comportamentos PRO no esporte, tais como o ambiente desportivo, a definição clara e precisa dos objetivos, o bom clima motivacional, o relacionamento treinador-atleta, as necessidades básicas satisfeitas, o engajamento moral, a identidade moral, a personalidade e os valores (Hodge & Gucciardi, 2015; Oliveira, 2015; Pinheiro, 2013; van de Pol et al, 2020; Whitehead, Telfer, & Lambert, 2013).
Nessa direção, Martín-Vilar, González-Sala e Domínguez (2019) avaliaram publicações de 1900 a 2018 em diferentes bases de dados (Web of Science, Scopus, Dialnet, ResearchGate e PubMed), com a temática dos comportamentos PRO no contexto esportivo e identificaram preditores sociodemográficos, contextuais e intervenientes, com especial relevância do clima motivacional à tarefa e do estilo do treinador de apoio à autonomia, como variáveis importantes para a adoção de comportamentos mais prósociais em atletas. Adicionalmente, os comportamentos PRO, a partir de intervenções, podem ser ensinados e/ou alterados (Bosquetti, Morais, Altimari, & Souza, 2015).
Partindo do pressuposto de que o avanço no conhecimento de uma área perpassa pelo desenvolvimento, pela validade e pela confiabilidade de instrumentos de medida que avaliem os constructos estudados (Kavussanu, Stanger, & Boardley, 2013), alguns autores desenvolveram e validaram instrumentos para mensurar tais comportamentos. A esse respeito, com o propósito de medir sistematicamente os comportamentos PRO e ANT, Kavussanu e Boardley (2009) desenvolveram a Prosocial and Antisocial Behavior Sport Scale (PABSS), orientadas pela teoria social cognitiva de Albert Bandura (1991, 1999). Para tanto, as autoras identificaram grande número de comportamentos que correspondem às definições de comportamentos esportivos, desenvolveram itens para medi-los e examinaram a validade de seu conteúdo.
Por fim, administraram a escala a 1213 atletas de esportes coletivos; uma análise fatorial indicou a adequação de 20 itens agrupados em quatro fatores: (1) comportamento PRO direcionado aos companheiros de equipe (CPC); (2) comportamento PRO direcionado aos adversários (CPA); (3) comportamento ANT direcionado aos companheiros de equipe (CAC); (4) comportamento ANT direcionado aos adversários (CAA). Análises fatoriais confirmatórias indicaram um bom ajuste do modelo aos dados, x2 (164) = 241.05, p < .001, CFI = 0.920, RMSEA = 0.066, SRMR = 0.083. Além disso, os itens apresentaram níveis aceitáveis de consistência interna com coeficientes alfa Cronbach que variaram de .74 a .87 (Kavussanu & Boardley, 2009).
Posteriormente, Kavussanu et al. (2013) realizaram uma pesquisa com atletas universitários do Reino Unido com o objetivo de apresentar validade convergente, concorrente e discriminante da PABSS. A partir de análises de correlação da PABSS com outras medidas que avaliavam agressão física e verbal, hostilidade, raiva, identidade moral e empatia, esses autores observaram que comportamentos ANT se correlacionaram positivamente com agressão física e verbal (indicando validade convergente da PABSS); enquanto o comportamento PRO em relação aos oponentes apresentou correlação positiva com identidade moral e empatia (apoiando a validade concorrente). Ademais, nenhuma das escalas de comportamentos PRO correlacionou-se com agressão, raiva e hostilidade, indicando validade discriminante da PABSS.
Esse instrumento representou uma revolução no campo da moralidade esportiva, pois foi a primeira medida validada para mensurar comportamentos morais no esporte, representada em ações concretas (comportamentos), além de distinguir entre comportamentos praticados ante companheiros de equipe e ante adversários (Graupensperger et al., 2018; Kavussanu & Boardley, 2009). A PABSS também foi adaptada transculturalmente para diferentes contextos, como a Turquia (Balcikanli, 2013), onde esse autor observou, pela análise dos componentes principais, evidência de validade fatorial nesse país, com estrutura fatorial composta por quatro fatores condizentes com a estrutura original da PABSS e apresentando índices adequados de consistência interna, com valores de alfa de Cronbach adequados: .70 para o fator 1 (CPC), .72 para o fator 2 (CPA), também .72 para o fator 3 (CAC) e .75 para o fator 4 (CAA). Mais recentemente, Trigueiros, Alias, Gallardo, García-Tascón e Aguilar-Parra (2020) realizaram a adaptação e a validação da PABSS para o contexto espanhol e confirmaram a estrutura fatorial original composta pelos quatro fatores de comportamentos PRO e ANT [X2 (1081) = 456.89, p < .001; X2 /df = 2.77; CFI = .96; TLI = 0.96; IFI = 0.96; RMSEA = 0.062 (90 % CI = 0.057-0.068); SRMR = 0.042].
No Brasil, Oliveira (2015), utilizando a PABSS, realizou uma pesquisa cujo objetivo foi criar um modelo explicativo para verificar a influência da autonomia (a capacidade do sujeito julgar uma ação a partir de seus próprios critérios) em comportamentos PRO e ANT, mediados pela competência moral (emitir juízos morais). Para a verificação desse objetivo, o autor propôs a adaptação transcultural da PABSS para o português brasileiro. Contudo, não esteve entre seus objetivos o estudo de evidências de validade com base na estrutura interna e na precisão da versão brasileira da PABSS. Tendo em vista a necessidade de estudos que preencham essa lacuna, foram estabelecidos os seguintes objetivos da presente pesquisa: estimar as primeiras evidências de validade com base na estrutura interna, verificar sua relação com variáveis externas, bem como seus indicadores de precisão, por meio da estimativa da consistência interna dos fatores da versão brasileira da PABSS.
Método
Delineamento
Trata-se de uma pesquisa instrumental (Ato, López, & Benavante, 2013), com o objetivo de apresentar evidências de validade fatorial e validade baseada em variáveis externas da PABSS para o contexto brasileiro. Para tanto, seguiu-se o recomendado pela literatura da área psicométrica (American Educational Research Association — AERA, American Psychological Association — APA, & National Council on Measurement in Education — NCME, 2014).
Participantes
A amostra, por conveniência, foi composta por 360 atletas, dos quais 35.3 % eram mulheres e 64.7 %, homens. A idade dos participantes variou entre 12 e 34 anos, com média de idade de 16.1 anos (DP = 3.61). Quanto à escolaridade, a maioria indicou ter o ensino fundamental (49.1 %); seguidos do ensino médio (42.6 %), com poucos participantes do ensino superior (7.4 %) e com pós-graduação (0.9 %). A maioria dos participantes indicou praticar futebol (74.9 %), seguidos de praticantes de handebol (9.6 %), futsal (9.1 %), vôlei (5.5 %) e basquete (0.9 %). Os atletas responderam ainda quanto ao maior nível de competição que já haviam participado, sendo a maioria praticantes de competições estaduais (21.7 %), de regionais (18.8 %), municipais (16.3 %), escolares (14.3 %), nacionais (9.9 %) e internacionais (5.9 %). Como critérios de inclusão, consideraram-se participantes com idade entre 12 e 34 anos de idade, praticar ao menos uma modalidade esportiva há pelo menos um ano e participar de competições esportivas de qualquer nível.
Instrumentos
• PABSS (Escala de comportamentos pró-sociais e antissociais no esporte). Esse instrumento foi desenvolvido por Kavussanu e Boardley (2009) e consta de 20 itens distribuídos em quatro fatores estáveis: dois representando os comportamentos PRO e dois representando os comportamentos ANT — (1) CPC (itens 1, 8, 12 e 15; por exemplo, "Incentivei um colega de equipe/treino"); (2) CPA (4, 6 e 10; por exemplo, "Ajudei um adversário machucado"); (3) CAC (3, 7, 11, 14 e 18; por exemplo, "Ofendi verbalmente um colega de equipe/treino"); (4) CAA (2, 5, 9, 13, 16, 17, 19 e 20; por exemplo, "Derrubei, intencionalmente, um adversário"). Os participantes foram solicitados a relatar em uma escala Likert de cinco pontos quanto à frequência com que se engajam nos comportamentos apresentados pela escala durante a temporada de treinos e competições, sendo 1 — nunca e 5 — muito frequentemente. Kavussanu e Boardley (2009), a partir de análises fatoriais confirmatórias, indicaram um bom ajuste do modelo aos dados, x2 (164) = 241.05, p < .001, CFI = 0.920, RMSEA = 0.066, SRMR = 0.083; as cargas fatoriais variaram de 0.42 a 0.84.
• Youth Sport Values Questionnaire-2 (YSVQ-2 — Questionário de valores para jovens no esporte) é uma medida que mensura valores de jovens atletas no contexto esportivo. Foi revisada por Lee et al. (2008) a partir do questionário (YSVQ) desenvolvido por Lee, Whitehead e Balchin (2000). A versão utilizada nesta pesquisa foi traduzida e validada para o contexto brasileiro por Gonçalves, Rocha, Nascimento, Oliveira e Guerra (2017), na qual foram encontrados índices psicométricos adequados [(X2 (148) = 108.43, p < .001, X2/ gl = 2.26, GFI = 0.92, CFI = 0.90, RMSEA = 0.08 (IC 90 % = 0.06-0.10)]. A escala apresenta três fatores, a saber: valores morais (itens 2, 7, 10 e 12; por exemplo, "Eu demostrei espírito esportivo, jogo limpo"); valores de competência (itens 3, 4, 6 e 13; por exemplo, "Eu procurei melhorar meu desempenho"; valores de status (itens 1, 5, 8, 9 e 11; por exemplo, "Eu me vejo como sendo o melhor"), distribuídos em 13 itens, que são respondidos em uma escala Likert de cinco pontos, os quais variam de 1 — nada importante a 5 — totalmente importante. No presente estudo, esse instrumento foi utilizado para verificar evidências de validade da PABSS com base na relação com variáveis externas, tendo sido observadas associações significativas entre comportamentos morais e valores no esporte.
• Questionário sociodemográfico. Esse instrumento foi construído especificamente para a presente pesquisa com o objetivo de acessar as principais características dos participantes, como idade, sexo, modalidade esportiva praticada e nível de experiência com competições (escolar, municipal, regional, estadual, nacional ou internacional).
Procedimento
Os dados foram coletados em três cidades do interior nordestino (Petrolina-PE, Juazeiro-BA, Jequié-BA) e em uma do interior do Paraná (Maringá), em clubes esportivos e escolas públicas ou particulares que tivessem equipes esportivas compostas por atletas participantes de competições de qualquer nível (local, regional, nacional ou internacional) e de qualquer modalidade esportiva (individual ou coletiva), em locais de treino dos atletas e, eventualmente, em locais de competições. Inicialmente, os pesquisadores entraram em contato com os responsáveis pelas instituições a fim de solicitar permissão para a aplicação dos questionários com os atletas, entregando a eles a carta de anuência.
Para a coleta, os pesquisadores entraram em contato previamente com os treinadores, explicando o objetivo da pesquisa, além disso foi pedido a eles 20 minutos do tempo do treino ou algum outro horário indicado por eles. Uma vez autorizados, os atletas receberam informações sobre os objetivos da pesquisa, bem como da sua participação voluntária, assegurando-lhes o anonimato e a confidencialidade de suas respostas; todos esses quesitos foram apresentados por meio do Termo de Consentimento Livre e Esclarecido (TCLE). No caso dos atletas com menos de 18 anos, o TCLE foi apresentado ao adulto responsável e uma carta de assentimento ao atleta. Ressalta-se, portanto, que os aspectos éticos foram plenamente respeitados durante a execução deste projeto, seguindo a Resolução 466/2012, do Conselho Nacional de Saúde do Brasil, que regulamenta pesquisas que envolvem seres humanos. Esta pesquisa foi aprovada por um Comitê de Ética local, sob o n.° 2.205.604.
Adaptação da PABSS para o português brasileiro
O processo de tradução e adaptação transcultural foi constituído por cinco pesquisadores que participaram voluntariamente de etapas de tradução, adaptação e retrotradução (back-translation) (AERA, APA, & NCME, 2014). Inicialmente, o instrumento foi adaptado por meio de duas traduções independentes realizadas por pesquisadores bilíngues português-inglês. Posteriormente, um comitê composto por três pesquisadores em psicologia do esporte foi criado para a construção de uma versão síntese das traduções. Na última etapa, retrotradução, a versão síntese foi traduzida para a língua inglesa, de forma independente, por dois profissionais. As retrotraduções foram então comparadas com a versão síntese do instrumento; não foram observadas inconsistências.
Para a avaliação de evidências de validade baseadas no conteúdo do instrumento, um estudo-piloto foi conduzido com um grupo de 20 atletas adultos, selecionados com base na conveniência, para avaliar a qualidade das questões do instrumento e sua coerência de linguagem e conteúdo (Erkut, 2010). Para analisar a adequação teórica e de conteúdo do instrumento traduzido, foi realizado um conjunto de grupos focais com juízes especialistas. Isso serviu para verificar: (1) a relevância prática; (2) a clareza da linguagem dos instrumentos traduzidos e (3) a coerência teórica dos itens. As opiniões dos especialistas foram discutidas coletivamente nas sessões dos grupos focais para tratar discordâncias e melhorar a qualidade das traduções. Devido à objetividade dos itens, não foram encontradas dificuldades para o estabelecimento da versão final do instrumento em versão brasileira.
Análise de dados
Para verificar as evidências de validade baseadas na estrutura interna da PABSS, recorreu-se à análise fatorial exploratória, um procedimento estatístico multivariado que tem por objetivo estimar o padrão de covariancia entre um conjunto determinado de variáveis observadas de um instrumento psicométrico. Os agrupamentos de variáveis observadas, obtidos a partir dos padrões de covariâncias, são interpretados a partir de variáveis latentes, também denominadas "fatores", ou seja, fenômenos psicológicos que influenciam a variabilidade dessas variáveis observadas (Auerswald & Moshagen, 2019). A análise fatorial exploratória foi realizada com apoio do software estatístico FACTOR versão 10.3 (Ferrando & Lorenzo-Seva, 2017), baseando-se no método de estimação Unweighted Least Squares e na rotação oblíqua Promax, que inicia o método rotacional a partir de uma solução ortogonal, considerando as baixas associações entre os fatores e posteriormente permite o cálculo de soluções oblíquas, caso existam correlações entre eles (Tabachnick & Fiddell, 2012).
De acordo com a natureza ordinal das variáveis submetidas à análise (itens com chave de resposta em escala Likert) e sem aderência à normalidade multivariada, apresentando coeficiente multivariado de Mardia significativo (Mardia, 1970), as análises foram realizadas com base em matrizes de correlação policórica (Lara & Alexis, 2014). Contudo, destaca-se que a amostra disponível para a presente pesquisa é adequada para realizar a análise fatorial exploratória e estimar parâmetros confiáveis, ou seja, com número de participantes superior a 300 (Rouquette & Falissard, 2011) ou próximos ao valor considerado ideal, 400 ou mais participantes (Goretzko, Pham, & Bühner, 2019).
Para a identificação dos números de fatores a serem retidos no modelo de medida, recorreu-se a diferentes métodos: critério Kaiser-Guttman (eigenvalue > 1), análise paralela (Minimum Rank Factor Analysis, com base em 500 matrizes de correlação simuladas aleatoriamente), e método Hull (Timmerman & Lorenzo-Seva, 2011). Todos os procedimentos foram baseados em matrizes de correlações policóricas, tendo em vista a adequação desse tipo de correlação para a análise de variáveis ordinais (Baglin, 2014).
O modelo indicado pela análise fatorial exploratória foi testado pela análise fatorial semiconfirmatória (Ferrando & Lorenzo-Seva, 2017), um recurso disponível no software FACTOR que permite a avaliação da estrutura fatorial por meio de índices de ajustes comumente empregados em análise de equações estruturais. O grande benefício desse método é a possibilidade de os itens apresentarem cargas fatoriais cruzadas e, portanto, serem menos restritivos quando comparados a análises fatoriais confirmatórias, em que os itens são modelados para apresentar cargas fatoriais em apenas um fator, o que tende a prejudicar os índices de ajustes e superestimar as correlações entre os fatores. A análise fatorial semiconfirmatória foi avaliada a partir dos índices: ƛ2/gl, CFI, GFI e RMSEA. Tendo como referência os seguintes critérios: ƛ2/gl < 3, CFI e GFI > 0.95 e RMSEA < 0.06.
Ainda com relação à estrutura interna, verificaram-se os indicadores de precisão da PABSS; para tanto, estimaramse coeficientes alfa de Cronbach e ômega de McDonald. Ambos os procedimentos objetivam a avaliação da consistência por meio da magnitude de covariância entre os itens. Contudo, o segundo método tem sido apresentado na literatura especializada como mais sensível e menos suscetível ao número de itens que compõem o instrumento de medida. Conforme indicado pela literatura, para ambos os coeficientes, foram considerados como adequados valores iguais ou superiores a 0.7 (Ventura-León & Caycho-Rodríguez, 2017). Por fim, para a estimação das evidências de validade com base na relação com variáveis externas à PABSS, utilizou-se do YSVQ-2, que avalia valores no esporte, para estimar coeficientes de correlação bivariada de Pearson, assumindo como significativos níveis de p < .05. A escolha de um método paramétrico de correlação teve como base os indicadores de normalidade das variáveis submetidos a análise, valores de skewness e kurtosis entre -2 e 2 (George & Mallery, 2010). Para a avaliação dos índices de correlação, consideraram-se os critérios propostos por Miles e Shevlin (2001), em que correlações entre 0 e .3 são consideradas baixas; entre .30 e .50, moderadas e superiores a .50, elevadas.
Resultados
Para verificar os índices de adequabilidade da amostra, foram realizados os testes Kaiser-Meyer-Olkin (KMO) e o Teste de Esfericidade de Bartlett (Pasquali, 2012); o KMO foi de 0.84, verificando-se um qui-quadrado significativo: x2 (190) = 1894.4; p < .001]. O critério de Guttman-Kaiser indicou a extração de quatro fatores, uma vez que apenas os primeiros quatro fatores apresentaram autovalores superiores a 1: 6.095, 3.224, 1.872 e 1.254, respectivamente, explicando conjuntamente 66.1 % da variância total. A análise paralela indicou a pertinência de três fatores, visto que apenas os três primeiros fatores apresentaram valores de variância explicada superiores quando contrastados aos dados simulados (dados reais: 32.8 %, 17.1 % e 9.8 % e dados aleatórios alocados no percentil 95: 11.2 %, 10.2 % e 9.5 %, respectivamente). Por fim, o método Hull indicou a pertinência da estrutura composta por quatro fatores, ou seja, solução que apresenta melhor equilíbrio entre índices de ajustes e graus de liberdade [(qualidade dos índices de ajuste = (116) 0.488, e índices Scree test = 24.182)].
A partir das indicações verificadas nos métodos de retenção de fatores, optou-se pela avaliação das soluções com três e quatro fatores. Os resultados obtidos com a primeira solução agrupavam os itens de maneira a impossibilitar a interpretação da estrutura fatorial; de forma geral, a solução agrupava em um único fator os itens originalmente desenvolvidos para a avaliação do fator "Comportamento PRO ante companheiros de equipe" e "Comportamento PRO ante adversários"; além disso, a estrutura fatorial apresentava muitas cargas fatoriais cruzadas (5).
A solução fatorial composta por quatro fatores apresentou resultados coerentes com a proposta teórica do instrumento original (Kavussanu & Boardley, 2009). O modelo fatorial é apresentado na Tabela 1, na qual se verificam a descrição do conteúdo dos itens, as cargas fatoriais, os índices de comunalidades e as correlações entre os fatores.
Estrutura Fatorial da PABSS
Nota: h2 = Comunalidades; Fator 1 = Comportamento Antissocial ante Companheiros de equipe (CAC);
Fator 2 = Comportamento Antissocial ante Adversários (CAA); Fator 3 = Comportamento Pró-social ante Companheiros (CPC);
Fator IV = Comportamento Pró-social ante Adversários (CPA).
A partir da Tabela 1, pode-se observar que o agrupamento de itens que emerge da análise fatorial exploratória corresponde à perspectiva teórica, sem apresentação de cargas fatoriais cruzadas (itens com cargas fatoriais superiores a 0.3 em mais de um fator). Dessa forma, ao contar com itens com índices de comunalidades que variavam entre 0.3 (item 17) e 0.79 (item 10), bem como cargas fatoriais que variaram entre 0.38 (item 2) e 0.89 (item 16), pode-se inferir a boa capacidade dos itens para a avaliação dos construtos alvo dos fatores. Contudo, o item 2 —"Critiquei um adversário", originalmente desenvolvido para representar o fator CAA — apresentou carga fatorial de 0.38 no fator CAC.
As compreensões teóricas dos agrupamentos de itens resultantes da análise fatorial exploratória indicam que o fator 1 foi composto por seis itens que indicavam a realização de comportamentos antissociais, mas, nesse caso, voltados para os colegas da própria equipe esportiva, correspondendo ao CAC. O fator 2 foi formado por sete itens, representando comportamentos de agressão ou quebra de regras voltados para os adversários no contexto esportivo, correspondendo ao CAA.
O fator 3 foi composto por quatro itens e representa comportamentos como elogiar ou ajudar um colega de equipe, originalmente nomeados CPC. Por fim, o fator 4 foi formado por três itens, representando comportamentos de respeito ou ajuda voltados para os adversários no contexto esportivo, originalmente definido como CPA.
Os índices de correlações entre os fatores variaram entre -0.03 (entre os fatores CAA e CPA) e 0.63 (entre os fatores CAA e CAC). Os valores observados são adequados à expectativa teórica de associação moderada entre CAA e CAC, correspondentes à avaliação de comportamentos ANT, bem como entre os fatores CPA e CPC, correspondentes à avaliação de comportamentos PRO. Adicionalmente, os índices de ajustes oriundos da análise fatorial semiconfirmatória também indicaram adequação do modelo composto por quatro fatores: ƛ2 = 126.685, gl = 116, p = .234; ƛ2 /gl = 1.09; CFI = 0.998 (IC 95 % = 0.997-0.999); GFI = 0.991 (IC 95 % = 0.997- 0.999); RMSEA=0.018 (IC 95 % = 0.016-0.020).
Após estimadas as primeiras evidências de validade com base na estrutura interna da PABSS, foram verificados indicadores de precisão dos fatores que compuseram o instrumento (ver Tabela 2), variando entre 0.79 e 0.87 para os índices alfa de Cronbach e entre 0.88 e 0.80 para os índices ômega de Mcdonald. Isso indica que todos os fatores da escala são precisos, haja vista que a literatura especializada considera valores superiores a 0.7 como adequados, e iguais ou superiores a 0.8, como bons (Tabachnick & Fidell, 2012).
Indicadores de precisão dos fatores da PABSS
Método |
CPC |
CPA |
CAC |
CAA |
α |
.84 |
.87 |
.82 |
.79 |
Ω |
.84 |
.88 |
.82 |
.80 |
Notas: a=Coeficiente alfa de Cronbach; co=Coeficiente ômega de McDonald; CAC = Comportamento Antissocial ante Companheiros de equipe; CAA=Comportamento Antissocial ante Adversários; CPC=Comportamento Pró-Sociais ante Companheiros de equipe; CPA = Comportamento Pró-Sociais ante Adversários.
Uma vez conhecidas as propriedades psicométricas referentes à estrutura interna e à precisão da versão brasileira da PABSS, buscou-se estimar evidências de validade com base na relação com variáveis externas à PABSS. Para tanto, estimaram-se índices de correlação entre os fatores da PABSS e uma escala de valores no esporte, a YSVQ-2 (Gonçalves et al., 2017). Os resultados são apresentados na Tabela 3.
Correlação entre os fatores da PABSS e do YSVQ-2
CPC |
CPA |
CAC |
CAA |
Moral |
Status |
Competência |
|
CPC |
1 |
||||||
CPA |
0.35** |
1 |
|||||
CAC |
0.07 |
-0.03 |
1 |
||||
CAA |
-0.07 |
-0.14 |
0.60** |
1 |
|||
Moral |
0.39** |
0.18* |
-0.16* |
-0.25** |
1 |
||
Status |
0.14* |
-0.02 |
0.29** |
0.38** |
0.10 |
1 |
|
Competência |
0.26** |
0.03 |
-0.15* |
-0.20** |
0.78** |
0.22** |
1 |
Notas: *=p < .05; **=p < .001;
CAC = Comportamento Antissocial ante Companheiros de equipe; CAA=Comportamento Antissocial ante Adversários;
CPC = Comportamento Pró-Sociais ante Companheiros de equipe; CPA = Comportamento Pró-Sociais ante Adversários.
Foram observados índices de correlação positiva, moderada e significativa entre o fator CPC e valores de moral. A correlação positiva entre os fatores de Comportamento ANT (adversários e companheiros) e valores de status pode ser considerada outro ponto de destaque, indicando que priorizar valores de status pode ser um fator de influência nos comportamentos ANT dos atletas. Além disso, o CAA apresentou correlação negativa de baixa magnitude com a valores de moral e valores de competência.
Para verificar as pontuações médias dos jovens atletas em relação aos comportamentos PRO e ANT ante companheiros de equipe e a adversários, foi realizada uma estatística descritiva. As maiores pontuações foram nos fatores de comportamentos PRO; em relação ao direcionamento, a pontuação foi maior ante companheiros de equipe (CPC: M = 3.9; DP = 0.85; CPA: M = 3.2; DP = 1.07). Já os comportamentos ANT ficaram abaixo do ponto médio da escala de resposta, e a pontuação foi igual nas duas subescalas (CAC: M = 2.2; DP = 0.87; CAA: M = 2.2; DP = 0.82).
Discussão
O objetivo principal do presente estudo foi apresentar uma versão da PABSS com evidências de validade fatorial e consistência interna para o contexto brasileiro, tendo em vista a importância da investigação desses comportamentos no contexto esportivo e ainda considerando o número reduzido de estudos sobre o tema no país. Confia-se que os objetivos deste estudo foram alcançados, de acordo com a análise fatorial exploratória e a análise fatorial semiconfirmatória. Os quatro fatores da PABSS (comportamentos pró-sociais ante companheiros e adversários e comportamentos antissociais ante companheiros e adversários) foram replicados na versão brasileira, corroborando o estudo original de Kavussanu e Boardley (2009) e outros estudos de validade da escala (Balcikanli, 2013; Kavussanu et al., 2013; Trigueros et al., 2020), tendo inclusive uma pontuação média dos atletas nessa escala coerente com aquelas encontradas na literatura (Graupensperger et al., 2018; Oliveira, 2015). Isso mostra uma medida adequada para mensurar comportamentos PRO e ANT com a finalidade de pesquisa.
Destaca-se que as cargas fatoriais observadas pelos itens em seus respectivos fatores encontram-se dentro do recomendado pela literatura, mostrando-se bons representantes comportamentais dos fatores latentes PRO e ANT de atletas. Além disso, os indicadores de consistência interna, alfa de Cronbach e ômega de Mcdonald foram adequados para todos os fatores que compõem a versão brasileira da PABSS, o que indica a capacidade de avaliação desses fatores quanto às respectivas variáveis latentes com baixo nível de erro associado à medida (Ventura-León & Caycho-Rodriguez, 2017). Ainda sobre a capacidade de avaliação dos itens sobre os fatores relacionados aos comportamentos ANT e PRO, o item 2 ("Critiquei um adversário") apresenta uma particularidade, uma vez que se agrupou no fator CAC, e não no fator CAA, conforme hipótese teórica. Tal resultado pode indicar uma diferença cultural em relação aos respondentes brasileiros e americanos. Isso porque, na cultura esportiva americana, é bastante comum, e inclusive incentivada pela mídia esportiva, a utilização de trash-talk e trolling (Kniffin & Palacio, 2018), provocações contra os adversários que são utilizadas para desconcentrá-los durante a competição ou para motivar os companheiros de equipe (Brasil, Leonardi, Scaglia, & Paes, 2018).
Conforme apontado por Brasil et al. (2018), a estratégia de trash-talk ocorre mesmo na prática esportiva em manifestações de lazer no contexto brasileiro. Contudo, a partir dos resultados da presente pesquisa, pode-se inferir que o reconhecimento de deficiência do adversário e, portanto, das críticas em relação às suas capacidades seja compartilhado entre os atletas para uma tentativa de motivação dos companheiros de equipe. Ao contrário de uma perspectiva americana em que os atletas tendem a provocar diretamente seus adversários, até mesmo fazendo uso de redes sociais nos períodos pré e pós-competitivos para isso. No entanto, faz-se necessária a realização de novos estudos que ajudem a corroborar ou refutar essas hipóteses.
Além de indicadores de validade baseados na estrutura interna, também foi possível observar evidências de validade com base em variáveis externas à PABSS. Neste estudo, os resultados de uma análise de correlação entre a PABSS e a YSVQ-2, medida que avalia valores no esporte, corroboram com o estudo de Kavussanu et al. (2013), os quais identificaram relações positivas entre comportamentos ANT com agressão física e verbal, e relações positivas entre comportamentos PRO, moral e empatia.
Kavussanu e Stanger (2017) descrevem que variáveis morais, como identidade moral e empatia, inibem o comportamento ANT, e seus efeitos são devido à culpa antecipada por agir antissocialmente. Há evidências que sugerem que o comportamento PRO pode aumentar o prazer, o esforço, o comprometimento e o desempenho. No contexto esportivo, esses resultados se tornam importantes, tendo em vista ser um ambiente controlado por regras. Estudo de Bruner et al. (2018) apresentou resultados que mostram, no âmbito individual, que as normas percebidas predizem positivamente comportamentos PRO direcionados aos companheiros de equipe.
Apesar de o instrumento PABSS ser uma escala de avaliação individual, é possível verificar que os comportamentos PRO e ANT são influenciados pelo ambiente e pela característica do grupo em que os atletas estão inseridos. Uma meta-análise realizada apresenta resultados de diversos estudos que mostram associação significativa entre o clima moral e o comportamento moral, indicando que um clima moral pró-social está relacionado a um comportamento menos antissocial e mais pró-social, enquanto um clima moral antissocial está associado a um comportamento mais antissocial e menos pró-social de jovens atletas (Spruit et al., 2019).
Por fim, ainda que os resultados reportados estejam coerentes com a literatura, percebem-se possibilidades de estudos futuros que reúnam maiores evidências que endossem a adequação da PABSS para o presente contexto, bem como que favoreçam o fortalecimento das pesquisas sobre comportamentos PRO e ANT de atletas brasileiros. Assim, consideram-se importantes estudos que proponham a realização de análise fatorial confirmatoria e da Structural Equation Modeling para a avaliação da estabilidade do modelo em amostras diferentes. Sugere-se, ainda, a realização de análises multigrupos para avaliar indicadores, invariância do modelo de medida para grupos formados por atletas dos diferentes sexos, modalidades esportivas e tipo de esporte (individual e coletivo), e níveis competitivos, por exemplo.
Embora os resultados confirmem as hipóteses de evidências de validade e precisão da versão brasileira da PABSS, algumas limitações do estudo podem ser observadas. Especificamente, destaca-se que a amostra não foi probabilística, proveniente de regiões específicas do país, Nordeste e Sul, restringindo a generalização dos resultados. Outra limitação pode estar relacionada com a desejabilidade social ou viés de resposta que em geral pode estar associada às medidas de autorrelato, sobretudo, quando se trata de verificar comportamentos PRO e ANT, em que os participantes sabem claramente o que é esperado pela sociedade ou até mesmo pelo contexto em que pratica seu esporte.
Conclui-se que a versão brasileira da PABSS reúne evidências psicométricas baseadas na estrutura interna e na relação com variáveis externas, além de apresentar consistência interna, podendo ser utilizada em estudos futuros que busquem compreender a adoção de comportamentos PRO ou ANT no contexto esportivo, com vistas a contribuir para uma prática esportiva mais ética e saudável entre jovens atletas, bem como a ampliar a construção do conhecimento em Psicologia do esporte no país.
Referências
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
Ato, M., López, J. J., & Benavante, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. https://doi.org/10.6018/analesps.29.3.178511
Auerswald, M., & Moshagen, M. (2019). How to determine the number of factors to retain in exploratory factor analysis: A comparison of extraction methods under realistic conditions. Psychological Methods, 24(4), 468-491. https://doi.org/10.1037/met0000200
Baglin, J. (2014). Improving your exploratory factor analysis for ordinal data: A demonstration using FACTOR. Practical Assessment, Research & Evaluation, 19(5). https://scholarworks.umass.edu/pare/vol19/iss1/5/
Balcikanli, G. S. (2013). The Turkish adaptation of the Prosocial and Antisocial Behavior in Sport Scale (PABSS). International Journal of Humanities and Social Science, 5(18), 271-276. http://www.ijhssnet.com/journals/Vol_3_No_18_October_2013/27.pdf
Bandura, A. (1991). Social cognitive theory of moral thought and action. Em W. M. Kurtines, & J. L. Gewirtz (eds.), Handbook of moral behavior and development: Theory, research, and applications (vol. 1, pp. 71-129). Lawrence Erlbaum Associates.
Bandura, A. (1999). Moral disengagement in the perpetration of inhumanities. Personality and Social Psychology Review, 5, 193-209. https://doi.org/10.1207/s15327957pspr0303_3
Bosquetti, M. A., Morais, A. O. D., Altimari, L., & Souza, S. R. D. (2015). Comportamentos de fair play e antiesportivos: avaliação dos árbitros. Perspectivas em análise do comportamento, 6(1), 60-73. http://pepsic.bvsalud.org/pdf/pac/v6n1/v6n1a06.pdf
Brasil, D. V. C., Leonardi, T. J., Scaglia, A. J., & Paes, R. R. (2018). O basquete de rua nos espaços de lazer da Região Metropolitana de Campinas. Licere, 21(4), 144-165. https://pesquisa.bvsalud.org/portal/resource/pt/biblio-970907
Bruner, M. W et al. (2018). Disentangling the relations between social identity and prosocial and antisocial behavior in competitive youth sport. Journal Youth Adolescence, 47(5), 1113-1127. https://doi.org/10.1007/s10964-017-0769-2
Cockman, M., & Lee, M. J. (2013). What sport values do young people hold? Values in children's sport: Spontaneously expressed values among young athletes. Em J. Whitehead, H. Telfer, & J. Lambert (eds.), Values in youth sport and physical education (pp. 57-68). Taylor and Francis Group.
Eisenberg, N., & Fabes, R. A. (1998). Prosocial development. Em W. Damon & N. Eisenberg (eds.), Handbook of child psychology: Social, emotional, and personality development (pp. 701-778). John Wiley & Sons, Inc.
Erkut, S. (2010). Developing multiple language versions of instruments for intercultural research. Child Development Perspective, 4(1), 19-24. https://doi.org/10.1111/j.1750-8606.2009.00111.x
Ferrando, P. J., & Lorenzo-Seva, U. (2017). Program FACTOR at 10: Origins, development and future directions. Psicothema 29(2), 236-240. https://doi.org/10.7334/psicothema2016.304
George, D., & Mallery, M. (2010). SPSS for windows step by step: A simple guide and reference, 17.0 update. Pearson.
Gonçalves, M. P., Rocha, J. N., Nascimento, P. G., de Oliveira, L. C., & Guerra, V. M. (2017). Youth Sport Values Questionnaire-2 (YSVQ-2): evidências de validade para o contexto brasileiro. Psico, 48(4), 274-283. https://doi.org/10.15448/1980-8623.2017.4.28293
Goretzko, D., Pham, T. T. H., & Bühner, M. (2019). Exploratory factor analysis: Current use, methodological developments and recommendations for good practice. Current Psychology. https://doi.org/10.1007/s12144-019-00300-2
Graupensperger, S. A., Jensen, C. J., & Evans, M. B. (2018). A meta-analytic review of studies using the Prosocial and Antisocial Behavior in Sport Scale: Associations among intergroup moral behaviors. Sport, Exercise, and Performance Psychology, 7(2), 186-204. https://doi.org/10.1037/spy0000121
Hodge, K., & Gucciardi, D. F. (2015). Antisocial and prosocial behavior in sport: The role of motivational climate, basic psychological needs, and moral disengagement. Journal of Sport and Exercise Psychology, 57(3), 257-273. https://doi.org/10.1123/jsep.2014-0225
Kavussanu, M., & Boardley, I. D. (2009). The prosocial and antisocial behavior in sport scale. Journal of Sport and Exercise Psychology, 51(1), 97-117. https://doi.org/10.1123/jsep.31.1.97
Kavussanu, M., Stanger, N., & Boardley, I. D. (2013). The Prosocial and Antisocial Behaviour in Sport Scale: Further evidence for construct validity and reliability. Journal of Sports Sciences, 51(11), 1208-1221. https://doi.org/10.1080/02640414.2013.775473
Kavussanu, M., & Stanger, N. (2017). Moral behavior in sport. Current Opinion in Psychology, 16, 185-192. https://doi.org/10.1016/j.copsyc.2017.05.010
Kaye, M. P., & Hoar, S. (2015). Antisocial sport behaviors survey: Instrument development and initial validation. Journal of Sport and Exercise Psychology, 57(2), 164-179. https://doi.org/10.1123/jsep.2014-0057
Kniffin, K. M., & Palacio, D. (2018). Trash-Talking and Trolling. Human Nature, 29, 353-369. https://doi.org/10.1007/s12110-018-9317-3
Lara, D., & Alexis, S. (2014). ¿Matrices policóricas/tetracóricas o matrices pearson? Un estudio metodológico. Revista Argentina de Ciencias del Comportamiento, 6(1), 39-48. https://doi.org/10.32348/1852.4206.v6.n1.6357
Lee, M., Whitehead J., & Balchin, N. (2000). The measurement of values in youth sport: Development of the youth sport values questionnaire. Journal of Sport and Exercise Psychology, 22, 307-326. https://doi.org/10.1123/jsep.22.4.307
Lee, M., Whitehead, J., Ntoumanis, N., & Hatzigeorgiadis, A. (2008). Relationships among values, achievement orientations, and attitudes in youth sport. Journal of Sport & Exercise Psychology, 30, 588-610. https://doi.org/10.1123/jsep.30.5.588
Mardia, K. V. (1970). Measures of multivariate skewnees and kurtosis with applications. Biometrika, 57, 519-530. https://doi.org/10.1093/biomet/57.3.519
Martí-Vilar, M., González-Sala, F., & Domínguez, A. J. (2019). Conducta prosocial en el deporte y la actividad física: una revisión sistemática. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 14, 171-178. https://dialnet.unirioja.es/descarga/articulo/7361742.pdf
Miles, J., & Shevlin, M. (2001). Applying regression and correlation: A guide for students and researchers. Sage Publications.
Oliveira, L. P. de (2015). Luta por autonomia e liberdade moral: orientação esportiva como viabilizadora de metamorfoses emancipatórias (tese de doutorado não publicada, Pontifícia Universidade Católica de São Paulo). https://tede2.pucsp.br/handle/handle/17120
Pasquali, L. (2012). Análise fatorial para pesquisadores. LabPam.
Pinheiro, V. B. F. (2013). O comportamento do treinador em competição na promoção do fair play: um estudo nos escalões de futebol de formação (tese de doutorado não publicada, Universitat de Lleida). http://hdl.handle.net/10803/133929
Rouquette, A., & Falissard, B. (2011). Sample size requirements for the internal validation of psychiatric scales. International Journal of Methods in Psychiatric Research, 20(4), 235-249. https://doi.org/10.1002/mpr.352
Spruit, A., Kavussanu, M., Smit, T., & IJntema, M. (2019). The Relationship between moral climate of sports and the moral behavior of young athletes: A multilevel meta-analysis. Journal Youth Adolescence, 48(2), 228-242. https://doi.org/10.1007/s10964-018-0968-5
Tabachnick, B. G., & Fidell, L. S. (2012). Using Multivariate Statistics (6. ed.). Person Education.
Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16, 209-220. https://doi.org/10.1037/a0023353
Trigueros, R., Alias, A., Gallardo, A. M., García-Tascón, M., & Aguilar-Parra, J. M. (2020). Validation and adaptation of the Prosocial and Antisocial Behavior in Sport Scale to the Spanish context of Physical Education. Internacional Journal Environmental Research and Public Health, 17, 477. https://doi.org/10.3390/ijerph17020477
van de Pol, P. K. C., Kavussanu, M., & Claessens, B. (2020). Moral functioning across training and competition in sport. International Journal of Sport and Exercise Psychology, 18, 2, 239-255. https://doi.org/10.1080/1612197X.2018.1511623
Ventura-León, J. L., & Caycho-Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Niñez y Juventud, 15(1), 625-627. https://www.redalyc.org/pdf/773/77349627039.pdf
Whitehead, J., Telfer, H., & Lambert, J. (2013). Values in Youth Sport and Physical Ëducation. Routledge/Taylor & Francis Group.