Design and Validation of an Instrument to Assess Cuban Student Observational Research in Medical Sciences
Keywords:
Validation Study, Assessment Instrument, Observational Research, Medical Education, Cuba.Abstract
Introduction: In spite of the intense activity that exists in Cuban medical science undergraduate student academic events, there is currently no validated instrument available for the assessment of the written reports presented in these events.
Objective: To design and validate an instrument to assess the written reports of observational research presented in Cuban medical science undergraduate student academic events.
Methods: A design and validation study of an instrument was carried out between September 2021 and September 2023. In the design phase, a product was created in Microsoft Excel 2016 to facilitate the application of the instrument (90 items and 10 dimensions). In the validation phase, a five-step methodology was applied: 1) content validity, 2) reliability based on internal consistency, 3) construct validity, 4) external test-criterion relationship and inter-rater agreement, and 5) reliability based on stability.
Results: Content and construct validity were demonstrated by Aiken's V coefficients greater than 0.8. The Kuder-Richardson coefficient was 0.865 (acceptable internal consistency). The validity of the instrument's criteria was verified with respect to an external criterion and it was found that the inter-rater agreement generated by the application of the instrument is almost perfect (Fleiss kappa coefficient greater than 0.81 in all cases). The instrument is stable, as the test and retest scores correlated perfectly (Pearson correlation coefficient equal to 1).
Conclusions: The instrument designed provides valid and reliable results.
References
1. Hernández Sampieri R, Fernández Collado C, Baptista Lucio MP. Metodología de la investigación. 6ta ed. Ciudad de México: McGraw-Hill; 2014.
2. López-Fernández R, Avello-Martínez R, Palmero-Urquiza D, Sánchez-Gálvez S, Quintana-Álvarez M. Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas. Rev Cubana Med Mil [Internet]. 2019 [citado 02/08/2023]; 48(2 sup):441-450. Disponible en: https://revmedmilitar.sld.cu/index.php/mil/article/view/390
3. Brito Herrera D, Sánchez Tamayo M, Gutiérrez López A, Hernández Hernández A, Acosta Batista C, Calvo Saborit DD, et al. EPIC: Estilo de Presentación de Investigaciones Científicas. Cuarta edición. Revista 16 de abril [Internet]. 2014 [citado 02/08/2023]; 53(256 sup):1-148. Disponible en: https://www.rev16deabril.sld.cu/index.php/16_04/article/view/111/ pdf_1
4. Torrecilla Venegas R, Luna-López AE, Cruz-Hernández SM, Zúñiga-García AE, Martín-Pérez M, Benítez-Rojas LC. Caracterización de las ponencias premiadas del I Evento Científico Estudiantil Nacional de Ginecología y Obstetricia GINECOSS 2019. SCALPELO [Internet]. 2020 [citado 03/08/2023]; 1(2):33-43. Disponible en: https://rescalpelo.sld.cu/index.php/scalpelo/article/view/69
5. Hernández Valle JL, Almanza Betancourt TC, Rodríguez Castañeda LM, Pérez Assef JJ. Análisis bibliométrico de las investigaciones premiadas en el IV Evento Científico Estudiantil Nacional de Medicina Interna MEDINTÁVILA 2021. Inmedsur [Internet]. 2022 [citado 03/08/2023]; 5(1):e192. Disponible en: http://www.inmedsur.cfg.sld.cu/index.php/inmedsur/article/view/192
6. López-Catá F, Carrazana-Carballo R, Espinoza-Téllez Z, Matos-Santisteban M. Actividad científica estudiantil durante el II Evento Científico Estudiantil Nacional Virtual de Pediatría PEDIACAM 2021. Rev Progaleno [Internet]. 2022 [citado 03/08/2023]; 5(1):e352. Disponible en: https://revprogaleno.sld.cu/index.php/progaleno/article/view/352
7. Landrove-Escalona EA, Hernández-González EA, Palomino-Cabrera A, Ávila-Díaz D, Mitjans-Hernández D. Métricas de los trabajos presentados en el evento científico estudiantil OncoFórum 2021. Rev Electrón Zoilo Marinello. 2021 [citado 03/08/2023]; 46(6):[aprox. 7 p.]. Disponible en: http://revzoilomarinello.sld.cu/index.php/zmv/article/view/2952
8. Piñera-Castro HJ, Saborit-Rodríguez A, Hernández-García OL, Zayas-Fundora E, Coto-Pardo CW. Evaluación de la producción científica estudiantil en la Universidad de Ciencias Médicas de La Habana. Educ Méd Sup. 2022 [citado 04/08/2023]; 36(1):e3222. Disponible en: http://www.ems.sld.cu/index.php/ems/article/view/3222
9. Piñera-Castro HJ, Ruíz-González LA. Educ Méd Sup. Producción científica de la Universidad de Ciencias Médicas de La Habana en revistas estudiantiles cubanas. Educ Méd Sup. 2023 [citado 04/08/2023]; 37(1):e3662. Disponible en: http://www.ems.sld.cu/index.php/ems/article/view/3662
10. Piñera-Castro HJ, Saborit-Rodríguez A. Factores asociados a la publicación científica en estudiantes habaneros de medicina y estomatología. Rev Cubana Med Mil [Internet]. 2023 [citado 04/08/2023]; 52(1):e02302428. Disponible en: https://revmedmilitar.sld.cu/index.php/mil/article/view/2428
11. Piñera-Castro HJ, Saborit-Rodríguez A. Caracterización de la actividad investigativa de los alumnos ayudantes en la Facultad “Victoria de Girón”. Educ Med Sup [Internet]. 2023 [citado 04/08/2023]; 37(2):e3643. Disponible en: https://ems.sld.cu/index.php/ems/article/view/3643
12. Piñera-Castro HJ, Saborit-Rodríguez A. Práctica de la comunicación científica en alumnos ayudantes de la Facultad de Ciencias Médicas "Victoria de Girón". Rev haban cienc méd [Internet]. 2023 [citado 04/08/2023]; 22(3):e5222. Disponible en: http://www.revhabanera.sld.cu/index.php/rhab/article/view/5222
13. Vandenbroucke JP, von Elm E, Altman DG, Gøtzsche PC, Mulrow CD, Pocock SJ, et al. Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med. 2007; 4(10):e297. DOI: 10.1371/journal.pmed.0040297
14. Artiles Visbal L, Otero Iglesias J, Barrios Osuna I. Metodología de la investigación: para las ciencias de la salud. La Habana: ECIMED; 2008.
15. Piñera-Castro HJ. Instrumento para evaluar informes de investigación observacional en eventos estudiantiles cubanos de ciencias médicas [Internet]. Londres: figshare; 2024. DOI: 10.6084/m9.figshare.25052558
16. Piñera-Castro HJ. Datos del estudio de diseño y validación de un instrumento para evaluar informes de investigación observacional en eventos estudiantiles cubanos de ciencias médicas [Internet]. Londres: figshare; 2024. DOI: 10.6084/m9.figshare.25051580
17. Supo J. Cómo validar un instrumento. Lima: Biblioteca Nacional de Perú; 2013 [citado 05/08/2023]. Disponible en: https://www.cua.uam.mx/pdfs/coplavi/s_p/doc_ng/validacion-de-instrumentos-de-medicion.pdf
18. Ministerio de Educación Superior. Resolución No. 116/2018 “Premio al Mérito Científico Estudiantil”. La Habana: Gaceta Oficial No. 7 Ordinaria de 31 de enero de 2019. [citado 05/08/2023]. Disponible en: https://www.gacetaoficial.gob.cu/sites/default/files/goc-2019-o7.pdf
19. Galicia Alarcón LA, Balderrama Trapaga JA, Edel Navarro R. Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apert. 2017; 9(2):42-53. DOI: 10.32870/ap.v9n2.993
20. Ventura-León J, Mamani-Benito O. Diseño y validación de una rúbrica analítica para evaluar manuscritos científicos. Rev haban cienc méd [Internet]. 2023 [citado 05/08/2023]; 21(5):4752. Disponible en: https://revhabanera.sld.cu/index.php/rhab/article/view/4752
21. Aiken LR. Content Validity and Reliability of Single Items or Questionnaires. Educ Psychol Meas. 1980; 40(4):955-959. DOI: 10.1177/001316448004000419
22. Robles Pastor BF. Índice de validez de contenido: Coeficiente V de Aiken. PUEBLO CONTINENTE [Internet]. 2018 [citado 05/08/2023]; 29(1):193-7. Disponible en: http://journal.upao.edu.pe/PuebloContinente/article/view/991
23. Consejo Nacional de la Federación Estudiantil Universitaria. La Habana: ABC de la FEU; 2018 [citado 09/08/2023]. Disponible en: https://instituciones.sld.cu/fcmmayabeque/files/2021/04/ABC-DE-LA-FEU.pdf
24. Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika. 1937; 2(3):151–160. DOI: 10.1007/BF02288391
25. Campo-Arias A, Oviedo HC. Propiedades psicométricas de una escala: la consistencia interna. Rev Salud Pública [Internet]. 2008 [acceso 09/08/2023]; 10(5):831-9. Disponible en: https://revistas.unal.edu.co/index.php/revsaludpublica/article/view/96741
26. Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971; 76(5):378–382. DOI: 10.1037/h0031619
27. Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977; 33(1):159-74. DOI: 10.2307/2529310
28. Hernández Lalinde JD, Espinosa Castro JF, Peñaloza Tarazona ME, Rodriguez JE, Chacón Rangel JG, Toloza Sierra CA, et al. Sobre el uso adecuado del coeficiente de correlación de Pearson: definición, propiedades y suposiciones. AVFT [Internet]. 2019 [citado 12/08/2023]; 37(5):587-595. Disponible en: http://saber.ucv.ve/ojs/index.php/rev_aavft/article/view/16165
29. Pedrosa I, Juarros-Basterretxea J, Robles-Fernández A, Basteiro J, García-Cueto E. Pruebas de bondad de ajuste en distribuciones simétricas, ¿qué estadístico utilizar? Universitas Psychologica. 2015; 14(1):245-54. DOI: 10.11144/Javeriana.upsy14-1.pbad
30. Merino-Soto CA. Intervalos de confianza para la diferencia entre coeficientes de validez de contenido (V Aiken): Una sintaxis SPSS. An psicol. 2018; 34(3):587-90. DOI: 10.6018/analesps.34.3.283481
31. Merino-Soto C. Coeficientes V de Aiken: diferencias en los juicios de validez de contenido. MHSalud. 2022; 20(1):[aprox. 7 p.]. DOI: 10.15359/mhs.20-1.3
2. López-Fernández R, Avello-Martínez R, Palmero-Urquiza D, Sánchez-Gálvez S, Quintana-Álvarez M. Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas. Rev Cubana Med Mil [Internet]. 2019 [citado 02/08/2023]; 48(2 sup):441-450. Disponible en: https://revmedmilitar.sld.cu/index.php/mil/article/view/390
3. Brito Herrera D, Sánchez Tamayo M, Gutiérrez López A, Hernández Hernández A, Acosta Batista C, Calvo Saborit DD, et al. EPIC: Estilo de Presentación de Investigaciones Científicas. Cuarta edición. Revista 16 de abril [Internet]. 2014 [citado 02/08/2023]; 53(256 sup):1-148. Disponible en: https://www.rev16deabril.sld.cu/index.php/16_04/article/view/111/ pdf_1
4. Torrecilla Venegas R, Luna-López AE, Cruz-Hernández SM, Zúñiga-García AE, Martín-Pérez M, Benítez-Rojas LC. Caracterización de las ponencias premiadas del I Evento Científico Estudiantil Nacional de Ginecología y Obstetricia GINECOSS 2019. SCALPELO [Internet]. 2020 [citado 03/08/2023]; 1(2):33-43. Disponible en: https://rescalpelo.sld.cu/index.php/scalpelo/article/view/69
5. Hernández Valle JL, Almanza Betancourt TC, Rodríguez Castañeda LM, Pérez Assef JJ. Análisis bibliométrico de las investigaciones premiadas en el IV Evento Científico Estudiantil Nacional de Medicina Interna MEDINTÁVILA 2021. Inmedsur [Internet]. 2022 [citado 03/08/2023]; 5(1):e192. Disponible en: http://www.inmedsur.cfg.sld.cu/index.php/inmedsur/article/view/192
6. López-Catá F, Carrazana-Carballo R, Espinoza-Téllez Z, Matos-Santisteban M. Actividad científica estudiantil durante el II Evento Científico Estudiantil Nacional Virtual de Pediatría PEDIACAM 2021. Rev Progaleno [Internet]. 2022 [citado 03/08/2023]; 5(1):e352. Disponible en: https://revprogaleno.sld.cu/index.php/progaleno/article/view/352
7. Landrove-Escalona EA, Hernández-González EA, Palomino-Cabrera A, Ávila-Díaz D, Mitjans-Hernández D. Métricas de los trabajos presentados en el evento científico estudiantil OncoFórum 2021. Rev Electrón Zoilo Marinello. 2021 [citado 03/08/2023]; 46(6):[aprox. 7 p.]. Disponible en: http://revzoilomarinello.sld.cu/index.php/zmv/article/view/2952
8. Piñera-Castro HJ, Saborit-Rodríguez A, Hernández-García OL, Zayas-Fundora E, Coto-Pardo CW. Evaluación de la producción científica estudiantil en la Universidad de Ciencias Médicas de La Habana. Educ Méd Sup. 2022 [citado 04/08/2023]; 36(1):e3222. Disponible en: http://www.ems.sld.cu/index.php/ems/article/view/3222
9. Piñera-Castro HJ, Ruíz-González LA. Educ Méd Sup. Producción científica de la Universidad de Ciencias Médicas de La Habana en revistas estudiantiles cubanas. Educ Méd Sup. 2023 [citado 04/08/2023]; 37(1):e3662. Disponible en: http://www.ems.sld.cu/index.php/ems/article/view/3662
10. Piñera-Castro HJ, Saborit-Rodríguez A. Factores asociados a la publicación científica en estudiantes habaneros de medicina y estomatología. Rev Cubana Med Mil [Internet]. 2023 [citado 04/08/2023]; 52(1):e02302428. Disponible en: https://revmedmilitar.sld.cu/index.php/mil/article/view/2428
11. Piñera-Castro HJ, Saborit-Rodríguez A. Caracterización de la actividad investigativa de los alumnos ayudantes en la Facultad “Victoria de Girón”. Educ Med Sup [Internet]. 2023 [citado 04/08/2023]; 37(2):e3643. Disponible en: https://ems.sld.cu/index.php/ems/article/view/3643
12. Piñera-Castro HJ, Saborit-Rodríguez A. Práctica de la comunicación científica en alumnos ayudantes de la Facultad de Ciencias Médicas "Victoria de Girón". Rev haban cienc méd [Internet]. 2023 [citado 04/08/2023]; 22(3):e5222. Disponible en: http://www.revhabanera.sld.cu/index.php/rhab/article/view/5222
13. Vandenbroucke JP, von Elm E, Altman DG, Gøtzsche PC, Mulrow CD, Pocock SJ, et al. Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLoS Med. 2007; 4(10):e297. DOI: 10.1371/journal.pmed.0040297
14. Artiles Visbal L, Otero Iglesias J, Barrios Osuna I. Metodología de la investigación: para las ciencias de la salud. La Habana: ECIMED; 2008.
15. Piñera-Castro HJ. Instrumento para evaluar informes de investigación observacional en eventos estudiantiles cubanos de ciencias médicas [Internet]. Londres: figshare; 2024. DOI: 10.6084/m9.figshare.25052558
16. Piñera-Castro HJ. Datos del estudio de diseño y validación de un instrumento para evaluar informes de investigación observacional en eventos estudiantiles cubanos de ciencias médicas [Internet]. Londres: figshare; 2024. DOI: 10.6084/m9.figshare.25051580
17. Supo J. Cómo validar un instrumento. Lima: Biblioteca Nacional de Perú; 2013 [citado 05/08/2023]. Disponible en: https://www.cua.uam.mx/pdfs/coplavi/s_p/doc_ng/validacion-de-instrumentos-de-medicion.pdf
18. Ministerio de Educación Superior. Resolución No. 116/2018 “Premio al Mérito Científico Estudiantil”. La Habana: Gaceta Oficial No. 7 Ordinaria de 31 de enero de 2019. [citado 05/08/2023]. Disponible en: https://www.gacetaoficial.gob.cu/sites/default/files/goc-2019-o7.pdf
19. Galicia Alarcón LA, Balderrama Trapaga JA, Edel Navarro R. Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apert. 2017; 9(2):42-53. DOI: 10.32870/ap.v9n2.993
20. Ventura-León J, Mamani-Benito O. Diseño y validación de una rúbrica analítica para evaluar manuscritos científicos. Rev haban cienc méd [Internet]. 2023 [citado 05/08/2023]; 21(5):4752. Disponible en: https://revhabanera.sld.cu/index.php/rhab/article/view/4752
21. Aiken LR. Content Validity and Reliability of Single Items or Questionnaires. Educ Psychol Meas. 1980; 40(4):955-959. DOI: 10.1177/001316448004000419
22. Robles Pastor BF. Índice de validez de contenido: Coeficiente V de Aiken. PUEBLO CONTINENTE [Internet]. 2018 [citado 05/08/2023]; 29(1):193-7. Disponible en: http://journal.upao.edu.pe/PuebloContinente/article/view/991
23. Consejo Nacional de la Federación Estudiantil Universitaria. La Habana: ABC de la FEU; 2018 [citado 09/08/2023]. Disponible en: https://instituciones.sld.cu/fcmmayabeque/files/2021/04/ABC-DE-LA-FEU.pdf
24. Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika. 1937; 2(3):151–160. DOI: 10.1007/BF02288391
25. Campo-Arias A, Oviedo HC. Propiedades psicométricas de una escala: la consistencia interna. Rev Salud Pública [Internet]. 2008 [acceso 09/08/2023]; 10(5):831-9. Disponible en: https://revistas.unal.edu.co/index.php/revsaludpublica/article/view/96741
26. Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull. 1971; 76(5):378–382. DOI: 10.1037/h0031619
27. Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977; 33(1):159-74. DOI: 10.2307/2529310
28. Hernández Lalinde JD, Espinosa Castro JF, Peñaloza Tarazona ME, Rodriguez JE, Chacón Rangel JG, Toloza Sierra CA, et al. Sobre el uso adecuado del coeficiente de correlación de Pearson: definición, propiedades y suposiciones. AVFT [Internet]. 2019 [citado 12/08/2023]; 37(5):587-595. Disponible en: http://saber.ucv.ve/ojs/index.php/rev_aavft/article/view/16165
29. Pedrosa I, Juarros-Basterretxea J, Robles-Fernández A, Basteiro J, García-Cueto E. Pruebas de bondad de ajuste en distribuciones simétricas, ¿qué estadístico utilizar? Universitas Psychologica. 2015; 14(1):245-54. DOI: 10.11144/Javeriana.upsy14-1.pbad
30. Merino-Soto CA. Intervalos de confianza para la diferencia entre coeficientes de validez de contenido (V Aiken): Una sintaxis SPSS. An psicol. 2018; 34(3):587-90. DOI: 10.6018/analesps.34.3.283481
31. Merino-Soto C. Coeficientes V de Aiken: diferencias en los juicios de validez de contenido. MHSalud. 2022; 20(1):[aprox. 7 p.]. DOI: 10.15359/mhs.20-1.3
Downloads
Published
2024-01-05
How to Cite
1.
Piñera-Castro HJ, Saborit-Rodríguez A, Ruiz-González LA. Design and Validation of an Instrument to Assess Cuban Student Observational Research in Medical Sciences. Rev 16 de abril [Internet]. 2024 Jan. 5 [cited 2025 Jan. 15];63:e1864. Available from: https://rev16deabril.sld.cu/index.php/16_04/article/view/1864
Issue
Section
Original Articles
License
Those authors who have publications with this journal, accept the following terms:
The authors will retain their copyright and guarantee the journal the right of first publication of your work, which will be under a Creative license Commons Attribution-NonCommercial-ShareAlike 4.0 International . (CC BY-NC-SA 4.0).
The authors may adopt other non-exclusive license agreements for the distribution of the published version of the work (eg:deposit it in an institutional telemat
