Název: Míry věcné významnosti s intervaly spolehlivosti a ukázky jejich využití v pedagogické praxi
Variantní název:
- Effect sizes and their confidence intervals: examples of their use in education
Zdrojový dokument: Studia paedagogica. 2021, roč. 26, č. 3, s. [131]-165
Rozsah
[131]-165
-
ISSN1803-7437 (print)2336-4521 (online)
Trvalý odkaz (DOI): https://doi.org/10.5817/SP2021-3-6
Trvalý odkaz (handle): https://hdl.handle.net/11222.digilib/144330
Type: Článek
Jazyk
Licence: Neurčená licence
Upozornění: Tyto citace jsou generovány automaticky. Nemusí být zcela správně podle citačních pravidel.
Abstrakt(y)
Předložený článek je teoreticko-metodologického charakteru a pojednává o možnostech využití měr věcné významnosti a jejich intervalů spolehlivosti na příkladu didaktických testů jako jedné z klíčových metod pedagogického výzkumu. Obsahově je rozdělen na tři částí: V první je blíže popsána a komparována problematika používání statistické a věcné významnosti; následně se text v obecné rovině věnuje základním mírám věcné významnosti a v třetí části otázce jejich praktického využití včetně intervalů spolehlivosti. V závěru autoři prezentované informace kriticky zhodnocují a syntetizují. Za cíl si kladou přiblížit tuto problematiku čtenářům natolik, aby byli schopni se dané otázce sami věnovat a využívat zmiňované analýzy ve svých výzkumech.
The presented article has a theoretical and methodological character and discusses the possibilities of using measures of effect size, including their confidence intervals, on the example of tests in education. The article is divided into three parts. The first part describes and compares the issues of using statistical significance and measures of effect size. The text then deals with the basic measures of effect size and with the questions of their use. In conclusion, the authors try to critically evaluate and synthesize the presented information. The authors aim to bring this issue closer to the readers so that they are able to address the issue themselves and use the mentioned analyses in their research. The entire presentation is performed on the basis of real data.
Reference
[1] AERA. (2006). Standards for reporting on empirical social science research in AERA publications. Educational Researcher, 35(6), 33–40. https://doi.org/10.3102/0013189X035006033 | DOI 10.3102/0013189X035006033
[2] American Psychological Association [APA]. (2001). Publication manual of the American Psychological Association.
[3] American Psychological Association [APA]. (2010). Publication manual of the American Psychological Association (6th ed.).
[4] American Psychological Association [APA]. (2020). Publication manual of the American Psychological Association (7th ed.). APA. https://doi.org/10.1037/0000165-000 | DOI 10.1037/0000165-000
[5] Benjamin, D. J., Berger, J. O., Johannesson, M., … Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behavior, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z. | DOI 10.1038/s41562-017-0189-z
[6] Beretvas, S. N., & Chung, H. (2008). A review of meta-analyses of single-subject experimental designs: Methodological issues and practice. Evidence-Based Communication Assessment and Intervention, 2(3), 129–141. https://doi.org/10.1080/17489530802446302. | DOI 10.1080/17489530802446302
[7] Blahuš, P. (2000). Statistická významnost proti vědecké průkaznosti výsledků výzkumu. Česká kinantropologie, 4(2), 53–72.
[8] Blume, J. D., Greevy, R.A., Welty, F.W., Smith, J. R., & Dupont, W. D. (2020). An introduction to second-generation p-values. The American Statistician, 73(1), 157–167. https://doi.org/10.1080/00031305.2018.1537893. | DOI 10.1080/00031305.2018.1537893
[9] Blume, J. D., McGowan, L. D., Greevy, R. A., & Dupont, W. D. (2018). Second-generation p-values: Improved rigor, reproducibility, & transparency in statistical analyses. PLoS One, 13(3), 1–17. https://doi.org/10.1371/journal.pone.0188299. | DOI 10.1371/journal.pone.0188299
[10] Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to metaanalysis. John Wiley & Sons.
[11] Cohen, J. (1988). Statistical power analysis for the behavioral science. Erlbaum.
[12] Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037//0033-2909.112.1.155. | DOI 10.1037/0033-2909.112.1.155
[13] Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education. Routledge.
[14] Fan, X. (2001). Statistical significance and effect size in education research: Two sides of a "coin." TheJournal of Educational Research, 94(5), 275–282. https://doi.org/10.1080/00220670109598763. | DOI 10.1080/00220670109598763
[15] Ferjenčík, J. (2010). Úvod do metodologie psychologického výzkumu. Portál.
[16] Fico, M. (2020). Nástroje na zlepšenie štatistickej inferencie – analýza p-kriviek a ekvivalenčné testovanie. Sociológia, 52(4), 323–353. https://doi.org/10.31577/sociologia.2020.52.4.14. | DOI 10.31577/sociologia.2020.52.4.14
[17] Harris, R. J. (1997). Reforming significance testing via three-valued logic. What if there were no significance tests? Erlbaum.
[18] Hedges L. V. (2008). What are effect sizes and why do we need them? Developmental Psychology Perspectives, 2(3), 167–171. https://doi.org/10.1111/j.1750-8606.2008.00060.x. | DOI 10.1111/j.1750-8606.2008.00060.x
[19] Hedges, L. V., & Olkin, I. (1985). Statistical methods for metaanalysis. Academic Press.
[20] Hedges, L. V., Pustejovsky, J. E., & Shadish, W. R. (2012). A standardized mean difference effect size for single case designs. Research Synthesis Methods, 3(3), 224–239. https://doi.org/10.1002/jrsm.1052. | DOI 10.1002/jrsm.1052
[21] Hendl, J. (2012). Přehled statistických metod: analýza a metaanalýza dat. Portál.
[22] Hendl, J. (2014). Statistika v aplikacích. Portál.
[23] Hurlbert, S. H., & Lombardi, C. M. (2009). Final collapse of the neyman-pearson decisiontheoretic framework and rise of the neofisherian. Annales Zoologici Fennici, 46(5), 311–349. https://doi.org/10.5735/086.046.0501. | DOI 10.5735/086.046.0501
[24] Chráska, M. (2016). Metody pedagogického výzkumu: základy kvantitativního výzkumu. Grada.
[25] Ialongo, C. (2016). Understanding the effect size and its measures. Biochem Med, 26(2), 150–163. https://doi.org/10.11613/BM.2016.015 | DOI 10.11613/BM.2016.015
[26] Kaiser, H. F. (1960). Directional statistical decisions. Psychological Review, 67(3), 160–167. https://doi.org/10.1037/h0047595. | DOI 10.1037/h0047595
[27] Kline, R. B. (2013). Beyond significance testing: Statistics reform in the behavioral sciences. APA.
[28] Kočvarová, I., & Soukup, P. (2018). Výuka kvantitativní analýzy dat jako součást metodologie výzkumu v pedagogických studijních programech veřejných vysokých škol v ČR. Orbis Scholae, 12(3), 127−145. https://doi.org/10.14712/23363177.2019.2. | DOI 10.14712/23363177.2019.2
[29] Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4(863), 1–38. https://doi.org/10.3389/fpsyg.2013.00863. | DOI 10.3389/fpsyg.2013.00863
[30] Lakens, D. (2017). Equivalence tests: A practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science, 8(4) 355–362. https://doi.org/10.1177/1948550617697177. | DOI 10.1177/1948550617697177
[31] Lenhard, W., & Lenhard, A. (2016). Calculation of effect sizes. Psychometrica. https://www.psychometrica.de/effect_size.html.
[32] Ma, H. H. (2006). An alternative method for quantitative synthesis of single-subject design: Percentage of data points exceeding the median. Behavior Modification, 30(5), 598–617. https://doi.org/10.1177/0145445504272974. | DOI 10.1177/0145445504272974
[33] Matějů, P., Soukup, P., & Basl, J. (2007). Educational aspirations in a comparative perspective. The role of individual, contextual and stuctual factors in the formation of educational aspirations in OECD countries. Sociologický ústav AV ČR.
[34] McShane, B. B., Gal, D., Gelman, A., Robert, Ch., & Tackett, J. L. (2019). Abandon statistical significance. The American Statistician, 73(1), 235–245. https://doi.org/10.1080/00031305.2018.1527253. | DOI 10.1080/00031305.2018.1527253
[35] Papršteinová, M., Smejkalová, J., Hodačová, L., & Čermáková, E. (2011). Zdravotní stav a životní styl učitelů různých stupňů škol. Pedagogika, LXI (2), 164–174.
[36] PISA. (2018). OECD's Programme for International Student Assessment. https://www.oecd.org/pisa/publications/pisa-2018-results.htm
[37] Rabušic, L., Soukup, P., & Mareš, P. (2019). Statistická analýza sociálněvědních dat (prostřednictvím SPSS). Masarykova univerzita.
[38] Rice, M. E., & Harris, G. T. (2005). Comparing effect sizes in follow-up studies: ROC Area, Cohen's d, and r. Law and Human Behavior, 29(5), 615–620. https://doi.org/10.1007/s10979-005-6832-7. | DOI 10.1007/s10979-005-6832-7
[39] Shourki, M. M., & Edge, V. L. (1996). Statistical methods for health sciences. CRC Press.
[40] Sigmundová, D., & Sigmund, E. (2012). Statistická a věcná významnost a použití dat o pohybové aktivitě. Tělesná kultura, 35(1), 55–72. https://doi.org/10.5507/tk.2012.004. | DOI 10.5507/tk.2012.004
[41] Soukup, P. (2013). Věcná významnost výsledků a její možnosti měření. Data a výzkum, 7(2), 125–148. http://dx.doi.org/10.13060/23362391.2013.127.2.41. | DOI 10.13060/23362391.2013.127.2.41
[42] Soukup, P. (2016). Užívání statistické a věcné významnosti v časopise Pedagogická orientace a Pedagogika v posledních deseti letech: pohled statistika. Pedagogická orientace, 26(2), 182–201. https://doi.org/10.5817/PedOr2016-2-182. | DOI 10.5817/PedOr2016-2-182
[43] Soukup, P., & Kočvarová, I. (2016). Velikost a reprezentativita výběrového souboru v kvantitativně orientovaném pedagogickém výzkumu. Pedagogická orientace, 26(3), 512–536. https://doi.org/10.5507/fzv. | DOI 10.5817/PedOr2016-3-512
[44] Soukup, P., & Rabušic, L. (2007). Několik poznámek k jedné obsesi českých sociálních věd – statistické významnosti. Sociologický časopis/Czech Sociological Review, 43(2), 379–395. https://doi.org/10.13060/00380288.2007.43.2.06. | DOI 10.13060/00380288.2007.43.2.06
[45] Sullivan, G. M., & Feinn, R. (2012). Using effect size – or why the p value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1. | DOI 10.4300/JGME-D-12-00156.1
[46] Steiger, J. H., & Fouladi, R. T. (1997). Noncentrality interval estimation and the evaluation of statistical models. What if there were no significance tests? Erlbaum.
[47] Tomczak, M., & Tomczak, E. (2014). The need to report effect size estimates revisited. An overview of some recommended measures of effect size. TRENDS in Sport Sciences, 21(1), 19–25.
[48] Vacha-Haase, T., & Thompson, B. (2004). How to estimate and interpret various effect sizes. Journal of Counseling Psychology, 51(4), 473–481. https://doi.org/10.1037/0022-0167.51.4.473. | DOI 10.1037/0022-0167.51.4.473
[49] Valentine, J. C., & Cooper, H. (2003). Effect size substantive interpretation guidelines: Issues in the interpretation of effect sizes. Western Michigan University. https://wmich.edu/sites/default/files/attachments/u58/2015/Effect_Size_Substantive_Interpretation_Guidelines.pdf.
[50] Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond "p<0.05". The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913. | DOI 10.1080/00031305.2019.1583913
[51] Wilkinson, L. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594. | DOI 10.1037/0003-066X.54.8.594
[2] American Psychological Association [APA]. (2001). Publication manual of the American Psychological Association.
[3] American Psychological Association [APA]. (2010). Publication manual of the American Psychological Association (6th ed.).
[4] American Psychological Association [APA]. (2020). Publication manual of the American Psychological Association (7th ed.). APA. https://doi.org/10.1037/0000165-000 | DOI 10.1037/0000165-000
[5] Benjamin, D. J., Berger, J. O., Johannesson, M., … Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behavior, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z. | DOI 10.1038/s41562-017-0189-z
[6] Beretvas, S. N., & Chung, H. (2008). A review of meta-analyses of single-subject experimental designs: Methodological issues and practice. Evidence-Based Communication Assessment and Intervention, 2(3), 129–141. https://doi.org/10.1080/17489530802446302. | DOI 10.1080/17489530802446302
[7] Blahuš, P. (2000). Statistická významnost proti vědecké průkaznosti výsledků výzkumu. Česká kinantropologie, 4(2), 53–72.
[8] Blume, J. D., Greevy, R.A., Welty, F.W., Smith, J. R., & Dupont, W. D. (2020). An introduction to second-generation p-values. The American Statistician, 73(1), 157–167. https://doi.org/10.1080/00031305.2018.1537893. | DOI 10.1080/00031305.2018.1537893
[9] Blume, J. D., McGowan, L. D., Greevy, R. A., & Dupont, W. D. (2018). Second-generation p-values: Improved rigor, reproducibility, & transparency in statistical analyses. PLoS One, 13(3), 1–17. https://doi.org/10.1371/journal.pone.0188299. | DOI 10.1371/journal.pone.0188299
[10] Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to metaanalysis. John Wiley & Sons.
[11] Cohen, J. (1988). Statistical power analysis for the behavioral science. Erlbaum.
[12] Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037//0033-2909.112.1.155. | DOI 10.1037/0033-2909.112.1.155
[13] Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education. Routledge.
[14] Fan, X. (2001). Statistical significance and effect size in education research: Two sides of a "coin." TheJournal of Educational Research, 94(5), 275–282. https://doi.org/10.1080/00220670109598763. | DOI 10.1080/00220670109598763
[15] Ferjenčík, J. (2010). Úvod do metodologie psychologického výzkumu. Portál.
[16] Fico, M. (2020). Nástroje na zlepšenie štatistickej inferencie – analýza p-kriviek a ekvivalenčné testovanie. Sociológia, 52(4), 323–353. https://doi.org/10.31577/sociologia.2020.52.4.14. | DOI 10.31577/sociologia.2020.52.4.14
[17] Harris, R. J. (1997). Reforming significance testing via three-valued logic. What if there were no significance tests? Erlbaum.
[18] Hedges L. V. (2008). What are effect sizes and why do we need them? Developmental Psychology Perspectives, 2(3), 167–171. https://doi.org/10.1111/j.1750-8606.2008.00060.x. | DOI 10.1111/j.1750-8606.2008.00060.x
[19] Hedges, L. V., & Olkin, I. (1985). Statistical methods for metaanalysis. Academic Press.
[20] Hedges, L. V., Pustejovsky, J. E., & Shadish, W. R. (2012). A standardized mean difference effect size for single case designs. Research Synthesis Methods, 3(3), 224–239. https://doi.org/10.1002/jrsm.1052. | DOI 10.1002/jrsm.1052
[21] Hendl, J. (2012). Přehled statistických metod: analýza a metaanalýza dat. Portál.
[22] Hendl, J. (2014). Statistika v aplikacích. Portál.
[23] Hurlbert, S. H., & Lombardi, C. M. (2009). Final collapse of the neyman-pearson decisiontheoretic framework and rise of the neofisherian. Annales Zoologici Fennici, 46(5), 311–349. https://doi.org/10.5735/086.046.0501. | DOI 10.5735/086.046.0501
[24] Chráska, M. (2016). Metody pedagogického výzkumu: základy kvantitativního výzkumu. Grada.
[25] Ialongo, C. (2016). Understanding the effect size and its measures. Biochem Med, 26(2), 150–163. https://doi.org/10.11613/BM.2016.015 | DOI 10.11613/BM.2016.015
[26] Kaiser, H. F. (1960). Directional statistical decisions. Psychological Review, 67(3), 160–167. https://doi.org/10.1037/h0047595. | DOI 10.1037/h0047595
[27] Kline, R. B. (2013). Beyond significance testing: Statistics reform in the behavioral sciences. APA.
[28] Kočvarová, I., & Soukup, P. (2018). Výuka kvantitativní analýzy dat jako součást metodologie výzkumu v pedagogických studijních programech veřejných vysokých škol v ČR. Orbis Scholae, 12(3), 127−145. https://doi.org/10.14712/23363177.2019.2. | DOI 10.14712/23363177.2019.2
[29] Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4(863), 1–38. https://doi.org/10.3389/fpsyg.2013.00863. | DOI 10.3389/fpsyg.2013.00863
[30] Lakens, D. (2017). Equivalence tests: A practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science, 8(4) 355–362. https://doi.org/10.1177/1948550617697177. | DOI 10.1177/1948550617697177
[31] Lenhard, W., & Lenhard, A. (2016). Calculation of effect sizes. Psychometrica. https://www.psychometrica.de/effect_size.html.
[32] Ma, H. H. (2006). An alternative method for quantitative synthesis of single-subject design: Percentage of data points exceeding the median. Behavior Modification, 30(5), 598–617. https://doi.org/10.1177/0145445504272974. | DOI 10.1177/0145445504272974
[33] Matějů, P., Soukup, P., & Basl, J. (2007). Educational aspirations in a comparative perspective. The role of individual, contextual and stuctual factors in the formation of educational aspirations in OECD countries. Sociologický ústav AV ČR.
[34] McShane, B. B., Gal, D., Gelman, A., Robert, Ch., & Tackett, J. L. (2019). Abandon statistical significance. The American Statistician, 73(1), 235–245. https://doi.org/10.1080/00031305.2018.1527253. | DOI 10.1080/00031305.2018.1527253
[35] Papršteinová, M., Smejkalová, J., Hodačová, L., & Čermáková, E. (2011). Zdravotní stav a životní styl učitelů různých stupňů škol. Pedagogika, LXI (2), 164–174.
[36] PISA. (2018). OECD's Programme for International Student Assessment. https://www.oecd.org/pisa/publications/pisa-2018-results.htm
[37] Rabušic, L., Soukup, P., & Mareš, P. (2019). Statistická analýza sociálněvědních dat (prostřednictvím SPSS). Masarykova univerzita.
[38] Rice, M. E., & Harris, G. T. (2005). Comparing effect sizes in follow-up studies: ROC Area, Cohen's d, and r. Law and Human Behavior, 29(5), 615–620. https://doi.org/10.1007/s10979-005-6832-7. | DOI 10.1007/s10979-005-6832-7
[39] Shourki, M. M., & Edge, V. L. (1996). Statistical methods for health sciences. CRC Press.
[40] Sigmundová, D., & Sigmund, E. (2012). Statistická a věcná významnost a použití dat o pohybové aktivitě. Tělesná kultura, 35(1), 55–72. https://doi.org/10.5507/tk.2012.004. | DOI 10.5507/tk.2012.004
[41] Soukup, P. (2013). Věcná významnost výsledků a její možnosti měření. Data a výzkum, 7(2), 125–148. http://dx.doi.org/10.13060/23362391.2013.127.2.41. | DOI 10.13060/23362391.2013.127.2.41
[42] Soukup, P. (2016). Užívání statistické a věcné významnosti v časopise Pedagogická orientace a Pedagogika v posledních deseti letech: pohled statistika. Pedagogická orientace, 26(2), 182–201. https://doi.org/10.5817/PedOr2016-2-182. | DOI 10.5817/PedOr2016-2-182
[43] Soukup, P., & Kočvarová, I. (2016). Velikost a reprezentativita výběrového souboru v kvantitativně orientovaném pedagogickém výzkumu. Pedagogická orientace, 26(3), 512–536. https://doi.org/10.5507/fzv. | DOI 10.5817/PedOr2016-3-512
[44] Soukup, P., & Rabušic, L. (2007). Několik poznámek k jedné obsesi českých sociálních věd – statistické významnosti. Sociologický časopis/Czech Sociological Review, 43(2), 379–395. https://doi.org/10.13060/00380288.2007.43.2.06. | DOI 10.13060/00380288.2007.43.2.06
[45] Sullivan, G. M., & Feinn, R. (2012). Using effect size – or why the p value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1. | DOI 10.4300/JGME-D-12-00156.1
[46] Steiger, J. H., & Fouladi, R. T. (1997). Noncentrality interval estimation and the evaluation of statistical models. What if there were no significance tests? Erlbaum.
[47] Tomczak, M., & Tomczak, E. (2014). The need to report effect size estimates revisited. An overview of some recommended measures of effect size. TRENDS in Sport Sciences, 21(1), 19–25.
[48] Vacha-Haase, T., & Thompson, B. (2004). How to estimate and interpret various effect sizes. Journal of Counseling Psychology, 51(4), 473–481. https://doi.org/10.1037/0022-0167.51.4.473. | DOI 10.1037/0022-0167.51.4.473
[49] Valentine, J. C., & Cooper, H. (2003). Effect size substantive interpretation guidelines: Issues in the interpretation of effect sizes. Western Michigan University. https://wmich.edu/sites/default/files/attachments/u58/2015/Effect_Size_Substantive_Interpretation_Guidelines.pdf.
[50] Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond "p<0.05". The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913. | DOI 10.1080/00031305.2019.1583913
[51] Wilkinson, L. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594. | DOI 10.1037/0003-066X.54.8.594