Öz
Giriş
Bu çalışmanın amacı, ebeveynlerin çocuk doktoruna yaptıkları ilk başvurular sırasında en sık sordukları soruların bir listesini derlemek ve yapay zekâ destekli sohbet robotları tarafından bu sorulara verilen yanıtların güvenilirliğini ve başarısını değerlendirmektir.
Gereç ve Yöntem
Bebeklerin poliklinik ziyaretleri sırasında ebeveynleri tarafından en sık sorulan 20 soru, ChatGPT3.5, Google Gemini ve Microsoft Copilot uygulamalarına yöneltilmiştir. Uygulamalar tarafından verilen yanıtlar; bir çocuk gastroenteroloğu, bir çocuk sağlığı ve hastalıkları uzmanı ve bir pediatri asistanı olmak üzere üç hekim tarafından 1 (en yetersiz) ile 5 (en yeterli) arasında derecelendirilen Likert ölçeği kullanılarak değerlendirilmiştir.
Bulgular
Yapay zekâ (YZ) uygulamalarının yöneltilen 20 soruya verdikleri yanıtların puanlanması sonucunda, en yüksek puanı Google Gemini almış (286) ve bu sonuç istatistiksel olarak anlamlı bulunmuştur (p < 0,001). Copilot ve ChatGPT karşılaştırıldığında ise anlamlı bir fark saptanmamıştır. Yapay zekâ uygulamaları tarafından üretilen yanıtların değerlendirilmesi sonucunda, en yüksek puanlamayı çocuk sağlığı ve hastalıkları uzmanlarının yaptığı belirlenmiştir.
Sonuç
Gemini yapay zekâ uygulaması, ChatGPT3.5 ve Copilot’a kıyasla sorulara yanıt verme konusunda daha başarılı bulunmuştur. Yapay zekâ destekli sohbet robotları; sağlık ve hastalıklarla ilgili bilgi, öneri ve rehberlik sunma potansiyeline sahip olmakla birlikte, bu sistemler tarafından üretilen yanıtların sağlık profesyonelleri tarafından titiz bir değerlendirmeye tabi tutulması zorunludur.
Anahtar Kelimeler: Anahtar kelimeler: Yapay zeka, pediatri, chatbot, ebeveyn danışmanlığı, içerik değerlendirme
Kaynakça
Jiang F, Jiang Y, Zhi H, Dong Y, Li H, Ma S, et al. Artificial intelligence in healthcare: past, present and future. Stroke Vasc Neurol. 2017;2:230-43.
Aggarwal A, Tam CC, Wu D, Li X, Qiao S. Artificial intelligence-based chatbots for promoting health behavioral changes: systematic review. J Med Internet Res. 2023;25:e40789.
Lyons RJ, Arepalli SR, Fromal O, Choi JD, Jain N. Artificial intelligence chatbot performance in triage of ophthalmic conditions. Can J Ophthalmol. 2024;59:e301-8.
Nov O, Singh N, Mann D. Putting ChatGPT’s medical advice to the (turing) test: survey study. JMIR Med Educ. 2023;9:e46939.
Altamimi I, Altamimi A, Alhumimidi AS, Altamimi A, Temsah MH. Snakebite advice and counseling from artificial intelligence: an acute venomous snakebite consultation with ChatGPT. Cureus. 2023;15:e40351.
Le M, Davis M. ChatGPT yields a passing score on a pediatric board preparatory exam but raises red flags. Glob Pediatr Health. 2024;11:2333794X241240327.
Thirunavukarasu AJ, Hassan R, Mahmood S, Sanghera R, Barzangi K, El Mukashfi M, et al. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 2023;9:e46599.
Serhan N, Ege E, Ayrancı U, Kosgeroglu N. Prevalence of postpartum depression in mothers and fathers and its correlates. J Clin Nurs. 2013;22:279-84.
Montigny F, Lacharité C. Perceived parental efficacy: concept analysis. J Adv Nurs. 2005;49:387-96.
Bhaskar S, Nurtazina A, Mittoo S, Banach M, Weissert R. Editorial: telemedicine during and beyond COVID-19. Front Public Health. 2021;9:662617.
Doraiswamy S, Abraham A, Mamtani R, Cheema S. Use of telehealth during the COVID-19 pandemic: scoping review. J Med Internet Res. 2020;22:e24087.
Wong J, Foussat AC, Ting S, Acerbi E, van Elburg RM, Mei Chien C. A Chatbot to engage parents of preterm and term infants on parental stress, parental sleep, and infant feeding: usability and feasibility study. JMIR Pediatr Parent. 2021;4:e30169.
Kadariya D, Venkataramanan R, Yip HY, Kalra M, Thirunarayanan K, Sheth A. kBot: Knowledge-enabled personalized chatbot for asthma self-management. proc int conf smart comput SMARTCOMP. 2019;2019:138-43.
West CP, Dyrbye LN, Shanafelt TD. Physician burnout: contributors, consequences and solutions. J Intern Med. 2018;283:516-29.
Dash D, Thapa R, Banda JM. Evaluation of GPT-3.5 and GPT-4 for supporting real-world information needs in healthcare delivery. arXiv preprint. arXiv:230413714. 2023.
Harskamp RE, De Clercq L. Performance of ChatGPT as an AI-assisted decision support tool in medicine: a proof-of-concept study for interpreting symptoms and management of common cardiac conditions (AMSTELHEART-2). Acta Cardiol. 2024;79:358-66.
Aggarwal A, Tam CC, Wu D, Li X, Qiao S. Artificial intelligence-based chatbots for promoting health behavioral changes: systematic review. J Med Internet Res. 2023;25:e40789.
de Cock C, Milne-Ives M, van Velthoven MH, Alturkistani A, Lam C, Meinert E. Effectiveness of conversational agents (virtual assistants) in health care: protocol for a systematic review. JMIR Res Protoc. 2020;9:e16934.
Gonsard A, AbouTaam R, Prévost B, Roy C, Hadchouel A, Nathan N, et al. Children’s views on artificial intelligence and digital twins for the daily management of their asthma: a mixed-method study. Eur J Pediatr. 2023;182:877-88.
Yuan C, Adeloye D, Luk TT, Huang L, He Y, Xu Y, et al. The global prevalence of and factors associated with Helicobacter pylori infection in children: a systematic review and meta-analysis. Lancet Child Adolesc Health. 2022;6:185-94.
Ren Y, Loftus TJ, Datta S, Ruppert MM, Guan Z, Miao S, et al. Performance of a machine learning algorithm using electronic health record data to predict postoperative complications and report on a mobile platform. JAMA Netw Open. 2022;5:e2211973.
Ying L, Li S, Chen C, Yang F, Li X, Chen Y, et al. Screening/diagnosis of pediatric endocrine disorders through the artificial intelligence model in different language settings. Eur J Pediatr. 2024;183:2655-61.
Taşkın S, Geçgelen Cesur M, Uzun M. Yapay zekâ destekli sohbet robotlarinin yaygin ortodontik sorulari cevaplama başarisinin değerlendirilmesi. Med J Sdu. 2023;30:680-6.
Perez-Pino A, Yadav S, Upadhyay M, Cardarelli L, Tadinada A. The accuracy of artificial intelligence-based virtual assistants in responding to routinely asked questions about orthodontics. Angle Orthod. 2023;93:427-32.
Ayers JW, Poliak A, Dredze M, Leas EC, Zhu Z, Kelley JB, Faix DJ, Goodman AM, Longhurst CA, Hogarth M, Smith DM. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Intern Med. 2023;183:589-96.
Rokhshad R, Zhang P, Mohammad-Rahimi H, Pitchika V, Entezari N, Schwendicke F. Accuracy and consistency of chatbots versus clinicians for answering pediatric dentistry questions: A pilot study. J Dent. 2024;144:104938.
Rasu RS, Bawa WA, Suminski R, Snella K, Warady B. Health literacy impact on national healthcare utilization and expenditure. Int J Health Policy Manag. 2015;4:747-55.
