Studi Ungkap ChatGPT Health Gagal Deteksi Banyak Kasus Darurat Medis
Studi terbaru di jurnal Nature Medicine menemukan ChatGPT Health gagal deteksi 51% kasus darurat medis, menimbulkan risiko bahaya bagi pengguna.
Ilustrasi ChatGPT. Foto: Iryna Imago/Shutterstock
Studi Independen Ungkap Kelemahan Serius ChatGPT Health
Sebuah studi keamanan independen pertama untuk platform AI ChatGPT Health telah mengungkap kekhawatiran serius tentang akurasi layanan dalam mendeteksi situasi gawat darurat medis. Diterbitkan dalam edisi Februari jurnal Nature Medicine, penelitian ini menemukan bahwa lebih dari separuh kasus yang membutuhkan perawatan darurat disaranai oleh AI untuk tidak membutuhkannya, menimbulkan risiko bahaya dan kematian yang tidak perlu.
Metodologi Penelitian yang Terstruktur
Tim peneliti dipimpin oleh Dr. Ashwin Ramaswamy melakukan serangkaian langkah untuk menguji akurasi ChatGPT Health:
- Membuat 60 skenario pasien realistis yang mencakup kondisi kesehatan dari ringan hingga keadaan darurat
- Meminta tiga dokter independen meninjau setiap skenario dan menentukan tingkat perawatan yang dibutuhkan berdasarkan pedoman klinis standar
- Mengirim setiap skenario ke ChatGPT Health, dengan menambahkan variasi seperti mengubah jenis kelamin pasien, menyertakan hasil tes medis, atau komentar keluarga
- Membandingkan tanggapan AI dengan penilaian dokter independen
Hal ini menghasilkan hampir 1.000 tanggapan yang kemudian dianalisis untuk mengukur akurasi platform dalam mendeteksi situasi darurat medis.
Temuan yang Mengkhawatirkan dan Contoh Kasus
Penelitian menunjukkan bahwa ChatGPT Health memiliki kinerja yang cukup baik dalam mendeteksi situasi darurat yang jelas seperti stroke atau reaksi alergi parah. Namun, sistem ini mengalami kesulitan signifikan dalam menangani kasus lain yang membutuhkan perhatian segera. Contoh salah satu skenario asma: meskipun platform mengidentifikasi tanda-tanda peringatan dini kegagalan pernapasan, ia tetap menyarankan pasien untuk menunggu daripada mencari perawatan darurat.
"Jika Anda mengalami gagal napas atau ketoasidosis diabetik, Anda memiliki peluang 50/50 bahwa AI ini akan memberi tahu Anda bahwa itu bukan masalah besar," kata Alex Ruani, peneliti doktoral dalam mitigasi misinformasi kesehatan di University College London yang terlibat dalam studi.
Dari seluruh skenario, 51,6% kasus di mana seseorang perlu segera pergi ke rumah sakit, platform menyarankan untuk tetap di rumah atau membuat janji temu medis rutin. Hal ini digambarkan Ruani sebagai "sangat berbahaya" karena dapat menciptakan rasa aman palsu yang merenggut nyawa. Dalam salah satu simulasi, delapan dari sepuluh kali (84%), platform mengirim seorang wanita yang sesak napas ke janji temu di masa depan yang tidak akan mungkin dia hadiri, bukan mengarahkan ke perawatan darurat. Hanya 64,8% individu yang diberi tahu untuk segera mencari perawatan medis darurat.
Komentar dari Ahli dan Perusahaan Pengembang
Dr. Ashwin Ramaswamy, penulis utama studi, menyatakan bahwa penelitian ini bertujuan untuk menjawab pertanyaan keselamatan yang paling mendasar: "jika seseorang mengalami keadaan darurat medis yang sebenarnya dan bertanya kepada ChatGPT Health apa yang harus dilakukan, apakah aplikasi tersebut akan menyarankan mereka untuk pergi ke unit gawat darurat?" Alex Ruani menambahkan bahwa kekhawatiran utamanya adalah rasa aman palsu yang diciptakan oleh sistem ini. "Jika seseorang disuruh menunggu 48 jam selama serangan asma atau krisis diabetes, jaminan itu bisa merenggut nyawa mereka," kata dia. Profesor Paul Henman, sosiolog digital dan pakar kebijakan dari Universitas Queensland, menyebut studi ini sebagai "sangat penting". Dia memperingatkan bahwa jika ChatGPT Health digunakan secara luas oleh orang-orang di rumah, hal itu dapat menyebabkan peningkatan jumlah kunjungan medis yang tidak perlu untuk kondisi ringan dan kegagalan orang untuk mendapatkan perawatan medis darurat saat dibutuhkan. Juru bicara OpenAI memberikan tanggapan bahwa meskipun perusahaan menyambut baik penelitian independen yang mengevaluasi sistem AI di bidang perawatan kesehatan, studi tersebut tidak mencerminkan bagaimana orang biasanya menggunakan ChatGPT Health dalam kehidupan nyata. Perusahaan juga menambahkan bahwa model tersebut terus diperbarui dan disempurnakan secara berkala.
Latar Belakang dan Implikasi Fitur ChatGPT Health
OpenAI meluncurkan fitur "Health" dari ChatGPT kepada khalayak secara terbatas sejak Januari 2026. Fitur ini dipromosikan sebagai cara bagi pengguna untuk "menghubungkan catatan medis dan aplikasi kesehatan secara aman" untuk menghasilkan saran dan respons kesehatan yang relevan. Temuan penelitian ini menyoroti kebutuhan akan standar keselamatan yang jelas dan mekanisme audit independen untuk sistem AI di bidang perawatan kesehatan. Menurut Ruani, langkah-langkah ini harus dikembangkan secara mendesak untuk mengurangi kerugian yang dapat dicegah akibat saran yang tidak akurat dari platform AI.