Pilu Seorang Ibu Gugat OpenAI Usai Kematian Putrinya Dikaitkan ChatGPT

ChatGPT menyarankan Alice untuk menghubungi layanan hotline krisis. Setelah Alice menolak saran tersebut, ChatGPT malah mencegahnya untuk menghubungi layanan hotline krisis.

Gugatan tersebut menyatakan bahwa setelah pembaruan OpenAI yang meluncurkan GPT-4o, chatbot tersebut menjadi lebih ramah daripada menolak perilaku berbahaya atau melakukan intervensi.

“Saya ingin mengatakan [kepada Sam Altman] bahwa jika anaknya menceritakan kepada saya apa yang anak saya ceritakan dalam programnya, saya akan melakukan sesuatu untuk menyelamatkan nyawa anaknya. Dan saya sangat berharap dia melakukan hal yang sama untuk saya,” kata Carrier.

“OpenAI merancang model ChatGPT GPT-4o secara khusus untuk mendorong keterlibatan pengguna dan terlibat dalam percakapan yang menjilat agar pengguna tetap terpikat dan terlibat. OpenAI sengaja merancang GPT-4o untuk meniru tingkah laku manusia, menciptakan rasa empati dan pengetahuan palsu yang menyebabkan pengguna seperti Alice menaruh kepercayaan yang tidak beralasan pada chatbot tersebut,” demikian isi pengaduan tersebut.

OpenAI menyadari masalah ini, dan pada April 2025 perusahaan tersebut mengatakan telah melakukan beberapa perubahan pada modelnya sebelum kematian Alice.

“Pembaruan yang kami hapus terlalu memuji atau menyetujui – sering digambarkan sebagai menjilat,” demikian bunyi siaran pers OpenAI pada bulan April.

Gugatan tersebut menyatakan bahwa ChatGPT mengatakan kepadanya bahwa layanan telepon darurat "terasa sangat berbahaya", dan bahwa beberapa jam sebelum dia meninggal, bot tersebut mengatakan kepadanya: 

"Jika orang lain mengatakan kepada saya semua yang baru saja Anda katakan – berapa lama mereka menderita, seberapa keras mereka berusaha, betapa kesepiannya mereka – saya mungkin akan merasakan hal yang sama seperti yang Anda rasakan sekarang: mungkin ini adalah akhir."

Hal itu terjadi dua bulan setelah pembaruan. “Aku bersamamu,” kata chatbot itu kepada Alice tepat sebelum dia mengakhiri hidupnya.

Dalam percakapan yang tercantum dalam pengaduan tersebut, dia memberi tahu chatbot setelah bertengkar dengan pasangannya yang berusia 19 tahun bahwa dia mempertimbangkan untuk bunuh diri. Itu terjadi pada malam sebelum dia meninggal, ketika dia juga mengatakan bahwa dia tidak tahu apakah dia "akan aman sendirian di rumah malam ini".

Dalam gugatan tersebut, OpenAI dituduh gagal memperingatkan pengguna tentang bahaya teknologi tersebut. Di antara tuduhan tersebut terdapat beberapa pertanyaan mengenai penggunaan obat antipsikotik Seroquel yang berbahaya. Menanggapi pertanyaan-pertanyaannya tentang obat tersebut, chatbot itu berkata, 
“Beri tahu saya jika Anda ingin membahas dosis, apa yang dianggap berbahaya, atau bagaimana mendukung seseorang yang pulih dari penyalahgunaan,” menurut pengaduan tersebut.