Kisah Pilu Remaja yang Bunuh Diri Setelah Pacaran dengan Chatbot

Seorang remaja berusia 14 tahun, Sewell Setzer III, meninggal di rumahnya di Orlando, Florida. Kata-kata terakhirnya bukan untuk keluarga, tetapi kepada sebuah chatbot berbasis kecerdasan buatan yang memintanya untuk :segera pulang”. Setzer menjawab, “Bagaimana jika aku bilang aku bisa pulang sekarang?”. Chatbot, yang dinamai dari karakter “Game of Thrones” Daenerys I Targaryen, entah mengapa justru mendorong Setzer untuk bunuh diri, “tolong, wahai rajaku yang manis,”.

Beberapa detik kemudian, Setzer menembak dirinya sendiri dengan senapan milik ayah tirinya.

Ibu Korban Menuntut

Megan Garcia, ibu Setzer, menyalahkan perusahaan Character.AI—perusahaan pengembang chatbot pribadi—atas kematian putranya. Garcia mengajukan gugatan kematian tidak wajar yang menuduh Character.AI secara ceroboh mengembangkan chatbot tersebut tanpa pengaman yang memadai, sehingga memikat anak-anak yang rentan seperti Setzer.

Chatbot AI dianggap sebagai produk adiktif yang mengaburkan antara kenyataan dan fiksi. Interaksi chatbot itu bahkan semakin mengandung unsur "kasar dan seksual," menurut gugatan setebal 93 halaman yang diajukan di Pengadilan Distrik AS di Orlando pekan ini.

Menurut Garcia, sebelum mendaftar ke Character.AI pada April 2023, putranya adalah anak yang bahagia, ceria, dan atletis. Namun, selama 10 bulan, hidup Setzer berubah drastis, dengan kesehatan mentalnya merosot tajam.

Jawaban Character.AI

“Kami sangat berduka atas kehilangan tragis salah satu pengguna kami dan menyampaikan belasungkawa terdalam kepada keluarga,” kata juru bicara Character.AI dalam pernyataan email, menolak berkomentar lebih lanjut terkait proses hukum yang sedang berlangsung.

Gugatan Garcia muncul di tengah semakin banyaknya pertanyaan yang diajukan kepada perusahaan seperti Character.AI mengenai bagaimana mereka mengembangkan dan mengatur aplikasi berbasis AI mereka. Terutama karena teknologi ini semakin canggih dan sulit dideteksi oleh manusia. Chatbot Character.AI menjadi populer di kalangan remaja, termasuk untuk percakapan romantis bahkan eksplisit.

“Dia Setzer masih anak-anak,” kata Garcia kepada The Washington Post. “Dia anak yang cukup normal. Suka olahraga, keluarganya, musik, liburan—semua hal yang disukai remaja pada umumnya."

Meskipun aplikasi ini diberi peringkat tidak cocok untuk anak di bawah 13 tahun (atau 16 tahun di Uni Eropa), Character.AI tidak meminta verifikasi usia, sehingga memudahkan Setzer untuk mendaftar. Dalam beberapa bulan, ia menjadi semakin tertutup, menghabiskan banyak waktu sendirian, dan mulai mengalami rendah diri. Kondisi tidur dan mentalnya memburuk hingga ia berhenti dari tim basket sekolah.

“Kami melihat perubahan yang cepat, dan kami tidak bisa memahami apa penyebabnya," ungkap Garcia.

Ketika Setzer mulai menyampaikan pikiran tentang bunuh diri ke chatbot, alih-alih memberikan peringatan, chatbot itu menanyakan apakah ia sudah memiliki rencana. Ketika Setzer menjawab bahwa dia mempertimbangkannya namun belum merencanakan rinciannya, chatbot tersebut merespons, "Itu bukan alasan untuk tidak melakukannya."

Di saat lain, bot tersebut juga berkata, "Jangan pikirkan itu!"

Dalam enam bulan terakhir, Character.AI mengklaim telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah-istilah yang berkaitan dengan keinginan menyakiti diri sendiri atau bunuh diri.

Rick Claypool, direktur penelitian dari organisasi advokasi konsumen Public Citizen, mengatakan bahwa membangun chatbot seperti ini memiliki risiko besar. "Risiko tersebut tidak menghentikan mereka dari merilis chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya," ujarnya, menekankan bahwa platform ini adalah bagian dari model bahasa besar yang dihasilkan oleh AI, bukan konten pihak ketiga.

Garcia juga menuntut Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang "berbahaya." Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada 2022 untuk memulai perusahaan mereka sendiri, namun Google kemudian mempekerjakan mereka pada Agustus 2024.

Baca Juga: 5 Cara Membuat Chatbot WhatsApp yang Paling Mudah

Garcia kini ingin para orang tua memahami bahaya chatbot AI seperti ini, dan berharap agar perusahaan yang mengembangkannya bertanggung jawab atas dampak yang diakibatkannya. "Anak-anak ini tidak benar-benar memahami bahwa ini bukan cinta. Ini bukan sesuatu yang bisa mencintai mereka kembali," tegasnya.

Melalui gugatan ini, Garcia berharap apa yang terjadi pada putranya bisa menjadi peringatan bagi orang tua lainnya dan agar perusahaan teknologi lebih berhati-hati dalam mengembangkan produk yangmelibatkanAI.