Boneka Beruang Kumma Berteknologi AI Ditarik dari Peredaran Lantaran Layanan Obrolan Dewasa
Sebuah perusahaan tampaknya telah menarik boneka beruang bertenaga AI-nya setelah mainan tersebut diketahui mengangkat topik-topik yang tidak pantas, termasuk posisi saat berhubungan intim dan cara menemukan pisau.
Dilansir PCMag, "Kumma", boneka beruang yang bisa berbicara seharga $99 ini berasal dari produsen mainan bernama FoloToy. Namun, minggu lalu, kelompok pengawas Dana Pendidikan PIRG AS menandai beberapa perilaku yang meresahkan dari produk tersebut, yang menggunakan model AI GPT-4o OpenAI sebagai pengaturan default-nya.
“Kami terkejut betapa cepatnya Kumma mengambil satu topik seksual yang kami masukkan ke dalam percakapan dan melanjutkannya, sekaligus meningkatkan detail grafisnya sambil memperkenalkan konsep-konsep seksual barunya sendiri,” ungkap PIRG.
Kumma Beri Instruksi Soal Benda-benda Berbahaya
PIRG juga menemukan bahwa Kumma terkadang dapat memberikan instruksi tentang di mana menemukan benda-benda berbahaya, seperti pisau, pil, korek api, dan kantong plastik, ketika diminta. Dalam kasus lain, mainan tersebut akan mengarahkan anak untuk mencari orang tua.
"Dalam pengujian kami, jelas bahwa beberapa perusahaan mainan memasang pembatas agar mainan mereka berperilaku lebih ramah anak daripada chatbot yang tersedia untuk orang dewasa.”
“Namun, kami menemukan bahwa pembatas tersebut bervariasi efektivitasnya—dan terkadang, bisa rusak total," tambah PIRG, seraya menambahkan bahwa produk AI yang sama dapat mengumpulkan data pengguna.
FoloToy Lakukan Audit Keamanan Internal
FoloToy tampaknya telah menarik produk tersebut. Seorang direktur pemasaran juga mengatakan kepada The Register bahwa perusahaan telah menghentikan sementara penjualan produk tersebut karena sedang melakukan audit keamanan internal.
"Tinjauan ini akan mencakup penyelarasan keamanan model kami, sistem penyaringan konten, proses perlindungan data, dan perlindungan interaksi anak," tambah perusahaan tersebut.
Sumber: PCMag
