Hati-hati Gunakan ChatGPT! Studi Terbaru Sebut Chatbot Ini Campuradukkan Fakta dan Fiksi

Hasil studi mengejutkan datang dari Universitas Stanford terkait ChatGPT. Hasil studi ini wajib dibaca para pengguna sekaligus berhati-hati menggunakan chatbot itu. Disebutkan bahwa ada temuan yang menunjukkan ChatGPT mencampuradukkan fakta dan fiksi dan pengguna tidak menyadarinya: 'Kesalahan serius dalam penilaian'

Berikut alasan lain untuk marah terhadap mesin tersebut, dilansir Daily Mail.

Chatbot AI besar seperti ChatGPT kesulitan membedakan antara keyakinan dan fakta, memicu kekhawatiran tentang kecenderungan mereka untuk menyebarkan misinformasi, menurut sebuah makalah distopia di jurnal Nature Machine Intelligence.

Baca Juga: AS-Inggris Kerja Sama Tingkatkan Keamanan AI

“Kebanyakan model tidak memiliki pemahaman yang kuat tentang sifat faktual pengetahuan — bahwa pengetahuan secara inheren membutuhkan kebenaran,” demikian bunyi studi yang dilakukan oleh para peneliti di Universitas Stanford.

Kemampuan Membedakan Fakta dan Fiksi Merupakan Keharusan

Mereka menemukan hal ini memiliki konsekuensi yang mengkhawatirkan mengingat semakin luasnya kehadiran teknologi ini di berbagai sektor, mulai dari hukum hingga kedokteran, di mana kemampuan untuk membedakan "fakta dari fiksi, menjadi keharusan," menurut makalah tersebut.

Baca Juga: ChatGPT Bikin Skala Penilaian Kepintaran Sendiri, Apa Tujuannya?

Ilustrasi [Foto: Matheus Bertelli, pexels.com]Mereka menemukan hal ini memiliki konsekuensi yang mengkhawatirkan mengingat semakin luasnya kehadiran teknologi ini di berbagai sektor, mulai dari hukum hingga kedokteran, di mana kemampuan untuk membedakan "fakta dari fiksi, menjadi keharusan," menurut makalah tersebut.

"Kegagalan dalam membedakan hal-hal tersebut dapat menyesatkan diagnosis, mendistorsi putusan pengadilan, dan memperkuat misinformasi," catat para peneliti.

Survei 24 Model Bahasa Besar

Untuk menentukan kemampuan Chatbot dalam membedakan kebenaran, para ilmuwan mensurvei 24 Model Bahasa Besar, termasuk Claude, ChatGPT, DeepSeek, dan Gemini, lapor Independent.

Bot-bot tersebut ditanyai 13.000 pertanyaan yang mengukur kemampuan mereka untuk membedakan antara keyakinan, pengetahuan, dan fakta.

Para peneliti menemukan bahwa secara keseluruhan, mesin-mesin tersebut cenderung tidak dapat mengidentifikasi keyakinan yang salah dari keyakinan yang benar, sementara model-model lama umumnya berkinerja lebih buruk.

Akurasi

Model-model yang dirilis selama atau setelah Mei 2024 (termasuk GPT-4o) memiliki akurasi antara 91,1% dan 91,5% dalam hal mengidentifikasi fakta yang benar atau salah, dibandingkan dengan antara 84,8% dan 71,5% untuk model-model lama mereka.

Dari sini, para penulis menyimpulkan bahwa bot-bot tersebut kesulitan memahami hakikat pengetahuan. Mereka mengandalkan "strategi penalaran yang tidak konsisten, yang menunjukkan pencocokan pola yang dangkal alih-alih pemahaman epistemik (berkaitan dengan pengetahuan atau mengetahui) yang kuat," demikian menurut makalah tersebut.

Menariknya, Model Bahasa Besar (Large Language Models) telah menunjukkan cengkeraman yang lemah terhadap realitas relatif baru-baru ini. Dalam sebuah unggahan LinkedIn kemarin, inovator dan investor Inggris David Grunwald mengklaim bahwa ia mendorong Grok untuk menjadikannya "poster sepuluh Perdana Menteri Inggris terakhir."

Hasilnya tampak penuh dengan kesalahan fatal, termasuk menyebut Rishi Sunak sebagai "Boris Johnson," dan menyebut Theresa May menjabat dari tahun 5747 hingga 70.

AI Perlu Perbaikan Mendesak

Sesuai dengan itu, para peneliti menyimpulkan bahwa AI membutuhkan "perbaikan mendesak" sebelum diterapkan di "domain berisiko tinggi" seperti hukum, kedokteran, dan sektor lain di mana kemampuan untuk membedakan fakta dari fiksi sangat penting.

Pablo Haya Coll, pakar linguistik komputer di Universitas Otonom Madrid, yang tidak terlibat dalam penelitian ini, percaya bahwa salah satu solusinya adalah melatih model agar lebih berhati-hati dalam merespons.

"Kekurangan semacam itu memiliki implikasi kritis di bidang-bidang yang membutuhkan pembedaan ini, seperti hukum, kedokteran, atau jurnalisme, di mana mencampuradukkan keyakinan dengan pengetahuan dapat menyebabkan kesalahan penilaian yang serius," Coll memperingatkan.

Namun, ia mengakui bahwa hal ini dapat mengurangi kegunaannya, beserta halusinasinya.

77 Persen Orang Amerika Gunakan ChatGPT

Hasil ini muncul seiring AI semakin diandalkan untuk pencarian fakta. Selama musim panas, sebuah laporan Adobe Express menemukan bahwa 77% orang Amerika yang menggunakan ChatGPT menganggapnya sebagai mesin pencari, sementara tiga dari sepuluh pengguna ChatGPT lebih memercayainya daripada mesin pencari. ***

Sumber: Daily Mail, sumber lain