FTNews – Pada 14 Maret 2023, perusahaan pengembang artificial intelligence (AI), OpenAI, mengaku bahwa chatbot-nya, ChatGPT, bisa menjadi ahli hukum. Dengan GPT-4, chatbot ini dapat mengerjakan tes pengacara dengan nilai 10 persen teratas. Namun, penelitian dari Massachusetts Institute of Technology (MIT) membuktikan sebaliknya.
“Tampaknya perbandingan yang paling akurat adalah terhadap peserta tes yang baru pertama kali mengikuti tes. Atau, sejauh anda berpikir bahwa persentil harus mencerminkan kinerja GPT-4 dibandingkan dengan seorang pengacara sebenarnya. Maka perbandingan yang paling akurat adalah dengan mereka yang lulus ujian,” Jelas Eric MartÃnez, pelajar program doktoral di Departemen Ilmu Otak dan Kognitif di MIT, mengutip dari LiveScience.
Dalam studi tersebut, mengatakan bahwa 90 persen yang OpenAI gembar-gemborkan sebenarnya condong ke arah peserta tes berulang. Di mana, mereka telah gagal dalam tes tersebut sebanyak satu kali atau lebih. Sehingga, kelompok tersebut memiliki nilai yang lebih rendah dari pada pengikut tes pada umumnya.
Saat MartÃnez menguji performa ChatGPT di tes pengacara secara general, teknologi ini hanya masuk ke dalam peringkat 69 persen dari seluruh pesertanya. Sementara itu, teknologi tersebut berada di posisi 48 persen jika membandingkannya dengan peserta yang pertama kali mengambil tes ini.
Dalam studi ini juga, MartÃnez mengatakan bahwa hasil tes dari model AI ini berada di antara biasa-biasa saja hingga di bawah rata-rata pada bagian tes esai. Mereka berada pada peringkat 48 persen dari semua peserta tes dan 15 persen dari mereka yang mengikuti tes untuk pertama kalinya.
Tidak Seahli Itu
Untuk membuktikan apakah ChatGPT dapat dikatakan sebagai ahli hukum, MartÃnez membawa investigasi ini lebih dalam lagi. MartÃnez meminta GPT-4 mengulangi pengujian lagi. Pengulangan ini sesuai dengan parameter yang penulis penelitian awal tetapkan.
Dalam tes pengacara di Amerika Serikat (AS), terdapat tiga bagian. Yaitu Multistate Bar Examination (MBE), Multistate Performance Test (MPT), dan Multistate Essay Examination (MEE).
Dalam pengulangan ini, MartÃnez mengatakan bahwa teknologi ini dapat menjawab dengan baik pada pilihan ganda di tes MBE. Namun, terdapat “permasalahan metodologi†dalam tes MPT dan MEE-nya.
Ia mencatat bahwa studi awal tidak menggunakan pedoman penilaian esai yang National Conference of Bar Examiners, penyelenggara ujian pengacara, tetapkan. Para peneliti hanya membandingkan jawaban dengan “jawaban yang baik†dari jawaban di negara bagian Maryland.
MartÃnez mengatakan bahwa bagian penulisan esai adalah bagian yang paling dekat dalam ujian pengacara. Karena, penulisan esai ini ia nilai hal yang terdekat dari praktiknya seorang pengacara. Dan hal tesebut, adalah bagian ujian yang di mana kinerja paling buruk dari AI ini.
