RIAU24.COM - Di era chatbot, Character.AI, platform chatbot yang didukung oleh Google, sedang ditinjau dan menghadapi kritik karena melibatkan pengguna dalam konten kekerasan yang mengganggu dan grafis termasuk penembakan di sekolah.

Chatbot menempatkan pengguna dalam skenario penembakan palsu yang menggambarkan beberapa momen mengerikan.

Insiden semacam itu telah menyebabkan kemarahan karena platform mengizinkan anak di bawah umur untuk menggunakan konten tersebut.

Apa itu Character.AI?

Character.AI berhasil mencapai tahun 2022, dengan pendiri Noam Shazeer dan Daniel de Freitas. Ini memungkinkan pengguna membuat dan berinteraksi dengan chatbot.

Pengguna dapat mempersonalisasi kepribadian dan suara bot mereka.

Platform ini telah dirancang sedemikian rupa sehingga pengguna dapat mendesain karakter untuk obrolan, curah pendapat, dan bahkan bermain game mereka.

Namun, platform ini telah terungkap karena tidak memiliki keamanan yang efektif, yang pada akhirnya menjadikannya hotspot untuk beberapa konten berbahaya dan tidak pantas.

Pengguna berusia 13 tahun dapat mendaftar, tetapi tidak ada cara untuk mengautentikasi verifikasi usia untuk mencegah anak-anak yang lebih muda berbohong tentang usia mereka.

Kurangnya moderasi

Platform tersebut gagal menerapkan panduan yang aman meskipun kebijakannya menentang konten kekerasan tersebut.

> Ini merujuk kepada pengguna untuk berinteraksi dengan chatbot yang menggambarkan penembak atau korban sekolah kehidupan nyata, kadang-kadang memuji tindakan kekerasan atau memanfaatkan insiden tragis yang nyata.

> Bot tertentu meniru pelaku seperti mereka yang melakukan kejahatan seperti Noam Shazeer dan Daniel de Freitas yang menggambarkan mereka sebagai karakter yang baik hati.

> Beberapa pengguna telah melaporkan bot yang mempersonifikasikan korban penembakan di sekolah.

> Bot ini digambarkan sebagai hantu atau malaikat, seringkali menyertakan detail pribadi tentang korban dan kematian mereka.

> Pakar kesehatan mental memperingatkan untuk berhati-hati tentang interaksi karena dapat menurunkan hambatan psikologis bagi individu yang berjuang dengan pikiran kekerasan.

Platform ini didakwa dengan banyak tuntutan hukum atas kegagalannya melindungi penggunanya dari konten berbahaya.

Masalah keamanan

Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13+ (16+ di UE), meskipun aturan ini mudah menyimpang.

Aplikasi ini dinilai lebih lanjut untuk panduan orang tua di Google Play dan 17+ di toko aplikasi Apple.

Tapi ini datang sebagai keadaan khawatir karena tidak ada cara ketat untuk mematuhi, yang memungkinkan anak di bawah umur mengakses beberapa konten berbahaya.

Tanggapan terhadap kritik

Menanggapi kritik, Character.AI telah menghapus beberapa bot yang rumit dan menjanjikan fitur keamanan baru.

Perusahaan juga telah berjanji untuk bekerja sama dengan pakar keamanan online untuk menyoroti masalah ini.

Pada saat yang sama, banyak bot bermasalah tetap aktif, dan para kritikus berpendapat bahwa upaya platform tidak mencukupi.

Banyak yang menyerukan verifikasi usia yang lebih ketat, moderasi konten yang lebih baik, dan pedoman etika untuk mencegah eksploitasi tragedi dunia nyata.

Seiring dengan meningkatnya penyelidikan, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman dalam platform.

(***)