ACEH — Pangram mengklaim model deteksi teks terbarunya memiliki akurasi di atas 99% dalam mengidentifikasi tulisan berbantuan AI dan konten campuran manusia-AI. Model ini juga disebut lebih mampu mendeteksi program "humanizer" AI yang biasa digunakan untuk menyamarkan teks buatan mesin.
Bagaimana Cara Kerja Pangram?
Sistem deteksi Pangram pada dasarnya adalah model machine learning besar yang dilatih menggunakan puluhan juta dokumen manusia yang sudah diketahui. Startup ini kemudian membuat "cermin sintetis" untuk setiap dokumen—mereplikasi topik, panjang, dan nada suara, tetapi ditulis oleh large language model (LLM) terdepan.
"Model kami mempelajari perbedaan gaya dan pilihan yang konsisten dibuat AI, dan mampu menggunakannya untuk mengetahui apa yang membuat sesuatu dihasilkan AI dengan keyakinan tinggi," ujar Max Spero, salah satu pendiri Pangram, kepada TechCrunch. Ia menambahkan bahwa detektor AI ini tidak bergantung pada metadata copy-paste atau watermark tersembunyi.
Yang menarik, Pangram tidak sekadar mendeteksi teks yang sepenuhnya ditulis AI. Sistem ini juga bisa membedakan tingkat bantuan AI—misalnya, seseorang yang menulis sendiri lalu meminta AI mengedit atau merapikannya. Spero menilai bantuan AI bisa diterima, selama penulis mengungkapkan penggunaannya.
Akurasi Diuji: 99% Tapi Tidak Sempurna
Spero mengatakan bahwa sekitar satu dari 10.000 dokumen manusia salah dilabeli sebagai AI oleh model Pangram. TechCrunch yang menguji langsung model ini mengakui hasilnya impresif namun tidak sempurna. Detektor ini dengan mudah menandai artikel berita yang sepenuhnya dihasilkan ChatGPT dan Claude, dan jarang terkecoh oleh upaya menyunting teks AI agar terdengar lebih manusiawi.
Namun, Pangram sempat menandai kalimat yang sepenuhnya ditulis ulang oleh manusia sebagai buatan AI. Sistem ini juga tidak bisa dibodohi oleh upaya meminta ChatGPT dan Claude menghindari detektor AI saat menghasilkan konten. Dalam pengujian lain, saat TechCrunch memberikan artikelnya ke ChatGPT dan Claude untuk dipoles, Pangram memberi skor 13% berbantuan AI—yang dinilai cukup akurat.
Integrasi dan Model Bisnis
Pangram dapat diakses melalui langganan USD 20 per bulan (sekitar Rp 320.000) di web atau ekstensi Chrome. Ekstensi ini secara otomatis memberi label konten secara real-time di X, LinkedIn, Substack, Reddit, dan Medium, serta menyediakan skor kesehatan feed dengan rincian persentase konten manusia versus AI.
Startup ini juga menawarkan teknologinya melalui API. Substack, misalnya, sudah mengintegrasikan teknologi Pangram untuk menunjukkan kepada pembaca penulis mana yang menggunakan AI dalam buletin mereka. Pelanggan API lainnya termasuk Quora, sekolah dan universitas, penerbit, agen, dan perekrut.
Mengapa Deteksi AI Kian Dibutuhkan?
Munculnya Pangram terjadi di tengah makin lazimnya penggunaan AI. Dalam beberapa kasus, seperti politisi Kanada yang membacakan prompt AI dalam pidato di depan anggota dewan, kesalahan berujung pada cemoohan. Di kasus lain, seperti pengacara yang mengajukan argumen menggunakan kutipan palsu buatan ChatGPT, konsekuensinya bisa berupa sanksi dan denda.
Dampaknya mulai terlihat dalam aturan institusional. arXiv, arsip akses terbuka, memberlakukan kebijakan penegakan baru tahun ini: kiriman yang mengandung bukti penulis gagal meninjau output LLM—seperti referensi halusinasi atau komentar meta "Apakah Anda ingin saya membuat perubahan?"—bisa memicu larangan kiriman selama satu tahun.
Pangram bukan satu-satunya pemain di ruang ini. Kompetitor seperti Winston AI, Originality.ai, Copyleaks, dan GPTZero juga memburu permintaan yang sama, masing-masing membangun detektornya sendiri.
Teknologi Pangram, meski belum sempurna, bisa membantu perlawanan terhadap banjir konten buatan AI di internet, ruang sidang, dan makalah akademik. Pendiri Pangram, Max Spero dan Bradley Emi—lulusan Stanford AI dan machine learning—meluncurkan startup ini sekitar dua tahun lalu, setelah peluncuran ChatGPT membuka pintu bagi internet yang dipenuhi bot, konten SEO sampah buatan AI, dan apa yang disebut Spero sebagai "kampanye disinformasi Rusia bertenaga LLM dan kampanye yang dipengaruhi UEA di Twitter."
