Cara kami menguji alat AI

Tiga jenis bukti: fakta yang dicek, uji praktik, dan benchmark NS-ID.

Terakhir diperbarui:

Singkatnya

Newly Stack mengecek setiap fakta ke halaman resminya dan mencantumkan tanggal cek, menjalankan uji praktik pada tugas nyata dengan prompt dan hasil yang disimpan, serta menjalankan benchmark NS-ID berisi 60 tugas Bahasa Indonesia pada 20 model (putaran pertama 25 Oktober 2026). Tugas menulis dinilai juri AI dari vendor lain dan diberi label dinilai model.

Fakta yang dicek

Harga, paket gratis, dukungan Bahasa Indonesia, dan fitur kami ambil dari halaman resmi vendor. Setiap fakta menyimpan URL sumber dan tanggal kami mengeceknya, dan keduanya tampil di halaman. Fakta yang lebih tua dari 90 hari ditandai "perlu dicek ulang". Pengecek mingguan juga mengunjungi setiap alat: mencatat status HTTP, mendeteksi pengalihan ke domain lain dan domain parkir, serta membandingkan isi halaman harga dengan kunjungan sebelumnya. Alat yang gagal tiga kali berturut-turut ditandai tidak aktif.

Uji praktik

Untuk halaman "AI untuk X", kami memberi beberapa alat tugas yang sama, dengan daftar periksa yang ditulis sebelum panggilan pertama. Setiap panggilan dicatat bersama prompt, nama model yang dikembalikan API, tanggal, dan biayanya, termasuk panggilan yang gagal. Pada putaran pertama 25 Oktober 2026 kami melakukan 71 panggilan gambar yang menghasilkan gambar untuk pembuatan dan pengeditan gambar, menilai 130 jawaban asisten coding dan chat, serta meninjau setiap klip video dari empat bingkai sampel. Hasilnya ditampilkan tanpa diedit dan diberi label sebagai uji kami.

Benchmark NS-ID

NS-ID mengukur seberapa baik model AI menangani Bahasa Indonesia: 60 tugas dalam enam kategori (pemahaman, tulisan formal, ragam bahasa, terjemahan, pengetahuan konteks Indonesia, dan kepatuhan instruksi). Versi nsid-v1 menguji 20 model dari 11 vendor. Jawaban pasti dinilai otomatis; tulisan dinilai 1 sampai 5 dengan rubrik publik oleh dua juri AI dari vendor yang berbeda dengan vendor model yang diuji, ditambah juri ketiga bila keduanya berselisih. Uji ulang pada dua model hasilnya tetap dalam rentang plus minus 3 poin. Aturan lengkapnya ada di metodologi benchmark.

Yang tidak pernah kami lakukan

  • Menerima bayaran untuk uji, skor, atau posisi peringkat.
  • Menerbitkan skor tanpa putaran uji yang bertanggal dan berversi, atau mengubahnya tanpa alasan publik di log perubahan skor.
  • Menampilkan hasil contoh atau karangan di halaman yang tayang.

Pertanyaan

Yang diuji aplikasinya atau model di baliknya?

Untuk alat teks, kami menguji model API di balik produk itu atau yang paling dekat, dan halamannya menyebutkan hal itu. Alat gambar dan video diuji lewat API atau aplikasi yang disebutkan di halamannya, dengan nama model yang tepat tersimpan di setiap uji.

Siapa yang membiayai uji?

Kami sendiri, memakai API key milik kami dengan batas biaya bulanan. Vendor tidak bisa membayar untuk diuji atau untuk hasil yang lebih baik.

Bisakah benchmark kalian diulang?

Bisa untuk bagian publiknya: 12 dari 60 tugas NS-ID diterbitkan dengan lisensi CC BY 4.0 beserta rubriknya. Sisanya, 48 tugas, tetap tertutup agar model tidak bisa dilatih dengan soal itu.