Metodologi NS-ID (benchmark Bahasa Indonesia)

NS-ID adalah uji milik Newly Stack untuk mengukur seberapa baik model AI menangani Bahasa Indonesia. Kami menjalankannya sendiri dengan API key yang kami bayar, dan kami menerbitkan cara kerjanya agar siapa pun bisa memeriksa metodenya. Pembayaran, sponsor, kerja sama afiliasi, dan status daftar tidak pernah mengubah model mana yang diuji maupun skor yang didapat.

Model yang kami uji

Cara kami memilih 20 model untuk NS-ID v1: (1) Kami mengurutkan merek asisten AI teks berdasarkan total volume pencarian bulanan semua keyword yang menyebut merek itu di dua set keyword kami (global bahasa Inggris dan Indonesia), memakai volume yang sudah dikoreksi dari lonjakan bot. (2) Kami hanya mempertahankan merek yang bisa diuji lewat API resmi dengan key yang sudah kami punya; merek tanpa API, misalnya GitHub Copilot, menunggu uji manual di Fase 2. (3) Untuk tiap merek, kami menguji model di balik aplikasi konsumennya atau yang paling mendekati, dan untuk merek yang punya beberapa tingkat API aktif (di v1: ChatGPT, Gemini, Claude, DeepSeek, dan Mistral) juga tingkat unggulan atau tingkat hematnya, sampai genap 20 model. (4) Sisa slot diisi vendor lain yang API-nya sudah bisa kami akses. Pembayaran, sponsor, dan kerja sama afiliasi tidak pernah memengaruhi pemilihan maupun skor. Daftar ditinjau sebelum setiap run bulanan.

NS-ID v1 menguji 20 model dari 11 vendor. Dua merek dengan minat pencarian besar belum diuji: GitHub Copilot dan Microsoft Copilot tidak punya API teks publik untuk produk konsumennya, sehingga menunggu uji manual di Fase 2.

Cara tiap model diakses pada run ini:

• API vendor langsung: OpenAI (4 model), Anthropic (3), DeepSeek (2), Perplexity (1), Cohere (1).
• Lewat OpenRouter: Meta Llama 4 Maverick, Grok 4.7, Kimi K3.1 Pro, dan Qwen3.8 Max (tidak ada key langsung), ditambah tiga model Gemini dan dua model Mistral. Pada 25 Oktober 2026 key Gemini langsung kami menjawab "batas belanja bulanan terlampaui" dan key Mistral langsung kami punya kuota nol permintaan per menit, sehingga model yang sama dipanggil lewat OpenRouter, yang meneruskan ke Google dan Mistral sebagai penyedia. String versi model yang dikembalikan tiap API disimpan bersama hasil.

Isi suite

60 tugas dalam enam kategori, semuanya berbahasa Indonesia (tugas terjemahan juga memakai bahasa Inggris):

• 48 tugas (80%) dirahasiakan agar model tidak bisa dilatih dengan soal itu. 12 tugas (20%) diterbitkan sebagai contoh dengan lisensi CC BY 4.0.
• Setiap jawaban pengetahuan dicek ke sumber resmi, sebagian besar naskah asli undang-undang di peraturan.go.id dan KBBI Daring, dengan URL dan tanggal cek tersimpan per tugas.
• Ejaan dan kata baku mengikuti EYD Edisi V dan KBBI Daring.
• Jawaban rujukan disusun khusus untuk suite ini oleh tim editorial Newly Stack dengan bantuan AI, bukan disalin dari jawaban model yang diuji. Tinjauan manusia atas setiap rujukan direncanakan sebelum v2.

Cara menghitung skor

• Jawaban pasti (25 tugas) dinilai otomatis: benar 100, salah 0. Jawaban dinormalkan sebelum dibandingkan (huruf besar kecil, tanda baca, penanda kutipan seperti [1], format angka seperti 1.250). Perintah meminta jawaban akhir saja; jawaban yang menuliskan langkah hitung, bukan jawaban akhir, dihitung salah.
• Tugas instruksi (8 tugas) dinilai dengan pemeriksaan program, misalnya tepat lima butir daftar, JSON valid dengan kunci yang diminta, rentang jumlah kata, huruf kapital semua, atau pantun empat baris bersajak a-b-a-b. Skornya adalah persentase pemeriksaan yang lolos.
• Tugas menulis (27 tugas) dinilai 1 sampai 5 dengan rubrik publik (rubric.md). Setiap tugas menulis dijalankan 3 kali dan mediannya yang dipakai. Skor diubah ke skala 0 sampai 100.
• Skor kategori = rata-rata tugas di kategori itu. Skor total (0 sampai 100) = rata-rata enam skor kategori, sehingga tiap kategori berbobot sama.
• Tugas gagal (galat API setelah 5 kali percobaan, jawaban kosong, atau tidak ada putusan juri) bernilai 0. Model dengan lebih dari 5% tugas gagal (lebih dari 3 dari 60) ditandai tidak lengkap.

Juri

• Setiap jawaban tulisan dinilai dua juri AI dari dua vendor yang berbeda dengan vendor model yang diuji. Juri hanya melihat tugas, rubrik, kriteria, jawaban rujukan, dan jawaban tanpa nama, tidak pernah melihat nama model, vendor, harga, atau status sponsor.
• Jika dua juri berselisih lebih dari 1 poin, juri ketiga dari vendor ketiga menilai jawaban itu dan median ketiga skor yang dipakai. Jika tidak, rata-rata dua skor yang dipakai.
• Kumpulan juri v1: Gemini 3.8 Flash (Google), GPT-6.1 Sol (OpenAI), Claude Sonnet 5.5 (Anthropic), dan Mistral Medium 3.5 (Mistral AI). Pasangan bawaan: Gemini 3.8 Flash dan GPT-6.1 Sol. Model OpenAI dinilai Gemini 3.8 Flash dan Claude Sonnet 5.5; model Google dinilai GPT-6.1 Sol dan Claude Sonnet 5.5. Juri ketiga adalah juri tersisa yang paling hemat (Mistral Medium 3.5, atau Claude Sonnet 5.5 saat model Mistral diuji).
• Juri dijalankan dengan pengaturan penalaran rendah agar biaya terkendali (Gemini effort penalaran rendah, GPT-6.1 Sol effort penalaran rendah, Claude Sonnet 5.5 tanpa extended thinking). DeepSeek V4 Pro sempat dicoba sebagai juri dalam uji awal lalu dikeluarkan: penalaran bawaannya menghabiskan seluruh jatah 6.000 token tanpa memberi putusan.
• Pada run ini juri menilai 1.620 jawaban tulisan; dua juri utama berselisih lebih dari 1 poin pada 30 jawaban (1,9%), sehingga juri ketiga dipanggil. Biaya juri: USD 4,25.
• Semua skor tulisan berlabel "dinilai model". Tinjauan manusia atas 10% sampel dimulai setelah Newly Stack menunjuk penilai.

Pengaturan dan reprodusibilitas

• Suhu (temperature) 0 diminta di setiap API yang menerimanya. API OpenAI dan Anthropic menolak suhu selain bawaan untuk model yang diuji, sehingga suhu bawaan vendor yang dipakai. Pengaturan yang benar-benar dipakai disimpan per model.
• Model dijalankan dengan pengaturan penalaran bawaan vendornya, mendekati perilaku aplikasi konsumen. Keluaran maksimal 6.000 token per jawaban.
• Yang disimpan per run: versi suite beserta hash SHA-256, ID model yang diminta, string versi model dari API, jalur akses, suhu yang dipakai, tanggal dan jam, setiap keluaran mentah dengan hash SHA-256, jumlah token, dan biaya.
• Sebelum terbit, kami memperbaiki penilai otomatis (versi nsid-v1-auto-1.1: rima akhir pantun kini dihitung dari vokal terakhir beserta konsonan sesudahnya, jawaban berupa pecahan LaTeX atau karakter dua pertiga dibaca sebagai 2/3, dan pengantar singkat hingga 12 kata diterima). Semua skor otomatis dihitung ulang dari keluaran mentah yang tersimpan tanpa panggilan API baru; 11 skor tugas berubah dan setiap perubahan dicatat di file hasil.
• Uji reprodusibilitas: suite lengkap dijalankan kedua kalinya pada dua model berbiaya rendah. Target kami: skor total berselisih paling banyak 3 poin. Hasil run ulang Oktober 2026: GPT-6 Luna: 97,4 lalu 96,99 (selisih -0,41); Claude Haiku 5.5: 93,19 lalu 93,3 (selisih +0,11). Keduanya tetap dalam target plus minus 3 poin.

Anggaran

• Biaya uji dibayar dengan API key yang sudah dimiliki Newly Stack. Batas bulanan: USD 50 untuk semua pengujian model (benchmark ini ditambah lab uji praktik), dengan USD 30 dialokasikan untuk NS-ID.
• Sebelum setiap run, runner memproyeksikan biaya penuh dari pemakaian token terukur per model ditambah margin 15%, lalu membandingkannya dengan biaya bulan berjalan di buku biaya bersama. Jika biaya bulan berjalan ditambah proyeksi melewati salah satu batas, run berhenti dengan status budget_exceeded dan tidak menerbitkan apa pun. Penjaga ini juga menghentikan run di tengah jalan bila biaya nyata mencapai batas; skor parsial tidak pernah diterbitkan.
• Biaya NS-ID Oktober 2026 (uji awal, run utama, run ulang, dan uji kecepatan): USD 13,72 dari anggaran NS-ID USD 30. Run utama: USD 11,10 (model USD 6,85, juri USD 4,25), dengan proyeksi sebelum run USD 26,80. Seluruh pengujian model bulan ini, termasuk lab uji: USD 30,58 dari batas USD 50.

Independensi

• Skor dihitung hanya dari definisi tugas dan keluaran model. Kode penilaian tidak punya masukan tentang sponsor, paket, afiliasi, atau kepemilikan; uji otomatis membuktikan skor identik saat penanda sponsor dinyalakan maupun dimatikan.
• Aplikasi milik Newly Stack diberi label sebagai milik kami di mana pun tampil. Penempatan berbayar berlabel "Sponsor" dan tidak pernah mengubah skor maupun urutan benchmark.

Jadwal

• NS-ID dijalankan pada Senin pertama setiap bulan. Kami berusaha meninjau dan menerbitkan hasilnya dalam 7 hari setelah run.
• Daftar model ditinjau sebelum setiap run dengan aturan pemilihan di atas. Harga diambil dari halaman harga resmi tiap vendor dengan tanggal cek ditampilkan.

Keterbatasan

• Efek plafon: sebagian besar model mendapat skor di atas 90. Suite v1 membedakan model yang lebih lemah dengan baik, tetapi menyisakan sedikit ruang di antara model terkuat; versi berikutnya akan menambah tugas yang lebih sulit.
• Tingkat ketegasan juri berbeda. Pada jawaban yang sama, Gemini 3.8 Flash rata-rata memberi skor 0,17 poin (skala 1 sampai 5) lebih tinggi daripada GPT-6.1 Sol dan 0,34 poin lebih tinggi daripada Claude Sonnet 5.5. Model Google tidak boleh dinilai oleh Gemini, sehingga tugas menulisnya dinilai oleh dua juri yang lebih tegas, dan ini kemungkinan menurunkan skor tulisannya dibanding model lain. Skor v1 tidak disesuaikan untuk efek ini.
• API Cohere tidak mengembalikan string versi model, sehingga untuk Command A+ hanya ID model yang diminta yang dicatat.
• Skor tulisan berasal dari juri AI, yang bisa punya titik buta yang sama. Memakai dua vendor selain vendor model yang diuji, ditambah juri ketiga saat berselisih, mengurangi masalah ini tetapi tidak menghilangkannya.
• 60 tugas adalah suite kecil. Selisih beberapa poin antarmodel masih dalam variasi wajar antar-run dan tidak sebaiknya dibaca sebagai jarak peringkat.
• Tugas jawaban pasti ketat soal format. Model yang menjelaskan penalarannya alih-alih memberi jawaban akhir saja kehilangan poin, sehingga tugas ini mengukur kepatuhan instruksi sekaligus pengetahuan.
• Perplexity Sonar mencari di web untuk setiap jawaban, sesuai produknya. Model ini bisa mencari jawaban soal pengetahuan yang dijawab model lain dari ingatan.
• Model yang API-nya tidak menerima suhu 0 lebih bervariasi antar-run.
• Cohere tidak menerbitkan harga per token untuk Command A+ (dicek 25 Oktober 2026), sehingga biayanya diperkirakan dengan harga asumsi hanya untuk pengendalian anggaran dan tidak ada harga yang ditampilkan untuknya.
• Biaya DeepSeek dihitung dengan harga jam sibuk, yang bisa lebih tinggi dari tagihan sebenarnya.
• Model Gemini dan Mistral diakses lewat OpenRouter pada run ini, yang bisa menambah waktu tunggu tetapi seharusnya tidak mengubah jawaban.
• Angka kecepatan sudah termasuk jarak jaringan dari lokasi pengukuran; setiap tabel kecepatan menyebut lokasinya. Run Oktober 2026 diukur dari laptop di Indonesia dengan koneksi internet rumahan di Jakarta; run terjadwal berikutnya bisa berasal dari server aplikasi kami, dan tabelnya akan menyebut hal itu.

Penelitian terkait

Evaluasi publik lain yang mencakup Bahasa Indonesia, dicek pada 25 Oktober 2026. Yang diukur berbeda dari NS-ID, dan kami menautkannya agar kamu bisa membandingkan.

• SEA-HELM dari AI Singapore: suite evaluasi menyeluruh untuk bahasa-bahasa Asia Tenggara, termasuk Bahasa Indonesia, dijelaskan di makalah SEA-HELM: Southeast Asian Holistic Evaluation of Language Models.
• IndoMMLU: 14.981 soal pilihan ganda dari ujian sekolah dan ujian masuk perguruan tinggi di Indonesia, di 64 tugas (makalah).
• Benchmark multibahasa Artificial Analysis: membandingkan model-model utama per bahasa, termasuk Bahasa Indonesia.