Benchmark Bahasa Indonesia untuk model AI (NS-ID v1)

NS-ID adalah benchmark Bahasa Indonesia buatan kami. Setiap model AI mendapat 60 tugas yang sama, mulai dari meringkas teks berita, menulis surat resmi sesuai EYD Edisi V, sampai menerjemahkan ungkapan, lalu dinilai dengan cara yang sama. Hasil di bawah berasal dari run kami tanggal 25 Oktober 2026.

Jawaban singkat

Kelompok teratas, yaitu model yang skornya paling jauh 3 poin dari skor terbaik 99,3 dari 100, adalah Kimi K3.1 Pro, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra, Grok 4.7, Claude Sonnet 5.5, Qwen3.8 Max (0902), GPT-6 Luna, DeepSeek V4.1 Flash, Perplexity Sonar, DeepSeek V4 Pro dan ChatGPT (chat-latest). Sebanyak 16 dari 20 model mendapat skor 90 atau lebih, jadi suite ini mampu membedakan model yang lebih lemah, tetapi belum bisa memisahkan model-model terkuat. Tugas menulis dinilai model.

Model yang diuji

20

Tugas (contoh publik)

60 (12)

Tanggal run

25 Oktober 2026

Biaya run

US$11,10

Hasil per model

dinilai model

Geser tabel ke samping untuk melihat semua kolom.

Skor kategori 0 sampai 100. Total adalah rata-rata enam kategori. Model dengan lebih dari 5% tugas gagal akan ditandai tidak lengkap. Kelompok = model yang skornya paling jauh 3 poin dari skor teratas kelompoknya. Skor adalah hasil uji bertanggal dari jalur API yang disebut, bukan penilaian atas perusahaannya.
KelompokModelTotalPemahamanPenulisan formalRagam bahasaTerjemahanPengetahuan IndonesiaInstruksiTugas gagalStatus
1
Kimi K3.1 ProMoonshot AI
99,3100,0100,0100,095,5100,0100,00lengkap dinilai model
1
Claude Opus 5.5Anthropic
99,098,897,598,499,1100,0100,00lengkap dinilai model
1
GPT-6.1 SolOpenAI
98,596,398,898,497,3100,0100,00lengkap dinilai model
1
GPT-6 AstraOpenAI
98,095,098,896,997,3100,0100,00lengkap dinilai model
1
Grok 4.7xAI (SpaceXAI)
98,097,597,5100,092,9100,0100,00lengkap dinilai model
1
Claude Sonnet 5.5Anthropic
97,696,398,895,395,5100,0100,00lengkap dinilai model
1
Qwen3.8 Max (0902)Alibaba (Qwen)
97,695,098,896,994,6100,0100,00lengkap dinilai model
1
GPT-6 LunaOpenAI
97,497,598,895,392,9100,0100,00lengkap dinilai model
1
DeepSeek V4.1 FlashDeepSeek
97,193,897,596,994,6100,0100,00lengkap dinilai model
1
Perplexity SonarPerplexity
97,195,097,5100,090,2100,0100,00lengkap dinilai model
1
DeepSeek V4 ProDeepSeek
96,891,396,396,996,4100,0100,00lengkap dinilai model
1
ChatGPT (chat-latest)OpenAI
96,496,393,893,894,6100,0100,00lengkap dinilai model
2
Gemini 4 ArgonGoogle
94,688,891,393,893,8100,0100,00lengkap dinilai model
2
Claude Haiku 5.5Anthropic
93,288,896,398,492,090,093,80lengkap dinilai model
2
Gemini 3.8 FlashGoogle
93,082,590,089,196,4100,0100,00lengkap dinilai model
3
Gemini 3.5 Flash-LiteGoogle
90,785,085,087,586,6100,0100,00lengkap dinilai model
3
Mistral Medium 3.5Mistral AI
89,692,586,389,190,290,089,60lengkap dinilai model
3
Llama 4 MaverickMeta
88,285,086,389,184,890,093,80lengkap dinilai model
3
Command A+Cohere
87,890,083,893,885,780,093,80lengkap dinilai model
4
Mistral Small 4Mistral AI
84,587,587,585,984,880,081,30lengkap dinilai model

AI terbaik saat iniUnduh CSV

Dinilai model sampai ada penilai manusia

Jawaban pasti dan pemeriksaan format dinilai oleh kode. Sebanyak 27 tugas menulis dinilai 1 sampai 5 oleh juri AI dengan rubrik terbuka. Belum ada penilai manusia yang menilai ulang sampelnya, jadi setiap skor tugas menulis berlabel dinilai model.

Efek plafon

Sebanyak 16 dari 20 model mendapat skor 90 atau lebih. NS-ID v1 cukup tajam memisahkan model yang lebih lemah, tetapi ruang di antara model-model terkuat sangat sempit, dan selisih dua atau tiga poin bisa muncul dari variasi wajar antar-run. Versi berikutnya akan menambah tugas yang lebih sulit.

Siapa yang menilai tugas menulis

Setiap jawaban tugas menulis dinilai dua juri AI dari vendor yang berbeda dengan vendor model yang diuji. Bila keduanya berselisih lebih dari 1 poin, juri ketiga ikut menilai dan yang dipakai adalah median ketiganya. Juri tidak pernah melihat nama model, vendor, harga, ataupun status sponsor.

Daftar juri: Gemini 3.8 Flash, GPT-6.1 Sol, Mistral Medium 3.5, Claude Sonnet 5.5

Juri dijalankan dengan pengaturan penalaran rendah agar biayanya terkendali. Biaya penjurian pada run ini: US$4,25.

Uji reprodusibilitas

Kami menjalankan ulang seluruh suite pada 2 model. Targetnya, skor total tetap dalam rentang plus minus 3 poin.

ModelRun pertamaRun ulangSelisihSesuai target
Claude Haiku 5.593,1993,30+0,11ya
GPT-6 Luna97,4096,99-0,41ya

Jalur akses tiap model

ModelJalur aksesVersi model yang dikembalikan APITanggal uji
Kimi K3.1 ProOpenRouter perantaramoonshotai/kimi-k3.1-pro / fpv0_24af6fd925 Oktober 2026
Claude Opus 5.5Anthropic API langsungclaude-opus-5-525 Oktober 2026
GPT-6.1 SolOpenAI API langsunggpt-6.1-sol25 Oktober 2026
GPT-6 AstraOpenAI API langsunggpt-6-astra25 Oktober 2026
Grok 4.7OpenRouter perantarax-ai/grok-4.725 Oktober 2026
Claude Sonnet 5.5Anthropic API langsungclaude-sonnet-5-525 Oktober 2026
Qwen3.8 Max (0902)OpenRouter perantaraqwen/qwen3.8-max-090225 Oktober 2026
GPT-6 LunaOpenAI API langsunggpt-6-luna25 Oktober 2026
DeepSeek V4.1 FlashDeepSeek API langsungdeepseek-flash / e72d3c7f663d3e1383b00b3884cb450125 Oktober 2026
Perplexity SonarPerplexity API langsungsonar25 Oktober 2026
DeepSeek V4 ProDeepSeek API langsungdeepseek-v4-pro / a307abda487cd1b463329ccb945ce39625 Oktober 2026
ChatGPT (chat-latest)OpenAI API langsungchat-latest25 Oktober 2026
Gemini 4 ArgonOpenRouter perantaragoogle/gemini-4-argon25 Oktober 2026
Claude Haiku 5.5Anthropic API langsungclaude-haiku-5-525 Oktober 2026
Gemini 3.8 FlashOpenRouter perantaragoogle/gemini-3.8-flash25 Oktober 2026
Gemini 3.5 Flash-LiteOpenRouter perantaragoogle/gemini-3.5-flash-lite25 Oktober 2026
Mistral Medium 3.5OpenRouter perantaramistralai/mistral-medium-3-525 Oktober 2026
Llama 4 MaverickOpenRouter perantarameta-llama/llama-4-maverick25 Oktober 2026
Command A+Cohere API langsungcommand-a-plus-05-202625 Oktober 2026
Mistral Small 4OpenRouter perantaramistralai/mistral-small-260325 Oktober 2026

Batasan

  • Ketegasan juri berbeda-beda. Model Google tidak boleh dinilai Gemini, sehingga tulisannya dinilai dua juri yang lebih ketat, dan ini kemungkinan sedikit menurunkan skor menulisnya. Skor tidak kami sesuaikan untuk hal ini.
  • Skor tugas menulis berasal dari juri AI yang bisa punya titik buta yang sama. Dua juri dari vendor lain ditambah juri ketiga saat berselisih mengurangi risiko ini, tetapi tidak menghapusnya.
  • 60 tugas tergolong suite kecil. Selisih beberapa poin masih dalam variasi wajar dan sebaiknya tidak dibaca sebagai beda peringkat.
  • Tugas jawaban pasti ketat soal format. Model yang menuliskan cara berpikirnya alih-alih jawaban akhir kehilangan poin.
  • Perplexity Sonar selalu mencari di web untuk setiap jawaban, sesuai cara kerja produknya, sehingga bisa mencari jawaban soal pengetahuan yang dijawab model lain dari ingatannya.
  • Pada run ini model Gemini dan Mistral diakses lewat OpenRouter, karena key Gemini langsung kami sudah mencapai batas belanja dan key Mistral kami tidak punya kuota permintaan.

Cara kami menguji

Contoh tugas publik

12 dari 60 tugas terbuka untuk umum dengan lisensi CC BY 4.0. Sisanya, 80%, kami rahasiakan supaya model tidak dilatih dengan soal yang sama.

cmp-01: Pemahaman, jawaban pasti

Bacalah teks berikut.

Koperasi Tani Makmur di Desa Sukamaju didirikan pada tahun 2015 oleh 24 petani padi. Pada awalnya koperasi hanya menyediakan pupuk dan benih dengan harga grosir bagi anggotanya. Tiga tahun kemudian, koperasi membuka unit penggilingan gabah sehingga anggota tidak perlu lagi menjual gabah kering kepada tengkulak. Pada akhir 2024, jumlah anggota tercatat 180 orang, dan dua pertiga di antaranya adalah perempuan. Rapat anggota tahunan memutuskan bahwa 40 persen sisa hasil usaha dibagikan kepada anggota, 30 persen disimpan sebagai dana cadangan, dan sisanya dipakai untuk pelatihan pertanian organik. Pengurus berharap koperasi dapat mulai menjual beras kemasan ke pasar swalayan di ibu kota kabupaten pada tahun depan.

Pertanyaan: Pada tahun berapa koperasi membuka unit penggilingan gabah?

Tulis jawaban akhir saja, tanpa penjelasan.

cmp-07: Pemahaman, menulis, rubrik 1 sampai 5

Ringkaslah teks berikut dalam paling banyak dua kalimat bahasa Indonesia baku.

Koperasi Tani Makmur di Desa Sukamaju didirikan pada tahun 2015 oleh 24 petani padi. Pada awalnya koperasi hanya menyediakan pupuk dan benih dengan harga grosir bagi anggotanya. Tiga tahun kemudian, koperasi membuka unit penggilingan gabah sehingga anggota tidak perlu lagi menjual gabah kering kepada tengkulak. Pada akhir 2024, jumlah anggota tercatat 180 orang, dan dua pertiga di antaranya adalah perempuan. Rapat anggota tahunan memutuskan bahwa 40 persen sisa hasil usaha dibagikan kepada anggota, 30 persen disimpan sebagai dana cadangan, dan sisanya dipakai untuk pelatihan pertanian organik. Pengurus berharap koperasi dapat mulai menjual beras kemasan ke pasar swalayan di ibu kota kabupaten pada tahun depan.

eyd-01: Penulisan formal, jawaban pasti

Apa bentuk baku kata "resiko" menurut KBBI?

Tulis jawaban akhir saja, tanpa penjelasan.

SumberJawaban dicek ke sumber pada 25 Oktober 2026

eyd-04: Penulisan formal, jawaban pasti

Kalimat manakah yang penulisannya sesuai dengan EYD Edisi V?

A. Dia tinggal disebuah rumah di pinggir kota.

B. Dia tinggal di sebuah rumah dipinggir kota.

C. Dia tinggal di sebuah rumah di pinggir kota.

D. Dia tinggal disebuah rumah dipinggir kota.

Jawab hanya dengan satu huruf pilihan (A, B, C, atau D), tanpa penjelasan.

SumberJawaban dicek ke sumber pada 25 Oktober 2026

ins-01: Instruksi, pemeriksaan format

Sebutkan tepat 5 nama buah tropis yang tumbuh di Indonesia dalam bentuk daftar bernomor (1. sampai 5.). Jangan menulis kalimat pembuka, kalimat penutup, atau penjelasan apa pun.

ins-02: Instruksi, pemeriksaan format

Kembalikan HANYA sebuah objek JSON yang valid (tanpa blok kode, tanpa teks lain) untuk ide artikel tentang cara menghemat listrik di rumah, dengan kunci persis berikut: "judul" (string), "kata_kunci" (array berisi tepat 3 string), dan "perkiraan_menit_baca" (bilangan bulat).

kno-01: Pengetahuan Indonesia, jawaban pasti

Menurut Keputusan Presiden Nomor 33 Tahun 2009, tanggal berapa ditetapkan sebagai Hari Batik Nasional? Jawab dengan format tanggal dan bulan.

Tulis jawaban akhir saja, tanpa penjelasan.

SumberJawaban dicek ke sumber pada 25 Oktober 2026

kno-02: Pengetahuan Indonesia, jawaban pasti

Pasal berapa dalam UUD 1945 yang menyatakan bahwa bahasa negara ialah Bahasa Indonesia? Jawab dengan angka saja.

Tulis jawaban akhir saja, tanpa penjelasan.

SumberJawaban dicek ke sumber pada 25 Oktober 2026

reg-03: Ragam bahasa, jawaban pasti

Manakah padanan ragam baku yang paling tepat untuk kalimat "Gue udah kelar ngerjain laporannya"?

A. Saya sudah selesai mengerjakan laporannya.

B. Aku udah selesai mengerjakan laporan.

C. Saya telah kelar menggarap laporan.

D. Gue sudah menyelesaikan laporannya.

Jawab hanya dengan satu huruf pilihan (A, B, C, atau D), tanpa penjelasan.

reg-05: Ragam bahasa, menulis, rubrik 1 sampai 5

Ubahlah pesan WhatsApp santai berikut menjadi surel resmi kepada bagian HRD. Pertahankan semua informasinya.

"Halo kak, aku Dinda yg kemarin interview posisi admin gudang. Mau nanya dong hasilnya udah keluar belum ya? Soalnya aku juga lagi ditawarin kerja di tempat lain, jadi butuh kepastian sebelum tgl 15. Makasih banyak kak!"

tr-en-03: Terjemahan, menulis, rubrik 1 sampai 5

Terjemahkan kalimat berikut ke bahasa Indonesia yang wajar. Jangan menerjemahkan ungkapannya kata demi kata. Tulis hasil terjemahan saja.

"It's raining cats and dogs, so let's call it a day and finish the rest tomorrow."

tr-id-01: Terjemahan, menulis, rubrik 1 sampai 5

Translate the following Indonesian text into natural English. Do not translate the proverb word for word; convey its meaning. Output the translation only.

"Pendiriannya bagai air di daun talas: hari ini setuju, besok sudah berubah lagi."

Pertanyaan seputar NS-ID

Apa yang diukur NS-ID?

Seberapa baik model AI membaca, menulis, dan mengikuti instruksi dalam Bahasa Indonesia: pemahaman dan ringkasan, penulisan formal sesuai EYD Edisi V, peralihan ragam santai dan formal, terjemahan dua arah, pengetahuan konteks Indonesia, dan format keluaran yang ketat.

Kenapa sebagian besar tugas dirahasiakan?

Kalau semua soal terbuka, model bisa dilatih dengan soal itu dan skornya jadi tidak bermakna. Kami menerbitkan 20% sebagai contoh beserta metodologi lengkapnya, dan merahasiakan 80% sisanya.

Seberapa sering NS-ID dijalankan?

Setiap Senin pertama tiap bulan, dengan batas anggaran bulanan yang tegas. Kami berusaha meninjau dan menerbitkan hasilnya dalam 7 hari. Bila anggaran akan terlewati atau ada penyedia yang tidak bisa diakses, run dihentikan dan tidak ada hasil parsial yang diterbitkan.