Benchmark Bahasa Indonesia untuk model AI (NS-ID v1)
NS-ID adalah benchmark Bahasa Indonesia buatan kami. Setiap model AI mendapat 60 tugas yang sama, mulai dari meringkas teks berita, menulis surat resmi sesuai EYD Edisi V, sampai menerjemahkan ungkapan, lalu dinilai dengan cara yang sama. Hasil di bawah berasal dari run kami tanggal 25 Oktober 2026.
Jawaban singkat
Kelompok teratas, yaitu model yang skornya paling jauh 3 poin dari skor terbaik 99,3 dari 100, adalah Kimi K3.1 Pro, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra, Grok 4.7, Claude Sonnet 5.5, Qwen3.8 Max (0902), GPT-6 Luna, DeepSeek V4.1 Flash, Perplexity Sonar, DeepSeek V4 Pro dan ChatGPT (chat-latest). Sebanyak 16 dari 20 model mendapat skor 90 atau lebih, jadi suite ini mampu membedakan model yang lebih lemah, tetapi belum bisa memisahkan model-model terkuat. Tugas menulis dinilai model.
Model yang diuji
20
Tugas (contoh publik)
60 (12)
Tanggal run
25 Oktober 2026
Biaya run
US$11,10
Hasil per model
dinilai modelGeser tabel ke samping untuk melihat semua kolom.
| Kelompok | Model | Total | Pemahaman | Penulisan formal | Ragam bahasa | Terjemahan | Pengetahuan Indonesia | Instruksi | Tugas gagal | Status |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 ProMoonshot AI | 99,3 | 100,0 | 100,0 | 100,0 | 95,5 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | Claude Opus 5.5Anthropic | 99,0 | 98,8 | 97,5 | 98,4 | 99,1 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | GPT-6.1 SolOpenAI | 98,5 | 96,3 | 98,8 | 98,4 | 97,3 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | GPT-6 AstraOpenAI | 98,0 | 95,0 | 98,8 | 96,9 | 97,3 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | Grok 4.7xAI (SpaceXAI) | 98,0 | 97,5 | 97,5 | 100,0 | 92,9 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | Claude Sonnet 5.5Anthropic | 97,6 | 96,3 | 98,8 | 95,3 | 95,5 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | Qwen3.8 Max (0902)Alibaba (Qwen) | 97,6 | 95,0 | 98,8 | 96,9 | 94,6 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | GPT-6 LunaOpenAI | 97,4 | 97,5 | 98,8 | 95,3 | 92,9 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | DeepSeek V4.1 FlashDeepSeek | 97,1 | 93,8 | 97,5 | 96,9 | 94,6 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | Perplexity SonarPerplexity | 97,1 | 95,0 | 97,5 | 100,0 | 90,2 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | DeepSeek V4 ProDeepSeek | 96,8 | 91,3 | 96,3 | 96,9 | 96,4 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 1 | ChatGPT (chat-latest)OpenAI | 96,4 | 96,3 | 93,8 | 93,8 | 94,6 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 2 | Gemini 4 ArgonGoogle | 94,6 | 88,8 | 91,3 | 93,8 | 93,8 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 2 | Claude Haiku 5.5Anthropic | 93,2 | 88,8 | 96,3 | 98,4 | 92,0 | 90,0 | 93,8 | 0 | lengkap dinilai model |
| 2 | Gemini 3.8 FlashGoogle | 93,0 | 82,5 | 90,0 | 89,1 | 96,4 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 3 | Gemini 3.5 Flash-LiteGoogle | 90,7 | 85,0 | 85,0 | 87,5 | 86,6 | 100,0 | 100,0 | 0 | lengkap dinilai model |
| 3 | Mistral Medium 3.5Mistral AI | 89,6 | 92,5 | 86,3 | 89,1 | 90,2 | 90,0 | 89,6 | 0 | lengkap dinilai model |
| 3 | Llama 4 MaverickMeta | 88,2 | 85,0 | 86,3 | 89,1 | 84,8 | 90,0 | 93,8 | 0 | lengkap dinilai model |
| 3 | Command A+Cohere | 87,8 | 90,0 | 83,8 | 93,8 | 85,7 | 80,0 | 93,8 | 0 | lengkap dinilai model |
| 4 | Mistral Small 4Mistral AI | 84,5 | 87,5 | 87,5 | 85,9 | 84,8 | 80,0 | 81,3 | 0 | lengkap dinilai model |
Dinilai model sampai ada penilai manusia
Jawaban pasti dan pemeriksaan format dinilai oleh kode. Sebanyak 27 tugas menulis dinilai 1 sampai 5 oleh juri AI dengan rubrik terbuka. Belum ada penilai manusia yang menilai ulang sampelnya, jadi setiap skor tugas menulis berlabel dinilai model.
Efek plafon
Sebanyak 16 dari 20 model mendapat skor 90 atau lebih. NS-ID v1 cukup tajam memisahkan model yang lebih lemah, tetapi ruang di antara model-model terkuat sangat sempit, dan selisih dua atau tiga poin bisa muncul dari variasi wajar antar-run. Versi berikutnya akan menambah tugas yang lebih sulit.
Siapa yang menilai tugas menulis
Setiap jawaban tugas menulis dinilai dua juri AI dari vendor yang berbeda dengan vendor model yang diuji. Bila keduanya berselisih lebih dari 1 poin, juri ketiga ikut menilai dan yang dipakai adalah median ketiganya. Juri tidak pernah melihat nama model, vendor, harga, ataupun status sponsor.
Daftar juri: Gemini 3.8 Flash, GPT-6.1 Sol, Mistral Medium 3.5, Claude Sonnet 5.5
Uji reprodusibilitas
Kami menjalankan ulang seluruh suite pada 2 model. Targetnya, skor total tetap dalam rentang plus minus 3 poin.
| Model | Run pertama | Run ulang | Selisih | Sesuai target |
|---|---|---|---|---|
| Claude Haiku 5.5 | 93,19 | 93,30 | +0,11 | ya |
| GPT-6 Luna | 97,40 | 96,99 | -0,41 | ya |
Jalur akses tiap model
| Model | Jalur akses | Versi model yang dikembalikan API | Tanggal uji |
|---|---|---|---|
| Kimi K3.1 Pro | OpenRouter perantara | moonshotai/kimi-k3.1-pro / fpv0_24af6fd9 | 25 Oktober 2026 |
| Claude Opus 5.5 | Anthropic API langsung | claude-opus-5-5 | 25 Oktober 2026 |
| GPT-6.1 Sol | OpenAI API langsung | gpt-6.1-sol | 25 Oktober 2026 |
| GPT-6 Astra | OpenAI API langsung | gpt-6-astra | 25 Oktober 2026 |
| Grok 4.7 | OpenRouter perantara | x-ai/grok-4.7 | 25 Oktober 2026 |
| Claude Sonnet 5.5 | Anthropic API langsung | claude-sonnet-5-5 | 25 Oktober 2026 |
| Qwen3.8 Max (0902) | OpenRouter perantara | qwen/qwen3.8-max-0902 | 25 Oktober 2026 |
| GPT-6 Luna | OpenAI API langsung | gpt-6-luna | 25 Oktober 2026 |
| DeepSeek V4.1 Flash | DeepSeek API langsung | deepseek-flash / e72d3c7f663d3e1383b00b3884cb4501 | 25 Oktober 2026 |
| Perplexity Sonar | Perplexity API langsung | sonar | 25 Oktober 2026 |
| DeepSeek V4 Pro | DeepSeek API langsung | deepseek-v4-pro / a307abda487cd1b463329ccb945ce396 | 25 Oktober 2026 |
| ChatGPT (chat-latest) | OpenAI API langsung | chat-latest | 25 Oktober 2026 |
| Gemini 4 Argon | OpenRouter perantara | google/gemini-4-argon | 25 Oktober 2026 |
| Claude Haiku 5.5 | Anthropic API langsung | claude-haiku-5-5 | 25 Oktober 2026 |
| Gemini 3.8 Flash | OpenRouter perantara | google/gemini-3.8-flash | 25 Oktober 2026 |
| Gemini 3.5 Flash-Lite | OpenRouter perantara | google/gemini-3.5-flash-lite | 25 Oktober 2026 |
| Mistral Medium 3.5 | OpenRouter perantara | mistralai/mistral-medium-3-5 | 25 Oktober 2026 |
| Llama 4 Maverick | OpenRouter perantara | meta-llama/llama-4-maverick | 25 Oktober 2026 |
| Command A+ | Cohere API langsung | command-a-plus-05-2026 | 25 Oktober 2026 |
| Mistral Small 4 | OpenRouter perantara | mistralai/mistral-small-2603 | 25 Oktober 2026 |
Batasan
- Ketegasan juri berbeda-beda. Model Google tidak boleh dinilai Gemini, sehingga tulisannya dinilai dua juri yang lebih ketat, dan ini kemungkinan sedikit menurunkan skor menulisnya. Skor tidak kami sesuaikan untuk hal ini.
- Skor tugas menulis berasal dari juri AI yang bisa punya titik buta yang sama. Dua juri dari vendor lain ditambah juri ketiga saat berselisih mengurangi risiko ini, tetapi tidak menghapusnya.
- 60 tugas tergolong suite kecil. Selisih beberapa poin masih dalam variasi wajar dan sebaiknya tidak dibaca sebagai beda peringkat.
- Tugas jawaban pasti ketat soal format. Model yang menuliskan cara berpikirnya alih-alih jawaban akhir kehilangan poin.
- Perplexity Sonar selalu mencari di web untuk setiap jawaban, sesuai cara kerja produknya, sehingga bisa mencari jawaban soal pengetahuan yang dijawab model lain dari ingatannya.
- Pada run ini model Gemini dan Mistral diakses lewat OpenRouter, karena key Gemini langsung kami sudah mencapai batas belanja dan key Mistral kami tidak punya kuota permintaan.
Contoh tugas publik
12 dari 60 tugas terbuka untuk umum dengan lisensi CC BY 4.0. Sisanya, 80%, kami rahasiakan supaya model tidak dilatih dengan soal yang sama.
cmp-01: Pemahaman, jawaban pasti
Bacalah teks berikut.
Koperasi Tani Makmur di Desa Sukamaju didirikan pada tahun 2015 oleh 24 petani padi. Pada awalnya koperasi hanya menyediakan pupuk dan benih dengan harga grosir bagi anggotanya. Tiga tahun kemudian, koperasi membuka unit penggilingan gabah sehingga anggota tidak perlu lagi menjual gabah kering kepada tengkulak. Pada akhir 2024, jumlah anggota tercatat 180 orang, dan dua pertiga di antaranya adalah perempuan. Rapat anggota tahunan memutuskan bahwa 40 persen sisa hasil usaha dibagikan kepada anggota, 30 persen disimpan sebagai dana cadangan, dan sisanya dipakai untuk pelatihan pertanian organik. Pengurus berharap koperasi dapat mulai menjual beras kemasan ke pasar swalayan di ibu kota kabupaten pada tahun depan.
Pertanyaan: Pada tahun berapa koperasi membuka unit penggilingan gabah?
Tulis jawaban akhir saja, tanpa penjelasan.
cmp-07: Pemahaman, menulis, rubrik 1 sampai 5
Ringkaslah teks berikut dalam paling banyak dua kalimat bahasa Indonesia baku.
Koperasi Tani Makmur di Desa Sukamaju didirikan pada tahun 2015 oleh 24 petani padi. Pada awalnya koperasi hanya menyediakan pupuk dan benih dengan harga grosir bagi anggotanya. Tiga tahun kemudian, koperasi membuka unit penggilingan gabah sehingga anggota tidak perlu lagi menjual gabah kering kepada tengkulak. Pada akhir 2024, jumlah anggota tercatat 180 orang, dan dua pertiga di antaranya adalah perempuan. Rapat anggota tahunan memutuskan bahwa 40 persen sisa hasil usaha dibagikan kepada anggota, 30 persen disimpan sebagai dana cadangan, dan sisanya dipakai untuk pelatihan pertanian organik. Pengurus berharap koperasi dapat mulai menjual beras kemasan ke pasar swalayan di ibu kota kabupaten pada tahun depan.
eyd-01: Penulisan formal, jawaban pasti
Apa bentuk baku kata "resiko" menurut KBBI?
Tulis jawaban akhir saja, tanpa penjelasan.
SumberJawaban dicek ke sumber pada 25 Oktober 2026
eyd-04: Penulisan formal, jawaban pasti
Kalimat manakah yang penulisannya sesuai dengan EYD Edisi V?
A. Dia tinggal disebuah rumah di pinggir kota.
B. Dia tinggal di sebuah rumah dipinggir kota.
C. Dia tinggal di sebuah rumah di pinggir kota.
D. Dia tinggal disebuah rumah dipinggir kota.
Jawab hanya dengan satu huruf pilihan (A, B, C, atau D), tanpa penjelasan.
SumberJawaban dicek ke sumber pada 25 Oktober 2026
ins-01: Instruksi, pemeriksaan format
Sebutkan tepat 5 nama buah tropis yang tumbuh di Indonesia dalam bentuk daftar bernomor (1. sampai 5.). Jangan menulis kalimat pembuka, kalimat penutup, atau penjelasan apa pun.
ins-02: Instruksi, pemeriksaan format
Kembalikan HANYA sebuah objek JSON yang valid (tanpa blok kode, tanpa teks lain) untuk ide artikel tentang cara menghemat listrik di rumah, dengan kunci persis berikut: "judul" (string), "kata_kunci" (array berisi tepat 3 string), dan "perkiraan_menit_baca" (bilangan bulat).
kno-01: Pengetahuan Indonesia, jawaban pasti
Menurut Keputusan Presiden Nomor 33 Tahun 2009, tanggal berapa ditetapkan sebagai Hari Batik Nasional? Jawab dengan format tanggal dan bulan.
Tulis jawaban akhir saja, tanpa penjelasan.
SumberJawaban dicek ke sumber pada 25 Oktober 2026
kno-02: Pengetahuan Indonesia, jawaban pasti
Pasal berapa dalam UUD 1945 yang menyatakan bahwa bahasa negara ialah Bahasa Indonesia? Jawab dengan angka saja.
Tulis jawaban akhir saja, tanpa penjelasan.
SumberJawaban dicek ke sumber pada 25 Oktober 2026
reg-03: Ragam bahasa, jawaban pasti
Manakah padanan ragam baku yang paling tepat untuk kalimat "Gue udah kelar ngerjain laporannya"?
A. Saya sudah selesai mengerjakan laporannya.
B. Aku udah selesai mengerjakan laporan.
C. Saya telah kelar menggarap laporan.
D. Gue sudah menyelesaikan laporannya.
Jawab hanya dengan satu huruf pilihan (A, B, C, atau D), tanpa penjelasan.
reg-05: Ragam bahasa, menulis, rubrik 1 sampai 5
Ubahlah pesan WhatsApp santai berikut menjadi surel resmi kepada bagian HRD. Pertahankan semua informasinya.
"Halo kak, aku Dinda yg kemarin interview posisi admin gudang. Mau nanya dong hasilnya udah keluar belum ya? Soalnya aku juga lagi ditawarin kerja di tempat lain, jadi butuh kepastian sebelum tgl 15. Makasih banyak kak!"
tr-en-03: Terjemahan, menulis, rubrik 1 sampai 5
Terjemahkan kalimat berikut ke bahasa Indonesia yang wajar. Jangan menerjemahkan ungkapannya kata demi kata. Tulis hasil terjemahan saja.
"It's raining cats and dogs, so let's call it a day and finish the rest tomorrow."
tr-id-01: Terjemahan, menulis, rubrik 1 sampai 5
Translate the following Indonesian text into natural English. Do not translate the proverb word for word; convey its meaning. Output the translation only.
"Pendiriannya bagai air di daun talas: hari ini setuju, besok sudah berubah lagi."
Pertanyaan seputar NS-ID
Apa yang diukur NS-ID?
Seberapa baik model AI membaca, menulis, dan mengikuti instruksi dalam Bahasa Indonesia: pemahaman dan ringkasan, penulisan formal sesuai EYD Edisi V, peralihan ragam santai dan formal, terjemahan dua arah, pengetahuan konteks Indonesia, dan format keluaran yang ketat.
Kenapa sebagian besar tugas dirahasiakan?
Kalau semua soal terbuka, model bisa dilatih dengan soal itu dan skornya jadi tidak bermakna. Kami menerbitkan 20% sebagai contoh beserta metodologi lengkapnya, dan merahasiakan 80% sisanya.
Seberapa sering NS-ID dijalankan?
Setiap Senin pertama tiap bulan, dengan batas anggaran bulanan yang tegas. Kami berusaha meninjau dan menerbitkan hasilnya dalam 7 hari. Bila anggaran akan terlewati atau ada penyedia yang tidak bisa diakses, run dihentikan dan tidak ada hasil parsial yang diterbitkan.