Nemotron 3.5 Lightning, Model AI NVIDIA untuk Agent Otonom

NVIDIA memperkenalkan Nemotron 3.5 Lightning, model kecerdasan buatan (AI) terbuka yang dirancang khusus untuk menangani pekerjaan eksekusi berulang pada AI agent. Dengan arsitektur Mixture-of-Experts (MoE), model ini menawarkan kombinasi kecepatan, akurasi, dan efisiensi untuk AI agent yang bekerja dalam waktu lama.

Kehadiran model ini menjadi bagian dari perubahan cara pengembang membangun sistem AI agent. Alih-alih menggunakan satu model berkemampuan tinggi untuk menyelesaikan seluruh pekerjaan, pengembang kini dapat membagi tugas berdasarkan tingkat kompleksitasnya.

Model AI berkemampuan reasoning tinggi digunakan untuk perencanaan dan pengambilan keputusan kompleks. Sementara itu, model yang lebih kecil dan efisien menangani pekerjaan rutin dengan volume tinggi.

Nemotron 3.5 Lightning Fokus pada Lapisan Eksekusi

AI agent yang beroperasi secara terus-menerus tidak hanya membutuhkan kemampuan untuk memahami pertanyaan atau membuat rencana. Setelah rencana dibuat, agent harus menjalankan banyak tugas kecil secara berulang.

Tugas tersebut mencakup pemanggilan berbagai tool, memeriksa hasil, memvalidasi output, menjalankan perintah, memformat informasi hingga mendelegasikan pekerjaan kepada subagent.

Jika seluruh proses tersebut menggunakan model reasoning kelas frontier, biaya komputasi dan latensi dapat meningkat. Karena itu, NVIDIA melihat kebutuhan terhadap model yang lebih ringan tetapi tetap memiliki kemampuan cukup untuk menangani pekerjaan eksekusi.

Nemotron 3.5 Lightning hadir untuk mengisi kebutuhan tersebut. Model ini memiliki total 30 miliar parameter, tetapi hanya sekitar 3 miliar parameter yang aktif ketika menjalankan setiap token. Konsep tersebut dimungkinkan berkat arsitektur Mixture-of-Experts atau MoE. 

Dengan pendekatan ini, Nemotron 3.5 Lightning dapat menawarkan kapasitas model yang relatif besar tanpa harus menjalankan seluruh parameter pada setiap proses inferensi. NVIDIA menyebut model tersebut sebagai anggota terkecil dari keluarga Nemotron 3. Meski lebih kecil, Nemotron 3.5 Lightning tetap membawa sejumlah teknologi yang digunakan pada model Nemotron lainnya.

Cara Kerja Model MoE

Pada model AI konvensional atau dense model, sebagian besar parameter model digunakan ketika memproses input. Model MoE bekerja dengan pendekatan berbeda. Di dalam arsitektur MoE terdapat sejumlah expert yang memiliki fungsi masing-masing. Sebuah router menentukan expert mana yang perlu menangani token tertentu.

Dengan demikian, tidak semua parameter harus aktif dalam setiap proses. Hanya beberapa expert yang dipilih untuk memproses token tersebut. Pendekatan ini membuat penggunaan sumber daya menjadi lebih efisien. Model dapat memiliki kapasitas yang besar, tetapi kebutuhan komputasinya lebih rendah dibandingkan jika seluruh parameter dijalankan sekaligus.

Bagi AI agent yang harus melakukan ribuan hingga jutaan pemanggilan dalam periode tertentu, efisiensi seperti ini menjadi penting. Setiap penghematan pada satu proses eksekusi dapat memberikan dampak besar ketika pekerjaan tersebut dilakukan berulang kali.

Mengandalkan Speculative Decoding

Salah satu teknologi yang digunakan Nemotron 3.5 Lightning untuk meningkatkan kecepatan adalah speculative decoding. Teknologi ini memungkinkan model menghasilkan beberapa token secara lebih cepat. Dalam mekanisme tersebut, draft model terlebih dahulu membuat prediksi sejumlah token. Prediksi tersebut kemudian diperiksa secara efisien oleh model utama.

Nemotron 3.5 Lightning telah menjalani tahap pretraining khusus untuk memasukkan kemampuan Multi-Token Prediction atau MTP. Teknologi serupa juga digunakan pada Nemotron 3 Super dan Nemotron 3 Ultra. Setelah proses pelatihan awal, NVIDIA melakukan tahap tambahan untuk meningkatkan kemampuan MTP sehingga prediksi beberapa token dapat dilakukan dengan akurasi yang lebih baik.

NVIDIA juga menyediakan dua draft model, yakni DSpark dan DFlash, yang dapat digunakan untuk skenario berbeda. DSpark direkomendasikan untuk workload inference pada NVIDIA DGX Spark serta pusat data dengan tingkat concurrency rendah. Sementara itu, MTP lebih cocok untuk tingkat concurrency menengah hingga tinggi.

NVIDIA juga menyediakan DFlash agar pengembang dapat menguji dan menentukan pendekatan yang paling sesuai dengan karakteristik workload mereka.

Dirancang untuk Agent Harness

Nemotron 3.5 Lightning tidak hanya dirancang sebagai model umum. NVIDIA juga melatihnya agar dapat bekerja dengan berbagai agent harness populer. Tujuannya adalah meningkatkan kemampuan AI agent ketika melakukan pemanggilan tool sekaligus mengurangi latensi saat menjalankan pekerjaan berulang dalam jumlah besar.

Dalam praktiknya, agent dapat menggunakan model berkemampuan tinggi untuk menentukan apa yang harus dilakukan. Setelah rencana terbentuk, pekerjaan eksekusi dapat dialihkan kepada Nemotron 3.5 Lightning. Pembagian seperti ini memungkinkan sistem AI agent menggunakan sumber daya secara lebih rasional.

Misalnya, proses perencanaan proyek yang kompleks membutuhkan kemampuan reasoning tinggi. Namun, setelah rencana dibuat, pekerjaan seperti memeriksa file, menjalankan perintah, mengambil data atau memvalidasi hasil dapat dilakukan model yang lebih kecil.

NVIDIA NeMo Switchyard Atur Pembagian Tugas

Selain Nemotron 3.5 Lightning, NVIDIA juga memperkenalkan NeMo Switchyard. Library ini dirancang untuk melakukan model routing, yakni menentukan model mana yang paling tepat untuk menangani suatu tugas. 

Konsepnya cukup sederhana. Tidak semua permintaan membutuhkan model AI dengan kemampuan paling tinggi. Tugas kompleks dapat diarahkan kepada model frontier, sedangkan pekerjaan rutin dengan volume tinggi dapat diarahkan ke Nemotron 3.5 Lightning. Dalam sistem AI agent, pembagian tersebut dapat mengurangi pemborosan penggunaan token dan sumber daya komputasi.

Nemotron 3.5 Lightning misalnya dapat menangani tugas seperti menjalankan git pull, memvalidasi hasil tool, memformat output, serta berbagai pemanggilan rutin lainnya. Sementara itu, model seperti Nemotron 3 Ultra dapat tetap fokus pada perencanaan, orkestrasi dan pekerjaan reasoning yang lebih kompleks.

Model routing dengan demikian menjadi bagian penting dalam pengembangan AI agent modern. Pengembang tidak lagi harus memilih satu model untuk seluruh kebutuhan, tetapi dapat membangun sistem yang terdiri dari beberapa model dengan fungsi berbeda.

Klaim Kecepatan hingga Empat Kali Lipat

Dari sisi performa, NVIDIA menyebut Nemotron 3.5 Lightning mampu memberikan kecepatan output hingga empat kali lebih tinggi dibandingkan model berukuran serupa. Model tersebut juga diklaim menempati posisi yang kuat dalam perbandingan antara akurasi dan kecepatan pada Artificial Analysis Intelligence Index.

Indeks tersebut menggabungkan sembilan jenis evaluasi untuk mengukur kemampuan model dalam berbagai skenario, termasuk tugas AI agent, coding, penalaran ilmiah dan kecerdasan umum.

Namun, NVIDIA menekankan bahwa efisiensi AI agent tidak cukup diukur dari seberapa cepat model menghasilkan token. Yang lebih penting adalah seberapa cepat model dapat menyelesaikan pekerjaan yang benar-benar dibutuhkan.

Dalam pengujian PinchBench, Nemotron 3.5 Lightning disebut mencapai tingkat akurasi 86 persen. Model tersebut juga mampu menyelesaikan 10.000 tugas sekitar 30 persen lebih cepat dibandingkan Qwen3.6 35B dengan tingkat akurasi yang disebut serupa.

Jika diterapkan pada AI agent yang terus bekerja, peningkatan tersebut berpotensi memberikan dampak signifikan. AI agent dapat menyelesaikan lebih banyak pekerjaan dalam waktu yang lebih singkat, sementara penggunaan sumber daya dapat ditekan.

Hadir dengan Dukungan Quantization

Selain speculative decoding, NVIDIA menggunakan quantization untuk membantu meningkatkan efisiensi Nemotron 3.5 Lightning. Model ini tersedia dalam format NVFP4 selain BF16. NVIDIA menggunakan kernel NVFP4 khusus yang juga digunakan oleh Nemotron 3 Ultra pada GPU berbasis Blackwell, Hopper dan Ampere.

Dukungan tersebut memberikan fleksibilitas dalam deployment. Model dapat digunakan untuk kebutuhan pusat data maupun sistem lokal seperti DGX Spark. Bagi pengembang, fleksibilitas deployment menjadi semakin penting karena tidak semua workload harus dijalankan di cloud.

Sebagian aplikasi AI agent membutuhkan pemrosesan lokal untuk alasan latensi, biaya, privasi, maupun kebutuhan operasional tertentu.

Membuka Peluang AI Agent Lokal

Nemotron 3.5 Lightning juga diarahkan untuk penggunaan AI lokal. NVIDIA menyebut model ini dapat digunakan pada sejumlah perangkat dan platform, termasuk NVIDIA Jetson, GeForce RTX 5090 dan DGX Spark. NVIDIA juga bekerja sama dengan sejumlah tim, termasuk EXO Labs, untuk menguji bagaimana model tersebut bekerja pada DGX Spark.

Dukungan terhadap berbagai software inference juga memperluas pilihan bagi pengembang. Nemotron 3.5 Lightning dapat dijalankan menggunakan platform seperti LM Studio, llama.cpp, Ollama dan Unsloth. Artinya, pengembang tidak harus selalu bergantung pada infrastruktur cloud untuk menjalankan model. Model dapat ditempatkan pada sistem lokal sesuai kebutuhan workload, kapasitas perangkat dan target penggunaan.

Bisa Dikustomisasi untuk Kebutuhan Khusus

NVIDIA juga membuka peluang bagi pengembang untuk menyesuaikan Nemotron 3.5 Lightning dengan kebutuhan masing-masing. Model yang lebih kecil umumnya lebih mudah dan murah untuk di-fine-tune dibandingkan model berukuran besar. Kebutuhan hardware untuk proses tersebut juga relatif lebih ringan.

Nemotron 3.5 Lightning dapat dikustomisasi menggunakan LoRA maupun full supervised fine-tuning atau SFT melalui NeMo Automodel dan NeMo Megatron Bridge. Pengembang juga dapat menjalankan reinforcement learning, evaluasi berbasis lingkungan dan rollout menggunakan NeMo RL serta NeMo Gym.

Dalam rilis ini, NVIDIA turut menyediakan Nemotron-RL Agentic Terminal Pivot, sebuah dataset reinforcement learning agentik terbuka yang digunakan untuk melatih sejumlah kemampuan coding agent. Ketersediaan berbagai komponen tersebut memberikan ruang bagi perusahaan dan pengembang untuk membangun AI agent yang lebih spesifik sesuai kebutuhan bisnis atau teknis.

Didukung Ekosistem Mitra yang Luas

Nemotron 3.5 Lightning juga hadir dengan dukungan ekosistem mitra yang mencakup berbagai lapisan teknologi. Untuk post-training, sejumlah mitra yang disebut NVIDIA antara lain AgileRL, Applied Compute, Deep Cogito, distil labs, Fastino Labs, Locai Labs, Prime Intellect, Reasonable, Thinking Machines Lab, Thoughtworks, Trajectory dan Uniphore. Pada sisi software inference, terdapat Ollama, Exo, Canonical, LM Studio dan Unsloth.

Sementara itu, untuk agent harness dan framework terdapat Aible, Cline, Factory AI, Hermes Agent, Kilo Code, LangChain, LM Studio Bionic, OpenClaw, OpenCode, OpenHands dan Pi. Dukungan juga datang dari berbagai platform cloud, termasuk Amazon SageMaker JumpStart, Google Cloud Gemini Enterprise Agent Platform, Microsoft Foundry dan OCI Enterprise AI.

Untuk integrator sistem global, ekosistem Nemotron mencakup Accenture, Tata Consultancy Services, Tech Mahindra dan Wipro. Sejumlah perusahaan AI seperti Arcos Labs, CodeRabbit, Dream dan Harvey juga masuk dalam ekosistem tersebut.

Untuk layanan hosted inference, NVIDIA mencantumkan Baseten, Bitdeer AI, BlackBox AI, CoreWeave, Crusoe, DeepInfra, Fireworks AI, FriendliAI, GMI Cloud, Modal, Nebius dan Together AI.

Strategi Baru Membangun AI Agent

Kemunculan Nemotron 3.5 Lightning menunjukkan bahwa pengembangan AI agent mulai bergerak menuju arsitektur yang lebih terdistribusi. Model terbesar tidak selalu harus menangani seluruh pekerjaan. Sebaliknya, tugas dapat dibagi berdasarkan tingkat kompleksitas, kebutuhan kecepatan dan biaya komputasi.

Model frontier dapat digunakan untuk reasoning dan perencanaan, sementara model yang lebih kecil seperti Nemotron 3.5 Lightning menangani pekerjaan rutin dengan volume tinggi. Pendekatan tersebut berpotensi menjadi semakin penting ketika AI agent mulai digunakan untuk pekerjaan yang berlangsung berjam-jam atau bahkan terus-menerus.

Dalam kondisi seperti itu, setiap pemanggilan tool, token dan proses inference akan terakumulasi. Model yang lebih cepat dan efisien dapat membantu mengurangi biaya sekaligus mempercepat penyelesaian pekerjaan. 

Dengan Nemotron 3.5 Lightning dan NeMo Switchyard, NVIDIA berupaya membangun fondasi untuk sistem AI agent yang tidak hanya pintar, tetapi juga efisien dalam menjalankan pekerjaan sehari-hari. Bagi pengembang, kombinasi model MoE, speculative decoding, quantization, kemampuan fine-tuning dan dukungan deployment lokal memberikan lebih banyak pilihan untuk membangun AI agent sesuai kebutuhan.

Pada akhirnya, persaingan AI agent tidak hanya ditentukan oleh siapa yang memiliki model dengan kemampuan reasoning paling tinggi. Kecepatan eksekusi, efisiensi token, biaya inference dan kemampuan menjalankan tugas secara terus-menerus juga menjadi faktor penting.

Nemotron 3.5 Lightning mencoba menjawab kebutuhan tersebut dengan mengambil peran sebagai mesin eksekusi berkecepatan tinggi di balik AI agent generasi berikutnya.