AI Granite 4.0 Rilis, Lebih Cepat dan Hemat Hingga 70%

Dunia Artificial Intelligence (AI) kembali mengalami lompatan signifikan dengan hadirnya Granite 4.0, generasi terbaru model AI yang mengusung pendekatan arsitektur hybrid. Teknologi ini menggabungkan dua pendekatan mutakhir, yaitu Mamba-2 dan transformer, yang selama ini dikenal sebagai tulang punggung berbagai model AI modern. Kehadiran Granite 4.0 tidak hanya menjanjikan peningkatan performa, tetapi juga efisiensi yang jauh lebih tinggi dibandingkan model-model sebelumnya.

Salah satu keunggulan utama Granite 4.0 terletak pada penggunaan strategi Mixture-of-Experts (MoE). Pendekatan ini memungkinkan model untuk mengaktifkan hanya sebagian kecil dari parameter yang tersedia saat menjalankan tugas tertentu. Dengan kata lain, model tidak perlu menggunakan seluruh “otaknya” sekaligus, sehingga konsumsi memori dapat ditekan secara drastis. Hasilnya, Granite 4.0 mampu mengurangi kebutuhan memori hingga lebih dari 70 persen.

Tidak hanya itu, efisiensi ini juga berdampak langsung pada kecepatan. Granite 4.0 diklaim mampu memberikan kecepatan inferensi hingga dua kali lebih cepat dibandingkan model sejenis, terutama dalam skenario yang melibatkan banyak sesi sekaligus atau konteks percakapan yang panjang. Hal ini menjadi kabar baik bagi pengembang dan perusahaan yang membutuhkan sistem AI responsif dengan beban kerja tinggi.

Dalam pengujian performa atau benchmark, Granite 4.0 menunjukkan hasil yang sangat kompetitif. Salah satu varian utamanya, Granite 4.0 Small, bahkan disebut mampu mencapai performa terbaik di kelasnya untuk tugas-tugas agentic. Tugas ini mencakup kemampuan mengikuti instruksi kompleks serta melakukan pemanggilan fungsi (function calling), yang menjadi fondasi penting dalam pengembangan AI berbasis agen.

Kemampuan tersebut membuka peluang besar untuk berbagai penerapan nyata. Granite 4.0 dinilai sangat cocok digunakan dalam sistem Retrieval-Augmented Generation (RAG), yaitu metode yang menggabungkan pencarian data dengan generasi teks untuk menghasilkan jawaban yang lebih akurat. Selain itu, model ini juga ideal untuk workflow multi-agent, di mana beberapa agen AI bekerja secara kolaboratif dalam menyelesaikan tugas kompleks.

Tidak kalah penting, Granite 4.0 juga dirancang untuk mendukung implementasi di perangkat edge atau perangkat lokal. Dengan efisiensi tinggi dan ukuran model yang bervariasi, teknologi ini memungkinkan AI berjalan langsung di perangkat tanpa harus selalu bergantung pada server cloud. Ini menjadi solusi penting untuk kebutuhan privasi data dan latensi rendah.

Dari sisi lisensi, Granite 4.0 dirilis dengan lisensi Apache 2.0, yang berarti dapat digunakan secara bebas, termasuk untuk keperluan komersial. Model ini juga dilengkapi dengan tanda tangan kriptografi guna menjamin keaslian dan keamanannya. Menariknya lagi, Granite 4.0 menjadi keluarga model open-source pertama yang berhasil mendapatkan sertifikasi ISO 42001, sebuah standar internasional untuk sistem manajemen kecerdasan buatan.

Granite 4.0 hadir dalam berbagai varian model yang dapat disesuaikan dengan kebutuhan pengguna. Untuk skala enterprise, tersedia Granite-4.0-H-Small dengan total parameter 32 miliar, namun hanya 9 miliar yang aktif saat digunakan. Model ini dirancang sebagai “mesin utama” untuk tugas berat seperti RAG dan sistem agen.

Sementara itu, Granite-4.0-H-Tiny hadir sebagai pilihan lebih ringan dengan fokus pada latensi rendah dan aplikasi lokal. Model ini sangat cocok digunakan dalam skenario yang membutuhkan respons cepat, terutama ketika proses awal (prefill) cukup panjang. Untuk kebutuhan yang lebih ringan lagi, tersedia Granite-4.0-H-Micro dan Granite-4.0-Micro dengan ukuran sekitar 3 miliar parameter.

Bagi pengguna yang membutuhkan model ultra-ringkas, Granite juga menyediakan varian 1B dan 350M. Model-model ini dirancang khusus untuk perangkat edge dan aplikasi dengan keterbatasan sumber daya. Meski lebih kecil, model ini tetap mempertahankan performa yang cukup baik untuk tugas-tugas tertentu.

Selain inovasi pada arsitektur dan performa, Granite 4.0 juga membawa pembaruan dalam cara pengembang berinteraksi dengan model, khususnya dalam hal pembuatan prompt untuk tool calling. Sistem kini secara otomatis memformat daftar tools sebagai system prompt, sehingga memudahkan integrasi dan penggunaan.

Granite 4.0 juga menggunakan format khusus untuk komunikasi dengan tools, yaitu melalui tag <tool_call> dan <tool_response> . Dengan pendekatan ini, interaksi antara model dan tools menjadi lebih terstruktur dan mudah dipahami. Namun, bagi pengembang yang membuat prompt secara manual, penting untuk mengikuti format ini agar sistem dapat bekerja dengan optimal.

Dari sisi kompatibilitas, Granite 4.0 masih mendukung template prompt yang digunakan untuk tugas-tugas sederhana. Namun, untuk penggunaan yang lebih kompleks, pengembang mungkin perlu melakukan penyesuaian atau migrasi template. Hal ini terutama berkaitan dengan perubahan format dalam penanganan tools dan dokumen.

Bagi pengguna yang ingin memaksimalkan potensi Granite 4.0, disarankan untuk mengikuti panduan prompt engineering terbaru. Selain itu, pembuatan template baru atau migrasi dari template lama juga menjadi langkah penting untuk memastikan kompatibilitas dan performa terbaik.

Perlu dicatat, beberapa fitur lama seperti pengaturan panjang teks dan tingkat orisinalitas kini sudah tidak lagi didukung. Perubahan ini menunjukkan bahwa Granite 4.0 berfokus pada pendekatan yang lebih modern dan efisien dalam pengelolaan output model.

Secara keseluruhan, Granite 4.0 menjadi salah satu inovasi penting dalam dunia AI saat ini. Dengan kombinasi efisiensi, kecepatan, dan fleksibilitas, model ini berpotensi menjadi solusi andalan bagi berbagai kebutuhan, mulai dari skala kecil hingga enterprise. Kehadirannya juga memperkuat tren menuju AI yang lebih terbuka, efisien, dan mudah diintegrasikan ke berbagai platform.