Meta Rilis Muse Glimmer, AI 30 Miliar Parameter Tanpa Cloud

Meta Superintelligence Labs memperkenalkan Muse Glimmer, model kecerdasan buatan (AI) yang dirancang khusus untuk menjalankan agen AI secara lokal di perangkat pengguna. Berbeda dari banyak layanan AI yang membutuhkan koneksi internet dan infrastruktur cloud, Muse Glimmer dikembangkan agar dapat bekerja langsung pada komputer dengan perangkat keras konsumen.

Meta juga open weights Muse Glimmer menggunakan lisensi Apache 2.0. Langkah ini memungkinkan pengembang mengunduh, menjalankan, mempelajari, hingga menyesuaikan model untuk berbagai kebutuhan mereka.

Muse Glimmer hadir dengan 30 miliar parameter dan dirancang untuk menjalankan berbagai workflow agen AI secara terus-menerus. Ukurannya dibuat cukup ringkas sehingga dapat dijalankan pada Mac atau PC yang memiliki satu GPU konsumen dengan kapasitas memori yang memadai.

Kemampuan tersebut membuka sejumlah penggunaan, mulai dari menjalankan agen AI pribadi, melakukan function calling, membantu pekerjaan pemrograman secara lokal, hingga menggunakan model bahasa besar atau LLM sebagai penilai.

Meta menyebut Muse Glimmer menunjukkan performa yang kuat dalam berbagai tugas agen AI dan sejumlah benchmark jika dibandingkan dengan model lain yang berada pada kelas ukuran serupa.

Membawa Agen AI ke Perangkat Pengguna

Perkembangan model AI dalam beberapa tahun terakhir membuat kemampuan seperti penalaran, pembuatan kode dan penggunaan tool semakin maju. Namun, sebagian besar model tersebut masih dijalankan melalui layanan cloud.

Artinya, pengguna biasanya membutuhkan koneksi internet untuk mengirimkan permintaan ke server penyedia layanan, kemudian menerima hasil pemrosesan dari pusat data. Model lokal menawarkan pendekatan berbeda. Ketika model AI dapat berjalan langsung di komputer, pengguna berpotensi menggunakan AI kapan saja tanpa harus selalu terhubung ke internet.

Pendekatan tersebut juga dapat memberikan kontrol lebih besar terhadap data dan lingkungan pemrosesan. Untuk agen AI yang digunakan mengelola file, menyusun pesan, membaca dokumen atau membantu pekerjaan sehari-hari, kemampuan menjalankan model secara lokal menjadi semakin menarik.

Menurut Meta, perkembangan komunitas open source juga menunjukkan bahwa model yang lebih kecil dapat memiliki kemampuan tinggi jika dilatih menggunakan metode yang tepat.

Muse Glimmer dikembangkan dengan pendekatan tersebut. Alih-alih hanya mengejar ukuran model yang besar, Meta berupaya membuat model yang mampu menjalankan tugas agen AI secara efektif dengan kebutuhan komputasi yang lebih rendah.

Meta merilis bobot Muse Glimmer melalui Hugging Face, sekaligus menyediakan dokumentasi untuk membantu pengembang mulai membangun agen AI mereka sendiri. Integrasi dengan sejumlah perangkat lunak seperti llama.cpp, MLX, dan ExecuTorch juga disiapkan agar model lebih mudah digunakan di berbagai perangkat lokal.

Dilatih untuk Menjalankan Tugas yang Kompleks

Membangun agen AI bukan sekadar membuat model yang mampu menjawab pertanyaan. Agen harus dapat memahami tujuan pengguna, menentukan langkah yang perlu dilakukan, menggunakan berbagai tool, mengingat konteks, serta mengambil keputusan selama proses berlangsung.

Contohnya, agen AI yang ditugaskan mengatur jadwal pengguna harus mampu memahami permintaan, memeriksa informasi yang tersedia, menentukan jadwal, kemudian melakukan tindakan yang diperlukan.

Hal serupa berlaku ketika agen diminta mengelola file, menulis kode, mencari informasi atau menjalankan serangkaian tugas dalam beberapa tahap.

Karena itu, Meta merancang Muse Glimmer dengan mempertimbangkan kebutuhan tersebut sekaligus keterbatasan perangkat lokal. Perusahaan menggunakan arsitektur yang lebih ringkas, metode distillation untuk memindahkan kemampuan penalaran dari model guru yang jauh lebih besar, serta berbagai optimasi pada tahap inference.

Proses pelatihan Muse Glimmer dilakukan dalam tiga tahapan utama.

Pada tahap pre-training, model dilatih menggunakan keluaran dari Muse Spark melalui metode logit distillation. Komposisi data yang digunakan juga dibuat serupa dengan data yang digunakan model guru. 

Kemudian pada tahap mid-training, Muse Glimmer mendapatkan data dengan konteks yang lebih panjang dan lebih berfokus pada pekerjaan agen AI. Data tersebut juga dilengkapi jejak penalaran yang lebih kaya dan dikombinasikan dengan data organik.

Tahap terakhir adalah post-training. Meta menggabungkan supervised fine-tuning, on-policy distillation dan reinforcement learning untuk meningkatkan kemampuan model dalam tugas umum, penalaran, pemrograman dan penggunaan agen AI.

Sebelum dirilis sebagai model dengan bobot terbuka, Muse Glimmer juga dievaluasi menggunakan standar yang ditetapkan dalam Advanced AI Scaling Framework milik Meta.

Tidak Hanya Menjawab, tetapi Bisa Menjalankan Tugas

Salah satu fokus utama Muse Glimmer adalah kemampuan menyelesaikan tugas secara menyeluruh atau end-to-end.

Meta menguji model tersebut melalui sejumlah benchmark, termasuk DeepSearch QA, MCP-Atlas, τ-Bench dan SWE-Bench. Pengujian tersebut digunakan untuk melihat kemampuan model dalam bekerja dengan scaffold, menulis dan memperbaiki kode, serta menangani permintaan pengguna yang berlangsung dalam beberapa tahap.

Muse Glimmer juga dirancang untuk menggunakan tool secara lebih andal. Model dapat melakukan berbagai function call dan mengikuti skema yang dibutuhkan selama menjalankan workflow yang panjang. Kemampuan lainnya adalah penalaran multi-langkah. Muse Glimmer dapat mempertahankan rencana ketika menghadapi tugas kompleks yang membutuhkan sejumlah tahapan.

Menariknya, model juga dilatih untuk menghadapi kegagalan.

Ketika sebuah tool tidak bekerja atau memberikan hasil yang tidak sesuai harapan, Muse Glimmer dapat mencoba menganalisis masalah dan melakukan percobaan ulang. Dengan demikian, agen tidak langsung berhenti hanya karena satu langkah mengalami kesalahan.

Bisa Memahami Teks dan Gambar

Muse Glimmer juga tidak hanya mengandalkan input berbasis teks. Meta membekali model dengan perception encoder khusus yang memungkinkan model menerima teks dan gambar secara bersamaan. Kemampuan multimodal ini memungkinkan agen AI memahami berbagai informasi visual seperti tangkapan layar, grafik dan dokumen.

Dalam praktiknya, kemampuan tersebut dapat membantu ketika pengguna memberikan gambar layar komputer dan meminta agen menjelaskan atau melakukan tindakan berdasarkan informasi yang terlihat. Muse Glimmer juga mendukung berbagai pola orkestrasi agen, termasuk OpenClaw dan scaffold lainnya.

Pengembang dapat mengatur tingkat kekuatan penalaran sesuai kebutuhan. Jika membutuhkan respons cepat, pengguna dapat memilih konfigurasi yang lebih ringan. Sebaliknya, tugas yang kompleks dapat menggunakan kemampuan penalaran yang lebih tinggi.

Model tersebut juga dilatih menggunakan data dari lebih dari 100 bahasa, sehingga dirancang untuk mendukung penggunaan dalam lingkungan multibahasa. Meta menyatakan Muse Glimmer memiliki performa yang kuat untuk kelas ukurannya ketika dibandingkan dengan model seperti Gemma4-31B dan Qwen3.6-27B pada sejumlah benchmark LLM.

Tantangan Terbesar: Menjalankan Model 30 Miliar Parameter

Meski lebih kecil dibandingkan sejumlah model AI berukuran sangat besar, 30 miliar parameter tetap bukan ukuran yang ringan untuk perangkat konsumen. Jika dijalankan dengan presisi penuh, Muse Glimmer membutuhkan lebih dari 55 GB memori. Kapasitas tersebut jelas terlalu besar bagi sebagian besar GPU konsumen.

Untuk mengatasinya, Meta menerapkan teknik kuantisasi. Bobot model dikompresi hingga sekitar presisi 4-bit sehingga ukuran model dapat dipangkas menjadi kurang dari 20 GB.

Dengan ukuran tersebut, masih tersedia ruang memori untuk komponen lain yang dibutuhkan saat model bekerja, termasuk KV cache, perception encoder untuk pemrosesan gambar dan komponen speculative decoding. Meta menyebut konfigurasi tersebut memungkinkan Muse Glimmer berjalan dalam lingkungan dengan memori sekitar 24 GB atau 32 GB.

Perusahaan juga mengklaim kompresi tersebut hanya memberikan sedikit atau bahkan tidak memberikan penurunan performa pada tugas-tugas agen AI.

Gunakan Speculative Decoding agar Lebih Cepat

Selain membuat ukuran model lebih kecil, Meta juga berupaya meningkatkan kecepatan Muse Glimmer. Model bahasa pada umumnya menghasilkan teks satu token demi satu token. Ketika model harus melakukan penalaran panjang atau menjalankan banyak tool call, proses ini dapat membutuhkan waktu cukup lama.

Muse Glimmer menggunakan teknik speculative decoding untuk mengatasi persoalan tersebut. Model ini dilengkapi model pendamping ringan yang disebut drafter dan berbasis DFlash. Tugas drafter adalah memperkirakan sejumlah token sekaligus. Model utama kemudian memeriksa prediksi tersebut secara paralel. Token yang benar dapat langsung diterima, sedangkan token yang keliru diperbaiki oleh model utama.

Dengan pendekatan ini, proses menghasilkan teks dapat berlangsung lebih cepat dibandingkan metode konvensional yang memproses token satu per satu.

Meta juga menyediakan versi drafter yang telah dikompresi untuk mengurangi tambahan penggunaan memori.

Diuji pada MacBook dan RTX 5090

Untuk mengukur kemampuan pemrosesan lokal, Meta menguji model K-Quant-17GB bersama quantized DFlash drafter pada sejumlah perangkat. Pengujian dilakukan pada perangkat yang menggunakan MacBook dengan chip M4 Max dan M5 Max, serta komputer dengan GPU RTX 5090.

Meta mengatakan hasil pengujian menunjukkan Muse Glimmer memiliki kecepatan yang cukup untuk percakapan yang terasa lancar dan interaksi agen AI secara real-time. Seluruh proses tersebut dapat dilakukan langsung di perangkat, tanpa perlu mengirimkan proses inference ke infrastruktur cloud.

Kemampuan ini menjadi salah satu aspek penting dari Muse Glimmer. Model AI bukan lagi hanya diposisikan sebagai chatbot yang menunggu pertanyaan, melainkan sebagai agen yang dapat bekerja di lingkungan komputer pengguna.

Bisa Diakses melalui Berbagai Platform

Meta mengatakan Muse Glimmer sudah tersedia dan bobot modelnya dapat diunduh melalui Hugging Face. Pengguna juga dapat menjalankan model secara lokal melalui sejumlah platform, termasuk Ollama, LM Studio dan Unsloth. Untuk pengembangan di perangkat edge, Muse Glimmer mendukung sejumlah framework, seperti llama.cpp, ExecuTorch dan MLX.

Sementara itu, pengembang yang membutuhkan layanan pada skala lebih besar dapat menggunakan vLLM dan SGLang. Model tersebut juga dapat diakses melalui mitra seperti Together AI, Fireworks AI dan OpenRouter. Muse Glimmer juga dapat disesuaikan dengan kebutuhan tertentu. Pengembang dapat memanfaatkan fitur pelatihan TorchTitan dari PyTorch untuk melakukan penyesuaian lebih lanjut terhadap model.

Meta turut menggandeng sejumlah perusahaan teknologi, termasuk AMD, Arm, Dell, Intel dan NVIDIA, untuk mengoptimalkan kinerja Muse Glimmer pada berbagai perangkat keras.

Membuka Peluang Agen AI Pribadi

Peluncuran Muse Glimmer memperlihatkan arah baru pengembangan AI yang tidak hanya berpusat pada model berukuran besar di cloud. Dengan kemampuan berjalan secara lokal, model seperti Muse Glimmer membuka peluang munculnya agen AI pribadi yang bekerja langsung di komputer pengguna.

Agen tersebut nantinya dapat membantu berbagai pekerjaan, mulai dari mengelola file, menyusun pesan, membaca dokumen, membantu pemrograman hingga menjalankan tugas yang membutuhkan beberapa langkah. Pendekatan lokal juga dapat menjadi pilihan bagi pengguna yang membutuhkan pemrosesan AI tanpa selalu bergantung pada koneksi internet atau layanan cloud.

Namun, kemampuan tersebut sekaligus menghadirkan tantangan baru. Agen AI yang memiliki akses langsung ke perangkat harus diberikan batasan dan izin yang tepat agar tidak melakukan tindakan yang tidak diinginkan. Karena itu, dokumentasi yang disediakan Meta juga mencakup panduan untuk membangun scaffold khusus dan mengembangkan agen secara bertanggung jawab.

Dengan Muse Glimmer, Meta tidak sekadar merilis model AI baru, tetapi juga mendorong konsep agentic AI yang dapat berjalan langsung di perangkat konsumen.

Jika pendekatan ini terus berkembang, komputer pribadi di masa depan tidak hanya menjadi tempat menjalankan aplikasi AI, tetapi juga dapat menjadi lingkungan bagi agen AI yang mampu memahami konteks, mengambil keputusan dan menjalankan tugas atas nama penggunanya.

Bagi pengembang, ketersediaan bobot model secara terbuka memberikan ruang untuk bereksperimen dan mengembangkan berbagai aplikasi baru. Sementara bagi pengguna, kemampuan menjalankan model secara lokal dapat menjadi langkah menuju pengalaman AI yang lebih mandiri, cepat dan tidak selalu bergantung pada cloud.