Alibaba Perkenalkan QwenGyre untuk Percepat Pelatihan Agen AI

Alibaba mengembangkan QwenGyre, sebuah kerangka kerja reinforcement learning (RL) yang dirancang untuk mempercepat pelatihan agen Artificial Intelligence (AI) dalam menyelesaikan tugas-tugas kompleks berdurasi panjang. Teknologi ini ditujukan untuk mengatasi kendala komputasi yang muncul ketika agen AI harus bekerja selama berjam-jam, terutama dalam proses rekayasa perangkat lunak.

QwenGyre dikembangkan oleh tim peneliti Alibaba Token Hub melalui kolaborasi dengan University of Science and Technology of China dan Tsinghua University. Hasil penelitian mereka dipublikasikan melalui repositori makalah ilmiah arXiv pada pekan ini.

Pengembangan QwenGyre berangkat dari tantangan yang semakin besar dalam melatih agen AI agar mampu menyelesaikan pekerjaan secara mandiri. Berbeda dengan model AI yang hanya menjawab pertanyaan atau menghasilkan teks, agen AI dapat menjalankan serangkaian tindakan, menggunakan berbagai alat, memeriksa hasil pekerjaannya, memperbaiki kesalahan, hingga mengulangi proses tertentu sampai tugas selesai.

Dalam pekerjaan rekayasa perangkat lunak, misalnya, agen AI dapat diminta menganalisis kode, menemukan sumber kesalahan, mengubah sejumlah berkas, menjalankan pengujian, dan memperbaiki masalah yang ditemukan. Rangkaian pekerjaan tersebut bisa berlangsung selama beberapa jam dan melibatkan ratusan interaksi dengan lingkungan kerjanya.

Menurut tim peneliti, setiap proses eksekusi agen atau rollout dapat menggunakan sekitar 700.000 hingga satu juta token. Besarnya kebutuhan tersebut membuat proses pelatihan membutuhkan sumber daya komputasi yang signifikan, sekaligus menimbulkan persoalan efisiensi yang tidak mudah diatasi dengan pendekatan konvensional.

Dua Tantangan Utama dalam Pelatihan Agen AI

Dalam penelitian tersebut, Alibaba mengidentifikasi dua persoalan mendasar ketika online reinforcement learning diterapkan pada agen AI dengan durasi eksekusi yang sangat panjang.

Pertama, waktu penyelesaian setiap tugas dapat berbeda jauh. Sebagian proses bisa selesai lebih cepat, sedangkan proses lainnya membutuhkan waktu jauh lebih lama karena harus menjalankan banyak tindakan, mengatasi kegagalan, atau memproses konteks yang besar.

Ketidakseragaman ini dapat menyebabkan unit pemrosesan grafis atau GPU menganggur. Ketika sistem pelatihan harus menunggu proses inferensi yang belum selesai, sebagian sumber daya komputasi tidak dapat dimanfaatkan secara optimal.

Kedua, eksekusi agen AI sering menghasilkan banyak jalur tindakan yang bercabang. Percabangan tersebut dapat muncul ketika agen mencoba kembali perintah yang gagal, merangkum riwayat interaksi, atau membagi pekerjaan kepada agen lain.

Situasi ini berpotensi menghasilkan data eksekusi yang berulang. Akibatnya, sistem harus memproses informasi tambahan yang sebenarnya tidak selalu diperlukan, sehingga meningkatkan beban komputasi dan memperpanjang waktu pelatihan.

Untuk mengatasi kedua persoalan tersebut, QwenGyre menggabungkan mekanisme penjadwalan sumber daya yang dinamis dengan pengelolaan riwayat eksekusi yang lebih efisien.

Elastic Scheduler Mengoptimalkan Penggunaan GPU

Salah satu komponen utama QwenGyre adalah Elastic Scheduler, mekanisme penjadwalan elastis yang memungkinkan alokasi GPU berpindah secara dinamis antara proses pembuatan rollout dan pelatihan model.

Pada pendekatan konvensional yang menjalankan pelatihan dan inferensi secara bersamaan di infrastruktur yang sama, proses pelatihan dapat terhambat ketika menunggu eksekusi agen yang membutuhkan waktu lebih lama.

Sebaliknya, sistem asinkron dengan alokasi sumber daya yang statis juga memiliki kelemahan. Akselerator yang digunakan untuk pelatihan dapat menganggur ketika sistem menunggu seluruh kumpulan data atau batch terkumpul sebelum melanjutkan proses berikutnya.

QwenGyre berupaya mengurangi hambatan tersebut dengan menyesuaikan alokasi sumber daya berdasarkan kebutuhan aktual. GPU yang sebelumnya digunakan untuk menghasilkan rollout dapat dialihkan ke proses pelatihan ketika diperlukan, dan sebaliknya, tanpa menghentikan pekerjaan yang sedang berjalan.

Node komputasi yang dialokasikan kembali juga dapat bergabung dengan kelompok pelatihan paralel data terpusat yang masih aktif tanpa harus mengulang pekerjaan sebelumnya.

Selain itu, QwenGyre menerapkan metode streaming training untuk menjaga sinkronisasi kemajuan antarkelompok dalam klaster terdistribusi. Dengan pendekatan ini, sistem diharapkan dapat mengurangi waktu tunggu dan memanfaatkan kapasitas komputasi secara lebih konsisten.

Pengelolaan tersebut menjadi penting ketika agen AI harus menyelesaikan tugas dengan durasi yang sulit diprediksi. Semakin panjang proses eksekusi, semakin besar pula potensi pemborosan sumber daya apabila penjadwalan tidak dapat menyesuaikan diri dengan kondisi yang berubah.

Trajectory Processor Mengurangi Eksekusi Berulang

Selain mengoptimalkan penggunaan GPU, QwenGyre memperkenalkan Trajectory Processor untuk menangani kompleksitas jalur eksekusi agen AI.

Dalam konteks ini, trajektori merupakan rangkaian tindakan dan interaksi yang dilakukan agen ketika berusaha menyelesaikan suatu tugas. Sebuah tugas dapat menghasilkan banyak trajektori karena agen mencoba pendekatan berbeda, mengulangi perintah yang gagal, atau menyerahkan sebagian pekerjaan kepada agen lain.

Jika seluruh jalur tersebut diproses tanpa pengelolaan yang tepat, data yang berulang dapat meningkatkan beban pelatihan. Persoalan ini semakin besar ketika agen harus bekerja dengan konteks yang mencapai ratusan ribu token.

Trajectory Processor menyusun riwayat eksekusi yang bercabang menjadi struktur pohon trajektori. Struktur ini memungkinkan sistem mengenali bagian-bagian jalur yang memiliki awalan sama, kemudian mengurangi pemrosesan terhadap jalur yang berulang.

Komponen tersebut juga mengevaluasi kemajuan parsial dan memberikan skor terhadap hasil yang telah dicapai. Dengan demikian, sinyal penghargaan atau reward signal tetap dapat dipertahankan ketika sebuah tugas berakhir akibat batas waktu eksekusi (timeout).

Pendekatan ini penting karena kegagalan menyelesaikan tugas secara keseluruhan tidak selalu berarti agen tidak menghasilkan kemajuan yang berguna. Informasi mengenai langkah-langkah yang berhasil tetap dapat dimanfaatkan dalam proses pembelajaran.

QwenGyre juga membatasi jumlah sampel yang diproses dalam setiap eksekusi dengan memprioritaskan peran agen tertentu. Target yang digunakan bersama dihitung satu kali, sedangkan nilai token loss dirata-ratakan berdasarkan setiap eksekusi untuk mencegah bagian jalur yang berulang memperoleh bobot berlebihan.

Melalui mekanisme tersebut, QwenGyre berusaha mempertahankan informasi penting untuk pembelajaran sekaligus mengurangi pekerjaan komputasi yang tidak diperlukan.

QwenGyre Mempercepat Pelatihan hingga 1,85 Kali

Hasil pengujian menunjukkan bahwa QwenGyre mampu meningkatkan efisiensi pelatihan dibandingkan sejumlah pendekatan konvensional.

Dalam berbagai konfigurasi yang diuji, kerangka kerja ini mencatat percepatan proses secara menyeluruh (end-to-end) sebesar 1,21 hingga 1,85 kali dibandingkan sistem yang menjalankan pelatihan dan inferensi secara bersamaan pada infrastruktur yang sama.

Sementara itu, dibandingkan dengan pendekatan asinkron, QwenGyre mencatat peningkatan kecepatan antara 1,38 hingga 1,78 kali.

Peningkatan tersebut menunjukkan bahwa pengelolaan sumber daya komputasi dan pengurangan jalur eksekusi berulang dapat memberikan dampak nyata terhadap waktu pelatihan. Meski prosesnya berlangsung lebih cepat, skor pelatihan dalam pengujian tetap sebanding dengan nilai dasar atau baseline.

Tim peneliti menguji kerangka kerja ini menggunakan model Qwen 3.6 122B pada benchmark DeepSWE dan TerminalBench. Mereka juga membahas SWE-bench, tolok ukur yang digunakan untuk mengevaluasi kemampuan model AI dalam menyelesaikan masalah rekayasa perangkat lunak. Tugas pada benchmark tersebut umumnya membutuhkan puluhan interaksi untuk diselesaikan.

Untuk menguji kinerja dalam kondisi yang lebih berat, tim peneliti juga menerapkan arsitektur QwenGyre pada model Qwen 3.8 2.4T. Pengujian ini berfokus pada kemampuan sistem menangani beban konteks yang sangat besar.

Dengan beban kerja sekitar 700.000 token dalam setiap rollout, model tersebut mencatat peningkatan absolut sebesar enam poin persentase pada benchmark NL2RepoBench. Akurasinya meningkat dari 52,5 persen menjadi 58,5 persen hanya dalam 48 langkah pelatihan.

Hasil tersebut menjadi indikasi bahwa efisiensi komputasi yang lebih baik dapat berjalan seiring dengan peningkatan kemampuan model dalam menyelesaikan tugas, meskipun hasil ini masih perlu dipahami dalam konteks benchmark dan konfigurasi pengujian yang digunakan.

Langkah Penting untuk Pengembangan Agen AI

Pengembangan QwenGyre mencerminkan tantangan baru dalam membangun agen AI yang mampu bekerja secara mandiri dalam jangka waktu panjang. Ketika sistem AI tidak lagi hanya menghasilkan jawaban, tetapi juga menjalankan rangkaian pekerjaan kompleks, efisiensi proses pelatihan menjadi faktor yang semakin penting.

Kemampuan mengalokasikan GPU secara dinamis dan mengurangi pemrosesan jalur eksekusi yang berulang dapat membantu menekan waktu tunggu serta meningkatkan pemanfaatan sumber daya komputasi.

Bagi pengembangan agen AI untuk rekayasa perangkat lunak, pendekatan ini berpotensi mendukung pelatihan model yang mampu menangani tugas lebih panjang, mulai dari menganalisis repositori kode hingga memperbaiki dan menguji perangkat lunak.

Meski demikian, hasil benchmark yang menjanjikan belum otomatis menjamin peningkatan kinerja yang sama pada seluruh jenis pekerjaan atau lingkungan produksi. Efektivitasnya tetap bergantung pada karakteristik tugas, arsitektur model, dan konfigurasi infrastruktur yang digunakan.

Dengan QwenGyre, Alibaba berupaya menjawab salah satu kendala utama dalam pengembangan agen AI, yakni bagaimana melatih sistem untuk menyelesaikan pekerjaan kompleks dalam waktu panjang tanpa memboroskan sumber daya komputasi. Jika pendekatan ini dapat diterapkan secara luas, efisiensi pelatihan dapat menjadi salah satu faktor pendukung bagi pengembangan agen AI yang semakin mampu menangani pekerjaan teknis secara mandiri.