NVIDIA Luncurkan Solusi AI Regional dengan Microservices Baru

Di tengah upaya global untuk menciptakan sistem AI yang sesuai dengan nilai dan peraturan lokal, negara-negara di seluruh dunia semakin fokus pada strategi AI berdaulat, yaitu mengembangkan teknologi AI menggunakan infrastruktur, data, dan keahlian domestik mereka. NVIDIA, sebagai salah satu pemimpin dalam industri teknologi, berkomitmen mendukung inisiatif ini melalui peluncuran empat NVIDIA Neural Inference Microservices (NIM) terbaru.

Microservices terbaru dari NVIDIA ini dirancang untuk mempermudah proses pembuatan dan penerapan aplikasi AI generatif, dengan fokus pada model komunitas yang disesuaikan secara spesifik dengan kebutuhan dan karakteristik wilayah tertentu. Inovasi ini diharapkan akan memperdalam keterlibatan pengguna melalui pemahaman yang lebih baik tentang bahasa lokal serta nuansa budaya yang ada, sehingga menghasilkan respons yang lebih akurat dan relevan bagi pengguna.

Langkah ini diambil menjelang prediksi lonjakan besar dalam pasar perangkat lunak AI generatif di kawasan Asia-Pasifik. ABI Research memperkirakan pendapatan dari sektor ini akan melonjak dari $5 miliar tahun ini menjadi $48 miliar pada tahun 2030, mencerminkan pertumbuhan pesat dan potensi pasar yang sangat besar.

Di antara produk baru yang diluncurkan, terdapat dua model bahasa regional yang signifikan: Llama-3-Swallow-70B dan Llama-3-Taiwan-70B. Model pertama dilatih dengan data berbahasa Jepang, sementara yang kedua dioptimalkan untuk bahasa Mandarin. Kedua model ini dirancang untuk memiliki pemahaman yang mendalam tentang hukum, peraturan, serta kompleksitas budaya lokal masing-masing wilayah.

Selain itu, NVIDIA juga memperkenalkan keluarga model RakutenAI 7B sebagai tambahan pada penawaran bahasa Jepang. Model-model ini dibangun di atas Mistral-7B dan dilatih dengan dataset yang mencakup bahasa Inggris dan Jepang. Tersedia dalam bentuk dua microservices terpisah, RakutenAI 7B menawarkan fungsi Chat dan Instruct. Model-model ini telah menunjukkan hasil yang sangat mengesankan dalam benchmark LM Evaluation Harness, meraih skor rata-rata tertinggi di antara model bahasa Jepang besar yang terbuka pada periode Januari hingga Maret 2024.

Pentingnya pelatihan large language models (LLMs) dengan bahasa regional tidak bisa diabaikan. Dengan memanfaatkan nuansa budaya dan linguistik secara tepat, model-model ini dapat meningkatkan keakuratan dan kedalaman komunikasi yang mereka hasilkan. Jika dibandingkan dengan model dasar seperti Llama 3, varian regional ini menawarkan kinerja yang lebih baik dalam hal pemahaman bahasa Jepang dan Mandarin, serta dalam menangani tugas hukum regional, menjawab pertanyaan, menerjemahkan, dan merangkum teks.

Tren global yang mendukung pengembangan infrastruktur AI berdaulat terlihat jelas dari investasi besar yang dilakukan oleh berbagai negara, termasuk Singapura, UAE, Korea Selatan, Swedia, Prancis, Italia, dan India. Negara-negara ini berkomitmen untuk memperkuat kemampuan AI domestik mereka dan mengurangi ketergantungan pada teknologi luar.

"Large Language Models (LLMs) bukanlah alat mekanis yang memberikan manfaat seragam bagi semua pengguna. Sebaliknya, mereka merupakan alat intelektual yang berinteraksi dengan budaya dan kreativitas manusia. Pengaruhnya bersifat timbal balik, di mana tidak hanya data yang kita gunakan untuk melatih model-model ini yang mempengaruhi hasilnya, tetapi juga budaya kita dan data yang kita hasilkan akan dipengaruhi oleh LLMs," ungkap Rio Yokota, profesor di Global Scientific Information and Computing Center di Tokyo Institute of Technology.

"Karena itu, sangat penting untuk mengembangkan model AI berdaulat yang sesuai dengan norma budaya kita. Ketersediaan Llama-3-Swallow sebagai microservice NVIDIA NIM akan mempermudah para pengembang dalam mengakses dan menerapkan model tersebut untuk aplikasi-aplikasi di Jepang di berbagai sektor industri."

Microservices NIM dari NVIDIA memungkinkan berbagai entitas, termasuk bisnis, badan pemerintah, dan universitas, untuk menghosting model LLM secara lokal dalam lingkungan mereka sendiri. Ini memberikan kesempatan bagi pengembang untuk menciptakan copilot yang canggih, chatbot, dan asisten AI yang lebih inovatif. Microservices ini tersedia melalui NVIDIA AI Enterprise dan dioptimalkan untuk inferensi menggunakan pustaka NVIDIA TensorRT-LLM yang bersumber terbuka, menjanjikan peningkatan performa dan kecepatan penerapan.

Peningkatan kinerja yang signifikan dapat terlihat dengan microservices Llama 3 70B, yang merupakan dasar bagi penawaran baru Llama–3-Swallow-70B dan Llama-3-Taiwan-70B. Model-model ini menawarkan throughput hingga lima kali lebih tinggi dibandingkan sebelumnya, yang berdampak pada pengurangan biaya operasional serta pengalaman pengguna yang lebih baik berkat latensi yang minim.