Mengenal AI Inference, 'Otak' di Balik Respons AI

Ketika seseorang bertanya kepada chatbot berbasis Artificial Intelligence (AI) dan mendapatkan jawaban dalam hitungan detik, ada proses komputasi yang berlangsung di balik layar. Model AI harus menerima masukan, mengolahnya berdasarkan pola yang telah dipelajari, kemudian menghasilkan keluaran yang dianggap paling sesuai. Proses inilah yang dikenal sebagai AI inference.

Istilah AI inference mungkin terdengar teknis. Namun, konsep dasarnya sebenarnya cukup sederhana. Jika proses training merupakan tahap ketika model AI belajar dari kumpulan data, maka inference adalah tahap ketika model tersebut menggunakan hasil pembelajarannya untuk menjawab pertanyaan, mengenali objek, membuat prediksi, atau mengambil keputusan berdasarkan data baru.

AI inference menjadi salah satu komponen penting dalam perkembangan AI modern. Teknologi ini digunakan dalam berbagai layanan yang ditemui sehari-hari, mulai dari penyaring email spam, rekomendasi konten media sosial, penerjemah bahasa, sistem pengenalan wajah, hingga chatbot dan AI generatif.

Memahami AI Inference

Secara sederhana, AI inference adalah proses menggunakan model AI yang sudah dilatih untuk menghasilkan prediksi atau keluaran berdasarkan data yang belum pernah dilihat sebelumnya. Model AI tidak benar-benar "mengetahui" jawaban seperti manusia mengetahui suatu fakta. Model memanfaatkan pola yang dipelajari selama proses training untuk memperkirakan keluaran yang paling sesuai dengan masukan.

Sebagai contoh, sistem pendeteksi spam pada email telah dilatih menggunakan banyak contoh email. Sebagian merupakan email normal dan sebagian lainnya merupakan spam. Selama training, model mempelajari pola yang membedakan keduanya.

Ketika sebuah email baru masuk, model tidak mengetahui secara langsung bahwa email tersebut adalah spam. Model melakukan inference dengan membandingkan karakteristik email baru tersebut dengan pola yang sudah dipelajari. Berdasarkan perhitungan tersebut, sistem kemudian menentukan apakah email tersebut kemungkinan spam atau bukan.

Hal serupa terjadi pada model untuk memprediksi harga saham. Model tidak memiliki kemampuan untuk mengetahui masa depan. Model hanya menggunakan pola dari data historis dan informasi yang tersedia untuk memperkirakan kemungkinan pergerakan berikutnya.

Pada large language model (LLM), prosesnya bahkan dapat berlangsung berkali-kali dalam satu respons. LLM memperkirakan token berikutnya berdasarkan pola bahasa yang dipelajari dari data pelatihan. Proses tersebut terus dilakukan hingga terbentuk rangkaian teks yang menjadi jawaban bagi pengguna.

Sistem rekomendasi di media sosial juga menggunakan prinsip serupa. Platform dapat menganalisis konten yang pernah dilihat, disukai, dibagikan, atau dikomentari pengguna. Sistem kemudian menggunakan pola tersebut untuk memperkirakan konten lain yang kemungkinan menarik bagi pengguna.

Dengan demikian, AI inference sebenarnya hadir dalam banyak teknologi yang digunakan sehari-hari, meskipun pengguna sering kali tidak menyadari proses tersebut.

AI Training dan AI Inference, Apa Bedanya?

AI training dan AI inference merupakan dua proses yang berkaitan erat, tetapi memiliki tujuan berbeda.

AI training adalah proses ketika model belajar mengenali pola dari data. Sementara AI inference adalah proses ketika model yang sudah dilatih menggunakan pola tersebut untuk menghasilkan keluaran dari data baru. Dalam training, model diberikan kumpulan data dan diminta menghasilkan prediksi. Hasil prediksi tersebut kemudian dibandingkan dengan target yang diharapkan.

Pada supervised learning, misalnya, sistem menggunakan loss function untuk mengukur seberapa jauh prediksi model dari jawaban yang benar. Algoritma optimasi kemudian memperbarui parameter model agar kesalahan tersebut semakin kecil. Proses tersebut dilakukan berulang kali. Model terus membuat prediksi, menghitung kesalahan, memperbarui parameter, lalu kembali membuat prediksi hingga performanya mencapai tingkat yang dianggap memadai.

Pada reinforcement learning, konsepnya sedikit berbeda. Model belajar berdasarkan mekanisme penghargaan atau reward. Tujuannya adalah menemukan tindakan yang dapat menghasilkan nilai reward lebih tinggi. Training biasanya melibatkan dua proses utama, yaitu forward pass dan backward pass.

Pada forward pass, data masuk ke model dan model menghasilkan keluaran. Sementara pada backward pass, sistem menghitung bagaimana parameter model perlu diperbarui untuk meningkatkan hasil prediksi. Parameter yang diperbarui selama proses tersebut menjadi bagian dari apa yang disebut sebagai "pengetahuan" model.

Ketika training selesai dan model digunakan untuk aplikasi nyata, proses inference dimulai. Data baru diberikan kepada model dan model menghasilkan keluaran berdasarkan parameter yang telah dipelajari. Berbeda dari training, inference pada dasarnya hanya membutuhkan forward pass. Tidak ada proses pembaruan parameter model setiap kali pengguna mengirimkan masukan.

Meski demikian, training dan inference tidak selalu sepenuhnya terpisah. Model dapat terus diperbarui atau disempurnakan menggunakan data baru.

Contohnya adalah sistem rekomendasi pada platform digital. Model mungkin telah dilatih menggunakan data perilaku pengguna dalam jumlah besar. Ketika pengguna mulai menggunakan platform, sistem menjalankan inference untuk memberikan rekomendasi. Data mengenai interaksi pengguna selanjutnya dapat digunakan dalam proses penyempurnaan model sehingga rekomendasi berikutnya menjadi lebih sesuai.

Mengapa AI Inference Penting?

AI inference menjadi sangat penting karena sebagian besar aplikasi AI yang berinteraksi langsung dengan pengguna bergantung pada proses ini. Model AI yang sangat akurat tidak akan memberikan manfaat maksimal jika proses inference terlalu lambat, terlalu mahal, atau tidak dapat menangani jumlah permintaan yang besar.

Bayangkan sebuah chatbot yang membutuhkan waktu beberapa menit untuk menjawab setiap pertanyaan. Secanggih apa pun model di belakangnya, pengalaman pengguna akan terganggu. Hal serupa berlaku pada kendaraan otonom. Sistem harus dapat menganalisis kondisi jalan, mengenali kendaraan lain, membaca rambu, dan menentukan respons dalam waktu sangat singkat.

Karena itu, pengembangan AI bukan hanya tentang membuat model yang pintar. Pengembang juga harus memikirkan bagaimana model tersebut dijalankan secara cepat, efisien, dapat diskalakan, dan tetap ekonomis. Inilah salah satu alasan mengapa perangkat keras, algoritma, inference framework, serta arsitektur sistem memiliki peran besar dalam AI inference.

Jenis-Jenis AI Inference

Ada berbagai cara untuk menjalankan AI inference. Dua pendekatan paling mendasar adalah online inference dan batch inference. Selain itu, terdapat pendekatan di antara keduanya yang disebut micro-batching.

• Online Inference
  Pada online inference, data diproses segera setelah diterima, biasanya satu permintaan pada satu waktu. Metode ini diperlukan untuk aplikasi yang membutuhkan respons cepat atau pengambilan keputusan secara real-time.

  Contohnya adalah chatbot, penerjemahan bahasa secara langsung, kendaraan otonom, penawaran iklan digital, dan sistem penetapan harga dinamis. Dalam chatbot, misalnya, pengguna mengharapkan respons dalam waktu singkat. Sistem harus menerima pertanyaan, menjalankan model, kemudian mengirimkan jawaban tanpa jeda yang terlalu panjang.

  Kelebihan utama online inference adalah kecepatannya. Namun, konsekuensinya adalah kebutuhan komputasi dan biaya yang dapat lebih tinggi. Sistem harus selalu siap menerima dan memproses permintaan, termasuk ketika jumlah pengguna berubah secara tiba-tiba.

• Batch Inference
  Berbeda dengan online inference, batch inference memproses sejumlah besar data sekaligus dalam kelompok atau batch. Data tidak harus diproses segera setelah diterima. Sistem dapat mengumpulkan data terlebih dahulu, kemudian menjalankan model pada waktu yang telah ditentukan.

  Contohnya adalah perusahaan yang ingin membuat laporan berdasarkan aktivitas sepanjang hari. Daripada menjalankan inference setiap kali sebuah data masuk, seluruh data dapat dikumpulkan dan diproses sekaligus pada malam hari. Pendekatan ini biasanya lebih efisien dan hemat biaya karena perangkat keras dapat digunakan secara lebih optimal. GPU, misalnya, memiliki banyak core yang mampu menjalankan perhitungan secara paralel. Jika GPU hanya digunakan untuk memproses satu input kecil, sebagian kapasitasnya mungkin tidak terpakai.

  Dengan batch inference, banyak input dapat diproses secara bersamaan sehingga penggunaan perangkat keras menjadi lebih efisien. Batch inference juga dapat mengurangi biaya pemuatan parameter model ke memori. Model deep learning berukuran besar dapat memiliki miliaran weight. Parameter tersebut harus tersedia di memori ketika inference dijalankan. Dengan memproses banyak data dalam satu batch, biaya komputasi untuk memuat parameter dapat dibagi ke lebih banyak input.Kelemahannya, batch inference tidak cocok untuk aplikasi yang membutuhkan respons langsung.

• Micro-Batching
  Di antara online inference dan batch inference terdapat micro-batching. Sesuai namanya, metode ini memproses data dalam kelompok kecil. Tujuannya adalah meningkatkan throughput atau jumlah permintaan yang dapat diproses tanpa membuat pengguna menunggu terlalu lama. Pendekatan ini banyak digunakan dalam layanan berbasis cloud yang harus menangani permintaan dari banyak pengguna secara bersamaan.

  Misalnya, ribuan orang menggunakan chatbot pada waktu yang hampir bersamaan. Daripada memproses setiap permintaan sepenuhnya secara terpisah, sistem dapat mengelompokkan beberapa permintaan dan memprosesnya secara paralel. Cara tersebut membantu meningkatkan efisiensi perangkat keras dengan tetap mempertahankan waktu respons yang relatif cepat.

Hardware AI Inference

Model AI bekerja dengan melakukan sangat banyak operasi matematika. Salah satu operasi penting adalah perkalian matriks yang dilakukan berulang kali ketika model memproses data. Semakin besar model, semakin banyak pula perhitungan yang harus dilakukan.

Bayangkan sebuah LLM memiliki miliaran parameter. Ketika pengguna memberikan sebuah pertanyaan, sistem harus memasukkan data tersebut ke dalam model dan menjalankan serangkaian perhitungan pada parameter yang tersedia sebelum menghasilkan jawaban. Proses tersebut harus dilakukan dalam waktu singkat agar pengguna tidak perlu menunggu terlalu lama.

Di sinilah perangkat keras akselerator AI dibutuhkan. Berbeda dari CPU yang dirancang untuk menangani berbagai jenis pekerjaan secara fleksibel, akselerator seperti GPU memiliki banyak unit pemrosesan yang dapat bekerja secara paralel. Kemampuan tersebut sangat sesuai dengan karakteristik komputasi AI.

GPU Menjadi Mesin Utama AI
Graphics Processing Unit (GPU) awalnya dikenal sebagai perangkat untuk mengolah grafis komputer. GPU digunakan untuk menghasilkan gambar dan video, termasuk grafis tiga dimensi dalam video game. Namun, karakteristik GPU ternyata sangat cocok untuk AI.

Ketika membuat grafis tiga dimensi, GPU harus melakukan banyak perhitungan secara bersamaan. Misalnya, sistem perlu menghitung warna, cahaya, tekstur, dan posisi ribuan bahkan jutaan piksel. Model AI juga membutuhkan pola komputasi yang serupa. Jaringan saraf melakukan operasi matematika dalam jumlah sangat besar dan banyak di antaranya dapat dikerjakan secara paralel.

Kemampuan ini membuat GPU berkembang menjadi salah satu perangkat keras utama untuk training dan inference model AI. Perkembangan tersebut semakin pesat setelah hadirnya Compute Unified Device Architecture (CUDA) dari NVIDIA. CUDA memungkinkan pengembang memanfaatkan kemampuan komputasi paralel GPU untuk berbagai pekerjaan selain grafis.

Dengan dukungan perangkat keras dan ekosistem perangkat lunak tersebut, GPU kemudian banyak digunakan dalam pengembangan deep learning dan AI generatif.

TPU dan NPU untuk Kebutuhan yang Lebih Spesifik
GPU bukan satu-satunya perangkat yang dapat digunakan untuk AI inference. Ada Tensor Processing Unit (TPU) yang dikembangkan Google secara khusus untuk menangani komputasi jaringan saraf. TPU dirancang untuk melakukan operasi matematika yang umum digunakan oleh model AI dalam skala besar. Karena dirancang untuk tujuan yang lebih spesifik, TPU tidak memiliki fleksibilitas seperti GPU. Namun, pada jenis beban kerja tertentu, desain khusus tersebut dapat memberikan keuntungan dalam performa dan efisiensi energi. 

Sementara itu, Neural Processing Unit (NPU) banyak ditemukan pada smartphone, laptop, dan perangkat konsumen modern. NPU dirancang untuk menangani tugas AI secara efisien dengan konsumsi daya yang relatif rendah. Hal ini penting untuk perangkat yang menggunakan baterai. 

Misalnya, ketika smartphone menjalankan pengenalan wajah, pemrosesan foto, pengenalan suara, atau fitur AI lainnya, sebagian pekerjaan dapat ditangani langsung oleh NPU. Dengan demikian, tidak semua inference harus dikirim ke pusat data atau cloud.

FPGA dan ASIC, Dua Pendekatan Berbeda
Ada pula Field-Programmable Gate Array (FPGA). Perangkat ini dapat dikonfigurasi ulang sehingga cocok digunakan ketika kebutuhan komputasi berubah atau sebuah aplikasi memerlukan desain yang sangat khusus. FPGA menawarkan fleksibilitas, tetapi penggunaannya juga membutuhkan keahlian khusus dalam merancang dan mengoptimalkan konfigurasi perangkat.

Berbeda dengan FPGA, Application-Specific Integrated Circuit (ASIC) dibuat untuk menjalankan fungsi tertentu. Karena dirancang khusus, ASIC dapat mencapai efisiensi tinggi untuk tugas yang menjadi targetnya. Namun, perangkat tersebut tidak mudah diubah jika kebutuhan aplikasi berubah.

Secara sederhana, GPU dapat dianalogikan sebagai "pekerja serbaguna", sedangkan ASIC lebih seperti "mesin yang dibuat khusus untuk satu pekerjaan". TPU merupakan salah satu contoh ASIC yang dirancang untuk kebutuhan komputasi jaringan saraf.

Ketika Satu GPU Tidak Lagi Cukup

Masalah muncul ketika model AI menjadi terlalu besar. Model generasi baru dapat memiliki puluhan bahkan ratusan miliar parameter. Ukuran tersebut dapat membuat model tidak mampu dimuat sepenuhnya ke dalam memori satu GPU.

Selain itu, jumlah permintaan pengguna juga dapat meningkat sangat tinggi. Satu GPU mungkin tidak mampu melayani ribuan permintaan secara bersamaan dengan latensi yang diinginkan.

Solusinya adalah inference terdistribusi.

Dalam pendekatan ini, pekerjaan AI dibagi ke beberapa GPU atau prosesor. Masing-masing perangkat mengerjakan bagian tertentu dari pekerjaan sehingga keseluruhan sistem dapat menangani model atau beban kerja yang lebih besar. Ada beberapa metode untuk melakukannya. Tiga yang paling penting adalah data parallelism, pipeline parallelism, dan tensor parallelism.

• Data Parallelism: Model yang Sama, Data Berbeda
  Data parallelism merupakan konsep yang relatif mudah dipahami. Dalam metode ini, setiap GPU memiliki salinan model yang sama. Yang dibagi adalah datanya.

  Misalnya terdapat empat GPU. Keempat GPU tersebut memiliki model yang sama, tetapi masing-masing menerima kelompok input yang berbeda. GPU pertama memproses kelompok data A, GPU kedua menangani kelompok B, GPU ketiga mengerjakan kelompok C, dan GPU keempat memproses kelompok D. Karena pekerjaan dapat dilakukan secara bersamaan, jumlah data yang diproses dalam satu waktu dapat meningkat.

  Namun, ada persyaratan penting. Setiap GPU harus mampu menyimpan seluruh model di memorinya. Inilah yang menjadi masalah ketika berhadapan dengan LLM berukuran sangat besar. Jika model memiliki parameter terlalu banyak, satu GPU mungkin tidak memiliki memori yang cukup untuk menyimpan seluruh model. Dalam kondisi tersebut, data parallelism saja tidak menyelesaikan persoalan ukuran model.

• Pipeline Parallelism: Model Dibagi Berdasarkan Layer
  Pendekatan berikutnya adalah pipeline parallelism. Alih-alih memberikan salinan model lengkap kepada setiap GPU, model dibagi berdasarkan lapisan atau layer.Misalnya sebuah model memiliki 12 layer dan menggunakan tiga GPU. Empat layer pertama dapat ditempatkan pada GPU pertama, empat layer berikutnya pada GPU kedua, dan empat layer terakhir pada GPU ketiga. Data kemudian bergerak melalui ketiga GPU tersebut secara berurutan.

  GPU pertama memproses bagian awal model. Hasilnya dikirim ke GPU kedua untuk diproses lebih lanjut. Setelah itu, hasil dari GPU kedua dikirim ke GPU ketiga untuk menghasilkan keluaran akhir. Metode ini memungkinkan model yang terlalu besar untuk satu GPU dibagi ke beberapa perangkat.

  Namun, terdapat tantangan berupa waktu tunggu. Pada awal proses, GPU kedua harus menunggu hasil dari GPU pertama. GPU ketiga juga harus menunggu hasil dari GPU kedua. Jika tidak diatur dengan baik, sebagian GPU akan menganggur.

  Untuk mengurangi waktu menganggur tersebut, sistem dapat menggunakan mini-batch. Data dibagi menjadi kelompok-kelompok kecil sehingga ketika satu GPU melanjutkan pemrosesan, GPU lain dapat mengerjakan kelompok data berikutnya. Dengan cara ini, beberapa GPU dapat bekerja secara bersamaan seperti lini produksi di sebuah pabrik.

• Tensor Parallelism: Satu Layer Dibagi ke Banyak GPU
  Bagaimana jika satu layer saja sudah terlalu besar untuk dimuat dalam satu GPU?

  Di sinilah tensor parallelism dapat digunakan. Dalam metode ini, bukan hanya keseluruhan model yang dibagi, tetapi bagian-bagian dalam sebuah layer atau tensor juga dapat dibagi ke beberapa GPU. Sebagai gambaran sederhana, bayangkan sebuah buku yang terlalu besar untuk dibawa satu orang. Buku tersebut dibagi menjadi beberapa bagian dan masing-masing bagian dibawa oleh orang yang berbeda.

  Pada tensor parallelism, masing-masing GPU menangani sebagian tensor atau bobot model. Setelah perhitungan dilakukan, hasil dari berbagai GPU perlu digabungkan untuk menghasilkan keluaran yang benar. Keuntungan utamanya adalah kebutuhan memori pada masing-masing GPU dapat dikurangi karena setiap perangkat hanya menyimpan sebagian model.

  Namun, metode ini membutuhkan komunikasi antargpu yang lebih intensif. Sistem harus terus bertukar informasi agar hasil perhitungan dari setiap perangkat dapat digabungkan dengan benar. Semakin banyak perangkat yang digunakan, semakin penting pula efisiensi komunikasi antar GPU.

Dalam inference terdistribusi, kemampuan GPU bukan satu-satunya faktor yang menentukan performa. Kecepatan komunikasi antarperangkat juga sangat penting. Bayangkan beberapa pekerja yang harus menyelesaikan satu pekerjaan bersama. Jika mereka dapat berkomunikasi dengan cepat, pekerjaan dapat diselesaikan secara efisien.

Sebaliknya, jika mereka harus menunggu lama untuk mengirim dan menerima informasi, tambahan jumlah pekerja belum tentu memberikan peningkatan performa yang sebanding.

Hal serupa terjadi pada sistem AI.

Pada tensor parallelism dan pipeline parallelism, GPU perlu bertukar data. Jika koneksi antar-GPU lambat, waktu yang dihabiskan untuk komunikasi dapat mengurangi manfaat dari penggunaan banyak GPU. Karena itu, sistem AI skala besar tidak hanya membutuhkan GPU yang kuat, tetapi juga memerlukan infrastruktur komunikasi dan memori yang mampu mengikuti kebutuhan komputasinya.

Framework Membantu Mengatur Inference

Mengelola model AI yang tersebar di banyak GPU bukan pekerjaan sederhana. Pengembang harus menentukan bagaimana model dibagi, bagaimana data didistribusikan, kapan perangkat berkomunikasi, serta bagaimana penggunaan memori dioptimalkan.

Untuk membantu pekerjaan tersebut, tersedia berbagai framework dan perangkat lunak optimasi.

Salah satu contoh yang banyak digunakan dalam ekosistem LLM adalah vLLM. Framework seperti ini dapat membantu pengembang menjalankan model bahasa berukuran besar dengan penggunaan sumber daya yang lebih efisien.

Dengan adanya lapisan perangkat lunak tersebut, pengembang tidak selalu harus mengatur seluruh mekanisme inference terdistribusi dari awal.

Di Mana AI Inference Dijalankan?

Selain menentukan jenis perangkat keras, pengembang juga harus menentukan lokasi menjalankan inference. Secara umum terdapat empat lingkungan utama, yaitu on-premise, cloud, edge, dan on-device.

• On-Premise
  Dalam deployment on-premise, organisasi menjalankan model AI menggunakan server dan perangkat keras yang dimiliki serta dikelola sendiri. Keuntungannya adalah kontrol terhadap data dan infrastruktur lebih besar. Pendekatan ini dapat menjadi pertimbangan penting bagi organisasi yang menangani data sensitif atau memiliki persyaratan keamanan dan privasi tertentu

  .Namun, organisasi harus menyediakan investasi awal untuk membeli perangkat keras serta tenaga IT untuk mengelolanya.

• Cloud
  Pada cloud deployment, model AI dijalankan pada server milik penyedia layanan cloud. Organisasi tidak perlu membeli seluruh perangkat keras sendiri. Kapasitas komputasi juga dapat ditingkatkan ketika permintaan meningkat.

  Cloud menawarkan fleksibilitas dan skalabilitas, tetapi penggunaan layanan eksternal juga menghadirkan pertimbangan mengenai biaya, latensi, privasi, dan pengelolaan data.

• Edge
  Edge deployment menempatkan kemampuan komputasi lebih dekat dengan sumber data. Contohnya adalah pabrik yang memiliki berbagai sensor pada lini produksi. Data dari sensor dapat diproses di lingkungan edge tanpa harus selalu dikirim ke pusat data yang jauh. Pendekatan ini dapat mengurangi latensi dan membantu menjaga data tetap dekat dengan sumbernya.

  Namun, perangkat edge biasanya memiliki kemampuan komputasi yang lebih terbatas dibandingkan server cloud. Pengelolaan banyak perangkat edge juga dapat menjadi tantangan tersendiri.

• On-Device
  Pada on-device deployment, inference berjalan langsung pada perangkat pengguna seperti smartphone atau laptop. Contohnya adalah pengenalan wajah, fitur kamera berbasis AI, dan speech-to-text. Keuntungan pendekatan ini adalah data dapat diproses langsung pada perangkat sehingga tidak selalu perlu dikirim ke server eksternal. Respons juga dapat lebih cepat untuk tugas tertentu.

  Namun, kemampuan perangkat konsumen tetap memiliki batas. Smartphone, misalnya, tidak memiliki kapasitas komputasi dan memori sebesar infrastruktur AI yang digunakan di pusat data.

Tantangan AI Inference

Seiring semakin banyaknya aplikasi yang menggunakan AI, inference menghadirkan sejumlah tantangan. Salah satunya adalah latensi. Pengguna mengharapkan AI memberikan respons dengan cepat, terutama pada aplikasi interaktif.

Tantangan berikutnya adalah biaya. Model AI berukuran besar membutuhkan perangkat keras berperforma tinggi dan energi dalam jumlah besar. Ada pula persoalan skalabilitas. Sebuah layanan mungkin hanya memiliki sedikit pengguna pada awalnya, tetapi jumlah permintaan dapat meningkat berkali-kali lipat ketika layanan tersebut semakin populer.

Pengembang juga harus mempertimbangkan privasi dan keamanan data, terutama ketika inference melibatkan informasi sensitif. Karena itu, menentukan arsitektur inference bukan sekadar memilih GPU tercepat. Pengembang harus mempertimbangkan kebutuhan aplikasi secara keseluruhan, mulai dari ukuran model, jumlah pengguna, kebutuhan latensi, kapasitas memori, lokasi data, hingga anggaran.

AI Inference Akan Semakin Penting

Perkembangan AI generatif membuat AI inference semakin mendapat perhatian. Model yang semakin besar dan aplikasi yang semakin banyak digunakan berarti kebutuhan komputasi untuk menghasilkan setiap respons juga meningkat.

Namun, tujuan akhirnya bukan sekadar membuat AI menjadi semakin besar. Tantangan penting berikutnya adalah bagaimana menjalankan model tersebut dengan lebih cepat, efisien, hemat energi, dan terjangkau. AI inference menjadi jembatan antara model AI yang telah belajar di pusat data dengan aplikasi yang digunakan masyarakat dalam kehidupan sehari-hari.

Mulai dari rekomendasi video, filter kamera, chatbot, penerjemah bahasa, sistem keamanan, hingga kendaraan otonom, semuanya membutuhkan kemampuan model untuk mengolah data baru dan menghasilkan keluaran secara tepat.

Kesimpulan

AI inference adalah proses ketika model AI yang telah dilatih digunakan untuk menghasilkan prediksi, jawaban, atau keputusan berdasarkan data baru. Cara paling sederhana untuk mengingatnya adalah: training merupakan proses ketika AI belajar, sedangkan inference merupakan proses ketika AI menggunakan hasil pembelajarannya.

Inference menjadi bagian penting dari hampir semua aplikasi AI modern, mulai dari chatbot, rekomendasi media sosial, pendeteksi spam, pengenalan wajah, penerjemahan bahasa, hingga kendaraan otonom. Proses tersebut dapat dilakukan secara online untuk kebutuhan real-time, secara batch untuk mengutamakan efisiensi, atau menggunakan micro-batching sebagai pendekatan di antara keduanya. Inference juga dapat dijalankan di server milik sendiri, cloud, perangkat edge, maupun langsung pada smartphone atau komputer pengguna.

Pada akhirnya, keberhasilan sebuah sistem AI tidak hanya ditentukan oleh seberapa pintar model yang digunakan. Cara model tersebut dijalankan juga menentukan seberapa cepat, efisien, aman, dan terjangkau AI dapat digunakan di dunia nyata.