Cloudera Ungkap Cara Perusahaan Manfaatkan AI dan Cloud di 2024

Tren penggunaan generative artificial intelligence (AI) atau AI generatif semakin meningkat pesat. Menyikapi fenomena ini, Cloudera meramalkan bahwa berbagai organisasi akan semakin intensif menggunakan teknologi AI generatif dengan fokus pada pengelolaan data. Dalam pandangan Cloudera, pergeseran ini akan membawa dampak signifikan dalam berbagai sektor industri.

Sebelumnya, "Generative Design AI" muncul di ujung siklus hype cycle Gartner untuk teknologi baru. Namun, saat ini, Gartner memandang AI generatif sudah mendekati fase  “peak of inflated expectations.” Hal ini tidak terlepas dari manfaat yang dirasakan dari AI generatif, yang berpotensi mengotomatisasi sebagian besar aktivitas kerja yang memakan banyak waktu.

Menurut laporan McKinsey tahun 2023, AI generatif dan teknologi sejenis memiliki potensi untuk mengotomatisasi sebagian besar aktivitas kerja karyawan. Fakta ini didukung oleh riset IDC yang menyatakan bahwa dua pertiga organisasi di Asia Pasifik sedang mengeksplorasi atau berinvestasi pada Gen AI di tahun 2023.

Cloudera meramalkan beberapa hal terkait penggunaan AI generatif dan cloud di tahun 2024:

1. Pengembangan MLOps dan Integrasi Data

Privasi data menjadi tantangan yang signifikan bagi organisasi yang ingin memanfaatkan ChatGPT dan Large Language Model (LLM) berbasis SaaS. Dalam konteks ini, pertanyaan, jawaban, dan data kontekstual seringkali bersifat sensitif, menimbulkan kebutuhan akan perlindungan data yang kuat. Meskipun demikian, LLM berbasis open source, seperti Llama-v2, telah berkembang pesat dan menjadi alternatif yang layak. 

Namun, kendala muncul ketika model AI generatif sulit untuk dipindahkan dari laboratorium ke produksi dengan cara yang terukur dan andal. Terlebih lagi, model ini sering digunakan bersama di antara beberapa aplikasi, yang menciptakan tantangan integrasi data yang lebih kompleks dibandingkan dengan model machine learning. 

Oleh karena itu, Cloudera memperkirakan bahwa di tahun 2024, organisasi akan memusatkan perhatian pada pengembangan MLOps dan kemampuan integrasi data yang kuat, guna mengatasi tantangan ini dan meningkatkan efektivitas operasional mereka.

2. RAG dan Pendekatan Optimalisasi Large Language Model (LLM)

Dalam upaya untuk mengoptimalkan kinerja Large Language Model (LLM), beberapa pendekatan telah dikembangkan, termasuk Prompt Engineering, Retrieval Augmented Generation (RAG), dan Fine-Tuning. RAG, sebagai salah satu pendekatan yang terbukti efektif, menggunakan konten dari basis pengetahuan untuk memperkaya prompt dan memberikan konteks yang diperlukan. 

Cloudera mencatat bahwa RAG tidak memerlukan pelatihan atau penyesuaian LLM secara khusus, tetapi membutuhkan jalur rekayasa data untuk memelihara repository basis pengetahuan dan database vektor khusus. Cloudera memprediksi bahwa RAG akan tetap menjadi pendekatan yang banyak diakses oleh banyak organisasi pada tahun 2024. 

Sementara itu, pendekatan fine-tuning, seperti Performance Efficient Fine Tuning (PEFT), menjadi populer pada tahun 2023. Meskipun penyempurnaan LLM membutuhkan kemampuan machine learning yang lebih besar, pendekatan fine-tuning ini menghasilkan efisiensi dan explain ability yang lebih baik, terutama ketika data pelatihan terbatas. 

Cloudera memperkirakan bahwa pendekatan fine-tuning seperti PEFT akan semakin banyak digunakan oleh organisasi di tahun 2024, baik untuk proyek baru maupun sebagai pengganti beberapa arsitektur RAG sebelumnya. Cloudera berharap bahwa pendekatan ini akan banyak diadopsi oleh organisasi yang memiliki tim data science yang kompeten.

3. Beralih dari Cloud-First ke Cloud-Considered

Terjadi pergeseran strategi yang menarik dalam penggunaan teknologi cloud, di mana organisasi beralih dari pendekatan cloud-first ke cloud-considered. Cloud computing tetap menjadi teknologi yang transformasional dan krusial dalam strategi data perusahaan, menurut prediksi Cloudera. 

Pada tahun sebelumnya, beberapa organisasi telah menyesuaikan strategi mereka, mengubah pendekatan dari cloud-first menjadi lebih seimbang dan cermat. Transisi ini dipicu oleh berbagai faktor, termasuk ekonomi cloud untuk workload analitik yang terprediksi, kepatuhan peraturan data, dan kebijakan fiskal organisasi. 

Struktur data yang dihasilkan dari cloud publik dan privat memberikan fondasi bagi pendekatan manajemen data yang pintar, otomatis, dan berbasis kebijakan, menegaskan betapa pentingnya keseimbangan dalam mempertimbangkan berbagai faktor dalam mengadopsi teknologi cloud.

4. Prioritas Otomatisasi, Demokratisasi Data, dan Keamanan Zero-Trust

Kebutuhan akan otomasi dan manajemen platform data yang cerdas menjadi semakin penting seiring dengan pertumbuhan volume dan akuisisi data yang melonjak. Cloudera memperkirakan bahwa peran observability terhadap infrastruktur, platform, dan beban kerja akan semakin meningkat di tahun ini. Para praktisi data juga akan mendorong praktik demokratisasi data dan opsi self-service, sejalan dengan prinsip Data Mesh yang menekankan pemberdayaan tim data dan analis bisnis untuk mendapatkan wawasan yang lebih luas tanpa tergantung pada "penjaga" gerbang data.

Organisasi dan penyedia teknologi akan fokus pada penghapusan hambatan dalam setiap tahapan siklus data dan meningkatkan akses ke data real-time. Sementara itu, arsitektur hybrid cloud native, adopsi layanan SaaS, dan platform-as-a-service (PaaS) pihak ketiga, bersama dengan penguatan keamanan siber, akan terus mendorong perhatian pada keamanan data, konsep zero-trust, dan klarifikasi tanggung jawab dalam pengelolaan data. 

Cloudera memperkirakan bahwa teknologi akan semakin menyederhanakan penerapan dan penegakan zero-trust di organisasi, sejalan dengan meningkatnya fokus pada federasi data.

5. Migrasi ke Arsitektur Open Data Lakehouse

Pada tahun 2022, dunia menyaksikan inovasi yang signifikan dalam implementasi data lakehouse. Apache Iceberg menjadi pusat perhatian para penyedia solusi manajemen data terkemuka sebagai format utama. Adopsi yang cepat terhadap Iceberg mempengaruhi beberapa penyedia solusi manajemen data untuk mengubah strategi open source mereka dan memperkuat dukungan pada produk mereka. 

Di tahun ini, Cloudera memproyeksikan bahwa migrasi data dan workload ke arsitektur open data lakehouse akan terus berlanjut, baik dalam lingkungan public cloud maupun private cloud. Hal ini mencerminkan dorongan kuat menuju model arsitektur yang lebih terbuka dan fleksibel dalam pengelolaan data.

Tren dan prediksi ini menunjukkan bahwa tahun 2024 akan menjadi tahun yang menarik dalam pengembangan dan penerapan AI generatif serta teknologi cloud di berbagai sektor industri. Cloudera optimis bahwa inovasi dan adaptasi akan membawa manfaat besar bagi perusahaan dan organisasi yang siap mengikuti perkembangan teknologi ini.