Confluent Perkenalkan Fitur Integrasi Model AI dan Data

Di acara Kafka Summit Bangalore 2024, India, Confluent Inc. telah memperkenalkan kemampuan baru yang akan menyederhanakan integrasi kecerdasan buatan (Artificial Intelligence) dan memperluas akses stream processing terhadap berbagai workload.

Memudahkan Integrasi Data dan AI

Confluent akan segera menghadirkan AI Inference Model melalui Confluent Cloud for Apache Flink. Fitur ini bertujuan untuk menjawab tantangan integrasi mesin AI dan pipeline data. Salah satu masalah yang sering dihadapi dalam menerapkan AI, terutama AI generatif, adalah kebutuhan akan source data dengan berbagai jenis data. Namun, para pengembang sering kali harus menggunakan lebih dari satu tools dan bahasa pemrograman saat bekerja dengan model AI dan pemrosesan data. Hal ini mengakibatkan kompleksitas dan fragmentasi workload.

Dalam konteks ini, AI Model Inference memiliki peran penting dalam menyederhanakan pengembangan dan implementasi aplikasi AI. Dengan menggunakan sintaks SQL yang sederhana pada Apache Flink, para pengembang dapat memanggil mesin AI seperti OpenAI, AWS SageMaker, GCP Vertex, dan Microsoft Azure. Dengan cara ini, menurut Confluent perusahaan dapat melakukan cleasing data dan pemrosesan data dalam satu platform.

Shaun Clowes, Chief Product Officer di Confluent, menjelaskan bahwa AI Model Inference akan mengatasi kerumitan dalam menggunakan streaming data untuk pengembangan AI memungkinkan organisasi untuk berinovasi lebih cepat dan memberikan pengalaman pelanggan yang lebih baik.

Peran Apache Kafka dan Flink

Shaun Clowes juga menekankan peran Apache Kafka dan Flink, yang juga disediakan oleh Confluent, sebagai penghubung kunci untuk mendorong pengembangan aplikasi AI dan machine learning melalui data yang tersedia secara tepat waktu dan akurat. Beberapa manfaat yang ditawarkan fitur AI Model Inference termasuk menyederhanakan pengembangan AI karena pengembang dapat berinteraksi dengan model AI menggunakan sintaks SQL yang lebih mereka pahami. Koordinasi yang lebih lancar antara pemrosesan data dan alur kerja AI juga diharapkan akan meningkatkan efisiensi dan mengurai kompleksitas operasional.

Stream Processing di Environment Hybrid

Masih di acara Kafka Summit yang dihadiri oleh lebih dari 3000 peserta, Confluent juga memperkenalkan Confluent Platform for Apache Flink yang dijanjikan akan tersedia akhir tahun ini. Penawaran terbaru ini berupa layanan managed service yang memungkinkan pemrosesan aliran oleh distribusi Flink dilakukan di environment  on-premises atau hybrid.

Pelanggan Confluent Cloud tidak hanya dapat mengalirkan data dari satu sistem ke sistem lain secara real-time, tetapi juga dapat memodifikasi dan memproses data tersebut saat data dalam perjalanan. Layanan ini juga mendukung penggabungan beberapa aliran data menjadi satu aliran, sehingga perusahaan dapat memanfaatkan kemampuan tersebut untuk memperkaya informasi dengan data eksternal.

Auto Scaling untuk Workload Latensi Rendah

Confluent juga mengumumkan ketersediaan klaster auto-scaling baru, Freight Cluster, sebagai solusi yang lebih efektif biaya untuk menangani data-volume besar yang tidak terlalu sensitif terhadap latensi. Klaster auto scaling ini menggunakan CKU (Confluent Unit for Kafka) elastis, yang menentukan ingress, egress, koneksi dan permintaan maksimum yang dapat didukung oleh satu klaster. Dengan cara ini, Freight Cluster secara otomatis menyesuaikan skala berdasarkan permintaan tanpa perlu perencanaan ukuran atau kapasitas secara manual sehingga memungkinkan perusahaan meminimalkan biaya operasional dan mengoptimalkan biaya dengan hanya membayar sumber daya yang digunakan saat dibutuhkan.

Dengan hadirnya fitur-fitur baru ini, Confluent terus berupaya memperkuat posisinya dalam menghadirkan solusi-solusi inovatif dalam pengelolaan data dan integrasi AI, memungkinkan lebih banyak perusahaan untuk mengadopsi teknologi-teknologi canggih dengan lebih mudah dan efisien.