F5 resmi memperluas kolaborasi strategis dengan NVIDIA untuk mengoptimalkan infrastruktur inferensi kecerdasan buatan (AI) di Jakarta pada Selasa (5/5/2026). Kerja sama ini mengintegrasikan F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU untuk meningkatkan efisiensi operasional sistem.
Integrasi terbaru tersebut dirancang guna menciptakan lapisan infrastruktur cerdas yang mampu memangkas biaya operasional secara signifikan. Dilansir dari Medcom, solusi ini juga fokus pada peningkatan jumlah token throughput yang dihasilkan selama proses pengolahan data AI berlangsung.
Metrik keberhasilan industri saat ini mulai bergeser dari sekadar kapasitas unit pemroses grafis (GPU) menuju ekonomi token. Hal ini mencakup aspek throughput berkelanjutan, waktu respons awal atau time to first token (TTFT), serta pendapatan yang diperoleh dari setiap akselerator yang digunakan.
Sistem ini memanfaatkan statistik NVIDIA NIM serta telemetri GPU untuk melakukan pengambilan keputusan perutean (routing) berbasis inferensi secara real-time. Strategi tersebut memastikan setiap beban kerja diarahkan ke akselerator yang paling tepat guna menjaga utilisasi GPU dan menurunkan latensi komputasi.
"BIG-IP Next for Kubernetes menyediakan kecerdasan yang dibutuhkan untuk meningkatkan yield GPU serta mengurangi biaya per token agar organisasi dapat mengembangkan platform AI mereka dengan lebih percaya diri," kata Kunal Anand, Chief Product Officer F5.
Data pengujian independen dari The Tolly Group menunjukkan bahwa solusi ini mampu meningkatkan token throughput hingga 40 persen. Selain itu, kecepatan kemunculan token pertama meningkat 61 persen lebih cepat dengan penurunan latensi permintaan total sebesar 34 persen.
Kapasitas CPU host kini dapat terjaga untuk menjalankan fungsi utamanya dalam inferensi skala besar karena fungsi jaringan dan enkripsi telah dialihkan ke NVIDIA BlueField-3 DPU. Keunggulan infrastruktur cerdas ini dapat langsung diterapkan pada fasilitas AI factory tanpa perlu memodifikasi model kecerdasan buatan yang sudah ada.
