Akamai Technologies mengumumkan implementasi Nvidia AI Grid sebagai bagian dari pengembangan Akamai Inference Cloud. Kerja sama ini bertujuan untuk menggeser infrastruktur AI dari model terpusat ke sistem terdistribusi berbasis jaringan edge.
Dalam implementasinya, Akamai akan mengoperasikan ribuan GPU Nvidia RTX PRO 6000 Blackwell Server Edition. GPU ini akan mendukung beban kerja AI, termasuk AI berbasis agen dan aplikasi real-time.
Adam Karon, Chief Operating Officer dan General Manager, Cloud Technology Group, Akamai, menyatakan bahwa pendekatan ini melampaui konsep AI factory yang berfokus pada pelatihan model di pusat data terpusat. Ia menambahkan, "Pabrik AI telah dirancang khusus untuk beban kerja pelatihan dan model terdepan — dan infrastruktur terpusat akan terus memberikan tokenomics terbaik untuk kasus penggunaan tersebut."
Dengan AI Grid, proses inferensi atau eksekusi model AI dipindahkan lebih dekat ke pengguna. Hal ini dilakukan melalui jaringan edge Akamai yang tersebar di lebih dari 4.400 lokasi global.
Pendekatan ini diharapkan dapat menekan latensi dan meningkatkan efisiensi biaya. Distribusi komputasi akan diatur secara dinamis melalui orkestrasi beban kerja, termasuk penggunaan teknik seperti caching semantik dan routing cerdas.
Secara teknis, Akamai menggabungkan infrastruktur edge dengan klaster GPU berkapasitas tinggi di pusat data. Kombinasi ini memungkinkan pemrosesan AI skala besar tetap berjalan di core, sementara inferensi dengan kebutuhan respons cepat dilakukan di edge.
Implementasi ini menargetkan beberapa sektor, termasuk game, layanan keuangan, media, hingga ritel. Dalam sektor game, interaksi NPC berbasis AI dapat dihadirkan dengan latensi di bawah 50 milidetik. Sementara itu, sektor keuangan dapat memanfaatkan sistem ini untuk deteksi penipuan dan personalisasi layanan secara real-time.
Di sisi lain, penyiaran dan media dapat menggunakan jaringan ini untuk transkoding dan dubbing berbasis AI secara langsung, tanpa jeda signifikan.
Nvidia menilai implementasi ini membuka peluang untuk pengembangan aplikasi AI generatif, agen, hingga AI fisik yang membutuhkan respons cepat dan skalabilitas global.
Akamai melihat model terdistribusi ini sebagai evolusi berikutnya dari infrastruktur AI. Hal ini didorong oleh meningkatnya kebutuhan inferensi dibandingkan pelatihan model. Dengan memindahkan komputasi lebih dekat ke pengguna, perusahaan berharap dapat memberikan performa yang lebih stabil sekaligus efisiensi operasional bagi pelanggan korporat.
