Akamai Technologies mengumumkan peluncuran implementasi skala global pertama dari desain referensi NVIDIA AI Grid. Langkah ini menandai evolusi industri dari "pabrik AI" yang terisolasi menuju grid terdistribusi untuk inferensi AI.
Infrastruktur AI NVIDIA diintegrasikan ke dalam jaringan Akamai, memanfaatkan orkestrasi beban kerja cerdas untuk mendistribusikan inferensi AI di seluruh jaringan edge, regional, dan inti.
Sebagai langkah maju dalam pengembangan Akamai Inference Cloud yang diperkenalkan tahun lalu, implementasi AI Grid ini menjadikan Akamai perusahaan pertama yang melakukannya. Akamai mengerahkan ribuan unit GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, menyediakan platform terdistribusi bagi perusahaan untuk menjalankan AI berbasis agen dan fisik dengan respons komputasi lokal dan skalabilitas jaringan web global.
Menurut Adam Karon, Chief Operating Officer and General Manager, Cloud Technology Group Akamai, infrastruktur terpusat akan terus memberikan tokenomics terbaik untuk pelatihan model. Namun, aplikasi modern menuntut proses inferensi di titik kontak.
Orkestrasi cerdas AI Grid Akamai berfungsi sebagai perantara real-time untuk permintaan AI, mengarahkan beban kerja AI ke 4.400 lokasi edge untuk menyeimbangkan latensi, biaya, dan kinerja.
Orkestrator cerdas yang menerapkan keahlian Akamai dalam optimalisasi kinerja aplikasi ke bidang AI menjadi inti dari sistem ini. Bidang kendali yang peka terhadap beban kerja ini mengoptimalkan tokenomics dengan meningkatkan efisiensi biaya per token, waktu hingga token pertama, dan throughput.
Kemampuan Akamai untuk memungkinkan pelanggan mengakses model yang disesuaikan melalui jangkauan edge globalnya memberikan keunggulan dalam hal biaya dan kinerja untuk beban kerja AI skala kecil. Efisiensi biaya skala besar juga dicapai dengan menyesuaikan beban kerja secara otomatis, didukung oleh Akamai Cloud yang dibangun di atas infrastruktur open source dengan kuota lalu lintas keluar yang besar.
Jaringan edge global Akamai yang tersebar di lebih dari 4.400 lokasi memungkinkan responsivitas real-time. Studio game dapat menghadirkan interaksi NPC berbasis AI dengan waktu respons di bawah 50 milidetik, dan lembaga keuangan dapat melakukan deteksi penipuan yang dipersonalisasi dan memberikan rekomendasi pemasaran dengan cepat.
Infrastruktur ini dibangun berbasis NVIDIA AI Enterprise serta memanfaatkan arsitektur NVIDIA Blackwell dan NVIDIA BlueField DPU untuk jaringan dan keamanan yang dipercepat perangkat keras.
Akamai telah melihat adopsi awal yang kuat terhadap Akamai Inference Cloud di berbagai industri, termasuk Gaming, Layanan Keuangan, Media dan Video (untuk transcoding berbasis AI dan dubbing real-time), serta Ritel dan Perdagangan (untuk aplikasi AI di dalam toko). Platform ini juga telah diakui oleh penyedia teknologi terkemuka, termasuk perjanjian layanan senilai USD200 juta selama empat tahun untuk klaster yang terdiri dari ribuan GPU.
Akamai Inference Cloud kini telah tersedia bagi pelanggan korporat yang memenuhi syarat, dan berbagai organisasi dapat mengajukan permohonan akses.
