Lanskap evaluasi performa kecerdasan buatan generatif (GenAI) kini mengalami perubahan fundamental, beralih dari pengukuran hardware mentah ke pengalaman pengguna akhir. Menjawab kebutuhan ini, konsorsium MLCommons meluncurkan MLPerf Endpoints, sebuah rangkaian benchmark inferensi AI yang berfokus pada layanan GenAI.
Advanced Micro Devices (AMD) menjadi salah satu kolaborator awal dalam inisiatif ini, yang menandai komitmen perusahaan terhadap standar terbuka dan transparansi dalam evaluasi AI. Keterlibatan AMD sejak awal mencakup pendefinisian beban kerja, aturan, serta infrastruktur evaluasi baru tersebut, demikian dilansir dari Medcom.
Selama ini, standar performa GenAI sering diukur berdasarkan throughput token GPU. Namun, di era layanan AI terkelola, AMD menekankan bahwa kemampuan infrastruktur untuk menyajikan token secara efisien kepada pelanggan melalui API menjadi prioritas yang lebih krusial.
MLPerf Endpoints dirancang khusus untuk merefleksikan penggunaan dunia nyata pada layanan GenAI, dengan arsitektur berbasis API dan sistem pengiriman bergulir. Fitur ini memungkinkan pembaruan benchmark dilakukan secepat pembaruan perangkat lunak, menjaga relevansi hasil evaluasi di tengah perkembangan pesat model GenAI modern.
Emad Barsoum, Corporate VP AMD, menyatakan, "AMD telah lama mendukung standar terbuka dan benchmarking berbasis komunitas. Evaluasi yang transparan memberikan manfaat besar bagi seluruh ekosistem teknologi." Ia menambahkan bahwa MLPerf Endpoints memperluas semangat kolaboratif tersebut ke layanan generative AI.
David Kanter, Co-founder MLCommons, mengapresiasi kontribusi AMD dalam membangun standar ini menggunakan infrastruktur produksi nyata. Hal ini memperkuat posisi MLPerf sebagai standar industri yang terpercaya dan relevan dengan pengalaman pelanggan.
Komitmen AMD terhadap keterbukaan juga terlihat dalam tumpukan perangkat lunak AMD ROCm™. ROCm menyediakan fondasi terbuka untuk pengembangan AI, dirancang untuk mendukung kolaborasi ekosistem, transparansi, dan kompatibilitas luas pada perangkat lunak.
Guna memastikan hasil benchmark dapat diverifikasi secara luas, AMD juga secara konsisten mempublikasikan panduan reproduksibilitas untuk seluruh pengajuan MLPerf Inference dan Training menggunakan ROCm open-source dan framework AI open-source.
Ke depan, AMD berencana untuk terus mempublikasikan hasil kinerja pada GPU AMD Instinct mereka melalui kerangka kerja MLPerf Endpoints. Langkah ini diharapkan dapat memberikan gambaran performa yang lebih realistis dan transparan bagi para penyedia layanan serta perusahaan yang ingin mengadopsi teknologi GenAI dalam skala besar.
Pergeseran fokus menuju benchmark berbasis API dan komunitas ini sangat penting karena metodologi evaluasi semakin memengaruhi bagaimana infrastruktur AI dievaluasi, dipilih, dan dibeli. Melalui inisiatif ini, AMD menegaskan bahwa masa depan AI harus ditentukan oleh kombinasi performa canggih dan standar terbuka yang dikelola komunitas.
