Google telah memperkenalkan inovasi terbarunya, TurboQuant, sebuah teknologi yang didesain untuk secara signifikan mengurangi konsumsi memori pada model Kecerdasan Buatan (AI). Pengembangan ini muncul sebagai respons atas meningkatnya biaya operasional AI modern, yang utamanya disebabkan oleh lonjakan kebutuhan data center dan kelangkaan komponen memori. Menurut keterangan resmi dari Google, TurboQuant berfungsi sebagai teknik kompresi data yang menjadikan model AI lebih efisien.
Metode yang digunakan TurboQuant dikenal sebagai 'quantization', yaitu proses representasi data dengan ukuran yang lebih ringkas tanpa mengorbankan akurasi secara signifikan. Fokus utama teknologi ini terletak pada komponen kunci AI yang disebut key-value cache (KV cache), tempat penyimpanan informasi percakapan atau konteks sebelumnya. Efisiensi ini memungkinkan pengurangan penggunaan memori hingga enam kali lipat, tanpa mengganggu kinerja model AI.
Saat pengguna berinteraksi dengan chatbot AI, sistem akan memproses input (query) dan mencocokkannya dengan data yang tersimpan. Proses ini melibatkan perhitungan kemiripan untuk menentukan respons yang paling sesuai, dengan hasil yang kemudian disimpan untuk mempercepat interaksi berikutnya. Namun, masalah muncul ketika interaksi berlangsung semakin panjang, menyebabkan data yang tersimpan di KV cache membesar dan mengonsumsi memori secara signifikan.
TurboQuant mengatasi tantangan ini dengan mengompresi data dalam KV cache secara real-time, bukan pra-operasi. Hal ini memastikan ukuran data tetap kecil sambil mempertahankan akurasi hasil pencarian. Model AI modern memerlukan memori besar karena harus mengelola volume data yang masif, menggunakan jendela konteks yang luas, dan menyimpan riwayat interaksi guna menghasilkan respons yang lebih tepat. Sebagai contoh, model AI terbaru mampu menangani konteks hingga jutaan token, jauh melampaui kemampuan generasi sebelumnya, yang secara otomatis meningkatkan permintaan memori dan penyimpanan data.
Dampak Efisiensi Terhadap Industri dan Data Center
Dikutip dari laporan ZDnet, lonjakan kebutuhan AI saat ini telah menyebabkan komponen vital seperti DRAM dan penyimpanan data menjadi semakin mahal dan langka. Sebagian besar kapasitas produksi memori dialihkan untuk memenuhi permintaan data center AI, yang kemudian berdampak pada sektor industri lainnya.
