HBF Jadi Terobosan Baru SK Hynix dan Sandisk untuk Mengatasi Hambatan Memori AI

Update Tekno – Perkembangan kecerdasan buatan kini menghadapi tantangan yang tidak hanya berkaitan dengan kemampuan komputasi. Kapasitas dan kecepatan memori juga menjadi persoalan penting. Model AI modern dapat membawa ratusan miliar hingga triliunan parameter. Akibatnya, kebutuhan untuk menyimpan sekaligus mengakses data meningkat secara drastis. Selama ini, High Bandwidth Memory atau HBM menjadi salah satu komponen utama akselerator AI. Memori tersebut menawarkan bandwidth hingga beberapa terabyte per detik. Namun, kapasitasnya sulit ditingkatkan tanpa menambah biaya dan kompleksitas sistem. Kondisi inilah yang membuka ruang bagi teknologi HBF untuk AI. SK Hynix dan Sandisk mencoba menghadirkan lapisan memori baru yang menjembatani HBM dan solid-state drive atau SSD. Pendekatan tersebut menarik karena industri AI membutuhkan bukan hanya prosesor semakin cepat. Sistem juga memerlukan tempat penyimpanan berkapasitas besar yang mampu menyediakan data dengan cepat ketika akselerator membutuhkannya.

Memory Wall Mulai Menjadi Hambatan Serius Infrastruktur AI

Model AI semakin besar, sementara akselerator komputasi berkembang dengan sangat cepat. Sayangnya, peningkatan kemampuan tersebut menciptakan masalah baru yang dikenal sebagai memory wall. Istilah ini menggambarkan kondisi ketika kemampuan komputasi berkembang lebih cepat dibandingkan kapasitas sistem memori untuk menyediakan data. GPU mungkin mampu melakukan kalkulasi dalam jumlah sangat besar. Namun, kemampuan tersebut tidak selalu dapat dimanfaatkan maksimal jika data tidak tersedia cukup cepat. Persoalan semakin rumit ketika ukuran model melampaui kapasitas HBM yang tersedia pada akselerator. Selain mahal, HBM memerlukan ruang fisik khusus dalam paket komputasi. Oleh karena itu, produsen tidak dapat menambahkan kapasitas secara bebas. Di sisi lain, menyimpan sebagian besar parameter pada SSD juga bukan solusi sempurna. SSD memang menawarkan kapasitas lebih besar dengan harga relatif rendah. Akan tetapi, perpindahan data melalui jalur seperti PCIe membawa latensi tambahan. Dalam skala pusat data AI, perbedaan tersebut dapat memengaruhi efisiensi keseluruhan sistem.

HBM Sangat Cepat tetapi Memiliki Keterbatasan Kapasitas

HBM menjadi komponen penting dalam revolusi AI karena mampu mengirim data dalam jumlah besar menuju GPU atau akselerator. Posisi memori yang dekat dengan prosesor membantu mengurangi hambatan komunikasi. Karena itu, teknologi tersebut sangat efektif untuk beban kerja AI yang membutuhkan transfer data intensif. Namun, performa tinggi membawa konsekuensi. HBM membutuhkan desain kemasan yang kompleks dan ruang pada interposer di sekitar akselerator. Selain itu, biaya produksinya relatif tinggi dibandingkan penyimpanan berbasis NAND. Artinya, menambahkan HBM dalam jumlah sangat besar bukan langkah sederhana. Ketika ukuran model AI terus bertambah, keterbatasan tersebut semakin terasa. Inilah alasan teknologi HBF untuk AI menjadi menarik. HBF tidak dirancang untuk menggantikan seluruh fungsi HBM. Sebaliknya, teknologi ini dapat memberikan lapisan kapasitas tambahan. Dengan pendekatan bertingkat, data yang membutuhkan akses tercepat tetap berada di HBM. Sementara itu, parameter lain dapat ditempatkan pada HBF sesuai kebutuhan sistem.

HBF Menawarkan Jalan Tengah antara HBM dan SSD

Konsep High Bandwidth Flash atau HBF pada dasarnya mencoba mengisi ruang kosong antara dua teknologi penyimpanan. Pada satu sisi terdapat HBM yang sangat cepat, tetapi mahal dan terbatas kapasitasnya. Sementara itu, SSD menawarkan kapasitas jauh lebih besar, tetapi akses datanya lebih lambat. HBF mencoba mengambil posisi di tengah. Teknologi tersebut menggunakan NAND flash berdensitas tinggi dengan rancangan yang memungkinkan kapasitas besar ditempatkan dekat dengan komponen komputasi. Berdasarkan konsep yang dikembangkan, tumpukan HBF dapat menggunakan konfigurasi delapan hingga 16 lapisan die. Satu tumpukan bahkan ditargetkan menyediakan kapasitas hingga sekitar 512 GB. Kapasitas sebesar itu dapat menjadi tambahan penting bagi akselerator yang menjalankan model AI berskala besar. Selain itu, HBF menggunakan pendekatan near-memory. Dengan kata lain, penyimpanan ditempatkan lebih dekat dengan sistem komputasi dibandingkan SSD konvensional. Pendekatan tersebut diharapkan mampu memangkas perjalanan data yang selama ini menjadi salah satu sumber keterlambatan.

Baca Juga : Apple Uji Chip Memori China untuk Hadapi Krisis Pasokan Komponen

NAND Flash Mendapat Peran Baru dalam Era Kecerdasan Buatan

NAND flash bukan teknologi baru. Komponen tersebut telah lama menjadi fondasi berbagai SSD, kartu memori, dan perangkat penyimpanan modern. Namun, kebutuhan AI memberikan kesempatan baru bagi NAND untuk mengambil peran lebih dekat dengan pusat komputasi. Dalam HBF, NAND tidak sekadar berfungsi sebagai tempat penyimpanan berkapasitas besar. Teknologi tersebut dirancang agar dapat menjadi bagian dari hierarki memori AI. Pendekatan ini penting karena tidak semua data membutuhkan kecepatan akses setara HBM setiap saat. Sebagian parameter model dapat disimpan sementara pada lapisan yang lebih lambat, kemudian dipindahkan ketika diperlukan. Karena itu, teknologi HBF untuk AI berpotensi meningkatkan efisiensi pemanfaatan memori. Sistem tidak perlu menempatkan seluruh parameter pada HBM yang lebih mahal. Menurut saya, konsep tersebut menunjukkan perubahan menarik dalam desain infrastruktur AI. Industri mulai mencari solusi bukan hanya dengan mempercepat satu komponen, tetapi juga dengan mengatur lokasi data berdasarkan seberapa cepat data tersebut perlu diakses.

Model Mixture of Experts Bisa Mendapat Manfaat Besar

HBF berpotensi menjadi sangat relevan untuk model AI dengan arsitektur Mixture of Experts atau MoE. Arsitektur ini memiliki banyak kelompok parameter yang disebut experts. Namun, hanya sebagian dari kelompok tersebut yang digunakan ketika model memproses sebuah token. Pola tersebut menciptakan kebutuhan memori yang unik. Model tetap membutuhkan kapasitas besar untuk menyimpan seluruh parameter, tetapi tidak semuanya harus tersedia pada lapisan memori tercepat secara bersamaan. Karena itu, HBF dapat menjadi tempat penyimpanan bagi parameter yang sedang tidak aktif. Ketika sebuah expert diperlukan, sistem dapat memindahkan data tersebut menuju lapisan memori yang lebih cepat. Pendekatan seperti ini berpotensi mengurangi tekanan terhadap kapasitas HBM. Selain itu, sistem dapat menjalankan model lebih besar tanpa harus meningkatkan HBM secara ekstrem. Meski demikian, performa akhirnya tetap bergantung pada bandwidth, latensi, perangkat lunak, dan mekanisme pemindahan data. Oleh sebab itu, HBF harus bekerja sebagai bagian dari arsitektur memori yang terintegrasi, bukan sebagai komponen yang berdiri sendiri.

AI Inference Menjadi Salah Satu Target Utama Penggunaan HBF

Tahap inference terjadi ketika model yang sudah dilatih digunakan untuk menghasilkan jawaban, gambar, prediksi, atau keluaran lainnya. Pada tahap ini, model harus mengakses parameter secara berulang ketika menerima permintaan pengguna. Jika ukuran model sangat besar, seluruh parameter mungkin tidak dapat ditempatkan dalam HBM. Kondisi tersebut membuat hierarki memori semakin penting. Teknologi HBF untuk AI dapat memberikan ruang tambahan bagi parameter yang tidak membutuhkan akses instan setiap saat. Kemudian, sistem dapat menentukan data mana yang tetap berada pada HBM dan data mana yang dipindahkan ke HBF. Strategi ini berpotensi meningkatkan kapasitas model yang dapat dijalankan oleh sebuah sistem. Selain itu, pusat data dapat memperoleh fleksibilitas lebih besar ketika mengatur sumber daya. Namun, HBF tetap memiliki karakteristik NAND sehingga kecepatannya tidak otomatis menyamai DRAM atau HBM. Oleh karena itu, keberhasilan teknologi ini akan sangat bergantung pada kemampuan sistem mengelola perpindahan parameter tanpa menciptakan hambatan baru.

SK Hynix dan Sandisk Melihat Peluang Besar dari Hierarki Memori

Keterlibatan SK Hynix dan Sandisk memperlihatkan besarnya peluang bisnis yang muncul dari perubahan arsitektur pusat data AI. SK Hynix sudah memiliki posisi kuat dalam industri memori berperforma tinggi. Sementara itu, Sandisk memiliki pengalaman panjang pada teknologi penyimpanan berbasis flash. HBF mempertemukan dua dunia tersebut dalam kebutuhan yang sama, yakni memperbesar kapasitas memori dekat akselerator tanpa mengandalkan HBM sepenuhnya. Pengembangan teknologi ini juga melibatkan mitra dalam ekosistem AI, termasuk Google DeepMind dan Tenstorrent. Kolaborasi menjadi penting karena standar memori baru membutuhkan dukungan lebih luas daripada sekadar produsen chip. Desainer akselerator, pengembang perangkat lunak, dan operator pusat data juga perlu menyesuaikan sistem mereka. Dengan demikian, persaingan AI ke depan kemungkinan tidak hanya berpusat pada siapa yang memiliki GPU tercepat. Kemampuan membangun hierarki memori yang efisien dapat menjadi pembeda penting, terutama ketika ukuran model terus bertambah dan biaya infrastruktur semakin tinggi.

HBF Tidak Menggantikan HBM tetapi Mengubah Cara Memori Disusun

Kehadiran HBF tidak berarti industri akan meninggalkan HBM. Justru, kedua teknologi dapat memiliki peran berbeda dalam satu sistem. HBM tetap menjadi lapisan utama untuk data yang membutuhkan bandwidth dan latensi terbaik. Selanjutnya, HBF dapat menampung data berkapasitas besar yang masih perlu diakses relatif cepat. SSD kemudian tetap digunakan untuk penyimpanan yang lebih besar dan tidak terlalu sensitif terhadap latensi. Struktur bertingkat seperti ini dapat membantu pusat data mengoptimalkan biaya sekaligus performa. Namun, tantangan teknis masih ada. Pengembang perlu memastikan pemindahan data antarlapisan berlangsung efisien. Perangkat lunak juga harus mampu memprediksi parameter yang segera dibutuhkan agar data sudah tersedia sebelum proses komputasi berlangsung. Dengan demikian, teknologi HBF untuk AI lebih tepat dipandang sebagai pelengkap daripada pengganti HBM. Jika implementasinya berhasil, inovasi tersebut dapat membantu industri melewati memory wall dan membuka jalan bagi penggunaan model AI yang semakin besar secara lebih efisien.