Marvell meluncurkan ekspander memori CXL generasi kedua, mendukung hingga 9TB memori DDR4

Marvell sedang menargetkan peningkatan kebutuhan infrastruktur inferensi AI melalui solusi perluasan memori dengan kapasitas lebih besar dan bandwidth lebih tinggi.

Menurut laporan Bloomberg, pada 12 Oktober, Marvell secara resmi meluncurkan Structera X 3406 dan 3506 CXL Memory Expander generasi kedua. Perusahaan menyebut ini adalah ekspander memori CXL 3.2 enam channel pertama di industri, dengan satu pengendali mendukung hingga 9TB DDR4 atau 6TB DDR5, dan jumlah channel memori meningkat 50% dibanding generasi sebelumnya. Kedua produk ini diperkirakan akan mulai menyediakan sampel kepada pelanggan pada kuartal pertama 2027.

Peluncuran ini bertujuan untuk mengatasi bottleneck memori yang semakin menonjol dalam beban kerja inferensi AI. Seiring dengan bertambah besarnya model bahasa besar (LLM), jendela konteks yang lebih panjang, serta kebutuhan cache KV yang meningkat cepat, kapasitas dan bandwidth memori arsitektur server tradisional menghadapi tekanan lebih besar, sehingga memori perlahan menjadi faktor kunci yang membatasi kinerja AI dan efisiensi infrastruktur.

Perusahaan seperti AMD, Arm, Alibaba, Samsung, dan SK Hynix semuanya menyatakan dukungan terhadap produk baru dan kerja sama ekosistem terkait.

Peningkatan Teknologi Inti: Lebih Banyak Channel, Kapasitas Lebih Besar

Structera X 3406 dan 3506 menghadirkan peningkatan pada jumlah channel memori, kapasitas perluasan, dan kinerja kompresi dibandingkan produk generasi sebelumnya.

Dalam konfigurasi memori, kedua produk mendukung enam channel memori. 3406 mendukung 18 slot DDR4 RDIMM dengan kapasitas maksimum 9TB; 3506 mendukung 12 slot DDR5 RDIMM dengan kapasitas maksimum 6TB. Dalam hal konektivitas host, kedua produk mendukung hingga empat host berbagi sumber daya memori, bandwidth antar host hingga 256GB/s, menggunakan antarmuka PCIe 6.0 x16.

Untuk performa kompresi, produk baru ini dilengkapi mesin kompresi LZ4 bawaan, dengan throughput kompresi dan dekompresi hingga 250GB/s, meningkat lima kali lipat dibanding generasi sebelumnya, dan dapat memperbesar kapasitas efektif memori hingga dua hingga tiga kali lipat dari aslinya.

Marvell menyatakan bahwa pada skenario inferensi model bahasa besar, produk baru dapat mempersingkat waktu respons byte pertama (TTFT) sebesar 40% hingga 50% dalam panjang konteks yang sama; dalam skenario model rekomendasi pembelajaran mendalam (DLRM), queries per second per pengendali tunggal dapat meningkat hingga dua kali lipat dari sebelumnya, dan kapasitas efektif tabel embed dapat diperbesar dua hingga tiga kali lipat dari sebelumnya.

Menargetkan Data Center Berskala Super Besar, Kemitraan Ekosistem Terus Berkembang

Marvell menyampaikan, Structera X generasi kedua akan tetap menggunakan stack perangkat lunak dan skema integrasi ekosistem yang sama dengan produk generasi pertama 2404/2504 yang sudah dikirimkan ke pelanggan data center hyperscale, dengan tujuan mempercepat adopsi produk baru tersebut oleh pelanggan.

Beberapa mitra industri secara terbuka menyatakan dukungan mereka. Wakil Presiden Perusahaan AMD, Raghu Nambiar, mengatakan kerja sama kedua pihak bertumpu pada kinerja dan skalabilitas prosesor EPYC, membantu perusahaan memperluas kapasitas memori dan meningkatkan efisiensi pemanfaatan sumber daya di tengah meningkatnya permintaan aplikasi AI dan data-intensif.

Wakil Presiden Go-to-Market AI Cloud Arm, Eddie Ramirez, menyebut Structera X membawa CXL 3.2, ekspansi dan kompresi memori ke dalam ekosistem Arm, memberikan lebih banyak pilihan untuk menjalankan beban kerja AI yang kompleks secara efisien di data center besar.

Wakil Presiden Perencanaan Produk Memori Samsung Electronics, Jangseok Choi, dan Kepala Perencanaan Produk Generasi Selanjutnya & Enablement SK Hynix, Uksong Kang, mengatakan bahwa mereka telah menyelesaikan verifikasi produk Structera bersama Marvell dengan DDR memori masing-masing.

Menyempurnakan Portofolio Produk CXL, Menata Memori Pooling dan Arsitektur Disaggregasi

Wakil Presiden Eksekutif dan General Manager Solusi Cloud Kustom Marvell, Will Chu, mengatakan, perusahaan adalah satu-satunya pemasok di industri yang menyediakan portofolio produk CXL end-to-end yang lengkap, mencakup beberapa level: Structera X untuk ekspansi memori, Structera A untuk akselerasi near-memory, dan PFMA (Photonic Fabric™ Memory Appliance) untuk berbagi memori CXL level kabinet, sehingga mendukung berbagai skenario aplikasi dari ekspansi memori langsung hingga memori pooling dan disaggregasi.

Manajer umum lembaga riset pasar Objective Analysis, Jim Handy, menggarisbawahi bahwa CXL mulai diterapkan pada sistem AI dan fitur bandwidth tinggi serta kapasitas besar diharapkan memberikan manfaat signifikan. Ia juga menyebutkan bahwa dalam kondisi pasokan memori yang ketat dan harga yang tinggi, manajer TI mempertimbangkan untuk memanfaatkan CXL agar modul memori DDR4 dapat digunakan ulang pada sistem DDR5 guna menurunkan biaya; pengontrol dengan kemampuan kompresi memori juga diharapkan dapat semakin meningkatkan daya tarik solusi seperti itu.

Structera X 3406 dan 3506 akan tampil pada OCP Global Summit yang diadakan di San Jose, California pada 12-15 Oktober, dan sampel resmi diperkirakan akan tersedia pada kuartal pertama 2027.