Marvell Structera X 3406 și 3506: expandoare de memorie CXL 3.2 cu șase canale și până la 9 TB RAM per controller

Pe 12 octombrie 2026, la OCP Global Summit din San Jose, Marvell a anunțat a doua generație a expandoarelor sale de memorie Structera X: modelele 3406 (DDR4) și 3506 (DDR5). Sunt controllere CXL 3.2 cu șase canale de memorie, conectate la server prin PCIe 6.0, care pot gestiona până la 9 TB de DDR4 sau 6 TB de DDR5 fiecare. Marvell le poziționează pentru inferența modelelor de limbaj și pentru sistemele de recomandare, iar mostrele sunt așteptate în primul trimestru din 2027. Sursa: comunicatul Marvell.

Articolul verifică cifrele vehiculate, explică ce este CXL și de ce un server de inferență are nevoie de terabyți de DRAM „obișnuit” pe lângă memoria HBM a acceleratoarelor, și notează ce lipsește din anunț.

Cifrele principale

Toate valorile sunt din comunicatul Marvell. Marvell nu dă frecvențele DDR suportate, consumul, prețul și nici procesul de fabricație.

Verificarea afirmațiilor din presă

• „Controllere CXL 3.2 cu șase canale DDR4/DDR5 și PCIe 6.0”. Confirmat. Marvell le numește „primele din industrie” cu șase canale, cu 50% mai multe decât cele patru ale generației anterioare (modelele 2404 și 2504).
• „Până la 9 TB DDR4 sau 6 TB DDR5 per controller”. Confirmat.
• „Compresie hardware LZ4 și partajarea memoriei între servere”. Confirmat: compresie LZ4 în linie la 250 GB/s, de cinci ori mai rapidă decât la generația anterioară, și până la patru gazde conectate la același controller.
• „Pot reduce presiunea asupra memoriei HBM”. Interpretare, nu citat. Comunicatul nu menționează HBM. Marvell vorbește despre KV cache, a cărui capacitate „determină direct timpul până la primul token, debitul și gradul de utilizare al acceleratoarelor”. Legătura cu HBM este corectă ca mecanism (vezi mai jos), dar nu este formularea Marvell.
• „Reducere de până la 40–50% a timpului până la primul token față de generația anterioară, în anumite configurații”. Confirmat ca afirmație, cu formularea exactă „până la 40–50% mai rapid, la lungime egală a contextului”. Alternativ, „ferestre de context de până la 2 ori mai lungi la aceeași latență”. Modelul de limbaj, serverul și lungimea contextului folosite la măsurătoare nu sunt precizate.

Rezumatul este corect. Formularea despre HBM este o deducție rezonabilă, dar trebuie atribuită autorului, nu lui Marvell.

Ce este CXL

CXL (Compute Express Link) este un standard deschis care rulează peste legătura fizică PCIe și adaugă peste ea protocoale pentru memorie coerentă cu cache-ul procesorului. Pentru sistemul de operare, memoria de pe un expandor CXL apare ca o memorie obișnuită, într-un nod NUMA separat, nu ca un disc sau ca un buffer DMA. Programele o folosesc fără modificări; doar sistemul de operare și bibliotecile de inferență decid ce date stau acolo.

Prețul este latența. Fiecare acces trece prin controllerul PCIe, prin protocolul CXL și prin controllerul de memorie al expandorului, așa că o citire durează de obicei de câteva ori mai mult decât dintr-un DIMM de pe placa de bază. CXL nu înlocuiește memoria locală, ci adaugă un etaj între ea și SSD. Versiunile noi ale standardului au adus partajarea aceleiași memorii între mai multe gazde, iar aici intră cele „patru gazde” din anunț: patru servere pot vedea același bazin de memorie, fără copii.

Șase canale contează din două motive. Capacitatea crește proporțional cu numărul de sloturi, iar lățimea de bandă internă crește proporțional cu numărul de canale. Marvell spune că lățimea de bandă a expandorului se adaugă celei a canalelor de memorie ale procesorului, deci un server câștigă nu doar capacitate, ci și debit total.

De ce un server de inferență are nevoie de terabyți de DRAM

Un model de limbaj servit în producție păstrează, pentru fiecare conversație activă, un KV cache: cheile și valorile calculate de mecanismul de atenție pentru toți tokenii din context. Mărimea lui crește liniar cu lungimea contextului și cu numărul de utilizatori serviți simultan, iar la contexte de sute de mii de tokeni ajunge la zeci de gigabyți per conversație. Memoria HBM a acceleratoarelor, cum sunt cele 288 GB ale unui Maia 300, este rapidă, dar scumpă și limitată. Când se umple, serverul are două opțiuni:

• recalculează KV cache-ul unei conversații reluate, adică reia faza de prefill peste tot contextul: aici se duce timpul până la primul token (TTFT);
• mută KV cache-ul unei conversații inactive într-o memorie mai ieftină și îl aduce înapoi când utilizatorul revine.

CXL este a doua opțiune. Timpul de transfer al unui KV cache de S octeți peste o legătură cu lățimea de bandă W este:

Pentru un cache de 20 GB și o legătură PCIe 6.0 x16 la 128 GB/s pe o direcție, transferul durează aproximativ 0,16 s. Recalcularea aceluiași context de 100 000 de tokeni durează de obicei mai mult, iar mai ales ocupă acceleratorul. De aceea un bazin de memorie de 9 TB care ține cache-urile a sute de conversații reduce TTFT și eliberează HBM pentru lucru util. Aici este mecanismul din spatele cifrei de 40–50%, chiar dacă Marvell nu publică măsurătoarea.

Același argument este valabil pentru sistemele de recomandare (DLRM), unde tabelele de embedding au terabyți și sunt citite rar, dar aleator. Marvell susține de până la 2 ori mai multe interogări pe secundă și o capacitate efectivă de 2–3 ori mai mare per controller, tot față de generația anterioară.

Compresia LZ4

LZ4 este un algoritm de compresie fără pierderi, optimizat pentru viteză, nu pentru raport de compresie. Structera X îl aplică în linie: datele sunt comprimate la scriere și decomprimate la citire, în hardware, fără ca procesorul sau software-ul să știe. Debitul de 250 GB/s este comparabil cu cel al legăturii PCIe, deci compresia nu devine gâtul de sticlă.

Câștigul depinde însă de date. Un KV cache în virgulă mobilă se comprimă moderat, textul și tabelele de embedding rare se comprimă bine, iar datele deja comprimate sau criptate nu se comprimă deloc. De aceea Marvell spune „de 2–3 ori, în funcție de sarcină”, iar cifra trebuie citită ca un maxim. Pentru un controller cu 9 TB fizici, asta ar însemna 18–27 TB de capacitate efectivă în cel mai bun caz.

De ce DDR4 în 2026

Cel mai interesant model este, paradoxal, cel cu memoria mai veche. Marvell oferă un controller DDR4 cu 18 sloturi pentru că operatorii de centre de date au stocuri uriașe de module DDR4 rămase de la generațiile anterioare de servere. Jim Handy, de la Objective Analysis, citat în comunicat, spune că penuria actuală de memorie și prețurile mari îi fac pe administratorii IT să reinstaleze module DDR4 folosite în sisteme DDR5, pentru economii. Un expandor CXL este exact puntea necesară: serverul nou nu are sloturi DDR4, dar poate vedea, prin PCIe, până la 9 TB de DDR4 recuperat.

Securitate

Structera X adaugă criptografie post-cuantică pentru autentificarea firmware-ului, rădăcina de încredere deschisă Caliptra 2.0, criptarea legăturii CXL (IDE, Integrity and Data Encryption) și criptarea AES-256 a conținutului memoriei. Pentru memoria partajată între patru gazde, criptarea legăturii și a conținutului este condiția ca datele unui chiriaș să nu fie citite de altul. Marvell descrie combinația drept o premieră în industrie.

Ce nu spune anunțul

• Baza de comparație pentru 40–50% este generația anterioară, nu un server fără CXL. Nu sunt date modelul, hardware-ul și lungimea contextului.
• Capacitățile maxime presupun module de 512 GB. 9 TB împărțit la 18 sloturi dă 512 GB per modul DDR4, iar 6 TB la 12 sloturi dă 512 GB per modul DDR5. Cu RDIMM-uri uzuale de 64–128 GB, un controller 3406 ajunge la 1,2–2,3 TB. Calculul este al nostru, nu al Marvell.
• Latența nu este publicată. Este parametrul care decide ce date pot sta în CXL fără pierderi de performanță.
• Frecvențele DDR, consumul și prețul lipsesc. Potrivit publicației Hardware Busters, cipurile sunt fabricate pe un proces de 5 nm; comunicatul nu o spune.
• Mostre abia în T1 2027. Producția de serie vine după aceea; generația actuală, 2404 și 2504, este cea care se livrează acum către hyperscaleri.

Pentru cine învață arhitectura calculatoarelor, Structera X este o ilustrare bună a ierarhiei de memorie în practică: HBM lângă accelerator, DDR5 lângă procesor, un etaj CXL de terabyți la câteva sute de nanosecunde și abia apoi SSD-ul. Principiile din spate, de la latență și lățime de bandă până la coerența cache-ului, sunt discutate în cursul Electronica digitală, iar partea de inferență și KV cache în cursul Machine Learning.