// tag · 02 articole
Articole despre Inferență LLM
Tutoriale, explicații și proiecte practice despre Inferență LLM.
Inteligență artificială
Meta Muse Spark Open: model open-weight de 816 miliarde de parametri, rulat local pe două Mac Studio
Muse Spark Open, verificat la sursă: MoE cu 816B parametri și 42B activi, 4 biți pe două Mac Studio la 25 tokeni/s, benchmarkuri și ce permite licența.
Inteligență artificială
Microsoft Maia 300: accelerator AI cu chiplet-uri pe TSMC N2P, 96 de cipuri și 27,6 TB HBM4 într-un rack
Maia 300, verificat la sursă: chiplet-uri pe TSMC N2P, 8 stive HBM4, 96 de acceleratoare pe rack și +40% tokeni per megawatt față de GPU. Ce înseamnă cifrele.