Introducing the AMD 5th Gen EPYC™ CPU

AMD har precis lanserat sin femte generation serverdatorer baserad på Zen5-arkitekturen, även känd som Turin. Den erbjuder en betydande prestandaökning, särskilt med fler kärnor på upp till 192 och 384 trådar. Turin CPU:n ger ungefär dubbelt så hög genomströmning som sin föregångare Genoa för olika AI-användningsfall som sammanfattning, chattbottar, översättning och textskapande. Benchmarktesterna utfördes med Meta LLaMA 3.1 8B-modellen och AMD:s ZenDNN PyTorch-plugin för optimerad inferensprestanda. AMD kommer snart att släppa en optimerad Dockerfile och benchmarkingskod för att underlätta distribution och reproducerbarhet av resultaten.