Nvidia stellt die nächste Generation der AI-spezifischen Vera CPU vor und erklärt, dass sie mehr als doppelt so schnell wie andere CPUs ist.

Jinse Finance berichtet, dass am 22. Juli NVIDIA erklärte, dass laut den Benchmark-Ergebnissen von DeepInfra die NVIDIA Vera CPU mehr als doppelt so schnell ist wie andere CPUs und eine höhere Anzahl gleichzeitiger KI-Agenten unterstützen kann. Die Cloud-Plattform DeepInfra ist ein Early-Access-Teilnehmer im offenen KI-Ökosystem von NVIDIA, hat eigenständig Benchmarks auf Basis ihrer produktionsreifen KI-Agenten-Infrastruktur konzipiert und durchgeführt. DeepInfra verarbeitet wöchentlich nahezu 5 Billionen Token, von denen etwa 30 % durch das Agentensystem gesteuert werden. Die Cloud-Plattform ist speziell für Hochdurchsatz-KI-Inferenz entwickelt worden. Die Benchmark-Tests belegen, dass bei gleicher Servicequalität bis zu 1,6-mal mehr gleichzeitige KI-Agenten unterstützt werden können, die Zusammenarbeit eine Geschwindigkeit von bis zu 2,2-mal erreichen kann und gleichzeitig die Infrastrukturnutzung und Kosteneffizienz verbessert wird. Diese Ergebnisse zeigen, dass die NVIDIA Vera CPU die für KI-Agenten in der Produktion erforderliche Kosteneffizienz, geringe Latenz und hohen Durchsatz ermöglicht. Während KI-Agenten komplexere Aufgaben wie Schlussfolgerungen, Planung, Werkzeuggebrauch und Datenbewegungen bewältigen, wird die CPU-Leistung für die Koordination rund um jeden Modellaufruf immer wichtiger. Im Rahmen der umfassenden Co-Design-Strategie von NVIDIA für KI-Fabriken wurde die Vera CPU speziell für agentenbasierte Workloads konzipiert. Die Benchmark-Tests von DeepInfra unterstreichen, wie die NVIDIA Vera CPU Cloud-Service-Providern hilft, die Auslastung der Infrastruktur zu maximieren, die Kosteneffizienz zu verbessern und bei gleichbleibender Servicequalität mehr gleichzeitige KI-Agenten zu unterstützen.