Google Cloud ha presentado sus nuevas máquinas virtuales A4X, impulsadas por los sistemas NVL72 de Nvidia, diseñadas específicamente para cargas de trabajo de inteligencia artificial a gran escala.
Francisco Carrasco M.
Estas máquinas virtuales están equipadas con 72 GPUs B200 y 36 CPUs Grace, lo que permite un intercambio de memoria eficiente entre las GPUs y mejora considerablemente los tiempos de respuesta e inferencia.
Las A4X destacan por ofrecer una eficiencia de entrenamiento cuatro veces superior a la de las anteriores máquinas A3, prometiendo más de 1 ExaFLOPS de potencia de computación. Esto se traduce en un rendimiento excepcional, idóneo para modelos de lenguaje avanzados que requieren grandes capacidades de procesamiento y situaciones de alta concurrencia.
Juan Andrés
Además, las VMs A4X incorporan adaptadores de red Titanium ML, que permiten un tráfico GPU a GPU de 28.8 terabits por segundo, facilitando una conexión fluida entre un elevado número de nodos en Google Kubernetes Engine (GKE). El sistema soporta despliegues de hasta 65,000 nodos, lo que potencia la escalabilidad y el rendimiento en entornos de inteligencia artificial voluminosos.
Jorge Elissaios, vicepresidente de Infraestructura y Computación de IA, Google Cloud, explico que:
"Estas máquinas virtuales también optimizan su rendimiento al integrar servicios en la nube como Cloud Storage FUSE, que mejora el rendimiento del almacenamiento de datos para el entrenamiento en un 2.9 veces, y Hyperdisk ML, que acelera los tiempos de carga de los modelos en un 11.9 veces. En conjunto, estas características hacen que las A4X se posicionen como una solución robusta para equipos de IA que buscan maximizar la utilización de GPU en despliegues grandes".
Google Cloud ofrece tanto las máquinas virtuales A4, que están orientadas al entrenamiento general de IA, como las A4X, enfocadas en escenarios de IA a gran escala. Sin embargo, hasta el momento no se ha divulgado información sobre los precios de estos nuevos recursos.
Francisco Carrasco M.
Una asociación estratégica en ascenso
Además, NVIDIA DGX Cloud, una plataforma de IA totalmente gestionada, pronto estará disponible en las máquinas virtuales A4X para acelerar las iniciativas de IA de los clientes, destaca Alexis Bjorlin, vicepresidente de NVIDIA DGX Cloud, de NVIDIA y agregó que:
"Los desarrolladores e investigadores necesitan acceso a la última tecnología para entrenar e implementar modelos de IA para aplicaciones e industrias específicas. Nuestra colaboración con Google proporciona a los clientes un rendimiento y una escalabilidad mejorados, lo que les permite hacer frente a las cargas de trabajo más exigentes de IA generativa, LLM y computación científica, al tiempo que se benefician de la facilidad de uso y el alcance global de Google Cloud".
Francisco Carrasco M.
