Nueva clase de infraestructura de almacenamiento nativo de IA para la próxima frontera de la IA

NVIDIA BlueField-4 impulsa NVIDIA Inference Context Memory Storage Platform, un nuevo tipo de infraestructura de almacenamiento nativa de IA, diseñada para la inferencia a gigaescala, con el fin de acelerar y escalar la IA agéntica

NVIDIA anunció que el procesador de datos NVIDIA BlueField®-4, que forma parte de la plataforma NVIDIA BlueField de pila completa, impulsa NVIDIA Inference Context Memory Storage Platform, una nueva clase de infraestructura de almacenamiento nativo de IA para la próxima frontera de la IA.

A medida que los modelos de IA escalan a billones de parámetros y un razonamiento de múltiples pasos, generan grandes cantidades de datos de contexto. Estos datos se representan mediante una caché de valor clave (KV), que es crítica para la precisión, la experiencia del usuario y la continuidad.

Una caché de KV no se puede almacenar en GPU a largo plazo, ya que esto crearía un cuello de botella para la inferencia en tiempo real en sistemas de múltiples agentes. Las aplicaciones nativas de IA requieren un nuevo tipo de infraestructura escalable para almacenar y compartir estos datos.

NVIDIA Inference Context Memory Storage Platform proporciona la infraestructura necesaria para la memoria de contexto al extender la capacidad de memoria de la GPU, permitir el intercambio de alta velocidad entre los nodos, aumentar los tokens por segundo hasta en 5x y ofrecer una eficiencia energética hasta 5x mayor en comparación con el almacenamiento tradicional.

“La IA está revolucionando toda la pila de computación, y ahora también lo está haciendo con el almacenamiento”, afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. “La IA ya no se trata de chatbots de interacción lineal, sino de colaboradores inteligentes que entienden el mundo físico, razonan sobre horizontes largos, se mantienen basados en los hechos, utilizan herramientas para realizar trabajo real y retienen la memoria tanto a corto como a largo plazo. Gracias a BlueField-4, NVIDIA y nuestros socios de software y hardware están reinventando la pila de almacenamiento para la próxima frontera de la IA”.

NVIDIA Inference Context Memory Storage Platform aumenta la capacidad de caché de KV y acelera el intercambio de contexto en clústeres de sistemas de IA a escala de rack, mientras que el contexto persistente para agentes de IA de múltiples turnos mejora la capacidad de respuesta, aumenta el rendimiento de las fábricas de IA y es compatible con una escalabilidad eficiente de la inferencia de múltiples agentes en contexto largo.

Las capacidades clave de la plataforma impulsada por NVIDIA BlueField-4 incluyen:

Capacidad de caché KV a nivel de clústeres NVIDIA Rubin, que ofrece la escala y eficiencia requeridas para la inferencia de agentes de múltiples turnos en contexto largo
Eficiencia energética hasta 5x mayor que el almacenamiento tradicional
Uso compartido inteligente y acelerado de la caché de KV en IA, habilitado por el framework NVIDIA DOCA™ y estrechamente integrado con la biblioteca NVIDIA NIXL y el software NVIDIA Dynamo para maximizar los tokens por segundo, reducir el tiempo hasta el primer token y mejorar la capacidad de respuesta en múltiples turnos
Colocación de caché de KV acelerada por hardware, administrada por NVIDIA BlueField-4, que elimina la sobrecarga de metadatos, reduce el movimiento de datos y garantiza un acceso seguro y aislado desde los nodos de la GPU.
Intercambio y recuperación de datos eficientes, habilitados por NVIDIA Spectrum-X™ Ethernet, como la estructura de red de alto desempeño para el acceso basado en RDMA a la caché de KV nativa de IA

“A medida que la IA evoluciona hacia modelos con contextos más largos e inferencia continua, el almacenamiento deja de ser un cuello de botella y se convierte en un acelerador de la innovación. BlueField-4 se ha diseñado precisamente para satisfacer esta nueva demanda”, explicó Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.

Innovadores de almacenamiento como AIC, Cloudian, DDN, Dell Technologies, HPE, Hitachi Vantara, IBM, Nutanix, Pure Storage, Supermicro, VAST Data y WEKA se encuentran entre los primeros en crear plataformas de almacenamiento de IA de próxima generación con BlueField-4, que estará disponible en la segunda mitad de 2026.

Fotografía: Cortesía de NVIDIA