Cinco veces más rápido que la competencia: NVIDIA lanza un enorme modelo de IA de 120.000 millones de parámetros

NVIDIA lanzó Nemotron 3.5 Super VL, un modelo multimodal de IA con 120 000 millones de parámetros, que puede trabajar con texto, imágenes, documentos, vídeo y herramientas externas. La compañía afirma que en ciertas tareas el nuevo modelo procesa consultas hasta cinco veces más rápido que otros modelos abiertos de clase comparable, aunque la ventaja depende del escenario concreto y del hardware.

Nemotron 3.5 Super VL está pensada sobre todo para agentes de IA que requieren algo más que responder preguntas. El modelo puede buscar información, analizar documentos y hojas de cálculo, procesar vídeo, escribir y revisar código, y también acceder a herramientas conectadas. Los desarrolladores pueden entrenar adicionalmente Nemotron con sus propios datos y desplegarlo en su infraestructura.

Con sus impresionantes 120 000 millones de parámetros, el modelo utiliza para procesar cada token solo alrededor de 12 000 millones. Este principio se denomina mezcla de expertos: dentro de una gran red neuronal funcionan varios bloques especializados, y para un fragmento concreto de texto el sistema activa solo la parte necesaria. El ordenador tiene que realizar menos cálculos, por eso un modelo grande puede responder más rápido y requerir menos recursos.

NVIDIA combinó este enfoque con las arquitecturas Transformer y Mamba. Los desarrolladores también entrenaron al modelo para predecir por adelantado varios tokens siguientes para acelerar la generación. En las pruebas técnicas un acelerador GB200 produjo hasta 4856 tokens de salida por segundo, con la condición de que cada usuario recibiera al menos 50 tokens por segundo. La versión con el formato de cuatro bits NVFP4 mostró una capacidad de procesamiento 2,43 veces mayor que la variante BF16.

La afirmación de «cinco veces más rápido» también requiere matices. NVIDIA obtuvo ese resultado al comparar la capacidad de procesamiento en un único procesador gráfico en un conjunto concreto de tareas. En otra prueba, donde se encargó a los modelos completar 10 000 tareas de programación, Nemotron 3.5 Super VL terminó el trabajo aproximadamente cuatro veces más rápido que los competidores. Pruebas independientes en otras configuraciones pueden arrojar una proporción distinta.

Junto con Super VL, la compañía amplió la familia con dos modelos compactos Nemotron 3.5 Bolt para ejecución local. Bolt 74B-A9B ocupa 24 GB de memoria gracias a la cuantización de dos bits y puede funcionar en equipos compatibles sin enviar todos los datos a la nube. Aún más compacta, Bolt E4B requiere alrededor de 4 GB de memoria y está orientada a asistentes conversacionales y a dispositivos con recursos limitados.

NVIDIA ya ha abierto el acceso a Nemotron 3.5 Super VL y Bolt 74B-A9B, y Bolt E4B debería salir el 23 de octubre. Para Super VL la compañía publica los pesos del modelo, las variantes BF16 y NVFP4, conjuntos de datos y materiales para entrenamiento adicional. Ahora los desarrolladores deben comprobar cuánto se mantendrá la velocidad anunciada en sistemas reales, donde los agentes de IA tienen que mantener a la vez un gran contexto, acceder a herramientas y ejecutar largas cadenas de acciones.