Emir BardakçıXiaomi ha dado un paso de gigante en el campo de la inteligencia artificial con la apertura de su modelo inicial de razonamiento especializado, Xiaomi MiMo. Este histórico modelo de 7B parámetros ya ha agitado las aguas en el campo de la IA al superar a rivales sustancialmente mayores, como el modelo de código cerrado o1-mini de OpenAI y el modelo más grande QwQ-Preview de Alibaba, con 32B parámetros. El modelo supone una gran victoria para el recién creado Big Model Core Team de Xiaomi y es una prueba del creciente interés de la empresa por impulsar las capacidades de IA desde el hardware hasta el desarrollo de software innovador.
Superar los puntos de referencia con un razonamiento innovador
Lo más destacable del MiMo es su alto rendimiento en pruebas de razonamiento difíciles en comparación con su tamaño relativamente pequeño. En los conjuntos de evaluación de razonamiento matemático (AIME 24-25) y competición de código (LiveCodeBench v5) disponibles públicamente, el modelo de 7B parámetros superó a rivales con tamaños de parámetros sustancialmente mayores.
El grupo de desarrollo atribuye su logro a su innovadora estrategia doble:
Innovaciones previas al entrenamiento
- Corpus de razonamiento rico: Se hace hincapié en extraer información rica de razonamiento
- Mejora sintética: Generación de unos 200.000 tokens de datos de razonamiento de nivel experto
- Entrenamiento de dificultad progresiva: Tres fases separadas de dificultad creciente de aplicación
- Entrenamiento extensivo: Entrenamiento total sobre la asombrosa cantidad de 25T tokens
Avances posteriores al entrenamiento
La evolución de MiMo no terminó con el preentrenamiento. Las innovaciones postentrenamiento del equipo de investigación mejoraron aún más las capacidades del modelo:
- Prueba de recompensa basada en la dificultad: Un método innovador para abordar la escasez de recompensas en tareas algorítmicas de complejidad
- Enfoque simple de remuestreo de datos: Aplicación de métodos para estabilizar el entrenamiento del aprendizaje por refuerzo
- Sistema de despliegue sin fisuras: Un sistema orientado a la eficiencia que aceleró el entrenamiento de RL en 2,29 veces y la verificación en 1,96 veces
Lo que esto presagia para el futuro de Xiaomi en IA
El lanzamiento de MiMo marca la entrada seria de Xiaomi en el campo de la IA. Aunque Xiaomi ha establecido su credibilidad a través de la innovación en hardware, este movimiento indica un cambio estratégico hacia la investigación y el desarrollo de vanguardia en IA. Al abrir el propio modelo, Xiaomi también adopta la naturaleza abierta y colectiva de la innovación en IA, lo que podría acelerar la innovación en el sector.
Los desarrolladores y entusiastas de la IA que deseen experimentar o crear extensiones para MiMo pueden adquirir el modelo en el repositorio Hugging Face de Xiaomi, junto con documentación técnica detallada.
Fuente: Hugging Face, GitHub
