Para 2027, las organizaciones utilizarán modelos de IA pequeños y específicos para tareas tres veces más que los LLMs de propósito general, según proyecciones de Gartner. Este giro de la nube al edge no es una moda ni una preferencia de diseño: responde a exigencias muy concretas de latencia, privacidad y eficiencia energética. En ese escenario, la competencia no se decidirá solo por quién entrena el modelo más grande, sino por quién logra ejecutarlo de manera eficiente en el dispositivo.
La ventaja competitiva no reside tanto en los miles de millones de parámetros de un modelo como en los milivatios que consume su inferencia.
El problema: el muro de la memoria y el espejismo de los TOPS
La industria sigue utilizando los TOPS (Tera Operations Per Second) como una referencia rápida del rendimiento de una NPU. Es una métrica útil, pero insuficiente si se interpreta de forma aislada. La NPU Hexagon de Qualcomm en el Snapdragon X Elite, por ejemplo, anuncia 45 TOPS en INT8. Sobre el papel, la cifra impresiona. En la práctica, no explica por sí sola dónde aparece el verdadero cuello de botella de la inferencia on-device.
Ese cuello de botella suele estar menos en la computación que en el movimiento de datos. Ahí entra el llamado memory wall o muro de la memoria: mover los pesos de un modelo desde la DRAM del sistema hasta la SRAM de la NPU puede consumir más energía y tiempo de lo que sugieren las cifras de cálculo bruto. En otras palabras, el problema no es solo procesar, sino alimentar al chip de forma eficiente. Un análisis profundo del rendimiento de SLMs en el borde confirma que el ancho de banda de memoria condiciona el throughput real mucho más de lo que sugiere la potencia teórica, como detalla este análisis comparativo de backends de inferencia en el edge.
Esta limitación reduce buena parte de la ventaja prometida por el hardware especializado. Un estudio sobre las NPU Hexagon muestra, por ejemplo, que no todas las unidades internas del chip se aprovechan por igual: la unidad de matriz (HMX) puede ser más de 300 veces más rápida que la unidad vectorial en determinadas tareas, pero esa ventaja solo se materializa cuando el software consigue mapear correctamente la carga de trabajo. Si no lo hace, el silicio está ahí, pero su potencial se desperdicia, según este análisis de rendimiento de NPUs móviles.
La consecuencia es un desajuste entre hardware y software. Los fabricantes de SoCs presentan cifras de rendimiento difíciles de trasladar al uso real, mientras los desarrolladores se enfrentan a un entorno en el que mover los datos de un sitio a otro puede costar más que operar con ellos.
La realidad técnica: el edge exige co-diseño
Superar el muro de la memoria no depende solo de fabricar chips más potentes, sino de ajustar mejor la relación entre el modelo y el hardware que lo ejecuta. En el edge, el rendimiento real surge de ese co-diseño entre arquitectura, software y flujo de datos. Ahí es donde fabricantes como Apple o Qualcomm se juegan buena parte de su ventaja: no solo en la potencia teórica de sus NPUs, sino en cómo su microarquitectura se traduce en menor latencia, menor consumo y un rendimiento más estable.
Ese esfuerzo se concentra sobre todo en dos frentes: la computación de baja precisión y la optimización del movimiento de datos. La cuantización —reducir la precisión de los pesos del modelo, por ejemplo de FP16 a INT8 o incluso INT4— es una de las estrategias más eficaces para reducir la huella de memoria y el consumo energético, como se explica en este análisis de SLMs para el edge. Pero esa reducción solo resulta útil si el hardware está preparado para ejecutarla sin una pérdida excesiva de calidad en las respuestas.
Aquí es donde el co-diseño deja de ser una idea abstracta y se convierte en una ventaja práctica. Un estudio observó mejoras muy relevantes al adaptar determinadas operaciones del modelo al hardware de plataformas Snapdragon. La clave no fue simplemente disponer de más capacidad de cálculo, sino ajustar la ejecución al modo en que la NPU accede a la memoria y procesa los datos, como detalla este paper sobre optimización de LLMs en el Hexagon NPU.
La propia arquitectura de la NPU también condiciona de forma decisiva el resultado. En el caso de Hexagon, por ejemplo, algunas partes del chip están diseñadas específicamente para mover datos con mucha más eficiencia que unidades de propósito general. Y eso importa porque, en la inferencia on-device, el rendimiento no depende solo de calcular rápido, sino también de trasladar los pesos del modelo de forma eficiente y con bajo consumo. El valor del silicio especializado no está solo en la potencia bruta, sino en reducir el coste energético y temporal de alimentar el sistema. La competencia avanza en la misma dirección: no se trata solo de añadir más potencia, sino de diseñar arquitecturas capaces de mover y procesar datos con mayor eficiencia.
Dónde se generará el valor en la IA en el edge
La migración al edge no solo cambia la tecnología; también cambia dónde se crea y se captura el valor. En este nuevo escenario, no necesariamente ganará quien tenga el modelo más sofisticado, sino quien consiga desplegarlo de forma eficiente, accesible y útil. Desde el punto de vista empresarial, pueden distinguirse tres capas especialmente relevantes.
1. Nuevas arquitecturas de chip
La primera oportunidad está en el propio hardware. Las startups que desarrollen nuevas arquitecturas de NPU o enfoques como la computación en memoria pueden aspirar a licenciar su tecnología a los grandes fabricantes de chips. Es una apuesta con mucho potencial, pero también con un riesgo alto: competir en este terreno significa enfrentarse a empresas con enormes recursos y con un control muy amplio de toda la cadena, desde el diseño del silicio hasta el dispositivo final.
2. Software de compilación y optimización
Una segunda capa, y probablemente una de las más interesantes a corto plazo, es la del software que traduce los modelos al hardware real. Aquí el valor no está solo en el chip, sino en las herramientas que permiten aprovecharlo bien. Compiladores, SDKs y runtimes capaces de adaptar un mismo modelo a distintas arquitecturas pueden convertirse en una pieza clave para reducir la fragmentación del ecosistema. En otras palabras: no basta con tener una buena NPU, también hace falta un software capaz de sacarle partido.
3. Plataformas para integrar IA local en aplicaciones
La tercera oportunidad está en las plataformas que faciliten a los desarrolladores incorporar capacidades de IA en el dispositivo sin obligarlos a convertirse en expertos en cuantización, optimización o despliegue. Si esta capa madura, podrían surgir soluciones parecidas a un “Firebase para IA en el edge”: servicios que simplifiquen la integración de modelos, sus actualizaciones y el seguimiento de su rendimiento y consumo.
La adopción de SLMs on-device está creciendo, en parte, porque responde a una demanda cada vez más clara de privacidad, menor dependencia de la nube y tiempos de respuesta más bajos, como indica este análisis sobre LLMs en plataformas móviles. Eso también puede dar una ventaja difícil de replicar a los fabricantes de dispositivos capaces de ofrecer funciones útiles directamente en el terminal, sin enviar continuamente los datos del usuario a servidores externos.
No todas las tareas necesitan un gran modelo
Buena parte del debate en la industria sigue centrado en cómo ejecutar versiones más pequeñas de LLMs generalistas en el edge. Pero esa puede no ser siempre la pregunta correcta. Para muchas funciones cotidianas —como mejorar la autocorrección, resumir una notificación o activar una respuesta contextual— quizá no haga falta un modelo de miles de millones de parámetros, sino uno mucho más pequeño, rápido y especializado.
Ahí es donde entra la lógica de la suficiencia. Muchas tareas de IA on-device no requieren toda la complejidad de un modelo generalista. En numerosos casos, modelos más pequeños, diseñados para una función concreta, pueden ofrecer una parte muy relevante del valor con un coste computacional y energético mucho menor. Además, la latencia no depende solo del número de parámetros: la arquitectura del modelo también influye de forma decisiva, especialmente en modelos de menor tamaño, como apunta este paper sobre la caracterización del rendimiento de SLMs.
Conviene, eso sí, introducir una cautela. Parte de la evidencia disponible sigue siendo fragmentaria: algunas fuentes recientes no son fácilmente verificables y todavía faltan benchmarks públicos consistentes sobre rendimiento sostenido en condiciones reales, especialmente bajo estrés térmico. Y ese punto es crucial, porque un modelo puede rendir bien en pruebas breves y degradarse con rapidez cuando el dispositivo se calienta, como explica este estudio de MDPI sobre el impacto térmico en la inferencia.
Por eso, la verdadera disrupción en el edge podría no venir del próximo chip con cifras cada vez más altas sobre el papel, sino de quien consiga resolver una función útil con un modelo pequeño, eficiente y bien integrado en el dispositivo. Más que una carrera por añadir capacidad, el edge puede acabar premiando a quienes dominen algo mucho más difícil: hacer suficiente IA, con el menor coste posible.
Leave a Reply