Nadie quiere tu modelo de 70B parámetros más

El mundo de la IA solía centrarse únicamente en la escala.

La gente buscaba modelos más grandes, ventanas de contexto más amplias y benchmarks más exigentes. Si tu modelo no era masivo, no estabas en el juego.

Esa era está llegando a su fin.

Los modelos masivos son impresionantes. Pero la mayoría de las personas no necesitan tanta potencia. Un asistente para el tablero de un coche no necesita escribir poemas. Necesita entender "baja el aire acondicionado" y funcionar sin agotar la batería.

Los modelos pequeños y especializados están ganando terreno por cinco razones principales:

  • Uso en el dispositivo: Los teléfonos ahora tienen hardware para ejecutar modelos pequeños localmente. Tu asistente funciona en un túnel o en un vuelo sin internet.
  • Privacidad y regulación: Los hospitales y los bufetes de abogados no pueden enviar datos sensibles a una API de terceros. Ejecutar un modelo pequeño en hardware local mantiene los datos dentro del edificio.
  • Baja latencia: Un coche autónomo no puede esperar a que un servidor en la nube decida si una forma es un peatón. El modelo debe residir donde se toma la decisión.
  • Costos más bajos: Ejecutar millones de solicitudes en un modelo masivo destruye tus márgenes de beneficio. Un modelo pequeño ajustado suele ser más económico y sostenible.
  • Conectividad deficiente: En muchas partes del mundo, el internet no es constante. Los modelos pequeños permiten que los productos funcionen sin conexión.

Puedes hacer que los modelos sean más pequeños utilizando tres métodos principales:

  • Cuantización: Reducir la precisión de los pesos del modelo para ahorrar espacio.
  • Poda (pruning): Eliminar las conexiones innecesarias que no aportan valor.
  • Destilación de conocimiento: Utilizar un modelo grande para enseñar a un modelo más pequeño cómo imitar su razonamiento.

Este cambio transforma el conjunto de habilidades necesarias.

Hacer prompting a un modelo gigante es una habilidad. Seleccionar, realizar fine-tuning y desplegar un modelo especializado es un desafío de ingeniería diferente. Se trata de encontrar el equilibrio entre velocidad, costo y precisión.

Deja de intentar construir una herramienta gigante que lo haga todo mal. Construye varias herramientas pequeñas que hagan una sola cosa bien.

Un modelo pequeño no es una degradación. Es una mejor herramienta para el trabajo.

Fuente: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi