Las grandes empresas tecnológicas han estado desarrollando en los últimos años modelos de inteligencia artificial cada vez más grandes, utilizando numerosas unidades de procesamiento gráfico costosas para ofrecer inteligencia artificial generativa como un servicio en la nube. Sin embargo, los modelos de IA pequeños también son importantes. Google ha anunciado una versión reducida de su modelo Gemma, diseñada para funcionar en dispositivos locales. La nueva Gemma 3 270M puede ajustarse rápidamente y mantiene un rendimiento robusto a pesar de su pequeño tamaño.
Google lanzó sus primeros modelos Gemma 3 abiertos a principios de este año, que cuentan con entre 1.000 millones y 27.000 millones de parámetros. En la inteligencia artificial generativa, los parámetros son las variables aprendidas que controlan cómo el modelo procesa las entradas para estimar los tokens de salida. Generalmente, cuanto más parámetros tiene un modelo, mejor es su rendimiento. Con solo 270 millones de parámetros, la nueva Gemma 3 puede funcionar en dispositivos como teléfonos inteligentes o incluso completamente dentro de un navegador web.
Ejecutar un modelo de IA localmente tiene numerosos beneficios, incluidos una mayor privacidad y menor latencia. Gemma 3 270M fue diseñada con estos casos de uso en mente. En pruebas realizadas con un Pixel 9 Pro, la nueva Gemma pudo gestionar 25 conversaciones en el chip Tensor G4 y utilizó solo el 0,75 por ciento de la batería del dispositivo, lo que la convierte en el modelo Gemma más eficiente hasta la fecha.
Crédito: Google
Los desarrolladores no deben esperar el mismo nivel de rendimiento que un modelo de miles de millones de parámetros, pero Gemma 3 270M tiene sus aplicaciones. Google utilizó el benchmark IFEval, que evalúa la capacidad de un modelo para seguir instrucciones, para demostrar que su nuevo modelo supera las expectativas. Gemma 3 270M alcanzó un puntaje del 51,2 por ciento en esta prueba, que es superior al de otros modelos ligeros que tienen más parámetros. El nuevo modelo se queda corto en comparación con modelos de más de 1.000 millones de parámetros como Llama 3.2, pero se acerca más de lo que se podría pensar dado que tiene solo una fracción de los parámetros.
Google afirma que Gemma 3 270M es buena para seguir instrucciones desde el primer uso, pero espera que los desarrolladores ajusten el modelo para sus casos de uso específicos. Debido a su bajo número de parámetros, este proceso es rápido y de bajo costo. Google prevé que la nueva Gemma se utilice para tareas como clasificación de texto y análisis de datos, las cuales puede realizar de manera rápida y sin requerimientos computacionales elevados.
Mayormente abierto
Google se refiere a los modelos Gemma como “abiertos”, lo que no debe confundirse con “código abierto”. Esta situación es similar en muchos aspectos, ya que se puede descargar la nueva Gemma de forma gratuita y los pesos del modelo están disponibles. No existe un acuerdo de licencia comercial separado, por lo que los desarrolladores pueden modificar, publicar y desplegar derivados de Gemma 3 270M en sus herramientas.
Sin embargo, cualquier persona que utilice los modelos Gemma está sujeta a los términos de uso, que prohíben ajustar los modelos para producir resultados dañinos o violar intencionalmente las normas de privacidad. Los desarrolladores también son responsables de detallar las modificaciones y proporcionar una copia de los términos de uso para todas las versiones derivadas, que heredan la licencia personalizada de Google.
Gemma 3 270M está disponible en plataformas como Hugging Face y Kaggle en versiones preentrenadas y ajustadas por instrucciones. También está disponible en Google Vertex AI para pruebas. Google ha destacado las capacidades del nuevo modelo con un generador de historias completamente basado en el navegador construido sobre Transformer.js. Esto se puede probar incluso si no se está interesado en desarrollar con el nuevo modelo ligero.
Fuente original: ver aquí