Google lanza nuevas TPU para la era de los agentes

Google amplió su octava generación de Unidad de Procesamiento Tensorial (TPU, por sus siglas en inglés) con el lanzamiento de dos modelos enfocados en satisfacer las necesidades para desplegar agentes de inteligencia artificial.

“Diseñamos las primeras TPU hace más de diez años impulsados por necesidades internas como el reconocimiento de voz y la traducción de idiomas. Ocho generaciones después, los casos de uso se dispararon y cubren prácticamente todo”, consideró el tecnólogo en jefe y vicepresidente sénior de inteligencia artificial e infraestructura en Google, Amin Vahdat.

Por lo mismo, las TPU representan un negocio en rápido crecimiento para la tecnológica con casi 100 clientes entre los que destacan laboratorios de frontera en inteligencia artificial, empresas de retail y universidades, por nombrar algunas.

Dichos clientes ofrecen cada vez más retroalimentación sobre necesidades específicas y, por eso, Google decidió complementar su más reciente familia, conformada con TPU 8t y TPU 8i, con el lanzamiento de TPU 8i Max y TPU 8tx.

Vahdat destacó que es la primera vez que Google presenta cuatro sistemas TPU en un solo año y el objetivo es hacer que éstos sean mucho más accesibles para cualquier desarrollador y cliente de nube.

¿Qué ofrecen?

Los primeros modelos de esta familia, TPU 8t y TPU 8i, fueron diseñados tanto como un motor de entrenamiento de alto poder para modelos fundacionales masivos como un motor de razonamiento capaz de derribar la barrera de la memoria y reducir hasta a la mitad la latencia de comunicación entre chips.

“Ahora que las empresas están llevando agentes autónomos a producción, creamos dos nuevas configuraciones de estos sistemas base para resolver dos retos urgentes, la seguridad de datos a nivel de hardware y una escala de contexto de millones de tokens”, explicó el tecnólogo en jefe.

Esto porque TPU 8tx está optimizada para inferencia segura y confidencial, al mismo tiempo que sirve para entrenamiento a menor escala.

Lo anterior porque incorpora la seguridad directo en el hardware, manteniendo los datos sensibles y los pesos del modelo protegidos y aislados incluso mientras se usan.

Además, permite hacer el entrenamiento con datos privados, destilar modelos grandes en versiones más compactas y entrenar a sus agentes mediante aprendizaje por refuerzo, todo sin necesidad de migrar la información confidencial.

“Está pensada para entidades gubernamentales y empresas en sectores regulados que corren modelos propios o de vanguardia y agentes autónomos junto con sus datos más sensibles”, recomendó Vahdat.

Mientras que TPU 8i Max fue pensado para resolver la barrera de memoria gracias a que entrega el doble de capacidad de cómputo, el doble de memoria y el doble de ancho de banda en comparación al modelo TPU 8i.