Google ha lanzado sus nuevos sistemas TPU, los procesadores 8tx y 8i Max, que están diseñados no solo para su uso interno, sino también para satisfacer las necesidades de organizaciones externas que requieren aceleradores avanzados. Estos procesadores ofrecen capacidades de razonamiento sobre grandes volúmenes de datos y cifrado especializado, facilitando su uso en entornos regulados.
Características de los nuevos sistemas TPU
En esta octava generación de TPU, el TPU 8t se enfoca en maximizar el «goodput», que mide la inteligencia útil entregada por vatio consumido, mientras que el TPU 8i reduce a la mitad los retrasos entre chips. Dentro de esta línea, se introducen dos nuevos modelos: el TPU 8tx y el TPU 8i Max.
El sistema TPU 8tx está dirigido a gobiernos y empresas que manejan datos sensibles. Este modelo combina el silicio del 8t con procesadores AMD EPYC de quinta generación, ofreciendo protección de datos en el hardware mientras estos son procesados. Utiliza la red Boardfly para reducir la latencia a la mitad y permite entrenar o ajustar modelos sin necesidad de migrar información confidencial.
Por otro lado, el TPU 8i Max es capaz de superar las limitaciones de memoria cuando múltiples agentes trabajan con código o video. Este sistema integra dos chips TPU 8i en un solo paquete, duplicando la potencia, la SRAM y el ancho de banda HBM, todo en un espacio compacto.
Innovaciones en software y eficiencia energética
Google también ha lanzado TorchTPU, un software que permite ejecutar PyTorch y Hugging Face de manera nativa, sin requerir reescritura de código. Esta plataforma incluye XLA Serving Engine en C++ y una suite de agentes, destacando en pruebas como InferenceX y AgentX.
El Agent Compute Engine es otra novedad que suspende las sesiones inactivas en milisegundos, contribuyendo al ahorro energético. Además, el TPU Sync unifica la memoria HBM, DRAM y la red, logrando una reducción de latencia y un tiempo de respuesta inicial más rápido en más del 90%.
Finalmente, la integración de Cloud Pathways en Google Kubernetes Engine (GKE) permite un control eficiente de múltiples particiones, acortando hasta cinco veces el tiempo de inicio de tareas y mejorando la recuperación ante fallos en un 4.5 veces. Esto se logra con el apoyo de AlphaChip y Gemini, que facilitan el diseño de futuros chips en horas en lugar de semanas.
Fuente: Pisapapeles
Discussion about this post