Restaurar la capacidad de inferencia de LLM en segundos con Shadow Engine Recovery en NVIDIA Dynamo
Cuando falla el proceso de un motor LLM, la ruta de recuperación estándar implica un reinicio en frío. Esto requiere cargar los pesos en HBM desde el almacenamiento, compilar los kernels,...