Articolo: Due errori di configurazione che hanno causato errori di Spark OOM su Kubernetes
Dopo la migrazione delle pipeline Spark al servizio Azure Kubernetes, due impostazioni dell'infrastruttura hanno interagito in modo distruttivo: spark.kubernetes.local.dirs.tmpfs=true backed shuffle spill con RAM anziché disco e una regola podAffinity rigida ha forzato tutti gli esecutori su un nodo. Insieme, hanno causato ripetute uccisioni OOM invisibili alla diagnostica standard. Di Pranav Bhasker