Utilizzo di LLM per automatizzare le pipeline di pulizia e trasformazione dei dati
Un nuovo paradigma, non una sostituzione dell’ingegneria dei dati, ma un cambiamento fondamentale nel concentrare gli sforzi ingegneristici. Se chiedessi a un ingegnere dei dati della sua settimana, sono sicuro che non parlerebbe di nulla di entusiasmante. La maggior parte del loro tempo viene dedicato alla discussione dei dati, ai dati upstream disordinati, ai formati di data incoerenti, ai valori nulli che non sono realmente nulli e alle esportazioni dei fornitori che rinominano le colonne senza notare tali modifiche nella documentazione.