być może powinieneś na to inaczej popatrzeć. W moim przypadku był dokładnie taki rezultat: frez wbity na 5mm a w programie pozycja Z -0.4mm

miałem bardzo podobny problem z moją "frezareczką". Powodem było zbieranie się brudu (trocin, pyłu itp.) na nieosłoniętych nakrętkach śrub napędowych, który powodował w pierwszej kolejności opory właśnie przy podnoszeniu wrzeciona w osi Z w górę i gubienie pozycji Z.
Podobnie pojedyńcze testy były ok, a pojawiał się problem dopiero przy dłuższych programach.
Pomogło rozebranie śrub, mycie IPA i ponowne smarowanie.
Być może powinieneś od tego zacząć...