Na zdjęciach za mało widać aby konkretnie określić co się nie udało. W zależności jak się to układa to obstawiałbym brak sztywności (luzy, ugięcia) lub nieprostopadłe zamocowanie osi Z lub wrzeciona. Konstrukcja wygląda dość solidnie, a z opisu pomiary rzetelne. Jedyne co wydaje mi się podejrzane to skręcana konstrukcja osi Z. Przy pracy takim narzędziem to może gdzieś się tam to odkształcać. Prowadnice też mogą tu mieć znaczenie ale z geometrii wychodzi mi, że musiałby być luz porównywalny do uskoku między przejściami - uskok 0,5mm to luz musiałby być też 0,5mm. Więc jeśli prowadnice nie mają wyczuwalnych luzów to szukałbym gdzie indziej.