nie wiem czemu ale mi z kreatora zawsze dobrze wylicza.

a jaka masz wartość w .hal
setp encoder.0.position-scale

200?

Czyli bez enkodera wymiar jest OK tzn wpiszesz Z-5 i tyle wykona (to potwierdza prawidłową konfiguracje śruby)
Czy sygnał z enkodera na oscyloskopie jest prawidłowy?
pomiń SUB i operuj na zwykłych G kodach do gwintowania np. G33 ale wrzeciono napędzaj ręką i rób rysę na wałku - sprawdź skok