jeżeli zamiast okręgu masz elipsę po przekątnej to sprawdź prostopadłość osi x do osi y,
co do ząbkowania nie wiem czym generujesz program na maszynę ale podejrzewam że ustawiasz za dużą tolerancje obróbki lub po prostu masz za małą rozdzielczość kroków na mm ustawionych w sterowniku.