Jeśli nie masz mikrokroku to może być problem z takimi ułamkami, bo wychodzi błąd, który się kumuluje wraz z odległością w osi x. Mikrokrokiem można go zminimalizować. Nie wiem z jaką precyzją przyjmuje mach ilosć kroków na mm - może wpisz tam więcej cyfr po przecinku i zrób pomiary.

To że wraca w to samo miejsce to jest normalne - tak powinno być przy poprawnie zbudowanej maszynie. To nie oznacza jeszcze, że wymiary będą się zgadzać z suwmiarką. Podstawowe pytanie, czy ustawiłeś właściwie w ustawieniach konfiguracji ilość imp. na mm (już nie pamiętam co tam się w mach-u ustawia, ale tu widzę błąd)? Może masz tam jakiś nieskończony ułamek przy przeliczaniu kroków na mm posuwu? Jakie masz śruby - 10x3?