Luzy na śrubach, przekładnie, geometria maszyny, sterowanie, konfiguracja - oczywiście wszystko może mieć wpływ na efekt który u Ciebie występuje ale coś czuję że masz problem z źle zestrojonymi serwami i na tym bym się skupił (nie wykluczając oczywiście możliwych"chorób współistniejących") .
Jeżeli masz dostęp i możliwość to zamień testowo serwa z osi X i Y na zwykłe krokówki i myślę że problem ustąpi, co da Ci tym samym odpowiedź gdzie leży problem. Mogę się mylić ale na wszelki wypadek sprawdź.

Ogólnie Backlash Compensation w machu olej bo to tylko placebo... Widać w skrajnych położeniach X,Y podebranie na materiale więc albo przesadziłeś z tym parametrem albo masz aż tak duże luzy nawrotne. Tak czy inaczej koniecznie to wyłącz, zapnij czujnik i mierz nawrotny rzeczywisty .Jeśli będziesz miał ok 2 do max 5 setek to w miarę ok ale powyżej to już kiepsko.
Jak ściągniesz serwa do przeglądu mechaniki to weź tam pokręć ręką śrubami - będziesz wiedział czy nie ma jakiś oporów/zacięć ... Maszyna pracowała wcześniej z tego co pamiętam w jakimś syfie więc w nakrętkach śrub mogą być cuda... Może się okazać że są tak duże opory kręcenia śrubami że serwa nie wyrabiają i działają na granicy przeciążenia, PID próbuje dociągnąć a na materiale ostatecznie wychodzi co wychodzi . Tak jak wspominał atlc strojenie serw to tak na sam koniec bym zostawił bo jakoś wątpię żeby się parametry rozjechały... Prędzej w mechanice coś się wysrało. Przy ściągniętych serwach bramę powinno dać się spokojnie przepchnąć przez cały zakres osi Y (przy skoku śrub 5mm może być lekki opór ale też bez problemu powinno się przesuwać), podobnie X - jeśli jest inaczej to czyszczenie i przegląd nakrętek/wózków. Na ogół zgarniacze wózków dość sobie dają radę z brudem - jeśli masz podwójne zgarniacze to na 99% będą w środku czyste - trzeba im tylko smarowanko i jeśli ktoś o tym pamiętał to nie ma problemu.
Wracając do geometrii to wspomniałem o domniemanej kolizji bo piszesz że masz luz na klinie we wrzecionie - nie powinno tego być absolutnie (zakładając że producent zrobił pasowanie). Ja mam u siebie tak że doszlifowywałem specjalnie klina co do setki żeby pasował na wcisk w płycie Z i we wrzecionie. Jeśli sama płyta Z jest idealnie w pionie (płaszczyzna YZ, XZ) wraz z wykopanym rowkiem to zakładasz klin następnie wrzeciono i tyle - nic nie podkładasz ani nie ustawiasz już... Jeśli pod wrzeciono musisz coś podkładać to reszta (belka , krzyżak, płyta Z) jest ewidentnie do sprawdzenia. W płaszczyźnie XZ to że masz luz no to już trudno wrzeciono musi przed dokręceniem ustawić. Może sama płyta Z ma banana (choć przy zastrzałach to ktoś musiałby mocno przywalić żeby wykrzywić). Ruch Z ma być prostoliniowy i pod kątem w każdej płaszczyźnie inaczej ustawianie wrzeciona nic nie daje... Jeszcze pytanie czy sama płaszczyzna wrzeciona jest równoległa do osi wirnika tzn czy mocowanie wrzeciona nie jest odkształcone.
Jakie masz przekoszenie bramy i jak jest realizowane bazowanie tej osi? Bazowanie na index? Jeżeli pozycja 0 dla serw jest różna to też będą jaja bo już na wstępie serwa będą się wzajemnie obciążać.

Z tego co pamiętam w podstawie masz grant pokaźnych rozmiarów który stoi na podbudowie stalowej (nie wiem czy jest sztywno zamocowany do niego ale pewnie tak) a poziom calosci regulujesz na samym dole na stopach (co tam masz wibroizolatowy?)
Poluzowanie jednej stopy może powodować "bujanie się" maszyny ale przy tej masie i deklarowanej sztywności wpływu na obróbkę mieć nie powinno a z Twoich wypowiedzi tak by wynikało że coś tam pokrecisz i na stole masz lepiej... chyba że źle odbieram Twój przekaz... z drugiej strony nie miałem graniciaka więc i nie wiem jak się zachowuje. Na początek sprawdź czy granit masz w 1 kawałku a później sprawdzenie strojenia serw prawdopodobnie Cię czeka. Po detalach wnioskowac mozna że ustawienie Zetki też jest do poprawki (na tyle ile widać na zdjęciu). Ogólnie podczas zakupu maszyny sprawdzałeś geometrię wszystkiego? Może ona jest po jakimś dzwonie? Jak na takie Gaspara mecyje związane z precyzyjnym ustawieniem i kolkowaniem wszystkiego to coś wiele problemów geometrycznych masz z tą maszyną... Chyba że niewłaściwy transport do wszystkiego doprowadził.
Co do drgań - zrób przykładowy test monety tak jak robił producent po zamontowaniu maszyny (znajdziesz film na forum).

Zrób fotki tych baboli to się zdiagnozuje.