Trzymać to się będziesz za głowę, jak maszyna robiąc coś wstrzeli się w prędkość rezonansową i kolejny frez ci połamie. Im później sprawisz sobie porządny sterownik tym drożej cię on wyniesie.

No i masz przyczynę swojego problemu.
Ja mam sterownik na tb6560 i przy podziale 1/2 chodzi jeszcze gorzej. Bez zatrzymywania ręką, gdy kręci samą śrubą potrafi silnik zgubić kroki. Dopiero na 1/8 pracuje stabilnie, choć jeszcze w pewnym zakresie prędkości słychać jak silnik pracuje głośniej.
Koła zamachowe na silnik też swego czasu nakładałem i to ciasno osadzone na wężu gumowym. Coś na kształt oryginalnych, ale siłą rzeczy jak zmienisz masę wirującą to częstotliwość się przeniesie z 600mm/min na 400mm/min, albo jeszcze gdzieś indziej. Trzeba dość wyrafinowaną konstrukcję i konkretnie obliczoną przy tym, a nie na "oko" koła zamachowego zastosować, żeby to dobrze spełniało swoją rolę.

Objawy ewidentnie odpowiadają wpadaniu w rezonans wirnika w silniku.
Jaki mikrokrok masz ustawiony w sterowniku?