Przyczyn może być wiele:
1) Tak jak zauważyłeś - niewspółosiowe ustawienie osi konia z osią wrzeciona.
2) Bicie szczęk uchwytu tokarskiego.
3) Brak nacentrowania detalu w uchwycie po zaciśnięciu.
4) Nierównoległość przesuwu pinoli konia w stosunku do osi obrotu wrzeciona.
5) Krzywe wiertło.
6) Nierówno naostrzone wiertło - nierównej długości główne krawędzie skrawające.
7) Bicie szczęk futerka wiertarskiego.
8 ) Syf w gnieździe konika.
9) Gdybać można jeszcze długo....