Obawiam się, że to nie Ty krzywo nabiłeś uchwyt; bicie to wina stożka.
Wygląda - przykro to powiedzieć - tragicznie, nie mam pojęcia jak tego ktoś dokonał.
Normalnie stożek jest praktycznie zawsze szlifowany (powinien być utwardzony, jak i cały wał) i ma ładną, gładką powierzchnię.
Stawiałbym na to, że narzędzie o dużej średnicy zostało zablokowane w materiale, ale nie obróciło się w uchwycie, za to uchwyt zaczął obracać się na swoim stożku i stąd te ślady zatarcia na jego powierzchni.
Jeśli stożek jest zintegrowany z wałem (niewymienny), to wydaje się że trzeba go przeszlifować, ale to nie jest proste - bo demontaż wału i szlif w kłach; od spodu widać nakiełek, a sam szlif to tylko "liźnięcie", zlikwidowanie widocznych bruzd i wygładzenie powierzchni - więc jest duża szansa na powodzenie. Warunek - wał (na dole i górze) nie jest zgięty, bo wtedy dopiero zacznie się zabawa.
Niewykluczone też, że jakaś wystająca ze stożka "gruda" powstała podczas zatarcia elementów podpiera uchwyt z jednej strony w stożku i jej likwidacja by pomogła, ale siła mocowania takiego skatowanego stożka jest mniejsza niż "świeżego" - mniejsza powierzchnia kontaktu elementów (stożek B jest samohamowny).

Teoretycznie więc, na "na bidę", można by próbować na początek znaleźć krytyczne miejsce lub miejsca i wygładzić stożek chałupniczo (bez demontażu wiertarki) i zobaczyć czy się coś zmieni w kwestii bicia. Ale to półśrodek, a może i ćwierćśrodek.
Można to wykryć np. okopcając płomieniem świecy stożek i lekko nasadzając (obracając go) nowy, świeży uchwyt - jasne, odsłonięte miejsca na stożku pokażą Ci kontaktowe "wysepki", na które trzeba zwrócić uwagę i je lekko wygładzić.

PS: Ja najpierw wziąłbym szlifowaną, szeroką stalkę HSS, nałożył drobny papier ścierny i na wysokich obrotach, bardzo równomiernie i lekko dociskając przeszlifowałbym ten stożek ręcznie - tak by w jak najmniejszym stopniu ryzykować zmianę kąta stożka (a wchodzą w grę minuty kątowe).
Niewykluczone, że to by pomogło - ale to nadal półśrodek.