Trochę mało danych, na jakiej maszynie to robisz na frezarce czy na wiertarce kolumnowej z dodatkowym stołem krzyżowym? jaki frez? Czy ma chwyt walcowy czy na stożku morsa? Jak jest mocowany, w gnieździe morsa czy w tulejce zaciskowej?
Z tego co opisałeś, to mógłbym założyć, że masz frez ze stożkiem morsa, wbiłeś go w gniazdo i na tym koniec. tylko że stożek Morsa nie przenosi sił bocznych, i podczas frezowania frez wypada.
Jeśli jest tak, to trzeba by było przełoźyć przez wrzeciono szpilkę która wkręci się w gwint we frezie a u góry głowicy jakaś podkładka która się oprze o wrzeciono.
Jeśli frezujesz w wiertarce stołowej to wiertarka nie ma przelotowego wrzeciona i tu będzie problem na który nie ma szybkiego,łatwego rozwiązania.