Nie zerknąłem czym dysponujesz... 850mm/min nie jest jakimś specjalnie wielkim liniowo posuwem... Jeśli musisz go zredukować to ogranicz obroty. Musisz mieć wiór dla HSS te 0,04-0,05 na obrót bo Ci narzędzia szybko "zeżre"
No i schowaj w oprawkę to wiertło na tyle ile się da, najlepiej w ogóle powinno być krótkie. Narzędzie dłużej wytrzyma, obróbka musi być spokojna i stabilna, nie będzie go "nosić".

Co do freza... to trzeba doświadczalnie zerknąć, frez frezowi nie równy.
Jak byś chciał wiercić frezem to trzeba zredukować Vc. Przy normalnej pracy dajesz oczywiście więcej bo co innego jakbyś jechał po spirali właśnie frezem 2,0. Spróbuj tak jak masz 20000obr/min, posuw tak duży na ile dynamika maszyny Ci daje radę (sam ocenisz) i programuj ruch spiralny o skoku w dół co 0,2mm (0,1D narzędzia)

Jak dobre wiertło HSS kobaltowe:
Vc=80m/min to 17000obr/min
Posuw 0,05mm na obrót to wychodzi Vf=850mm/min

Jak dobre wiertło VHM dedykowane do aluminium:
Vc=250m/min a nawet więcej to 53000obr/min
Posuw 0,20mm na obrót (!!!) to Vf~10000mm/min
Ty masz obroty max 20000, więc posuw 4000mm/min

Frez...
Najlepiej 1-piórowy, parametry Vc jakieś 40m/min - 8500obr/min
Posuw 0,03 na obrót Vf=250mm/min
Dużo zależy od geometrii czoła, problemem może być to że może chcieć go zalepić. Ciężko doradzić bo nie napisałeś nawet jakie to aluminium.
Co innego PA38, a co innego np. PA6
I podstawa - chłodzić, chłodzić, jeszcze raz chłodzić. Np. Powietrze + mgła denaturatu.