Nawet jak by się udało to sztywność tego będzie słaba jak frez 20mm chcesz założyć.
Po przerobieniu warto by było jeszcze wyważyć.

Albo kupić uchwyt do tulejek ER32 na większym stożku np. SK30 i ten stożek przerobić na kompatybilny z Twoim. Na pewno by było sztywniej.