Chodziłomi oto, że jeżeli możesz (wspominałeś o mikroskopie) zmierzyć głębokość rowka w rzeczywistości, a nie z nastawy maszyny.
Poza tym często tak bywa , ze grawerowany materiał nie na całej powierzchni jest idealnie równy - na tych "górkach" frez wchodzi głębiej.

Kolego , to jest stożek.
Podając szerokość wyciętej izolacji, podaj też głębokość rowka i wtedy analizuj.