Wiem, że piszczy. Nieraz byłem przy tym
Nie wiem, jak została przerobiona narzynka - mogę się tylko domyślać (a już raz się pomyliłem!).
A więc poniżej - domysły:
Przypuszczalnie narzynka została przeszlifowana w otworze małą ściernicą trzpieniową (walcową) i ten otwór jest nieco zbyt mały - to jest przyczyna Twojego problemu.
Krawędzie walcowe otworu prawie nie skrawają (a właściwie nie powinny skrawać), one mają za zadanie kalibrować pręt na średnicę 3,95mm, max 4mm - taka byłaby najlepsza.
Skrawa płaska, wejściowa powierzchnia narzynki - napisałem płaska dla prostoty, przy mosiądzu tak może wystarczyć i może tak tam jest, ale zgodnie ze sztuką i teorią skrawania powinny na tej powierzchni zostać wykonane kąty przyłożenia (np. 3 do 5°, na trzech czy czterech krawędziach które skrawają nadmiar materiału obrabianego kwadratu), dzięki którym siła "posuwu" zauważalnie by zmalała.
Można je wykonać niezastąpionym DREMEL-em

(a także powiększyć
* otwór narzynki).
Przy stali to pierwsze raczej byłoby konieczne, przy mosiądzu - jak wspomniałem wcześniej - niewykluczone, że szło by "na płasko" i może tak idzie.
Mosiądze (i brązy, te są jeszcze trudniejsze) to specyficzne materiały, potocznie zwane "chytrymi" - jakby chwytają albo wciągają narzędzie, stąd ogólnie kąt natarcia narzędzi do nich robi się na "zero".
*To - aby wykonać centrycznie i dokładną średnicę - należałoby robić przynajmniej na tokarce z mocowaniem DREMEL-a w imaku nożowym na specjalnym (ale bardzo prostym) uchwycie/wysięgniku, czyli imitować małą "fortunkę". DREMEL nie jest zbyt sztywny, to ręczne narzędzie - ale do takiej pracy jeszcze się nada, nie będzie szlifowany rozwiertak.
Lepsza od DREMEL-a do takich celów jest "dorosła" szlifierka prosta, o metalowej konstrukcji - o wiele sztywniejsza.
Powiem tak: jeśli ma się wprawę, to i z ręki da się zrobić - ale trzeba być "zrośniętym" z DREMEL-em, musi być jak trzecia ręka.
Inne wyjście to wykonać z narzędziowej stali (np. NC6) "narzynkę" o wymiarach jak oryginalna (ale mniejsze otwory wiórowe, będzie lepsze prowadzenie obrabianego pręta) bez gwintu, z otworem 3,95mm i zahartować. Wykonać kąty przyłożenia i w mosiądzu będzie hulać aż miło - ale do tego potrzebna tokarka i frezarka oraz palnik.
PS: Przychodzi mi do głowy jeszcze jedna możliwa przyczyna Twojego problemu - ten pisk mi to podpowiada.
Czy pręt po zrobieniu na okrągło ma zmierzoną średnicę 3,7mm?
Czy mierzysz dopiero gotowy gwint M4 i tyle ma?
Spróbuj zmienić narzynkę na nową, ostrą - najlepiej markową, spokojnie wystarczy FANAR.
Mianowicie, przy gwintowaniu mosiądzu wyjątkowo szkodliwe są na narzynce
narosty, głęboko w zakamarku ostrza, od strony "wchodzenia" materiału - one powodują niszczenie wierzchołków naciętego gwintu (zaokrąglenie), deformację zarysu, w efekcie zmniejszenie średnicy nominalnej.
Narosty mogą pochodzić z wcześniejszego używania w stali (bez systematycznego smarowania), ale mogą powstać także przy gwintowaniu mosiądzu. A stalowego narostu mosiądz z pewnością nie "zrzuci", podda mu się z wyciem

- trzeba taki narost wydłubywać cierpliwie szpikulcem z drutu sprężynowego, nie zawsze się udaje.
Mosiądzu w zasadzie się nie smaruje przy obróbce, ale ja np. przy większej ilości/długości mosiężnych gwintów co jakiś czas kapnę oleju lnianego - zapobiegać ma to ewentualnemu przywieraniu materiału skrawanego do narzynki.
PSII: Jeszcze metody, hmm... chałupnicze
Gdybyś dorwał diamentowy, okrągły pilnik o średnicy ~4mm - nim ręcznie mógłbyś ostrożnie rozpiłować otwór, mógłbyś także rozpiłować go obrotowo, korzystając z wiertarki stołowej, na wyższych obrotach.
Podobnie, korzystając z trzpieniowej ściernicy diamentowej o takiej średnicy (powinno się znaleźć 4mm), tą samą metodą powinno się udać (na wiertarce pionowej). No, może przy tym kilka chińskich "diamentów" zamordujesz - ale tanie są.