Sprawdź dokładnie czy właściwe kabelki pozamieniałeś, to są wyjścia różnicowe, jak się je pomiesza to będą cuda.
Poza tym, to nie można wykluczyć uszkodzenia sterownika i trzeba brać na to poprawkę, szczególnie gdy jakiejś funkcji nie daje się przeprogramować.

.

Ponieważ enkoder ma wyjścia różnicowe, to łatwo namieszać.
A+ i A- to jeden sygnał A, natomiast B+ i B- to drugi sygnał B.
Często sygnały są oznaczane tak jak u Ciebie, co wprowadza dodatkowe zamieszanie.
Twoje A i B to w istocie A+ i B+.
Zamiana A+ z A- (lub B+ z B-) też da odwrócenie kierunku zliczania.
I od tego spróbuj zacząć.

.

Nie znam tego modelu, ale jeśli jest tam enkoder to zamień miejscami jego przewody A i B, to się napęd zacznie kręcić w drugą stronę.

.