Tu nie trzeba nic poprawiać enkoder działa dobrze .
Podstawowa sprawa to szerokość kreski przy której działa (wynika z budowy odbiornika) wg. mnie 0.4mm będzie dobrze.
Druga sprawa to do jakiej szybkości działa ten układ.
Na oscyloskopie wychodziło mi 0.1ms szerokość impulsu na jednym kanale i szybciej nie dało się silnikiem kręcić. Czyli 100 działek x2 x0.1ms =20ms na 1 obrót =50 obr/s =3000obr/min i to by się zgadzało.
Kanały są na pewno przestawione , można to u mnie sprawdzić podłączając na wyjście dekodera diody LED(niskoprądowe bez rezystora) ja podłączyłem do minusa i zobaczyć jak to działa powoli kręcąc wirnikiem. sekwencja zapalania jest: nic, diodaA, diodaA+B, diodaB, Przy przesunięciu o 1kreskę i 1puste pole. itd.

ps.
Myślę ze kreski i puste pola powinny mieć tę samą szerokość.

Mysz musi mieć enkoder z 4 wyprowadzeniami.
Ja kilka rozebrałem ale tylko w Logitechu znalazłem to co trzeba.
W linku jest dokładnie pokazane co gdzie podłączyć.

Znalazłem opis wykonania taniego encodera z myszki Logitech
http://members.shaw.ca/swstuff/mouse.html

Postanowiłem to wypróbować i oto wyniki.
Encoder powyższy jest kwadraturowy (dzieli przez 4)
impulsy są ładne 5V do szerokości 0.1ms więcej nie sprawdzałem bo trzeba większą tarczę zrobić.
Tarcza jest wydrukowana na folii ma 100 czarnych kresek szerokości ok. 0.7 mm z takimi samymi przerwami. Średnica 46mm.
Zrobiłem tarczę 4razy "gęstszą" niestety nie działa. Wynika z tego że rozdzielczość encodera jest dosyć mała, oryginalna tarczka z myszki ma 64 pola przy średnicy 15mm.
Myślę że sprawdzi się tarcza o szerokości kreski 0.4mm i rozdzielczości 250 impulsów (x4).
Czyli o średnicy ok. 64mm która da 1000 kroków na obrót.
Może ktoś już to testował dokładniej i podzieli się doświadczeniem?.