Myli się bo procesor prawdopodobnie się nie wyrabia. W Twoim przypadku jedyne wyjście to wykorzystywać tylko jedno przerwanie (drugie koniecznie wyłączyć). W przerwaniu zostawić tylko inc/dec licznika. Jeżeli i to okaże się za mało - to tylko wstawki w asemblerze o ile bascom na to pozwala (bo tego nie wiem).zgadza się, ale w przykładzie, w linku, enkoder obracany jest ręcznie. Sprawdziłem i wtedy nie ma pomyłki, natomiast przy silniku myly się bardzo.
Jest jeszcze możliwość występowania jakichś zakłóceń. Jeżeli kręcąc ręcznie enkoderem - nie myli się, a kręcąc z taką samą prędkością (ten sam enkoder) silnikiem jest nie tak - to znaczy coś tutaj jest na rzeczy.