Już lepiej - z silniczkami dedykowanymi na 12V ograniczającymi prąd rezystancją uzwojenia powinno działać. Tylko że to spory przerost formy nad treścią (tranzystory na 12A do sterowanai silnikiem na 0.5A).
Ale traktując to jako projekt dydaktyczny - domyślam się że symulowałeś to na pspice - popatrz sobie jak wygląda prąd na linii zasilania - coś mi się wydaje że w chwili przełączenia bedzie tam spora szpilka - pojemność wejściowea IRF9530 to 500p, IIRF530 600p - razem 1100p ładujesz je przez rezystor 4k7 - stałą czasowa 5.17us (po uwzględniniu efektu Millera będzie jeszcze gorzej) - co oznacza że podczas przełączania gałęzi przez kilka us oba tranzystory przewodza... MOSFETy w tym zastosowaniu należy sterować "twardo", ze źrudła o małej rezystancji.

Brakuje diód przeciwprzepięciowych (popatrz na notę aplikacyjną L298). Prąd cewek jest ograniczony tylko napięciem zasilania i rezystancją cewki (będzie albo wolno albo "z dymem"). Nie podałeś typu tranzystorów (ani wartości elementów) - sterujesz MOSFETy bezpośrednio z wyjść procesora o małej wydajności prądowej, czas przełączania będzie spory - tranzystory będą się grzały.
Ogólnie - całkiem fajny projekt do nauki ale raczej używaj tanich elementów

Co do programu - zmienne globalne używane przez przerywanie prawdopodbnie (a te wspólne dla przerywania i pętli głownej jak np. tryb_pracy - napewno) powinny zostać oznaczone jako "volatile". Bez tego kompilator - zależnie od ustawień i szczęścia - może je "zoptymalizować" w dość nieprzewidziany sposób (ten błąd kosztował mnie kiedyś kilka godzin debugowania).
Co do reszty - " 4 linie wyjścia służące do załączania odpowiednich tranzystorów" nie napisałeś jak te tranzystory są połączone więc na wszelki wypadek zapytam czy mierzyłeś jak długo trwa zamykanie tranzystorów. W twoim programie przejścia pomiędzy "krokami" są robione bez faz całkowicie niektywnych - przy odrobinie pecha w chwili przejścia będziesz miał krótki okres kiedy wszystkie tranzystory mostka jeszcze przewodzą na tyle dobrze że popłynie przez nie prąd wystarczający do ich zniszczenia. Osobiście przed przejściem do następnego kroku dałbym króciutką faze (może nawet wystrczy jeden cykl procesora) kiedy wszystkie wyjscia są wyłączone.
Koljena sprawa - kto/co ogranicza prąd w cewkach? No i co dzieje się z prądem samoindukcji po odłączeniu cewki?
Pozdrawiam
Grzesiek