Powinno działać , sprawdz kilka wartości R1 i R2 - im mniejsze tym szybciej będziesz przeładowywał pojemność bramek tranzystorów Q1 ,Q5 ,dzięki temu tranzystory mniej się grzeją w czasie przełączania ,ale rezystancje te nie mogą być za małe bo to "przeciąża" tranzystory w transoptorach (pośrednio zależy to od sprzężenia optycznego itd.)
Poprzedni układ też nie był zły ,ponieważ gdy obydwa transoptory nieprzewodziły ,lub przewodziły - przez cewkę niepłynął prąd .Ma to o tyle znaczenie ,że prawdopodobnie będziesz sterował to z procesora i po włączeniu zawsze wyjścia portu są albo 1 albo 0 .

W uproszczeniu tranzystory przewodzą gdy napięcie między żródłem a bramką wynosi kilka wolt .Dla tranzystora typu n (irfz44) napięcie to musi być dodatnie np. 5 V ,dla tranzystora typu p (IRF9Z34) ujemne-5V .Napięcie mierzymy względem żródła . Tutaj wystarczy 5 V ponieważ to tranzystory z "Z" w nazwie.
U Ciebie sytuacja wygląda tak :Gdy transoptory są wyłączone dolny tranzystor jest włączony (napięcie między bramką - G a żródłem - S jest równe ok. 5V) ,górny tranzystor jest zatkany ponieważ opornik R1 zwiera G i S .
Po włączeniu transoptorów ,jest na odwrót .

Jeśli dobrze podłączyłeś tranzystory odpowiednio dreny i żródła to układ działa ,ale jeśli włączysz dwa transoptory to dolny tranzystor się wyłącza a górny włącza .Dlatego nie ma przepływu prądu .

R1 (mała wartość) ciągnie bramkę Q1 do + . W zależności od sprzężenia optycznego PC817 tranzystor w transoptorze może się w tych warunkach nie całkiem otwierać tak ,że na bramce Q1 napięcie może być za małe do otwarcia .Zwiększ napięcie do 10 V jeśli i to nie pomoże zwiększ wartość R1 do 1K lub więcej.