以前、右折青矢印信号の次は、地域により、黄色が出るところと出ないところがありましたが、今は出す方に統一されましたね。
右折青矢印信号の次の黄色は、ご質問が意図するように、直進車に対しても黄色です。
しかし、黄色が出る直前、直進車は停まっています。
黄色の意味は
「二 車両及び路面電車（以下この表において「車両等」という。）は、停止位置を越えて進行してはならないこと。ただし、黄色の灯火の信号が表示された時において当該停止位置に近接しているため安全に停止することができない場合を除く。」
です。
既に停まっている車が、黄色がでた瞬間に「安全に停止することができない」状態になることは考え難いため、直進車に対してこの黄色は「停止位置を越えて進行してはならない」という意味にしかならず、赤信号と同じ意味をもつことになり、問題はありません。
