スイッチをテレビに繋げるとコントローラーの遅延がすごいのですがps4も遅延しますか？

コントローラーの遅延ではなくテレビ側の設定による遅延表示と考えられますので、PS4に限らず全HDMI接続の機器の映像が遅延表示されるはずです。