PSポータルでは自宅プレステのリモートプレイを自宅で行おうとしているのですか?外出先で行おうとしているのですか?それてもクラウドゲーミングを行おうとしているのですか?それによって改善策が違ってくると思います。
ネット回線を経由する場合であればそれは回線レスポンスの影響です。回線速度が十分でもping(レイテンシ)が悪ければ反応が良くありません。
リモートプレイはUDPポート8572を使用して本体またはモバイル機器に接続します。ポートが自由に使えなければリモートプレイができません。NATタイプを確認して下さい。NAT3ではリモートプレイが出来ないことがあります。
https://www.playstation.com/ja-jp/support/games/ps4-remote-play-connection-troubleshooting/