プライバシーの保護的に、たまに消したほうが無難です。
ネットにおける行動追跡に利用をされる可能性があります。
https://www.saitolab.org/2023/12/01/web%e3%83%88%e3%83%a9%e3%83%83%e3%82%ad%e3%83%b3%e3%82%b0%e5%af%be%e7%ad%96%e6%8a%80%e8%a1%93%e3%81%ae%e7%b4%b9%e4%bb%8b%e3%82%b5%e3%82%a4%e3%83%88/
セキュリティーとして見た場合は、ブラウザの脆弱性が見つかって。キャッシュの不正なアクセスと利用があるなんて指摘でもなければ、そんなに気にしなくても。
気になるばら、ブラウザ終了時に、履歴やCookieやキャッシュやら、ローカルに保存される情報は全て削除という設定もありですね。
でも、ログイン情報など消えるから、面倒な側面はあります。
ブラウザを使い分けもありでしょう（あるいは、プライバシーウィンドウやコンテナの活用とか）。
日常で普段から利用する信頼のおけるサイトの閲覧と、よくわからないサイトを閲覧するときとかで、使い分けとか。
