質問内容を見ますに、退職日は「３月３日」になり、これまでは会社に在籍していることになります。なので社会保険ももちろん使えますよ！３月３日に虫歯で歯科医院に行っても保険を使えます。
あと、３月３日までは会社に在籍していますので、２重加入などの問題にもなりかねないし、現職が副業禁止なのであればそれにも抵触することにもなります。
もちろん、雇用保険以外は２重加入手続きもできなくは無いですが、次の会社の人事手続きに手間もかかりますので、必ず面接時に「今の会社の退職日は３月３日です」と伝えることです。
そうすれば、「あ、それなら３月４日以降の入社にしましょう！」とか提案してきますので、それに合わせてください。
次も頑張ってね！
