汚れてないなら、拭かなくても大丈夫ですよ。
むしろ凍結した使用中の冷凍庫内を拭くと、よけいに汚れるおそれがあります。布巾に付いた水分と繊維が凍結して庫内に残りますので。
潔癖症の人に言うべきではないのかもしれませんが、ほとんどの場合、出荷したばかりの冷蔵庫内の表面より、濡れ布巾の方が雑菌数が多いはずです。
（布巾は滅菌済みのものを毎回使っていますか？水道水の代わりに次亜塩素酸水などを布巾に染みこませて拭いていますか？）
また、冷蔵庫は滅菌装置ではないので、冷蔵庫内の表面に見えない冷却経路にはエアコンと同じように雑菌やカビの胞子が付着しますよ。
冷蔵庫を過信せず、保存方法や保存期間を適切に管理して、食中毒を防ぎましょう。
