発送はしていないわけですから、そのまま放置しても取り引きはキャンセルになります。ですがそれでは事務局への印象が悪いので
購入者とのメッセージに「こちらは業者ではないから24時間対応できるわけではないし、最初から高圧的な態度をとられて円満な取り引きをすすめるのが難しいと感じたので取り引きはキャンセルしたい」と伝えましょう。
購入者が拒否したとしても発送しなければ取り引きはできませんから。優位なのはあなたです。
出品者都合のキャンセルなので軽妙なペナルティはあるかもしれませんが、事務局側にも同様な説明をすればメッセージを確認され以後気をつけてくださいだけで済む場合もあります。