｢紙を渡させて頂きました。｣という文章は正しいですか？少し違和感を覚えたため、より適切な文章があったら教えていただきたいです。

私の感覚では「させて頂く」は相手の許可を得た上で行うもの。

「私はあなた様に紙をお渡ししたいのですがよろしいでしょうか？」

「はい、いいですよ。」

「では、お言葉に甘えて渡させて頂きます。」

このようなやり取りを踏まえた上でなら良いのかもしれませんが、私はこんなやり取りしません。