住宅ローンを北海道銀行で借りたのですが、借りる際に金利の優遇を受けるためにデビットカードかクレジットカードかを申し込んだのですが、年会費かかるようなので解約したいのですが解約したら優遇措置無くなるとかありますか？５年固定なので５年後優遇されなくなるとかですか？もう契約は終わってます。