市役所の固定資産税課で「納税義務者が死亡した」旨を伝えれば、納税義務者の変更のための手続きを説明してもらえます。
基本的には「市役所所定の変更の届出書」に必要事項を記載し、後は相続登記や預金の相続手続きと同等の書面を整えることとなります。
これで、固定資産税台帳上の納税義務者の変更ができます。
なお、その建物を登記したいのであれば、土地家屋調査士に「建物表題登記」の依頼をし、続いて司法書士に所有権保存登記の依頼をすることとなります。
その際「所有者」は被相続人名義でも可能ですし、相続した相続人名義でも可能です。
まあ、その建物を第三者に売却し、その第三者が利用する、という場合にはこの登記が必要となりますが、質問者らが取り壊す、土地建物を購入した第三者が土地は利用するが建物は取り壊す、と言うようなことであるならば、建物表題登記を行うことなく、単純に建物を取り壊した方が費用がかからずいいかと思います。