現役の土地家屋調査士です。
祖父名義の建物はおそらく、旧家屋台帳に記載されていた建物が登記簿に移行したものと思われます。ちなみに建物登記簿ですが、祖父の住所の記載はありましたか?住所の記載が無く、氏名のみであれば旧家屋台帳に記載されていた建物確定です。
そして、祖父名義の建物は昭和33年に取り壊され、あなたのお父様が建替えたのでしょう。そのとき登記すれば良かったのですが、お父様は住宅ローン無しで建て替えたため登記しなかったのでしょう。そして現在に至っているのだと思われます。
祖父名義の建物滅失登記は、相続人の一人から可能ですので、あなたが申請人になれます。戸籍類の用意は必要です。
昭和33年築の建物(あなたのお父様名義)は、取り壊したら、市役所の固定資産税課税担当に申し出してください。(電話でも可能な市町村はあります)
市役所担当者は現地確認の上、来年の課税台帳から削除します。
固定資産税・都市計画税は1月1日現在で課税されます(年単位)。ですから、慌てる必要はありません。
尚、他の方が、固定資産税が6倍になると言っていますが、一律6倍になるわけではありません。(宅地面積によります)
いずれにせよ、お近くの土地家屋調査士に依頼することをお勧めします。