当日に行っても大丈夫だと思いますが、日によっては違うことがあるかも?
前、当日にいったら(当時は土日でした)、予約しないと入れないことを判明し、慌ててネットで予約したら(12時過ぎ)、15時の分を予約は出来ました。(ギリギリだったよ・・・webketを持っておいてよかったが、パスワードが忘れてしまった・・・)
そういうのことがあるので、早く入りたいなら予約したほうがいいです。
料金は、時期によっては変わりますので、行く前に確認してからいいと思います。
例えば、12月23日だと2700円だけど、25日にいくと2900円。
https://www.kaiyukan.com/info/ticket/kaiyukan/
混雑する日はネットを推奨、大丈夫な時間だと窓口。という感じかなと思います。